深度学习中的数据增强、backbone、head、neck、损失函数(loss function)术语解释和汇总

backbone：主干网络，用来提取特征，常用Resnet、VGG等

head：获取网络输出，利用提取特征做出预测

neck：放在backbone和head之间，进一步提升特征的多样性及鲁棒性

bottleneck：瓶颈，通常指网络输入输出数据维度不同，通常输出维度比输入维度小很多

GAP：Global Average Pool全局平均池化，将某个通道的特征取平均值

Warm up：小的学习率先训练几个epoch，这是因为网络的参数是随机初始化的，一开始就采用较大的学习率容易数值不稳定

一、数据增强方式

1. random erase
2. CutOut
3. MixUp
4. CutMix
5. 色彩、对比度增强
6. 旋转、裁剪

解决数据不均衡：

• Focal loss
• hard negative example mining
• OHEM
• S-OHEM
• GHM（较大关注easy和正常hard样本，较少关注outliners）
• PISA

二、常用backbone

1. VGG
2. ResNet（ResNet18，50，100）
3. ResNeXt
4. DenseNet
5. SqueezeNet
6. Darknet（Darknet19,53）
7. MobileNet
8. ShuffleNet
9. DetNet
10. DetNAS
11. SpineNet
12. EfficientNet（EfficientNet-B0/B7）
13. CSPResNeXt50
14. CSPDarknet53

三、常用Head

Dense Prediction (one-stage):

1. RPN
2. SSD
3. YOLO
4. RetinaNet
5. (anchor based)
6. CornerNet
7. CenterNet
8. MatrixNet
9. FCOS(anchor free)

Sparse Prediction (two-stage):

1. Faster R-CNN
2. R-FCN
3. Mask RCNN (anchor based)
4. RepPoints(anchor free)

四、常用neck

Additional blocks:

1. SPP
2. ASPP
3. RFB
4. SAM

Path-aggregation blocks:

1. FPN
2. PAN
3. NAS-FPN
4. Fully-connected FPN
5. BiFPN
6. ASFF
7. SFAM
8. NAS-FPN

五、Skip-connections

1. Residual connections
2. Weighted residual connections
3. Multi-input weighted residual connections
4. Cross stage partial connections (CSP)

六、常用激活函数和loss

激活函数：

• ReLU
• LReLU
• PReLU
• ReLU6
• Scaled Exponential Linear Unit (SELU)
• Swish
• hard-Swish
• Mish

loss：

• MSE
• Smooth L1
• Balanced L1
• KL Loss
• GHM loss
• IoU Loss
• Bounded IoU Loss
• GIoU Loss
• CIoU Loss
• DIoU Loss

七、正则化和BN方式

正则化：

• DropOut
• DropPath
• Spatial DropOut
• DropBlock

BN：

• Batch Normalization (BN)
• Cross-GPU Batch Normalization (CGBN or SyncBN)
• Filter Response Normalization (FRN)
• Cross-Iteration Batch Normalization (CBN)

八、训练技巧

• Label Smoothing
• Warm Up