65 lines
6.4 KiB
Markdown
65 lines
6.4 KiB
Markdown
# 其他模型
|
||
-----
|
||
## 目录
|
||
|
||
* [1. 概述](#1)
|
||
* [2. 精度、FLOPS 和参数量](#2)
|
||
* [3. 基于 V100 GPU 的预测速度](#3)
|
||
* [4. 基于 T4 GPU 的预测速度](#4)
|
||
|
||
<a name='1'></a>
|
||
|
||
## 1. 概述
|
||
2012 年，Alex 等人提出的 AlexNet 网络在 ImageNet 大赛上以远超第二名的成绩夺冠，卷积神经网络乃至深度学习引起了广泛的关注。AlexNet 使用 relu 作为 CNN 的激活函数，解决了 sigmoid 在网络较深时的梯度弥散问题。训练时使用 Dropout 随机丢掉一部分神经元，避免了模型过拟合。网络中使用重叠的最大池化代替了此前 CNN 中普遍使用的平均池化，避免了平均池化的模糊效果，提升了特征的丰富性。从某种意义上说，AlexNet 引爆了神经网络的研究与应用热潮。
|
||
|
||
SqueezeNet 在 ImageNet-1k 上实现了与 AlexNet 相同的精度，但只用了 1/50 的参数量。该网络的核心是 Fire 模块，Fire 模块通过使用 1x1 的卷积实现通道降维，从而大大节省了参数量。作者通过大量堆叠 Fire 模块组成了 SqueezeNet。
|
||
|
||
VGG 由牛津大学计算机视觉组和 DeepMind 公司研究员一起研发的卷积神经网络。该网络探索了卷积神经网络的深度和其性能之间的关系，通过反复的堆叠 3x3 的小型卷积核和 2x2 的最大池化层，成功的构建了多层卷积神经网络并取得了不错的收敛精度。最终，VGG 获得了 ILSVRC 2014 比赛分类项目的亚军和定位项目的冠军。
|
||
|
||
DarkNet53 是 YOLO 作者在论文设计的用于目标检测的 backbone，该网络基本由 1x1 与 3x3 卷积构成，共 53 层，取名为 DarkNet53。
|
||
|
||
<a name='2'></a>
|
||
## 2. 精度、FLOPS 和参数量
|
||
|
||
| Models | Top1 | Top5 | Reference<br>top1 | Reference<br>top5 | FLOPS<br>(G) | Parameters<br>(M) |
|
||
|:--:|:--:|:--:|:--:|:--:|:--:|:--:|
|
||
| AlexNet | 0.567 | 0.792 | 0.5720 | | 1.370 | 61.090 |
|
||
| SqueezeNet1_0 | 0.596 | 0.817 | 0.575 | | 1.550 | 1.240 |
|
||
| SqueezeNet1_1 | 0.601 | 0.819 | | | 0.690 | 1.230 |
|
||
| VGG11 | 0.693 | 0.891 | | | 15.090 | 132.850 |
|
||
| VGG13 | 0.700 | 0.894 | | | 22.480 | 133.030 |
|
||
| VGG16 | 0.720 | 0.907 | 0.715 | 0.901 | 30.810 | 138.340 |
|
||
| VGG19 | 0.726 | 0.909 | | | 39.130 | 143.650 |
|
||
| DarkNet53 | 0.780 | 0.941 | 0.772 | 0.938 | 18.580 | 41.600 |
|
||
|
||
|
||
<a name='3'></a>
|
||
## 3. 基于 V100 GPU 的预测速度
|
||
|
||
|
||
| Models | Crop Size | Resize Short Size | FP32<br/>Batch Size=1<br/>(ms) | FP32<br/>Batch Size=4<br/>(ms) | FP32<br/>Batch Size=8<br/>(ms) |
|
||
|---------------------------|-----------|-------------------|-------------------|-------------------|-------------------|
|
||
| AlexNet | 224 | 256 | 0.81 | 1.50 | 2.33 |
|
||
| SqueezeNet1_0 | 224 | 256 | 0.68 | 1.64 | 2.62 |
|
||
| SqueezeNet1_1 | 224 | 256 | 0.62 | 1.30 | 2.09 |
|
||
| VGG11 | 224 | 256 | 1.72 | 4.15 | 7.24 |
|
||
| VGG13 | 224 | 256 | 2.02 | 5.28 | 9.54 |
|
||
| VGG16 | 224 | 256 | 2.48 | 6.79 | 12.33 |
|
||
| VGG19 | 224 | 256 | 2.93 | 8.28 | 15.21 |
|
||
| DarkNet53 | 256 | 256 | 2.79 | 6.42 | 10.89 |
|
||
|
||
|
||
<a name='4'></a>
|
||
## 基于 T4 GPU 的预测速度
|
||
|
||
| Models | Crop Size | Resize Short Size | FP16<br>Batch Size=1<br>(ms) | FP16<br>Batch Size=4<br>(ms) | FP16<br>Batch Size=8<br>(ms) | FP32<br>Batch Size=1<br>(ms) | FP32<br>Batch Size=4<br>(ms) | FP32<br>Batch Size=8<br>(ms) |
|
||
|-----------------------|-----------|-------------------|------------------------------|------------------------------|------------------------------|------------------------------|------------------------------|------------------------------|
|
||
| AlexNet | 224 | 256 | 1.06447 | 1.70435 | 2.38402 | 1.44993 | 2.46696 | 3.72085 |
|
||
| SqueezeNet1_0 | 224 | 256 | 0.97162 | 2.06719 | 3.67499 | 0.96736 | 2.53221 | 4.54047 |
|
||
| SqueezeNet1_1 | 224 | 256 | 0.81378 | 1.62919 | 2.68044 | 0.76032 | 1.877 | 3.15298 |
|
||
| VGG11 | 224 | 256 | 2.24408 | 4.67794 | 7.6568 | 3.90412 | 9.51147 | 17.14168 |
|
||
| VGG13 | 224 | 256 | 2.58589 | 5.82708 | 10.03591 | 4.64684 | 12.61558 | 23.70015 |
|
||
| VGG16 | 224 | 256 | 3.13237 | 7.19257 | 12.50913 | 5.61769 | 16.40064 | 32.03939 |
|
||
| VGG19 | 224 | 256 | 3.69987 | 8.59168 | 15.07866 | 6.65221 | 20.4334 | 41.55902 |
|
||
| DarkNet53 | 256 | 256 | 3.18101 | 5.88419 | 10.14964 | 4.10829 | 12.1714 | 22.15266 |
|