mirror of
https://github.com/open-mmlab/mmdeploy.git
synced 2025-01-14 08:09:43 +08:00
fd21b98efa
* [Docs] add the support information about MMPose Hourglass * * add Hourglass support config * update benchmark doc * modify Hourglass AP under pytorch backend * add regression test for Hourglass * *update 03-benchmark/benchmark.md * * modify mmpose.yml to ignore ncnn int8 test * add trt_fp16 test results * * add openvino test result * * modify supported_models.md
2.9 KiB
2.9 KiB
量化测试结果
目前 mmdeploy 支持 ncnn 量化
ncnn 量化
分类任务
| model | dataset | fp32 top-1 (%) | int8 top-1 (%) |
|---|---|---|---|
| ResNet-18 | Cifar10 | 94.82 | 94.83 |
| ResNeXt-32x4d-50 | ImageNet-1k | 77.90 | 78.20* |
| MobileNet V2 | ImageNet-1k | 71.86 | 71.43* |
| HRNet-W18* | ImageNet-1k | 76.75 | 76.25* |
备注：
- 因为 imagenet-1k 数据量很大、ncnn 未正式发布 Vulkan int8 版本，考虑到 CPU 运行时间，仅用部分测试集（4000/50000）
- 量化后精度会有差异，分类模型涨点 1% 以内是正常情况
OCR 检测任务
| model | dataset | fp32 hmean | int8 hmean |
|---|---|---|---|
| PANet | ICDAR2015 | 0.795 | 0.792 @thr=0.9 |
| TextSnake | CTW1500 | 0.817 | 0.818 |
备注：mmocr 使用 shapely 计算 IoU，实现方法会导致轻微的精度差异
姿态检测任务
| model | dataset | fp32 AP | int8 AP |
|---|---|---|---|
| Hourglass | COCO2017 | 0.717 | 0.713 |
备注：测试转换后的模型精度时，对于 mmpose 模型，在模型配置文件中 flip_test 需设置为 False。