From 7f292a9dd9a7cc1634e790bdd06c4cfdfc518bac Mon Sep 17 00:00:00 2001 From: gaotingquan Date: Mon, 20 Jun 2022 05:52:39 +0000 Subject: [PATCH] docs: update metrics --- docs/zh_CN/models/LeViT.md | 2 +- docs/zh_CN/models/PVTV2.md | 14 ++++---- docs/zh_CN/models/SwinTransformer.md | 49 +++++++++++++--------------- docs/zh_CN/models/Twins.md | 14 ++++---- docs/zh_CN/models/ViT_and_DeiT.md | 19 +++++------ 5 files changed, 45 insertions(+), 53 deletions(-) diff --git a/docs/zh_CN/models/LeViT.md b/docs/zh_CN/models/LeViT.md index 5f0e48004..d8aaa744b 100644 --- a/docs/zh_CN/models/LeViT.md +++ b/docs/zh_CN/models/LeViT.md @@ -18,7 +18,7 @@ LeViT 是一种快速推理的、用于图像分类任务的混合神经网络 | Models | Top1 | Top5 | Reference
top1 | Reference
top5 | FLOPS
(M) | Params
(M) | |:--:|:--:|:--:|:--:|:--:|:--:|:--:| | LeViT-128S | 0.7598 | 0.9269 | 0.766 | 0.929 | 305 | 7.8 | -| LeViT-128 | 0.7810 | 0.9371 | 0.786 | 0.940 | 406 | 9.2 | +| LeViT-128 | 0.7810 | 0.9372 | 0.786 | 0.940 | 406 | 9.2 | | LeViT-192 | 0.7934 | 0.9446 | 0.800 | 0.947 | 658 | 11 | | LeViT-256 | 0.8085 | 0.9497 | 0.816 | 0.954 | 1120 | 19 | | LeViT-384 | 0.8191 | 0.9551 | 0.826 | 0.960 | 2353 | 39 | diff --git a/docs/zh_CN/models/PVTV2.md b/docs/zh_CN/models/PVTV2.md index 0819a1dd0..ac7e348eb 100644 --- a/docs/zh_CN/models/PVTV2.md +++ b/docs/zh_CN/models/PVTV2.md @@ -18,10 +18,10 @@ PVTV2 是 VisionTransformer 系列模型，该模型基于 PVT（Pyramid Vision | Models | Top1 | Top5 | Reference
top1 | Reference
top5 | FLOPS
(G) | Params
(M) | |:--:|:--:|:--:|:--:|:--:|:--:|:--:| -| PVT_V2_B0 | 0.705 | 0.902 | 0.705 | - | 0.53 | 3.7 | -| PVT_V2_B1 | 0.787 | 0.945 | 0.787 | - | 2.0 | 14.0 | -| PVT_V2_B2 | 0.821 | 0.960 | 0.820 | - | 3.9 | 25.4 | -| PVT_V2_B3 | 0.831 | 0.965 | 0.831 | - | 6.7 | 45.2 | -| PVT_V2_B4 | 0.836 | 0.967 | 0.836 | - | 9.8 | 62.6 | -| PVT_V2_B5 | 0.837 | 0.966 | 0.838 | - | 11.4 | 82.0 | -| PVT_V2_B2_Linear | 0.821 | 0.961 | 0.821 | - | 3.8 | 22.6 | +| PVT_V2_B0 | 0.7052 | 0.9016 | 0.705 | - | 0.53 | 3.7 | +| PVT_V2_B1 | 0.7869 | 0.9450 | 0.787 | - | 2.0 | 14.0 | +| PVT_V2_B2 | 0.8206 | 0.9599 | 0.820 | - | 3.9 | 25.4 | +| PVT_V2_B3 | 0.8310 | 0.9648 | 0.831 | - | 6.7 | 45.2 | +| PVT_V2_B4 | 0.8361 | 0.9666 | 0.836 | - | 9.8 | 62.6 | +| PVT_V2_B5 | 0.8374 | 0.9662 | 0.838 | - | 11.4 | 82.0 | +| PVT_V2_B2_Linear | 0.8205 | 0.9605 | 0.820 | - | 3.8 | 22.6 | diff --git a/docs/zh_CN/models/SwinTransformer.md b/docs/zh_CN/models/SwinTransformer.md index df29b0a0c..1cdd4675d 100644 --- a/docs/zh_CN/models/SwinTransformer.md +++ b/docs/zh_CN/models/SwinTransformer.md @@ -33,19 +33,17 @@ Swin Transformer 是一种新的视觉 Transformer 网络，可以用作计算 | Models | Top1 | Top5 | Reference
top1 | Reference
top5 | FLOPs
(G) | Params
(M) | |:--:|:--:|:--:|:--:|:--:|:--:|:--:| -| SwinTransformer_tiny_patch4_window7_224 | 0.8069 | 0.9534 | 0.812 | 0.955 | 4.5 | 28 | -| SwinTransformer_small_patch4_window7_224 | 0.8275 | 0.9613 | 0.832 | 0.962 | 8.7 | 50 | -| SwinTransformer_base_patch4_window7_224 | 0.8300 | 0.9626 | 0.835 | 0.965 | 15.4 | 88 | -| SwinTransformer_base_patch4_window12_384 | 0.8439 | 0.9693 | 0.845 | 0.970 | 47.1 | 88 | -| SwinTransformer_base_patch4_window7_224[1] | 0.8487 | 0.9746 | 0.852 | 0.975 | 15.4 | 88 | -| SwinTransformer_base_patch4_window12_384[1] | 0.8642 | 0.9807 | 0.864 | 0.980 | 47.1 | 88 | -| SwinTransformer_large_patch4_window7_224[1] | 0.8596 | 0.9783 | 0.863 | 0.979 | 34.5 | 197 | -| SwinTransformer_large_patch4_window12_384[1] | 0.8719 | 0.9823 | 0.873 | 0.982 | 103.9 | 197 | +| SwinTransformer_tiny_patch4_window7_224 | 0.8110 | 0.9549 | 0.812 | 0.955 | 4.5 | 28 | +| SwinTransformer_small_patch4_window7_224 | 0.8321 | 0.9622 | 0.832 | 0.962 | 8.7 | 50 | +| SwinTransformer_base_patch4_window7_224 | 0.8337 | 0.9643 | 0.835 | 0.965 | 15.4 | 88 | +| SwinTransformer_base_patch4_window12_384 | 0.8417 | 0.9674 | 0.845 | 0.970 | 47.1 | 88 | +| SwinTransformer_base_patch4_window7_224[1] | 0.8516 | 0.9748 | 0.852 | 0.975 | 15.4 | 88 | +| SwinTransformer_base_patch4_window12_384[1] | 0.8634 | 0.9798 | 0.864 | 0.980 | 47.1 | 88 | +| SwinTransformer_large_patch4_window7_224[1] | 0.8619 | 0.9788 | 0.863 | 0.979 | 34.5 | 197 | +| SwinTransformer_large_patch4_window12_384[1] | 0.8706 | 0.9814 | 0.873 | 0.982 | 103.9 | 197 | [1]：基于 ImageNet22k 数据集预训练，然后在 ImageNet1k 数据集迁移学习得到。 -**注**：与 Reference 的精度差异源于数据预处理不同。 - ### 1.3 Benchmark @@ -68,14 +66,14 @@ Swin Transformer 是一种新的视觉 Transformer 网络，可以用作计算 **备注：** 精度类型为 FP32，推理过程使用 TensorRT。 - - + + ## 2. 模型快速体验 安装 paddlepaddle 和 paddleclas 即可快速对图片进行预测，体验方法可以参考[ResNet50 模型快速体验](./ResNet.md#2-模型快速体验)。 - - + + ## 3. 模型训练、评估和预测 @@ -83,52 +81,51 @@ Swin Transformer 是一种新的视觉 Transformer 网络，可以用作计算 **备注：** 由于 SwinTransformer 系列模型默认使用的 GPU 数量为 8 个，所以在训练时，需要指定8个GPU，如`python3 -m paddle.distributed.launch --gpus="0,1,2,3,4,5,6,7" tools/train.py -c xxx.yaml`, 如果使用 4 个 GPU 训练，默认学习率需要减小一半，精度可能有损。 - + ## 4. 模型推理部署 - + ### 4.1 推理模型准备 Paddle Inference 是飞桨的原生推理库， 作用于服务器端和云端，提供高性能的推理能力。相比于直接基于预训练模型进行预测，Paddle Inference可使用 MKLDNN、CUDNN、TensorRT 进行预测加速，从而实现更优的推理性能。更多关于Paddle Inference推理引擎的介绍，可以参考[Paddle Inference官网教程](https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/infer/inference/inference_cn.html)。 - + Inference 的获取可以参考 [ResNet50 推理模型准备](./ResNet.md#41-推理模型准备) 。 - + ### 4.2 基于 Python 预测引擎推理 PaddleClas 提供了基于 python 预测引擎推理的示例。您可以参考[ResNet50 基于 Python 预测引擎推理](./ResNet.md#42-基于-python-预测引擎推理) 对 SwinTransformer 完成推理预测。 - + ### 4.3 基于 C++ 预测引擎推理 PaddleClas 提供了基于 C++ 预测引擎推理的示例，您可以参考[服务器端 C++ 预测](../inference_deployment/cpp_deploy.md)来完成相应的推理部署。如果您使用的是 Windows 平台，可以参考[基于 Visual Studio 2019 Community CMake 编译指南](../inference_deployment/cpp_deploy_on_windows.md)完成相应的预测库编译和模型预测工作。 - + ### 4.4 服务化部署 Paddle Serving 提供高性能、灵活易用的工业级在线推理服务。Paddle Serving 支持 RESTful、gRPC、bRPC 等多种协议，提供多种异构硬件和多种操作系统环境下推理解决方案。更多关于Paddle Serving 的介绍，可以参考[Paddle Serving 代码仓库](https://github.com/PaddlePaddle/Serving)。 - + PaddleClas 提供了基于 Paddle Serving 来完成模型服务化部署的示例，您可以参考[模型服务化部署](../inference_deployment/paddle_serving_deploy.md)来完成相应的部署工作。 - + ### 4.5 端侧部署 Paddle Lite 是一个高性能、轻量级、灵活性强且易于扩展的深度学习推理框架，定位于支持包括移动端、嵌入式以及服务器端在内的多硬件平台。更多关于 Paddle Lite 的介绍，可以参考[Paddle Lite 代码仓库](https://github.com/PaddlePaddle/Paddle-Lite)。 - + PaddleClas 提供了基于 Paddle Lite 来完成模型端侧部署的示例，您可以参考[端侧部署](../inference_deployment/paddle_lite_deploy.md)来完成相应的部署工作。 - + ### 4.6 Paddle2ONNX 模型转换与预测 - + Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署，包括TensorRT/OpenVINO/MNN/TNN/NCNN，以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。更多关于 Paddle2ONNX 的介绍，可以参考[Paddle2ONNX 代码仓库](https://github.com/PaddlePaddle/Paddle2ONNX)。 PaddleClas 提供了基于 Paddle2ONNX 来完成 inference 模型转换 ONNX 模型并作推理预测的示例，您可以参考[Paddle2ONNX 模型转换与预测](@shuilong)来完成相应的部署工作。 - diff --git a/docs/zh_CN/models/Twins.md b/docs/zh_CN/models/Twins.md index 623ebf837..0d46dbebb 100644 --- a/docs/zh_CN/models/Twins.md +++ b/docs/zh_CN/models/Twins.md @@ -17,14 +17,12 @@ Twins 网络包括 Twins-PCPVT 和 Twins-SVT，其重点对空间注意力机制 | Models | Top1 | Top5 | Reference
top1 | Reference
top5 | FLOPs
(G) | Params
(M) | |:--:|:--:|:--:|:--:|:--:|:--:|:--:| -| pcpvt_small | 0.8082 | 0.9552 | 0.812 | - | 3.7 | 24.1 | -| pcpvt_base | 0.8242 | 0.9619 | 0.827 | - | 6.4 | 43.8 | -| pcpvt_large | 0.8273 | 0.9650 | 0.831 | - | 9.5 | 60.9 | -| alt_gvt_small | 0.8140 | 0.9546 | 0.817 | - | 2.8 | 24 | -| alt_gvt_base | 0.8294 | 0.9621 | 0.832 | - | 8.3 | 56 | -| alt_gvt_large | 0.8331 | 0.9642 | 0.837 | - | 14.8 | 99.2 | - -**注**：与 Reference 的精度差异源于数据预处理不同。 +| pcpvt_small | 0.8115 | 0.9567 | 0.812 | - | 3.7 | 24.1 | +| pcpvt_base | 0.8268 | 0.9627 | 0.827 | - | 6.4 | 43.8 | +| pcpvt_large | 0.8306 | 0.9659 | 0.831 | - | 9.5 | 60.9 | +| alt_gvt_small | 0.8177 | 0.9557 | 0.817 | - | 2.8 | 24 | +| alt_gvt_base | 0.8315 | 0.9629 | 0.832 | - | 8.3 | 56 | +| alt_gvt_large | 0.8364 | 0.9651 | 0.837 | - | 14.8 | 99.2 | diff --git a/docs/zh_CN/models/ViT_and_DeiT.md b/docs/zh_CN/models/ViT_and_DeiT.md index 51df9396c..fea8c815c 100644 --- a/docs/zh_CN/models/ViT_and_DeiT.md +++ b/docs/zh_CN/models/ViT_and_DeiT.md @@ -32,16 +32,14 @@ DeiT（Data-efficient Image Transformers）系列模型是由 FaceBook 在 2020 | Models | Top1 | Top5 | Reference
top1 | Reference
top5 | FLOPS
(G) | Params
(M) | |:--:|:--:|:--:|:--:|:--:|:--:|:--:| -| DeiT_tiny_patch16_224 | 0.718 | 0.910 | 0.722 | 0.911 | 1.07 | 5.68 | -| DeiT_small_patch16_224 | 0.796 | 0.949 | 0.799 | 0.950 | 4.24 | 21.97 | -| DeiT_base_patch16_224 | 0.817 | 0.957 | 0.818 | 0.956 | 16.85 | 86.42 | -| DeiT_base_patch16_384 | 0.830 | 0.962 | 0.829 | 0.972 | 49.35 | 86.42 | -| DeiT_tiny_distilled_patch16_224 | 0.741 | 0.918 | 0.745 | 0.919 | 1.08 | 5.87 | -| DeiT_small_distilled_patch16_224 | 0.809 | 0.953 | 0.812 | 0.954 | 4.26 | 22.36 | -| DeiT_base_distilled_patch16_224 | 0.831 | 0.964 | 0.834 | 0.965 | 16.93 | 87.18 | -| DeiT_base_distilled_patch16_384 | 0.851 | 0.973 | 0.852 | 0.972 | 49.43 | 87.18 | - -关于 Params、FLOPs、Inference speed 等信息，敬请期待。 +| DeiT_tiny_patch16_224 | 0.7208 | 0.9112 | 0.722 | 0.911 | 1.07 | 5.68 | +| DeiT_small_patch16_224 | 0.7982 | 0.9495 | 0.799 | 0.950 | 4.24 | 21.97 | +| DeiT_base_patch16_224 | 0.8180 | 0.9558 | 0.818 | 0.956 | 16.85 | 86.42 | +| DeiT_base_patch16_384 | 0.8289 | 0.9624 | 0.829 | 0.972 | 49.35 | 86.42 | +| DeiT_tiny_distilled_patch16_224 | 0.7449 | 0.9192 | 0.745 | 0.919 | 1.08 | 5.87 | +| DeiT_small_distilled_patch16_224 | 0.8117 | 0.9538 | 0.812 | 0.954 | 4.26 | 22.36 | +| DeiT_base_distilled_patch16_224 | 0.8330 | 0.9647 | 0.834 | 0.965 | 16.93 | 87.18 | +| DeiT_base_distilled_patch16_384 | 0.8520 | 0.9720 | 0.852 | 0.972 | 49.43 | 87.18 | @@ -67,4 +65,3 @@ DeiT（Data-efficient Image Transformers）系列模型是由 FaceBook 在 2020 | DeiT_small_
distilled_patch16_224 | 256 | 224 | 3.70 | 6.20 | 10.53 | | DeiT_base_
distilled_patch16_224 | 256 | 224 | 6.17 | 14.94 | 28.58 | | DeiT_base_
distilled_patch16_384 | 384 | 384 | 14.12 | 48.76 | 97.09 | -