9.5 KiB

Raw Blame History

开始使用

请参考安装指南配置运行环境，并根据快速开始文档准备flower102数据集，本章节下面所有的实验均以flower102数据集为例。

PaddleClas目前支持的训练/评估环境如下：

└── CPU/单卡GPU
    ├── Linux
    └── Windows

└── 多卡GPU
    └── Linux

1. 基于CPU/单卡GPU上的训练与评估

在基于CPU/单卡GPU上训练与评估，推荐使用tools/train.py与tools/eval.py脚本。关于Linux平台多卡GPU环境下的训练与评估，请参考2. 基于Linux+GPU的模型训练与评估。

1.1 模型训练

准备好配置文件之后，可以使用下面的方式启动训练。

python tools/train.py \
    -c configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml \
    -o pretrained_model="" \
    -o use_gpu=True

其中，-c用于指定配置文件的路径，-o用于指定需要修改或者添加的参数，其中-o pretrained_model=""表示不使用预训练模型，-o use_gpu=True表示使用GPU进行训练。如果希望使用CPU进行训练，则需要将use_gpu设置为False。

更详细的训练配置，也可以直接修改模型对应的配置文件。具体配置参数参考配置文档。

运行上述命令，可以看到输出日志，示例如下：

如果在训练中使用了mixup或者cutmix的数据增广方式，那么日志中只会打印出loss(损失)、lr(学习率)以及该minibatch的训练时间。
```
train step:890  loss:  6.8473 lr: 0.100000 elapse: 0.157s
```
如果训练过程中没有使用mixup或者cutmix的数据增广，那么除了loss(损失)、lr(学习率)以及该minibatch的训练时间之外，日志中也会打印出top-1与top-k(默认为5)的信息。
```
epoch:0    train    step:13    loss:7.9561    top1:0.0156    top5:0.1094    lr:0.100000    elapse:0.193s
```

训练期间也可以通过VisualDL实时观察loss变化，详见VisualDL。

1.2 模型微调

根据自己的数据集路径设置好配置文件后，可以通过加载预训练模型的方式进行微调，如下所示。

python tools/train.py \
    -c configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml \
    -o pretrained_model="./pretrained/MobileNetV3_large_x1_0_pretrained" \
    -o use_gpu=True

其中-o pretrained_model用于设置加载预训练模型权重文件的地址，使用时需要换成自己的预训练模型权重文件的路径，也可以直接在配置文件中修改该路径。

我们也提供了大量基于ImageNet-1k数据集的预训练模型，模型列表及下载地址详见模型库概览。

1.3 模型恢复训练

如果训练任务因为其他原因被终止，也可以加载断点权重文件，继续训练：

python tools/train.py \
    -c configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml \
    -o checkpoints="./output/MobileNetV3_large_x1_0_gpupaddle/0/ppcls" \
    -o last_epoch=5 \
    -o use_gpu=True

其中配置文件不需要做任何修改，只需要在继续训练时设置checkpoints参数即可，表示加载的断点权重文件路径，使用该参数会同时加载保存的断点权重和学习率、优化器等信息。

注意：

参数-o last_epoch=5表示将上一次训练轮次数记为5，即本次训练轮次数从6开始计算。
-o checkpoints参数无需包含断点权重文件的后缀名，上述训练命令会在训练过程中生成如下所示的断点权重文件，若想从断点0继续训练，则checkpoints参数只需设置为"./output/MobileNetV3_large_x1_0_gpupaddle/0/ppcls"，PaddleClas会自动补充后缀名。
```
output/
└── MobileNetV3_large_x1_0
    ├── 0
    │   ├── ppcls.pdopt
    │   └── ppcls.pdparams
    ├── 1
    │   ├── ppcls.pdopt
    │   └── ppcls.pdparams
    .
    .
    .
```

1.4 模型评估

可以通过以下命令进行模型评估。

python tools/eval.py \
    -c ./configs/eval.yaml \
    -o ARCHITECTURE.name="MobileNetV3_large_x1_0" \
    -o pretrained_model=path_to_pretrained_models

可以通过更改configs/eval.yaml中的ARCHITECTURE.name参数和pretrained_model参数来配置评估模型，也可以通过-o参数更新配置，如上所示。

注意： 加载预训练模型时，需要指定预训练模型文件的路径，但无需包含文件后缀名，PaddleClas会自动补齐.pdparams的后缀，如1.3 模型恢复训练。

2. 基于Linux+GPU的模型训练与评估

如果机器环境为Linux+GPU，那么推荐使用paddle.distributed.launch启动模型训练脚本（tools/train.py）、评估脚本（tools/eval.py），可以更方便地启动多卡训练与评估。

2.1 模型训练

参考如下方式启动模型训练，paddle.distributed.launch通过设置selected_gpus指定GPU运行卡号：

# PaddleClas通过launch方式启动多卡多进程训练

export CUDA_VISIBLE_DEVICES=0,1,2,3

python -m paddle.distributed.launch \
    --selected_gpus="0,1,2,3" \
    tools/train.py \
        -c ./configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml

其中，-c用于指定配置文件的路径，可通过配置文件修改相关训练配置信息，也可以通过添加-o参数来更新配置：

python -m paddle.distributed.launch \
    --selected_gpus="0,1,2,3" \
    tools/train.py \
        -c ./configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml \
        -o pretrained_model="" \
        -o use_gpu=True

-o用于指定需要修改或者添加的参数，其中-o pretrained_model=""表示不使用预训练模型，-o use_gpu=True表示使用GPU进行训练。

输出日志信息的格式同上，详见1.1 模型训练。

2.2 模型微调

根据自己的数据集配置好配置文件之后，可以加载预训练模型进行微调，如下所示。

export CUDA_VISIBLE_DEVICES=0,1,2,3

python -m paddle.distributed.launch \
    --selected_gpus="0,1,2,3" \
    tools/train.py \
        -c ./configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml \
        -o pretrained_model="./pretrained_model/ \ MobileNetV3_large_x1_0_pretrained"

其中pretrained_model用于设置加载预训练权重文件的路径，使用时需要换成自己的预训练模型权重文件路径，也可以直接在配置文件中修改该路径。

30分钟玩转PaddleClas教程中包含大量模型微调的示例，可以参考该章节在特定的数据集上进行模型微调。

2.3 模型恢复训练

如果训练任务因为其他原因被终止，也可以加载断点权重文件继续训练。

export CUDA_VISIBLE_DEVICES=0,1,2,3

python -m paddle.distributed.launch \
    --selected_gpus="0,1,2,3" \
    tools/train.py \
        -c ./configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml \
        -o checkpoints="./output/ResNet/0/ppcls"
        -o last_epoch=5 \
        -o use_gpu=True

其中配置文件不需要做任何修改，只需要在训练时设置checkpoints参数与last_epoch参数即可，该参数表示加载的断点权重文件路径，使用该参数会同时加载保存的模型参数权重和学习率、优化器等信息，详见1.3 模型恢复训练。

2.4 模型评估

可以通过以下命令进行模型评估。

python -m paddle.distributed.launch \
    --selected_gpus="0" \
    tools/eval.py \
        -c ./configs/eval.yaml \
        -o ARCHITECTURE.name="MobileNetV3_large_x1_0" \
        -o pretrained_model=path_to_pretrained_models

参数说明详见1.4 模型评估。

3. 模型推理

PaddlePaddle提供三种方式进行预测推理，接下来介绍如何用预测引擎进行推理：首先，对训练好的模型进行转换：

python tools/export_model.py \
    --model=MobileNetV3_large_x1_0 \
    --pretrained_model=./output/MobileNetV3_large_x1_0/best_model/ppcls \
    --output_path=./exported_model

其中，参数--model用于指定模型名称，--pretrained_model用于指定模型文件路径，该路径仍无需包含模型文件后缀名（如1.3 模型恢复训练），--output_path用于指定转换后模型的存储路径。

注意：文件export_model.py:53中，shape参数为模型输入图像的shape，默认为224*224，请根据实际情况修改，如下所示：

50 # Please modify the 'shape' according to actual needs
51 @to_static(input_spec=[
52     paddle.static.InputSpec(
53         shape=[None, 3, 224, 224], dtype='float32')
54 ])

上述命令将生成模型结构文件（__model__）和模型权重文件（__variables__），然后可以使用预测引擎进行推理：

python tools/infer/predict.py \
    -i 图片路径 \
    -m __model__文件路径 \
    -p __variables__文件路径 \
    --use_gpu=True \
    --use_tensorrt=False

其中：

image_file(简写 i)：待预测的图片文件路径，如 ./test.jpeg
model_file(简写 m)：模型文件路径，如 ./MobileNetV3_large_x1_0/__model__
params_file(简写 p)：权重文件路径，如 ./MobileNetV3_large_x1_0/__variables__
use_tensorrt：是否使用 TesorRT 预测引擎，默认值：True
use_gpu：是否使用 GPU 预测，默认值：True

更多使用方法和推理方式请参考分类预测框架。

9.5 KiB Raw Blame History Unescape Escape