Add ACT/FullQuant Demo

pull/2291/head
RachelXu7 2022-09-15 09:24:28 +00:00
parent 3310a8be5b
commit 35b0ba5058
3 changed files with 4 additions and 4 deletions

View File

@ -82,7 +82,7 @@ python run.py --save_dir='./save_quant_mobilev3/' --config_path='./configs/mbv3_
**多卡启动**
图像分类训练任务中往往包含大量训练数据以ImageNet为例ImageNet22k数据集中包含1400W张图像,如果使用单卡训练,会非常耗时,使用分布式训练可以达到几乎线性的加速比。
图像分类训练任务中往往包含大量训练数据以ImageNet-1k为例,如果使用单卡训练,会非常耗时,使用分布式训练可以达到几乎线性的加速比。
```shell
export CUDA_VISIBLE_DEVICES=0,1,2,3
@ -95,7 +95,7 @@ python -m paddle.distributed.launch run.py --save_dir='./save_quant_mobilev3/' -
加载训练好的模型进行量化训练时,一般`learning rate`可比原始训练的`learning rate`小10倍。
## 4. 配置文件
## 4. 配置文件介绍
自动压缩相关配置主要有:
- 压缩策略配置如量化Quantization知识蒸馏Distillation结构化稀疏ChannelPruneASP半结构化稀疏ASPPrune 非结构化稀疏UnstructurePrune
- 训练超参配置TrainConfig主要设置学习率、训练次数epochs和优化器等。

View File

@ -27,12 +27,12 @@ Quantization:
TrainConfig:
epochs: 2
eval_iter: 500
eval_iter: 5000
learning_rate: 0.001
optimizer_builder:
optimizer:
type: Momentum
weight_decay: 0.000005
weight_decay: 0.00005
origin_metric: 0.7532