4.7 KiB
4.7 KiB
MMPretrain 中的约定
模型命名规则
MMPretrain 按照以下风格进行模型命名，代码库的贡献者需要遵循相同的命名规则。模型名总体分为五个部分：算法信息，模块信息，预训练信息，训练信息和数据信息。逻辑上属于不同部分的单词之间用下划线 '_' 连接，同一部分有多个单词用短横线 '-' 连接。
{algorithm info}_{module info}_{pretrain info}_{training info}_{data info}
algorithm info（可选）：算法信息，表示用以训练该模型的主要算法，如 MAE、BEiT 等module info：模块信息，主要包含模型的主干网络名称，如 resnet、vit 等pretrain info（可选）：预训练信息，比如预训练模型是在 ImageNet-21k 数据集上训练的等training info：训练信息，训练策略设置，包括 batch size，schedule 以及数据增强等；data info：数据信息，数据集名称、模态、输入尺寸等，如 imagenet, cifar 等；
算法信息
指用以训练该模型的算法名称，例如：
simclrmocov2eva-mae-style
使用监督图像分类任务训练的模型可以省略这个字段。
模块信息
指模型的结构信息，一般主要包含模型的主干网络结构，neck 和 head 信息一般被省略。例如：
resnet50vit-base-p16swin-base
预训练信息
如果该模型是在预训练模型基础上，通过微调获得的，我们需要记录预训练模型的一些信息。例如：
- 预训练模型的来源：
fb、openai等。 - 训练预训练模型的方法：
clip、mae、distill等。 - 用于预训练的数据集：
in21k、laion2b等（in1k可以省略） - 训练时长：
300e、1600e等。
并非所有信息都是必要的，只需要选择用以区分不同的预训练模型的信息即可。
在此字段的末尾，使用 -pre 作为标识符，例如 mae-in21k-pre。
训练信息
训练策略的一些设置，包括训练类型、 batch size、 lr schedule、 数据增强以及特殊的损失函数等等,比如:
Batch size 信息：
- 格式为
{gpu x batch_per_gpu}, 如8xb32
训练类型(主要见于 transformer 网络，如 ViT 算法，这类算法通常分为预训练和微调两种模式):
ft: Finetune config，用于微调的配置文件pt: Pretrain config，用于预训练的配置文件
训练策略信息，训练策略以复现配置文件为基础，此基础不必标注训练策略。但如果在此基础上进行改进，则需注明训练策略，按照应用点位顺序排列，如：{pipeline aug}-{train aug}-{loss trick}-{scheduler}-{epochs}
coslr-200e: 使用 cosine scheduler, 训练 200 个 epochautoaug-mixup-lbs-coslr-50e: 使用了autoaug、mixup、label smooth、cosine scheduler, 训练了 50 个轮次
如果模型是从官方仓库等第三方仓库转换过来的，训练信息可以省略，使用 3rdparty 作为标识符。
数据信息
in1k:ImageNet1k数据集，默认使用224x224大小的图片in21k:ImageNet21k数据集，有些地方也称为ImageNet22k数据集，默认使用224x224大小的图片in1k-384px: 表示训练的输出图片大小为384x384cifar100
模型命名案例
vit-base-p32_clip-openai-pre_3rdparty_in1k
vit-base-p32: 模块信息clip-openai-pre：预训练信息clip：预训练方法是 clipopenai：预训练模型来自 OpenAIpre：预训练标识符
3rdparty：模型是从第三方仓库转换而来的in1k：数据集信息。该模型是从 ImageNet-1k 数据集训练而来的，输入大小为224x224
beit_beit-base-p16_8xb256-amp-coslr-300e_in1k
beit: 算法信息beit-base：模块信息，由于主干网络来自 BEiT 中提出的修改版 ViT，主干网络名称也是beit8xb256-amp-coslr-300e：训练信息8xb256：使用 8 个 GPU，每个 GPU 的批量大小为 256amp：使用自动混合精度训练coslr：使用余弦退火学习率调度器300e：训练 300 个 epoch
in1k：数据集信息。该模型是从 ImageNet-1k 数据集训练而来的，输入大小为224x224
配置文件命名规则
配置文件的命名与模型名称几乎相同，有几点不同：
- 训练信息是必要的，不能是
3rdparty - 如果配置文件只包含主干网络设置，既没有头部设置也没有数据集设置，我们将其命名为
{module info}_headless.py。这种配置文件通常用于大型数据集上的第三方预训练模型。
权重命名规则
权重的命名主要包括模型名称，日期和哈希值。
{model_name}_{date}-{hash}.pth