mmclassification/README_zh-CN.md

 

OpenMMLab 官网 ^HOT      OpenMMLab 开放平台 ^{TRY IT OUT}

 

📘 中文文档 | 🛠️ 安装教程 | 👀 模型库 | 🆕 更新日志 | 🤔 报告问题

English | 简体中文

Introduction

MMPreTrain 是一款基于 PyTorch 的开源深度学习预训练工具箱，是 OpenMMLab 项目的成员之一

主分支代码目前支持 PyTorch 1.8 以上的版本。

主要特性

• 支持多样的主干网络与预训练模型
• 支持多种训练策略（有监督学习，无监督学习，多模态学习等）
• 提供多种训练技巧
• 大量的训练配置文件
• 高效率和高可扩展性
• 功能强大的工具箱，有助于模型分析和实验
• 支持多种开箱即用的推理任务
  • 图像分类
  • 图像描述（Image Caption）
  • 视觉问答（Visual Question Answering）
  • 视觉定位（Visual Grounding）
  • 检索（图搜图，图搜文，文搜图）

https://github.com/open-mmlab/mmpretrain/assets/26739999/e4dcd3a2-f895-4d1b-a351-fbc74a04e904

更新日志

🌟 2023/4/7 发布了 v1.0.0rc7 版本

• 整和来自 MMSelfSup 的自监督学习算法，例如 MAE, BEiT 等
• 支持了 RIFormer，简单但有效的视觉主干网络，却移除了 token mixer
• 支持 t-SNE 可视化
• 重构数据管道可视化

之前版本更新内容

• 支持了 LeViT, XCiT, ViG, ConvNeXt-V2, EVA, RevViT, EfficientnetV2, CLIP, TinyViT 和 MixMIM 等骨干网络结构
• 复现了 ConvNeXt 和 RepVGG 的训练精度。
• 支持混淆矩阵计算和画图。
• 支持了 多任务 训练和测试。
• 支持了测试时增强（TTA）。
• 更新了主要 API 接口，用以方便地获取 MMPreTrain 中预定义的模型。
• 重构 BEiT 主干网络结构，并支持 v1 和 v2 模型的推理。

这个版本引入一个全新的，可扩展性强的训练和测试引擎，但目前仍在开发中。欢迎根据 文档 进行试用。

同时，新版本中存在一些与旧版本不兼容的修改。请查看 迁移文档 来详细了解这些变动。

发布历史和更新细节请参考 更新日志。

安装

以下是安装的简要步骤：

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip3 install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

更详细的步骤请参考 安装指南 进行安装。

如果需要多模态模型，请使用如下方式安装额外的依赖：

mim install -e ".[multimodal]"

基础教程

我们为新用户提供了一系列基础教程：

• 学习配置文件
• 准备数据集
• 使用现有模型推理
• 训练
• 测试
• 下游任务

关于更多的信息，请查阅我们的 相关文档。

模型库

相关结果和模型可在 模型库 中获得。

概览

支持的主干网络	自监督学习	其它
VGG ResNet ResNeXt SE-ResNet SE-ResNeXt RegNet ShuffleNet V1 ShuffleNet V2 MobileNet V2 MobileNet V3 Swin-Transformer Swin-Transformer V2 RepVGG Vision-Transformer Transformer-in-Transformer Res2Net MLP-Mixer DeiT DeiT-3 Conformer T2T-ViT Twins EfficientNet EdgeNeXt ConvNeXt HRNet VAN ConvMixer CSPNet PoolFormer Inception V3 MobileOne EfficientFormer MViT HorNet MobileViT DaViT RepLKNet BEiT MixMIM RevViT ConvNeXt V2 ViG XCiT LeViT RIFormer GLIP	MoCo V1 (CVPR'2020) SimCLR (ICML'2020) MoCo V2 (arXiv'2020) BYOL (NeurIPS'2020) SwAV (NeurIPS'2020) DenseCL (CVPR'2021) SimSiam (CVPR'2021) Barlow Twins (ICML'2021) MoCo V3 (ICCV'2021) BEiT (ICLR'2022) MAE (CVPR'2022) SimMIM (CVPR'2022) MaskFeat (CVPR'2022) CAE (arXiv'2022) MILAN (arXiv'2022) BEiT V2 (arXiv'2022) EVA (CVPR'2023) MixMIM (arXiv'2022)	图像检索任务： ArcFace (CVPR'2019) 训练和测试 Tips: RandAug AutoAug RepeatAugSampler TTA ...

参与贡献

我们非常欢迎任何有助于提升 MMPreTrain 的贡献，请参考 贡献指南 来了解如何参与贡献。

致谢

MMPreTrain 是一款由不同学校和公司共同贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者，以及提供宝贵反馈的用户。 我们希望该工具箱和基准测试可以为社区提供灵活的代码工具，供用户复现现有算法并开发自己的新模型，从而不断为开源社区提供贡献。

引用

如果你在研究中使用了本项目的代码或者性能基准，请参考如下 bibtex 引用 MMPreTrain。

@misc{2023mmpretrain,
    title={OpenMMLab's Pre-training Toolbox and Benchmark},
    author={MMPreTrain Contributors},
    howpublished = {\url{https://github.com/open-mmlab/mmpretrain}},
    year={2023}
}

许可证

该项目开源自 Apache 2.0 license.

OpenMMLab 的其他项目

• MMEngine: OpenMMLab 深度学习模型训练基础库
• MMCV: OpenMMLab 计算机视觉基础库
• MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
• MMEval: 统一开放的跨框架算法评测库
• MMPreTrain: OpenMMLab 深度学习预训练工具箱
• MMDetection: OpenMMLab 目标检测工具箱
• MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
• MMRotate: OpenMMLab 旋转框检测工具箱与测试基准
• MMYOLO: OpenMMLab YOLO 系列工具箱与测试基准
• MMSegmentation: OpenMMLab 语义分割工具箱
• MMOCR: OpenMMLab 全流程文字检测识别理解工具包
• MMPose: OpenMMLab 姿态估计工具箱
• MMHuman3D: OpenMMLab 人体参数化模型工具箱与测试基准
• MMSelfSup: OpenMMLab 自监督学习工具箱与测试基准
• MMRazor: OpenMMLab 模型压缩工具箱与测试基准
• MMFewShot: OpenMMLab 少样本学习工具箱与测试基准
• MMAction2: OpenMMLab 新一代视频理解工具箱
• MMTracking: OpenMMLab 一体化视频目标感知平台
• MMFlow: OpenMMLab 光流估计工具箱与测试基准
• MMagic: OpenMMLab 新一代人工智能内容生成（AIGC）工具箱
• MMGeneration: OpenMMLab 图片视频生成模型工具箱
• MMDeploy: OpenMMLab 模型部署框架
• Playground: 收集和展示 OpenMMLab 相关的前沿、有趣的社区项目

欢迎加入 OpenMMLab 社区

扫描下方的二维码可关注 OpenMMLab 团队的 知乎官方账号，加入 OpenMMLab 团队的 官方交流 QQ 群 或联络 OpenMMLab 官方微信小助手

我们会在 OpenMMLab 社区为大家

• 📢 分享 AI 框架的前沿核心技术
• 💻 解读 PyTorch 常用模块源码
• 📰 发布 OpenMMLab 的相关新闻
• 🚀 介绍 OpenMMLab 开发的前沿算法
• 🏃 获取更高效的问题答疑和意见反馈
• 🔥 提供与各行各业开发者充分交流的平台

干货满满 📘，等你来撩 💗，OpenMMLab 社区期待您的加入 👬