#### 数据集配置
主要用于配置两个方向：
- 数据集的图像与标注文件的位置。
- 数据增强相关的配置。在 OCR 领域中，数据增强通常与模型强相关。
更多参数配置可以参考[数据基类](#TODO)。
数据集字段的命名规则在 MMOCR 中为：
```Python
{数据集名称缩写}_{算法任务}_{训练/测试} = dict(...)
```
- 数据集缩写：见 [数据集名称对应表](#TODO)
- 算法任务：文本检测-det，文字识别-rec，关键信息提取-kie
- 训练/测试：数据集用于训练还是测试
以识别为例，使用 Syn90k 作为训练集，以 icdar2013 和 icdar2015 作为测试集配置如下：
```Python
# 识别数据集配置
mj_rec_train = dict(
type='OCRDataset',
data_root='data/rec/Syn90k/',
data_prefix=dict(img_path='mnt/ramdisk/max/90kDICT32px'),
ann_file='train_labels.json',
test_mode=False,
pipeline=None)
ic13_rec_test = dict(
type='OCRDataset',
data_root='data/rec/icdar_2013/',
data_prefix=dict(img_path='Challenge2_Test_Task3_Images/'),
ann_file='test_labels.json',
test_mode=True,
pipeline=None)
ic15_rec_test = dict(
type='OCRDataset',
data_root='data/rec/icdar_2015/',
data_prefix=dict(img_path='ch4_test_word_images_gt/'),
ann_file='test_labels.json',
test_mode=True,
pipeline=None)
```
#### 数据流水线配置
MMOCR 中，数据集的构建与数据准备是相互解耦的。也就是说，`OCRDataset` 等数据集构建类负责完成标注文件的读取与解析功能；而数据变换方法（Data Transforms）则进一步实现了数据读取、数据增强、数据格式化等相关功能。
同时一般情况下训练和测试会存在不同的增强策略，因此一般会存在训练流水线（train_pipeline）和测试流水线（test_pipeline）。
训练流水线的数据增强流程通常为：数据读取(LoadImageFromFile)->标注信息读取(LoadXXXAnntation)->数据增强->数据格式化(PackXXXInputs)。
测试流水线的数据增强流程通常为：数据读取(LoadImageFromFile)->数据增强->标注信息读取(LoadXXXAnntation)->数据格式化(PackXXXInputs)。
更多信息可以参考[数据流水线](../basic_concepts/transforms.md)
由于 OCR 任务的特殊性，一般情况下不同模型有不同数据增强的方式，相同模型在不同数据集一般也会有不同的数据增强方式。以 CRNN 为例：
```Python
# 数据增强
file_client_args = dict(backend='disk')
train_pipeline = [
dict(
type='LoadImageFromFile',
color_type='grayscale',
file_client_args=dict(backend='disk'),
ignore_empty=True,
min_size=5),
dict(type='LoadOCRAnnotations', with_text=True),
dict(type='Resize', scale=(100, 32), keep_ratio=False),
dict(
type='PackTextRecogInputs',
meta_keys=('img_path', 'ori_shape', 'img_shape', 'valid_ratio'))
]
test_pipeline = [
dict(
type='LoadImageFromFile',
color_type='grayscale',
file_client_args=dict(backend='disk')),
dict(
type='RescaleToHeight',
height=32,
min_width=32,
max_width=None,
width_divisor=16),
dict(type='LoadOCRAnnotations', with_text=True),
dict(
type='PackTextRecogInputs',
meta_keys=('img_path', 'ori_shape', 'img_shape', 'valid_ratio'))
]
```
#### Dataloader 配置
主要为构造数据集加载器(dataloader)所需的配置信息，更多教程看参考[PyTorch 数据加载器](torch.data)。
```Python
# Dataloader 部分
train_dataloader = dict(
batch_size=64,
num_workers=8,
persistent_workers=True,
sampler=dict(type='DefaultSampler', shuffle=True),
dataset=dict(
type='ConcatDataset',
datasets=[mj_rec_train],
pipeline=train_pipeline))
val_dataloader = dict(
batch_size=1,
num_workers=4,
persistent_workers=True,
drop_last=False,
sampler=dict(type='DefaultSampler', shuffle=False),
dataset=dict(
type='ConcatDataset',
datasets=[ic13_rec_test，ic15_rec_test],
pipeline=test_pipeline))
test_dataloader = val_dataloader
```
### 模型相关配置
#### 网络配置
用于配置模型的网络结构，不同的算法任务有不同的网络结构，
##### 文本检测
文本检测主要包含几个部分:
- `data_preprocessor`: [数据处理器](mmocr.models.textdet.data_preprocessors.TextDetDataPreprocessor)
- `backbone`: 特征提取网络
- `neck`: 颈网络配置
- `det_head`: 检测头网络配置
- `module_loss`: 模型损失函数配置
- `postprocessor`: 模型预测结果后处理配置
我们以 DBNet 为例，介绍文字检测中模型配置：
```Python
model = dict(
type='DBNet',
data_preprocessor=dict(
type='TextDetDataPreprocessor',
mean=[123.675, 116.28, 103.53],
std=[58.395, 57.12, 57.375],
bgr_to_rgb=True,
pad_size_divisor=32)
backbone=dict(
type='mmdet.ResNet',
depth=18,
num_stages=4,
out_indices=(0, 1, 2, 3),
frozen_stages=-1,
norm_cfg=dict(type='BN', requires_grad=True),
init_cfg=dict(type='Pretrained', checkpoint='torchvision://resnet18'),
norm_eval=False,
style='caffe'),
neck=dict(
type='FPNC', in_channels=[64, 128, 256, 512], lateral_channels=256),
det_head=dict(
type='DBHead',
in_channels=256,
module_loss=dict(type='DBModuleLoss'),
postprocessor=dict(type='DBPostprocessor', text_repr_type='quad')))
```
##### 文本识别
文本识别主要包含：
- `data_processor`: [数据预处理配置](mmocr.models.textrec.data_processors.TextRecDataPreprocessor)
- `preprocessor`: 网络预处理配置，如TPS等
- `backbone`:特征提取配置
- `encoder`: 编码器配置
- `decoder`: 解码器配置
- `module_loss`: 解码器损失
- `postprocessor`: 解码器后处理
- `dictionary`: 字典配置
以 CRNN 为例：
```Python
# 模型部分
model = dict(
type='CRNN',
data_preprocessor=dict(
type='TextRecogDataPreprocessor', mean=[127], std=[127])
preprocessor=None,
backbone=dict(type='VeryDeepVgg', leaky_relu=False, input_channels=1),
encoder=None,
decoder=dict(
type='CRNNDecoder',
in_channels=512,
rnn_flag=True,
module_loss=dict(type='CTCModuleLoss', letter_case='lower'),
postprocessor=dict(type='CTCPostProcessor'),
dictionary=dict(
type='Dictionary',
dict_file='dicts/lower_english_digits.txt',
with_padding=True)))
```
#### 权重加载配置
可以通过 `load_from` 参数加载检查点（checkpoint）文件中的模型权重，只需要将 `load_from` 参数设置为检查点文件的路径即可。
用户也可通过设置 `resume=True` ，加载检查点中的训练状态信息来恢复训练。当 `load_from` 和 `resume=True` 同时被设置时，执行器将加载 `load_from` 路径对应的检查点文件中的训练状态。
如果仅设置 `resume=True`，执行器将会尝试从 `work_dir` 文件夹中寻找并读取最新的检查点文件
```Python
load_from = None # 加载checkpoint的路径
resume = False # 是否 resume
```
更多可以参考[加载权重或恢复训练](https://github.com/open-mmlab/mmengine/blob/main/docs/zh_cn/tutorials/runner.md)与[OCR进阶技巧-断点恢复训练](https://mmocr.readthedocs.io/zh_CN/dev-1.x/user_guides/train_test.html#id11)。
### 评测配置
在模型验证和模型测试中，通常需要对模型精度做定量评测。MMOCR 通过评测指标(Metric)和评测器(Evaluator)来完成这一功能。更多可以参考[评测指标（Metric）和评测器（Evaluator）](https://github.com/open-mmlab/mmengine/blob/main/docs/zh_cn/tutorials/evaluation.md)
评测部分包含两个部分，评测器和评测指标。接下来我们分部分展开讲解。
#### 评测器
评测器主要用来管理多个数据集以及多个 `Metric`。针对单数据集与多数据集情况，评测器分为了单数据集评测器与多数据集评测器，这两种评测器均可管理多个 `Metric`.
单数据集评测器配置如下：
```Python
# 单个数据集 单个 Metric 情况
val_evaluator = dict(
type='Evaluator',
metrics=dict())
# 单个数据集 多个 Metric 情况
val_evaluator = dict(
type='Evaluator',
metrics=[...])
```
在实现中默认为单数据集评测器，因此对单数据集评测情况下，一般情况下只需配置评测器，即为
```Python
# 单个数据集 单个 Metric 情况
val_evaluator = dict()
# 单个数据集 多个 Metric 情况
val_evaluator = [...]
```
多数据集评测与单数据集评测存在两个位置上的不同：评测器类别与前缀。评测器类别必须为`MultiDatasetsEvaluator`且不能省略，前缀主要用来区分不同数据集在相同评测指标下的结果，请参考[多数据集评测](../basic_concepts/evaluation.md)。
假设我们需要在 IC13 和 IC15 情况下测试精度，则配置如下：
```Python
# 多个数据集，单个 Metric 情况
val_evaluator = dict(
type='MultiDatasetsEvaluator',
metrics=dict(),
dataset_prefixes=['IC13', 'IC15'])
# 多个数据集，多个 Metric 情况
val_evaluator = dict(
type='MultiDatasetsEvaluator',
metrics=[...],
dataset_prefixes=['IC13', 'IC15'])
```
#### 评测指标
评测指标指不同度量精度的方法，同时可以多个评测指标共同使用，更多评测指标原理参考[评测指标](https://github.com/open-mmlab/mmengine/blob/main/docs/zh_cn/tutorials/evaluation.md)，在 MMOCR 中不同算法任务有不同的评测指标。
文字检测: `HmeanIOU`
文字识别: `WordMetric`，`CharMetric`， `OneMinusNEDMetric`
关键信息提取: `F1Metric`
以文本检测为例说明，在单数据集评测情况下，使用单个 `Metric`：
```Python
val_evaluator = dict(type='HmeanIOUMetric')
```
以文本识别为例，多数据集使用多个 `Metric` 评测：
```Python
# 评测部分
val_evaluator = dict(
type='MultiDatasetsEvaluator',
metrics=[
dict(
type='WordMetric',
mode=['exact', 'ignore_case', 'ignore_case_symbol']),
dict(type='CharMetric')
],
dataset_prefixes=['IC13', 'IC15'])
test_evaluator = val_evaluator
```
### 可视化配置
每个任务配置该任务对应的可视化器。可视化器主要用于用户模型中间结果的可视化或存储，及 val 和 test 预测结果的可视化。同时可视化的结果可以通过可视化后端储存到不同的后端，比如 Wandb，TensorBoard 等。常用修改操作可见[可视化](visualization.md)。
文本检测的可视化默认配置如下：
```Python
vis_backends = [dict(type='LocalVisBackend')]
visualizer = dict(
type='TextDetLocalVisualizer', # 不同任务有不同的可视化器
vis_backends=vis_backends,
name='visualizer')
```
## 目录结构
`MMOCR` 所有配置文件都放置在 `configs` 文件夹下。为了避免配置文件过长，同时提高配置文件的可复用性以及清晰性，MMOCR 利用 Config 文件的继承特性，将配置内容的八个部分做了拆分。因为每部分均与算法任务相关，因此 MMOCR 对每个任务在 Config 中提供了一个任务文件夹，即 `textdet` (文字检测任务)、`textrec` (文字识别任务)、`kie` (关键信息提取)。同时各个任务算法配置文件夹下进一步划分为两个部分：`_base_` 文件夹与诸多算法文件夹：
1. `_base_` 文件夹下主要存放与具体算法无关的一些通用配置文件，各部分依目录分为常用的数据集、常用的训练策略以及通用的运行配置。
2. 算法配置文件夹中存放与算法强相关的配置项。算法配置文件夹主要分为两部分：
1. 算法的模型与数据流水线：OCR 领域中一般情况下数据增强策略与算法强相关，因此模型与数据流水线通常置于统一位置。
2. 算法在制定数据集上的特定配置：用于训练和测试的配置，将分散在不同位置的配置汇总。同时修改或配置一些在该数据集特有的配置比如batch size以及一些可能修改如数据流水线，训练策略等
最后的将配置内容中的各个模块分布在不同配置文件中，最终各配置文件内容如下:
最终目录结构如下：
```Python
config
├── textdet
│ ├── _base_
│ │ ├── datasets
│ │ │ ├── icdar2015.py
│ │ │ ├── icdar2017.py
│ │ │ └── totaltext.py
│ │ ├── schedules
│ │ │ └── schedule_adam_600e.py
│ │ └── default_runtime.py
│ └── dbnet
│ ├── _base_dbnet_resnet18_fpnc.py
│ └── dbnet_resnet18_fpnc_1200e_icdar2015.py
├── textrecog
│ ├── _base_
│ │ ├── datasets
│ │ │ ├── icdar2015.py
│ │ │ ├── icdar2017.py
│ │ │ └── totaltext.py
│ │ ├── schedules
│ │ │ └── schedule_adam_base.py
│ │ └── default_runtime.py
│ └── crnn
│ ├── _base_crnn_mini-vgg.py
│ └── crnn_mini-vgg_5e_mj.py
└── kie
├── _base_
│ ├──datasets
│ └── default_runtime.py
└── sgdmr
└── sdmgr_novisual_60e_wildreceipt_openset.py
```
## 配置文件以及权重命名规则
MMOCR 按照以下风格进行配置文件命名，代码库的贡献者需要遵循相同的命名规则。文件名总体分为四部分：算法信息，模块信息，训练信息和数据信息。逻辑上属于不同部分的单词之间用下划线 `'_'` 连接，同一部分有多个单词用短横线 `'-'` 连接。
```Python
{{算法信息}}_{{模块信息}}_{{训练信息}}_{{数据信息}}.py
```
- 算法信息(algorithm info)：算法名称，如 DBNet，CRNN 等
- 模块信息(module info)：按照数据流的顺序列举一些中间的模块，其内容依赖于算法任务，同时为了避免Config过长，会省略一些与模型强相关的模块。下面举例说明：
- 对于文字检测任务和关键信息提取任务:
```Python
{{算法信息}}_{{backbone}}_{{neck}}_{{head}}_{{训练信息}}_{{数据信息}}.py
```
一般情况下 head 位置一般为算法专有的 head，因此一般省略。
- 对于文本识别任务：
```Python
{{算法信息}}_{{backbone}}_{{encoder}}_{{decoder}}_{{训练信息}}_{{数据信息}}.py
```
一般情况下 encode 和 decoder 位置一般为算法专有，因此一般省略。
- 训练信息(training info)：训练策略的一些设置，包括 batch size，schedule 等
- 数据信息(data info)：数据集名称、模态、输入尺寸等，如 icdar2015，synthtext 等