PaddleOCR/test1/table/README_ch.md

# 表格结构和内容预测

## 1. pipeline
表格的ocr主要包含三个模型
1. 单行文本检测-DB
2. 单行文本识别-CRNN
3. 表格结构和cell坐标预测-RARE

具体流程图如下

![tableocr_pipeline](../../doc/table/tableocr_pipeline.png)

1. 图片由单行文字检测检测模型到单行文字的坐标，然后送入识别模型拿到识别结果。
2. 图片由表格结构和cell坐标预测模型拿到表格的结构信息和单元格的坐标信息。
3. 由单行文字的坐标、识别结果和单元格的坐标一起组合出单元格的识别结果。
4. 单元格的识别结果和表格结构一起构造表格的html字符串。

## 2. 使用


### 2.1 训练
TBD

### 2.2 评估
先cd到PaddleOCR/ppstructure目录下

表格使用 TEDS(Tree-Edit-Distance-based Similarity) 作为模型的评估指标。在进行模型评估之前，需要将pipeline中的三个模型分别导出为inference模型(我们已经提供好)，还需要准备评估的gt， gt示例如下:
```json
{"PMC4289340_004_00.png": [["<html>", "<body>", "<table>", "<thead>", "<tr>", "<td>", "</td>", "<td>", "</td>", "<td>", "</td>", "</tr>", "</thead>", "<tbody>", "<tr>", "<td>", "</td>", "<td>", "</td>", "<td>", "</td>", "</tr>",  "</tbody>", "</table>", "</body>", "</html>"], [[1, 4, 29, 13], [137, 4, 161, 13], [215, 4, 236, 13], [1, 17, 30, 27], [137, 17, 147, 27], [215, 17, 225, 27]], [["<b>", "F", "e", "a", "t", "u", "r", "e", "</b>"], ["<b>", "G", "b", "3", " ", "+", "</b>"], ["<b>", "G", "b", "3", " ", "-", "</b>"], ["<b>", "P", "a", "t", "i", "e", "n", "t", "s", "</b>"], ["6", "2"], ["4", "5"]]]}
```
json 中，key为图片名，value为对于的gt，gt是一个由四个item组成的list，每个item分别为
1. 表格结构的html字符串list
2. 每个cell的坐标 (不包括cell里文字为空的)
3. 每个cell里的文字信息 (不包括cell里文字为空的)
4. 每个cell里的文字信息 (包括cell里文字为空的)

准备完成后使用如下命令进行评估，评估完成后会输出teds指标。
```python
python3 table/eval_table.py --det_model_dir=path/to/det_model_dir --rec_model_dir=path/to/rec_model_dir --table_model_dir=path/to/table_model_dir --image_dir=../doc/table/1.png --rec_char_dict_path=../ppocr/utils/dict/table_dict.txt --table_char_dict_path=../ppocr/utils/dict/table_structure_dict.txt --rec_char_type=EN --det_limit_side_len=736 --det_limit_type=min --gt_path=path/to/gt.json
```


### 2.3 预测
先cd到PaddleOCR/ppstructure目录下

```python
python3 table/predict_table.py --det_model_dir=path/to/det_model_dir --rec_model_dir=path/to/rec_model_dir --table_model_dir=path/to/table_model_dir --image_dir=../doc/table/1.png --rec_char_dict_path=../ppocr/utils/dict/table_dict.txt --table_char_dict_path=../ppocr/utils/dict/table_structure_dict.txt --rec_char_type=EN --det_limit_side_len=736 --det_limit_type=min --output ../output/table
```
运行完成后，每张图片的excel表格会保存到output字段指定的目录下
-												merge dygraph

											
										
										
											2021-06-10 14:24:59 +08:00
+								# 表格结构和内容预测
-												add en doc

											
										
										
											2021-06-11 14:17:59 +08:00
+								## 1. pipeline
-												merge dygraph

											
										
										
											2021-06-10 14:24:59 +08:00
+								表格的ocr主要包含三个模型
 . 单行文本检测-DB
 . 单行文本识别-CRNN
 . 表格结构和cell坐标预测-RARE
 								具体流程图如下
 								![tableocr_pipeline](../../doc/table/tableocr_pipeline.png)
-												add en doc

											
										
										
											2021-06-11 14:17:59 +08:00
+. 图片由单行文字检测检测模型到单行文字的坐标，然后送入识别模型拿到识别结果。
 . 图片由表格结构和cell坐标预测模型拿到表格的结构信息和单元格的坐标信息。
-												merge dygraph

											
										
										
											2021-06-10 14:24:59 +08:00
+. 由单行文字的坐标、识别结果和单元格的坐标一起组合出单元格的识别结果。
 . 单元格的识别结果和表格结构一起构造表格的html字符串。
-												add en doc

											
										
										
											2021-06-11 14:17:59 +08:00
+								## 2. 使用
-												merge dygraph

											
										
										
											2021-06-10 14:24:59 +08:00
-												add en doc

											
										
										
											2021-06-11 14:17:59 +08:00
+								### 2.1 训练
-												merge dygraph

											
										
										
											2021-06-10 14:24:59 +08:00
+								TBD
-												add en doc

											
										
										
											2021-06-11 14:17:59 +08:00
+								### 2.2 评估
-												merge dygraph

											
										
										
											2021-06-10 14:24:59 +08:00
+								先cd到PaddleOCR/ppstructure目录下
 								表格使用 TEDS(Tree-Edit-Distance-based Similarity) 作为模型的评估指标。在进行模型评估之前，需要将pipeline中的三个模型分别导出为inference模型(我们已经提供好)，还需要准备评估的gt， gt示例如下:
 								```json
 								{"PMC4289340_004_00.png": [["<html>", "<body>", "<table>", "<thead>", "<tr>", "<td>", "</td>", "<td>", "</td>", "<td>", "</td>", "</tr>", "</thead>", "<tbody>", "<tr>", "<td>", "</td>", "<td>", "</td>", "<td>", "</td>", "</tr>",  "</tbody>", "</table>", "</body>", "</html>"], [[1, 4, 29, 13], [137, 4, 161, 13], [215, 4, 236, 13], [1, 17, 30, 27], [137, 17, 147, 27], [215, 17, 225, 27]], [["<b>", "F", "e", "a", "t", "u", "r", "e", "</b>"], ["<b>", "G", "b", "3", " ", "+", "</b>"], ["<b>", "G", "b", "3", " ", "-", "</b>"], ["<b>", "P", "a", "t", "i", "e", "n", "t", "s", "</b>"], ["6", "2"], ["4", "5"]]]}
 								```
-												add en doc

											
										
										
											2021-06-11 14:17:59 +08:00
+								json 中，key为图片名，value为对于的gt，gt是一个由四个item组成的list，每个item分别为
 . 表格结构的html字符串list
 . 每个cell的坐标 (不包括cell里文字为空的)
 . 每个cell里的文字信息 (不包括cell里文字为空的)
 . 每个cell里的文字信息 (包括cell里文字为空的)
-												merge dygraph

											
										
										
											2021-06-10 14:24:59 +08:00
 								准备完成后使用如下命令进行评估，评估完成后会输出teds指标。
 								```python
-												rename structure 2 table

											
										
										
											2021-06-23 12:28:32 +08:00
+								python3 table/eval_table.py --det_model_dir=path/to/det_model_dir --rec_model_dir=path/to/rec_model_dir --table_model_dir=path/to/table_model_dir --image_dir=../doc/table/1.png --rec_char_dict_path=../ppocr/utils/dict/table_dict.txt --table_char_dict_path=../ppocr/utils/dict/table_structure_dict.txt --rec_char_type=EN --det_limit_side_len=736 --det_limit_type=min --gt_path=path/to/gt.json
-												merge dygraph

											
										
										
											2021-06-10 14:24:59 +08:00
+								```
-												add en doc

											
										
										
											2021-06-11 14:17:59 +08:00
+								### 2.3 预测
-												merge dygraph

											
										
										
											2021-06-10 14:24:59 +08:00
+								先cd到PaddleOCR/ppstructure目录下
 								```python
-												rename structure 2 table

											
										
										
											2021-06-23 12:28:32 +08:00
+								python3 table/predict_table.py --det_model_dir=path/to/det_model_dir --rec_model_dir=path/to/rec_model_dir --table_model_dir=path/to/table_model_dir --image_dir=../doc/table/1.png --rec_char_dict_path=../ppocr/utils/dict/table_dict.txt --table_char_dict_path=../ppocr/utils/dict/table_structure_dict.txt --rec_char_type=EN --det_limit_side_len=736 --det_limit_type=min --output ../output/table
-												merge dygraph

											
										
										
											2021-06-10 14:24:59 +08:00
+								```
-												opt doc

											
										
										
											2021-06-23 12:45:05 +08:00
+								运行完成后，每张图片的excel表格会保存到output字段指定的目录下