mirror of https://github.com/open-mmlab/mmclassification.git synced 2025-06-03 21:53:55 +08:00

[Docs] rearrange docs and add multiple translation docs. (#320 )

* Move tools docs to `tools` folder.

* Fix link error in model_serving.md

* Fix typo in CONTRIBUTING.md

* Add Chinese translation of CONTRIBUTING.md

* Add translation of `onnx2tensorrt.md`, `pytorch2onnx.md`,
`model_serving.md` and `pytorch2torchscript.md`.

* Improve tools docs.

* Add docs about installing mmcls via mim.

2021-06-30 20:53:09 +08:00

1.6 KiB

Raw Blame History

模型部署至 TorchServe

为了使用 TorchServe 部署一个 MMClassification 模型，需要进行以下几步：

1. 转换 MMClassification 模型至 TorchServe

python tools/deployment/mmcls2torchserve.py ${CONFIG_FILE} ${CHECKPOINT_FILE} \
--output-folder ${MODEL_STORE} \
--model-name ${MODEL_NAME}

注意: ${MODEL_STORE} 需要是一个文件夹的绝对路径。

2. 构建 `mmcls-serve` docker 镜像

docker build -t mmcls-serve:latest docker/serve/

3. 运行 `mmcls-serve` 镜像

请参考官方文档基于 docker 运行 TorchServe.

为了使镜像能够使用 GPU 资源，需要安装 nvidia-docker。之后可以传递 --gpus 参数以在 GPU 上运。

示例：

docker run --rm \
--cpus 8 \
--gpus device=0 \
-p8080:8080 -p8081:8081 -p8082:8082 \
--mount type=bind,source=$MODEL_STORE,target=/home/model-server/model-store \
mmcls-serve:latest

参考该文档了解关于推理 (8080)，管理 (8081) 和指标 (8082) 等 API 的信息。

4. 测试部署

curl -O https://raw.githubusercontent.com/pytorch/serve/master/docs/images/3dogs.jpg
curl http://127.0.0.1:8080/predictions/${MODEL_NAME} -T 3dogs.jpg

您应该获得类似于以下内容的响应：

{
  "pred_label": 245,
  "pred_score": 0.5536593794822693,
  "pred_class": "French bulldog"
}

1.6 KiB Raw Blame History