mmdeploy/docs/zh_cn/01-how-to-build/linux-x86_64.md

Linux-x86_64 下构建方式

• Linux-x86_64 下构建方式
  • 源码安装
    • 安装构建和编译工具链
    • 安装依赖包
      • 安装 MMDeploy Converter 依赖
      • 安装 MMDeploy SDK 依赖
      • 安装推理引擎
    • 编译 MMDeploy
      • 编译选项说明
      • 编译安装 Model Converter
        • 编译自定义算子
        • 安装 Model Converter
      • 编译 SDK 和 Demos

---

源码安装

安装构建和编译工具链

• cmake

  保证 cmake的版本 >= 3.14.0。如果不是，可以参考以下命令安装 3.20.0 版本。如需获取其他版本，请参考这里。

  wget https://github.com/Kitware/CMake/releases/download/v3.20.0/cmake-3.20.0-linux-x86_64.tar.gz
  tar -xzvf cmake-3.20.0-linux-x86_64.tar.gz
  sudo ln -sf $(pwd)/cmake-3.20.0-linux-x86_64/bin/* /usr/bin/
  

• GCC 7+

  MMDeploy SDK 使用了 C++17 特性，因此需要安装gcc 7+以上的版本。

  # 如果 Ubuntu 版本 < 18.04，需要加入仓库
  sudo add-apt-repository ppa:ubuntu-toolchain-r/test
  sudo apt-get update
  sudo apt-get install gcc-7
  sudo apt-get install g++-7
  

安装依赖包

安装 MMDeploy Converter 依赖

名称	安装说明
conda	请参考官方说明安装 conda。 通过 conda 创建并激活 Python 环境。 conda create -n mmdeploy python=3.7 -y conda activate mmdeploy
PyTorch (>=1.8.0)	安装 PyTorch，要求版本是 torch>=1.8.0。可查看官网获取更多详细的安装教程。请确保 PyTorch 要求的 CUDA 版本和您主机的 CUDA 版本是一致 conda install pytorch==1.8.0 torchvision==0.9.0 cudatoolkit=11.1 -c pytorch -c conda-forge
mmcv-full	参考如下命令安装 mmcv-full。更多安装方式，可查看 mmcv 官网 export cu_version=cu111 # cuda 11.1 export torch_version=torch1.8 pip install mmcv-full==1.4.0 -f https://download.openmmlab.com/mmcv/dist/${cu_version}/${torch_version}/index.html

安装 MMDeploy SDK 依赖

如果您只对模型转换感兴趣，那么可以跳过本章节。

名称	安装说明
OpenCV (>=3.0)	在 Ubuntu 18.04 及以上版本 sudo apt-get install libopencv-dev 在 Ubuntu 16.04 中，需要源码安装 OpenCV。您可以参考此处.
pplcv	pplcv 是 openPPL 开发的高性能图像处理库。 此依赖项为可选项，只有在 cuda 平台下，才需安装。 git clone https://github.com/openppl-public/ppl.cv.git cd ppl.cv export PPLCV_DIR=$(pwd) git checkout tags/v0.7.0 -b v0.7.0 ./build.sh cuda

安装推理引擎

MMDeploy 的 Model Converter 和 SDK 共享推理引擎。您可以参考下文，选择自己感兴趣的推理引擎安装。

名称	安装包	安装说明
ONNXRuntime	onnxruntime (>=1.8.1)	1. 安装 onnxruntime 的 python 包 pip install onnxruntime==1.8.1 2. 从这里下载 onnxruntime 的预编译包。参考如下命令，解压压缩包并设置环境变量 wget https://github.com/microsoft/onnxruntime/releases/download/v1.8.1/onnxruntime-linux-x64-1.8.1.tgz tar -zxvf onnxruntime-linux-x64-1.8.1.tgz cd onnxruntime-linux-x64-1.8.1 export ONNXRUNTIME_DIR=$(pwd) export LD_LIBRARY_PATH=$ONNXRUNTIME_DIR/lib:$LD_LIBRARY_PATH
TensorRT	TensorRT	1. 登录 NVIDIA 官网，从这里选取并下载 TensorRT tar 包。要保证它和您机器的 CPU 架构以及 CUDA 版本是匹配的。 您可以参考这份指南安装 TensorRT。 1. 这里也有一份 TensorRT 8.2 GA Update 2 在 Linux x86_64 和 CUDA 11.x 下的安装示例，供您参考。首先，点击此处下载 CUDA 11.x TensorRT 8.2.3.0。然后，根据如下命令，安装并配置 TensorRT 以及相关依赖。 cd /the/path/of/tensorrt/tar/gz/file tar -zxvf TensorRT-8.2.3.0.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz pip install TensorRT-8.2.3.0/python/tensorrt-8.2.3.0-cp37-none-linux_x86_64.whl export TENSORRT_DIR=$(pwd)/TensorRT-8.2.3.0 export LD_LIBRARY_PATH=$TENSORRT_DIR/lib:$LD_LIBRARY_PATH pip install pycuda
	cuDNN	1. 从 cuDNN Archive 选择和您环境中 CPU 架构、CUDA 版本以及 TensorRT 版本配套的 cuDNN。以前文 TensorRT 安装说明为例，它需要 cudnn8.2。因此，可以下载 CUDA 11.x cuDNN 8.2 2. 解压压缩包，并设置环境变量 cd /the/path/of/cudnn/tgz/file tar -zxvf cudnn-11.3-linux-x64-v8.2.1.32.tgz export CUDNN_DIR=$(pwd)/cuda export LD_LIBRARY_PATH=$CUDNN_DIR/lib64:$LD_LIBRARY_PATH
PPL.NN	ppl.nn	1. 请参考 ppl.nn 的 安装文档 编译 ppl.nn，并安装 pyppl 2. 将 pplnn 的根目录写入环境变量 cd ppl.nn export PPLNN_DIR=$(pwd)
OpenVINO	openvino	1. 安装 OpenVINO pip install openvino-dev 2. 可选. 如果您想在 MMDeploy SDK 中使用 OpenVINO，请根据指南安装并配置它
ncnn	ncnn	1. 请参考 ncnn的 wiki 编译 ncnn。 编译时，请打开-DNCNN_PYTHON=ON 2. 将 ncnn 的根目录写入环境变量 cd ncnn export NCNN_DIR=$(pwd) 3. 安装 pyncnn cd ${NCNN_DIR}/python pip install -e .
TorchScript	libtorch	1. Download libtorch from here. Please note that only Pre-cxx11 ABI and version 1.8.1+ on Linux platform are supported by now. For previous versions of libtorch, you can find them in the issue comment. 2. Take Libtorch1.8.1+cu111 as an example. You can install it like this: wget https://download.pytorch.org/libtorch/cu111/libtorch-shared-with-deps-1.8.1%2Bcu111.zip unzip libtorch-shared-with-deps-1.8.1+cu111.zip cd libtorch export Torch_DIR=$(pwd) export LD_LIBRARY_PATH=$Torch_DIR/lib:$LD_LIBRARY_PATH

注意:
如果您想使上述环境变量永久有效，可以把它们加入~/.bashrc。以 ONNXRuntime 的环境变量为例，

echo '# set env for onnxruntime' >> ~/.bashrc
echo "export ONNXRUNTIME_DIR=${ONNXRUNTIME_DIR}" >> ~/.bashrc
echo "export LD_LIBRARY_PATH=$ONNXRUNTIME_DIR/lib:$LD_LIBRARY_PATH" >> ~/.bashrc
source ~/.bashrc

编译 MMDeploy

cd /the/root/path/of/MMDeploy
export MMDEPLOY_DIR=$(pwd)

编译选项说明

编译选项	取值范围	缺省值	说明
MMDEPLOY_BUILD_SDK	{ON, OFF}	OFF	MMDeploy SDK 编译开关
MMDEPLOY_BUILD_SDK_PYTHON_API	{ON, OFF}	OFF	MMDeploy SDK python package的编译开关
MMDEPLOY_BUILD_SDK_JAVA_API	{ON, OFF}	OFF	MMDeploy SDK Java API的编译开关
MMDEPLOY_BUILD_TEST	{ON, OFF}	OFF	MMDeploy SDK 的单元测试程序编译开关
MMDEPLOY_TARGET_DEVICES	{"cpu", "cuda"}	cpu	设置目标设备。当有多个设备时，设备名称之间使用分号隔开。 比如，-DMMDEPLOY_TARGET_DEVICES="cpu;cuda"
MMDEPLOY_TARGET_BACKENDS	{"trt", "ort", "pplnn", "ncnn", "openvino", "torchscript"}	N/A	默认情况下，SDK不设置任何后端, 因为它与应用场景高度相关。 当选择多个后端时， 中间使用分号隔开。比如， -DMMDEPLOY_TARGET_BACKENDS="trt;ort;pplnn;ncnn;openvino" 构建时，几乎每个后端，都需传入一些路径变量，用来查找依赖包。 1. trt: 表示 TensorRT。需要设置 TENSORRT_DIR 和 CUDNN_DIR。 -DTENSORRT_DIR=${TENSORRT_DIR} -DCUDNN_DIR=${CUDNN_DIR} 2. ort: 表示 ONNXRuntime。需要设置 ONNXRUNTIME_DIR -DONNXRUNTIME_DIR=${ONNXRUNTIME_DIR} 3. pplnn: 表示 PPL.NN。需要设置 pplnn_DIR -Dpplnn_DIR=${PPLNN_DIR} 4. ncnn: 表示 ncnn。需要设置 ncnn_DIR -Dncnn_DIR=${NCNN_DIR}/build/install/lib/cmake/ncnn 5. openvino: 表示 OpenVINO。需要设置 InferenceEngine_DIR -DInferenceEngine_DIR=${INTEL_OPENVINO_DIR}/deployment_tools/inference_engine/share 6. torchscript: TorchScript. 需要设置Torch_DIR -DTorch_DIR=${Torch_DIR} 目前，模型转换支持 torchscript，但 SDK 尚不支持
MMDEPLOY_CODEBASES	{"mmcls", "mmdet", "mmseg", "mmedit", "mmocr", "all"}	all	用来设置 SDK 后处理组件，加载 OpenMMLab 算法仓库的后处理功能。如果选择多个 codebase，中间使用分号隔开。比如，-DMMDEPLOY_CODEBASES="mmcls;mmdet"。也可以通过 -DMMDEPLOY_CODEBASES=all 方式，加载所有 codebase。
MMDEPLOY_SHARED_LIBS	{ON, OFF}	ON	MMDeploy SDK 的动态库的编译开关。设置 OFF 时，编译静态库

编译安装 Model Converter

编译自定义算子

如果您选择了ONNXRuntime，TensorRT，ncnn 和 torchscript 任一种推理后端，您需要编译对应的自定义算子库。

• ONNXRuntime 自定义算子

  cd ${MMDEPLOY_DIR}
  mkdir -p build && cd build
  cmake -DCMAKE_CXX_COMPILER=g++-7 -DMMDEPLOY_TARGET_BACKENDS=ort -DONNXRUNTIME_DIR=${ONNXRUNTIME_DIR} ..
  make -j$(nproc) && make install
  

• TensorRT 自定义算子

  cd ${MMDEPLOY_DIR}
  mkdir -p build && cd build
  cmake -DCMAKE_CXX_COMPILER=g++-7 -DMMDEPLOY_TARGET_BACKENDS=trt -DTENSORRT_DIR=${TENSORRT_DIR} -DCUDNN_DIR=${CUDNN_DIR} ..
  make -j$(nproc) && make install
  

• ncnn 自定义算子

  cd ${MMDEPLOY_DIR}
  mkdir -p build && cd build
  cmake -DCMAKE_CXX_COMPILER=g++-7 -DMMDEPLOY_TARGET_BACKENDS=ncnn -Dncnn_DIR=${NCNN_DIR}/build/install/lib/cmake/ncnn ..
  make -j$(nproc) && make install
  

• torchscript 自定义算子

  cd ${MMDEPLOY_DIR}
  mkdir -p build && cd build
  cmake -DMMDEPLOY_TARGET_BACKENDS=torchscript -DTorch_DIR=${Torch_DIR} ..
  make -j$(nproc) && make install
  

安装 Model Converter

cd ${MMDEPLOY_DIR}
pip install -e .

注意

• 有些依赖项是可选的。运行 pip install -e . 将进行最小化依赖安装。 如果需安装其他可选依赖项，请执行pip install -r requirements/optional.txt， 或者 pip install -e .[optional]。其中，[optional]可以替换为：all、tests、build 或 optional。

编译 SDK 和 Demos

下文展示2个构建SDK的样例，分别用 ONNXRuntime 和 TensorRT 作为推理引擎。您可以参考它们，激活其他的推理引擎。

• cpu + ONNXRuntime

  cd ${MMDEPLOY_DIR}
  mkdir -p build && cd build
  cmake .. \
      -DCMAKE_CXX_COMPILER=g++-7 \
      -DMMDEPLOY_BUILD_SDK=ON \
      -DMMDEPLOY_BUILD_EXAMPLES=ON \
      -DMMDEPLOY_BUILD_SDK_PYTHON_API=ON \
      -DMMDEPLOY_TARGET_DEVICES=cpu \
      -DMMDEPLOY_TARGET_BACKENDS=ort \
      -DMMDEPLOY_CODEBASES=all \
      -DONNXRUNTIME_DIR=${ONNXRUNTIME_DIR}
  
  make -j$(nproc) && make install
  

• cuda + TensorRT

  cd ${MMDEPLOY_DIR}
  mkdir -p build && cd build
  cmake .. \
      -DCMAKE_CXX_COMPILER=g++-7 \
      -DMMDEPLOY_BUILD_SDK=ON \
      -DMMDEPLOY_BUILD_EXAMPLES=ON \
      -DMMDEPLOY_BUILD_SDK_PYTHON_API=ON \
      -DMMDEPLOY_TARGET_DEVICES="cuda;cpu" \
      -DMMDEPLOY_TARGET_BACKENDS=trt \
      -DMMDEPLOY_CODEBASES=all \
      -Dpplcv_DIR=${PPLCV_DIR}/cuda-build/install/lib/cmake/ppl \
      -DTENSORRT_DIR=${TENSORRT_DIR} \
      -DCUDNN_DIR=${CUDNN_DIR}
  
  make -j$(nproc) && make install