安装指南

LMDeploy 是一个用于大型语言模型（LLMs）和视觉-语言模型（VLMs）压缩、部署和服务的 Python 库。其核心推理引擎包括 TurboMind 引擎和 PyTorch 引擎， 前者由 C++ 和 CUDA 开发，致力于推理性能的优化，而后者纯 Python 开发，旨在降低开发者的门槛。

本教程面向使用 lm-deploy & 昇腾的开发者，帮助完成昇腾环境下 lm-deploy 的安装。

lm_deploy 下载安装

使用 pip 安装（推荐）

推荐在一个干净的 conda 环境下（python3.8 - 3.12），安装 lmdeploy ：

conda create -n lmdeploy python=3.8 -y
conda activate lmdeploy
pip install lmdeploy

从源码安装

如果你使用 PyTorch 引擎进行推理，从源代码安装非常简单：

git clone https://github.com/InternLM/lmdeploy.git
cd lmdeploy
pip install -e .

安装校验

安装过程中未出现错误，且执行下面命令后出现 lmdeploy 版本号即为安装成功。

python -c "import lmdeploy; print(lmdeploy.__version__)"

# 以下为输出示例
# 0.6.2