使用 pip

备注

请确保已经根据快速安装昇腾环境指引安装了对应的CANN-toolkit版本以及相应的固件和驱动，并应用了CANN-toolkit环境变量。

警告

LLAMA-Factory 支持的 CANN 最低版本为 8.0.rc1。安装 CANN 时，请同时安装 Kernel 算子包。

Python 环境创建

创建并激活 Python 环境：

conda create -y -n llamafactory python=3.10
  conda activate llamafactory

LLaMA-Factory 安装

使用以下指令安装带有 torch-npu 的 LLaMA-Factory：

pip install -e ".[torch-npu,metrics]" -i https://pypi.tuna.tsinghua.edu.cn/simple

使用 Docker

备注

请确保已经根据快速安装昇腾环境指引安装了对应的的固件和驱动。

提示

更多 CANN 的基础镜像选择见ascendai/cann。

此处提供使用 docker-compose 构建及启动 docker 容器和不使用 docker-compose 两种构建方式，请根据需求选择其一。

使用 docker-compose 构建及启动 docker 容器

进入存放 Dockerfile 及 docker-compose.yaml 的 docker-npu 目录：

cd docker/docker-npu

构建 docker 镜像并启动 docker 容器：

docker-compose up -d

进入 docker 容器：

docker exec -it llamafactory bash

不使用 docker-compose

构建 docker 镜像：

docker build -f ./docker/docker-npu/Dockerfile --build-arg INSTALL_DEEPSPEED=false --build-arg PIP_INDEX=https://pypi.org/simple -t llamafactory:latest .

启动 docker 容器：

docker run -dit \
    -v ./hf_cache:/root/.cache/huggingface \
    -v ./ms_cache:/root/.cache/modelscope \
    -v ./data:/app/data \
    -v ./output:/app/output \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -p 7860:7860 \
    -p 8000:8000 \
    --device /dev/davinci0 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    --shm-size 16G \
    --name llamafactory \
    llamafactory:latest

进入 docker 容器：

docker exec -it llamafactory bash