安装指南

本教程面向使用 TRL (Transformer Reinforcement Learning) & 昇腾的开发者，帮助完成昇腾环境下 TRL 的安装。

昇腾环境安装

请根据已有昇腾产品型号及 CPU 架构等按照 快速安装昇腾环境指引 进行昇腾环境安装。

警告

CANN 最低版本为 8.0.rc1，安装 CANN 时，请同时安装 Kernel 算子包。

TRL 下载安装

  1. 安装项目所需依赖

pip install trl -i https://pypi.tuna.tsinghua.edu.cn/simple

另外，本项目需要手动安装 transformers 仓库的最新 main 分支，否则可能会出现如下错误：

../../_images/image.png 
pip install git+https://github.com/huggingface/transformers.git

  1. 安装 torch_npu

pip install torch==2.1.0 torch_npu==2.1.0.post6 -i https://pypi.tuna.tsinghua.edu.cn/simple

提示

torch_npu 的版本需要匹配 torch 的版本，详细信息请参考：Ascend Extension for PyTorch。