安装指南

本教程面向使用lm-evaluation-harnes&昇腾的开发者，帮助完成昇腾环境下lm-evaluation-harness的安装。

备注

请确保已经根据 快速安装昇腾环境 指引安装了对应的CANN-toolkit版本以及相应的固件和驱动，并应用了CANN-toolkit环境变量。

警告

lm-evaluation-harness支持的CANN最低版本为8.0.rc1。安装CANN时，请同事安装Kernel算子包。

lm-evaluation-harness安装

注意：lm-evaluation-harness从0.4.3开始原生支持昇腾。

  • Option 1: Use the latest stable release

1pip install --upgrade-strategy=conservative lm-eval

  • Option 2: Use the latest main branch under development

1pip install git+https://github.com/EleutherAI/lm-evaluation-harness.git

安装校验

使用以下指令对lm-evaluation-harness的安装进行校验：

1lm-eval -h

如下所示，正确显示 lm-eval 命令的帮助信息即说明安装成功。

 1usage: lm-eval [-h] [--model MODEL] [--tasks task1,task2] [--model_args MODEL_ARGS] [--num_fewshot N]
 2            [--batch_size auto|auto:N|N] [--max_batch_size N] [--device DEVICE]
 3            [--output_path DIR|DIR/file.json] [--limit N|0<N<1] [--use_cache DIR]
 4            [--cache_requests {true,refresh,delete}] [--check_integrity] [--write_out] [--log_samples]
 5            [--system_instruction SYSTEM_INSTRUCTION] [--apply_chat_template] [--fewshot_as_multiturn]
 6            [--show_config] [--include_path DIR] [--gen_kwargs GEN_KWARGS]
 7            [--verbosity CRITICAL|ERROR|WARNING|INFO|DEBUG] [--wandb_args WANDB_ARGS]
 8            [--hf_hub_log_args HF_HUB_LOG_ARGS] [--predict_only] [--seed SEED] [--trust_remote_code]
 9
10options:
11-h, --help            show this help message and exit
12--model MODEL, -m MODEL
13                        Name of model e.g. `hf`
14...

lm-evaluation-harness卸载

1pip uninstall lm-eval