wenet

WeNet 是生产级的端到端语音识别工具包,支持流式与非流式识别;昇腾侧通过 torch-npu 把计算调度到 NPU。

本文以 aishell-1 数据集为例,按 WeNet 官方 NPU 实验脚本 (官方教程),在单卡昇腾 NPU 上跑通 数据下载 → 数据准备 → 训练 → 推理 → 导出 全流程。

阅读本文前,请先按 快速安装昇腾环境 准备好 CANN 与驱动。

Note

WeNet 最新的正式 release(v3.1.0,2024-05 发布)不含 NPU 训练/推理脚本 examples/aishell/s0/run_npu.sh,只有 main 分支提供该脚本。因此本文以 main 分支为准,文中的 <ref> 取 main。

前置条件

硬件

Atlas 800T / 900 A2 训练系列(Ascend 910B)与 Atlas 900 A3 训练系列(Ascend 910C)。本文示例为单卡,卡数由 run_npu.sh 按机器可见卡数自动决定。

软件

与官方 NPU 实验脚本(examples/aishell/s0)的版本要求保持一致:

类别

最低版本

推荐版本

CANN

9.1.0

9.1.0

Python

3.10

3.10

torch

2.5.1

2.5.1

torch-npu

2.5.1.post1

2.5.1.post1

torchaudio

2.5.1

2.5.1

deepspeed

0.14.4

0.14.4

此外需要提前就绪的编译工具 git 与音频工具 sox。

Note

安装 CANN 时请同时安装 Kernel 算子包。

本文验证环境

组件

版本

NPU

Ascend 910B4 × 1 / Ascend 910C × 1

CANN

9.1.0

Python

3.10

torch / torch-npu / torchaudio

2.5.1(torch-npu 为 2.5.1.post1)

deepspeed

0.14.4

WeNet 源码

main(仓库 wenet-e2e/wenet)

数据集

aishell-1(Hugging Face JazerJu/aishell1-full-slr33,OpenSLR 33 原档)

本文配套镜像为 swr.cn-south-1.myhuaweicloud.com/ascendhub/cann:9.1.0-910b-ubuntu22.04-py3.10(Ascend 910B)与 swr.cn-south-1.myhuaweicloud.com/ascendhub/cann:9.1.0-a3-ubuntu22.04-py3.10(Ascend 910C),均为 CANN 9.1.0 + Python 3.10。

requirements.txt 只约束 deepspeed>=0.14.0,本文显式钉在 0.14.4,与官方实验脚本的默认值一致。

1. 加载 CANN 环境

新开终端后 CANN 变量不会自动生效。npu-smi 常见位于 /usr/local/sbin,需要把该目录加入 PATH。

source /usr/local/Ascend/ascend-toolkit/set_env.sh
export PATH=/usr/local/sbin:$PATH
test -n "$ASCEND_HOME_PATH"
command -v npu-smi

ASCEND_HOME_PATH 应非空,npu-smi 应能找到。

2. 检查环境是否就绪

检查 Python 版本:

python --version

输出结果如下:

Python 3.10.xxx

检查 torch / torch-npu 是否装好且 NPU 设备可用(下面的命令用 Python 执行):

import torch
import torch_npu

print('torch:', torch.__version__)
print('torch_npu:', torch_npu.__version__)
print('npu available:', torch.npu.is_available())
print('npu count:', torch.npu.device_count())

输出结果如下:

torch: 2.5.1
torch_npu: 2.5.1.post1
npu available: True
npu count: 1

Note

如果 import torch_npu 失败,回到 Ascend PyTorch 安装文档 检查 torch / torch-npu / CANN 三方兼容矩阵。

3. 获取 WeNet 源码

将 <ref> 替换为 main:

git clone https://github.com/wenet-e2e/wenet.git
cd wenet
git checkout <ref>
test -f examples/aishell/s0/run_npu.sh && echo "run_npu.sh ok"

main 分支上 examples/aishell/s0/run_npu.sh 存在。

4. 安装 WeNet 与依赖

安装 WeNet 及其 NPU 依赖。上游 setup.py 的 [torch-npu] extra 把三件套钉在 2.2.0,该版本在 Ascend 910C 上无法计算,因此改为显式安装 2.5.1。openai-whisper 只发布源码包,构建它需要 setuptools 82 以下的版本, 故先固定 setuptools,并对相关 pip 关闭构建隔离。

source /usr/local/Ascend/ascend-toolkit/set_env.sh
set -e
cd wenet
pip install "setuptools<82" wheel
pip install --no-build-isolation torch==2.5.1 torch-npu==2.5.1.post1 torchaudio==2.5.1 "numpy<2"
pip install --no-build-isolation openai-whisper==20231117
pip install --no-build-isolation -e .
pip install --no-build-isolation -r requirements.txt
pip install deepspeed==0.14.4
pip install tensorboardX
python -c "import deepspeed, tensorboardX, importlib.metadata as m; print('wenet', m.version('wenet'), '| deepspeed', deepspeed.__version__)"

安装 sox(sox 命令与 libsox-dev 头文件)以及 libgomp1(torchaudio 运行期需要 libgomp.so.1):

pip install sox
apt-get update && apt-get install -y sox libsox-dev libgomp1 || true

5. 下载数据

本步骤用官方脚本下载数据:run_npu.sh 调用 local/download_and_untar.sh,它按脚本内硬编码的字节数 校验已有归档、必要时用 wget 拉取,解压归档后再逐个解开 data_aishell/wav/ 里按说话人二次打包的 *.tar.gz,最后写 .complete 标记。

下载源由官方脚本的 --data_url 指定,默认是 OpenSLR 原站 www.openslr.org/resources/33。下面把它指向 OpenSLR 33 两个原档的 Hugging Face 镜像 以加快下载;也可以换成 OpenSLR 自己的镜像:

--data_url

数据源

www.openslr.org/resources/33

官方 OpenSLR 原站(不传 --data_url 时的默认值)

openslr.magicdatatech.com/resources/33

OpenSLR 国内镜像

https://huggingface.co/datasets/JazerJu/aishell1-full-slr33/resolve/main

本文使用(Hugging Face 镜像)

数据统一落在 /root/asr-data/OpenSLR/33,与官方教程的路径一致,后续步骤直接沿用。

mkdir -p /root/.cache/asr-data/OpenSLR/33
# 数据与 .complete 标记放在缓存目录,容器重启后仍可复用;/root/asr-data 软链过去,
# 后续步骤因此仍用官方教程的 /root/asr-data/OpenSLR/33 路径。首次运行时该路径还不存在;
# 若已存在但不是软链接(容器内的旧目录),清掉重建,避免重复下载
if [ ! -L /root/asr-data ]; then
  rm -rf /root/asr-data
  ln -s /root/.cache/asr-data /root/asr-data
fi
cd wenet/examples/aishell/s0
# --data_url:OpenSLR 33 的 Hugging Face 镜像;去掉该参数即回落到官方 www.openslr.org
bash run_npu.sh --stage -1 --stop_stage -1 \
  --data /root/asr-data/OpenSLR/33 \
  --data_url https://huggingface.co/datasets/JazerJu/aishell1-full-slr33/resolve/main
# run_npu.sh 没有 set -e,退出码只反映最后一条命令,故在此显式确认两个包都已就绪
test -f /root/asr-data/OpenSLR/33/data_aishell/.complete
test -f /root/asr-data/OpenSLR/33/resource_aishell/.complete
echo "=== /root/asr-data/OpenSLR/33 ==="
ls -la /root/asr-data/OpenSLR/33/

验证 data_aishell 与 resource_aishell 两个数据包均已就绪:

echo "=== 检查下载标记文件 ==="
ls /root/asr-data/OpenSLR/33/data_aishell/.complete /root/asr-data/OpenSLR/33/resource_aishell/.complete
echo "=== 检查数据目录 ==="
ls /root/asr-data/OpenSLR/33/data_aishell/ | head -2
ls /root/asr-data/OpenSLR/33/resource_aishell/ | head -2

输出结果如下:

=== 检查下载标记文件 ===
/root/asr-data/OpenSLR/33/data_aishell/.complete
/root/asr-data/OpenSLR/33/resource_aishell/.complete
=== 检查数据目录 ===
transcript
wav
lexicon.txt
speaker.info

6. 准备训练数据

本步骤由 local/aishell_data_prep.sh 把数据重新组织为 wav.scp 与 text:

cd wenet/examples/aishell/s0
bash run_npu.sh --stage 0 --stop_stage 0 --data /root/asr-data/OpenSLR/33

验证训练 / 验证 / 测试集划分,并确认每条转写都有对应的音频:

set -euo pipefail
cd wenet/examples/aishell/s0
for x in train dev test; do
  test -s data/$x/wav.scp
  test -s data/$x/text
  test "$(wc -l < data/$x/wav.scp)" = "$(wc -l < data/$x/text)"
done
echo "train/dev/test splits ok"

输出结果如下:

train/dev/test splits ok

截取子集(可选)

aishell-1 的完整训练集跑完一轮训练需要数小时。如果只想确认流程能否跑通,可以把训练、验证、测试三份数据各截成子集,后面每一步的耗时会随之下降。

本步骤只截 wav.scp 与 text,后面的 CMVN、词典与 data.list 都由这两个文件推导,会自动跟着变小。三个变量设为 0 即使用全量数据。

Note

子集只用于缩短首次跑通的时间,样本量不足以训练出可用的识别模型。

cd wenet/examples/aishell/s0
# 每份数据保留的条数,设为 0 表示使用全量
train_utts=12000
dev_utts=1400
test_utts=700
truncate_split() {
  split=$1
  n=$2
  if [ "$n" -eq 0 ]; then
    return 0
  fi
  for f in wav.scp text; do
    head -n "$n" "data/$split/$f" > "data/$split/$f.tmp"
    mv "data/$split/$f.tmp" "data/$split/$f"
  done
}
truncate_split train "$train_utts"
truncate_split dev "$dev_utts"
truncate_split test "$test_utts"

截取后 wav.scp 与 text 的条数与 utterance id 应完全一致:

set -euo pipefail
cd wenet/examples/aishell/s0
for split in train dev test; do
  n=$(wc -l < "data/$split/wav.scp")
  test "$n" = "$(wc -l < "data/$split/text")"
  awk '{print $1}' "data/$split/wav.scp" > "/tmp/$split.wav.ids"
  awk '{print $1}' "data/$split/text" > "/tmp/$split.text.ids"
  diff -q "/tmp/$split.wav.ids" "/tmp/$split.text.ids"
  echo "$split: $n utterances"
done
echo "subset ok"

输出结果如下:

train: 12000 utterances
dev: 1400 utterances
test: 700 utterances
subset ok

7. 生成 CMVN、词典与 data.list

本步骤的脚本依次完成三件事:去除转写文本中的词间空格(普通话字符建模标准做法)并计算全局 CMVN 统计; 从训练转写生成字符级词典 data/dict/lang_char.txt;把 wav.scp / text 组织为训练可读的 data.list (raw 格式,每行一条 utterance 的 JSON)。三者都是训练的前置产物,缺少时训练启动即报 FileNotFoundError: data/dict/lang_char.txt:

cd wenet/examples/aishell/s0
bash run_npu.sh --stage 1 --stop_stage 3 --data /root/asr-data/OpenSLR/33

验证三个前置产物,并确认 data.list 行数与对应的 wav.scp 一致:

set -euo pipefail
cd wenet/examples/aishell/s0
test -f data/train/global_cmvn && echo "global_cmvn ok"
test -f data/dict/lang_char.txt && echo "lang_char.txt ok"
for x in train dev test; do
  test "$(wc -l < data/$x/data.list)" = "$(wc -l < data/$x/wav.scp)"
done
echo "data.list matches wav.scp"

输出结果如下:

global_cmvn ok
lang_char.txt ok
data.list matches wav.scp

8. 模型训练

run_npu.sh 中实现了 NPU 卡号的自动获取与相关环境变量设置,可直接启动昇腾 NPU 上的模型训练。为控制时长, 将 max_epoch 从 240 缩短到 1(其余参数全部保持脚本默认值):

source /usr/local/Ascend/ascend-toolkit/set_env.sh
cd wenet/examples/aishell/s0
cp conf/train_conformer.yaml conf/train_conformer_1ep.yaml
sed -i 's/max_epoch: .*/max_epoch: 1/' conf/train_conformer_1ep.yaml
# NPU 上 DataLoader worker 由主进程 fork,会段错误,须单进程读取;
# num_workers=0 时 persistent_workers 与 prefetch_factor 必须一并关闭
sed -i 's/^num_workers=.*/num_workers=0/' run_npu.sh
sed -i 's/persistent_workers=True/persistent_workers=args.num_workers > 0/g' "$(git rev-parse --show-toplevel)/wenet/utils/train_utils.py"
sed -i 's/prefetch_factor=args.prefetch/prefetch_factor=args.prefetch if args.num_workers > 0 else None/g' "$(git rev-parse --show-toplevel)/wenet/utils/train_utils.py"
# 确认三处改写均已生效(sed 匹配失败时不会报错)
grep -q "persistent_workers=args.num_workers > 0" "$(git rev-parse --show-toplevel)/wenet/utils/train_utils.py"
grep -q "if args.num_workers > 0 else None" "$(git rev-parse --show-toplevel)/wenet/utils/train_utils.py"
bash run_npu.sh --stage 4 --stop_stage 4 --train_config conf/train_conformer_1ep.yaml --data /root/asr-data/OpenSLR/33

训练完成后检查输出:

cd wenet/examples/aishell/s0
ls -la exp/conformer/train.yaml
ls exp/conformer/epoch_*.pt

输出结果如下:

... exp/conformer/train.yaml
exp/conformer/epoch_0.pt

9. 测试推理

本步骤把测试集中的语音文件识别为文本。此外,当 average_checkpoint 为 true(脚本默认值)时,本步骤 会把交叉验证集上最佳的 average_num 个模型平均,生成增强模型 avg_1.pt,供解码与导出使用:

# CANN 环境必须显式加载:否则 LD_LIBRARY_PATH 缺少 libascendcl 等库路径,
# recognize.py 里 import torch_npu 会静默失败(ImportError 被
# is_torch_npu_available 吞掉只打印提示),随后 torch.device('npu') 直接崩溃
source /usr/local/Ascend/ascend-toolkit/set_env.sh
cd wenet/examples/aishell/s0
bash run_npu.sh --stage 5 --stop_stage 5 --average_num 1 --data /root/asr-data/OpenSLR/33

验证推理结果:avg_1.pt 已生成,识别文本覆盖全部测试集。

set -euo pipefail
cd wenet/examples/aishell/s0
test -f exp/conformer/avg_1.pt && echo "avg_1.pt ok"
test "$(wc -l < exp/conformer/ctc_greedy_search/text)" = "$(wc -l < data/test/wav.scp)"
echo "recognized all test utterances"
head -2 exp/conformer/ctc_greedy_search/text

输出结果如下(识别文本随模型收敛情况变化):

avg_1.pt ok
recognized all test utterances
...

10. 导出训练好的模型

wenet/bin/export_jit.py 使用 Libtorch 导出训练好的模型(基于上一步生成的 avg_1.pt),导出的模型可用于 其他编程语言(如 C++)的推理:

source /usr/local/Ascend/ascend-toolkit/set_env.sh
cd wenet/examples/aishell/s0
bash run_npu.sh --stage 6 --stop_stage 6 --average_num 1

验证导出产物:

cd wenet/examples/aishell/s0
test -f exp/conformer/final.zip && echo "final.zip ok"
test -f exp/conformer/final_quant.zip && echo "final_quant.zip ok"

输出结果如下:

final.zip ok
final_quant.zip ok

11. 验证完整流程

确认全流程的关键文件均已生成:

cd wenet/examples/aishell/s0
echo "=== 数据文件 ==="
ls data/dict/lang_char.txt data/train/data.list data/dev/data.list data/test/data.list | sort
echo "=== 训练输出 ==="
ls exp/conformer/train.yaml exp/conformer/final.pt | sort
echo "=== 推理输出 ==="
ls exp/conformer/avg_1.pt exp/conformer/ctc_greedy_search/text exp/conformer/ctc_prefix_beam_search/text | sort
echo "=== 导出输出 ==="
ls exp/conformer/final.zip exp/conformer/final_quant.zip | sort
echo "=== 流程完成 ==="

输出结果如下:

=== 数据文件 ===
data/dev/data.list
data/dict/lang_char.txt
data/test/data.list
data/train/data.list
=== 训练输出 ===
exp/conformer/final.pt
exp/conformer/train.yaml
=== 推理输出 ===
exp/conformer/avg_1.pt
exp/conformer/ctc_greedy_search/text
exp/conformer/ctc_prefix_beam_search/text
=== 导出输出 ===
exp/conformer/final.zip
exp/conformer/final_quant.zip
=== 流程完成 ===

相关链接