昇腾开源文档中心
🏗️ 底层 AI 框架与基础设施
Accelerate
适用于 Pytorch 的多 GPUs/NPUs 训练工具链。
DeepSpeed
分布式训练优化库，V0.10.1 版本起支持昇腾。
kernels
从 Hugging Face Hub 加载高性能计算算子内核。
PyTorch
PyTorch AI 框架，2.1 版本起官方原生支持昇腾 NPU。
Transformers
适用于 Pytorch、TensorFlow 和 JAX 先进的机器学习库。
🧠 大模型/多模态训练与微调
LLaMA-Factory
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs。
ms-swift
高效微调框架，支持 600+ LLM 和 300+ MLLM 适配昇腾。
ROLL
大规模强化学习优化，针对昇腾算力平衡进行了调优。
TorchTitan
用于语言大模型训练的 PyTorch 原生库。
trl
适用于 SFT、PPO、DPO 等方法的模型后训练库。
VeOmni
Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo。
verl
用于 LLM 的强化学习训练库，适配昇腾并行计算方案。
🚀 高性能推理与服务
llama.cpp
C/C++ 实现的 Meta LLaMa 架构，深度适配昇腾后端。
LMDeploy
用于压缩、部署和服务 LLM 的工具包。
ONNX Runtime
跨平台高性能推理加速器，v1.13.1 起支持昇腾。
Sentence Transformers
高性能文本和图像 Embedding 库。
SGLang
用于 LLM 和 VLM 的高速服务框架，极致提升昇腾吞吐量。
torchchat
基于 PyTorch 的对话推理交互库。
🎨 多模态应用、评测与工具
Diffusers
扩散模型工具链，支持昇腾 NPU 加速图像生成。
LM-Eval
语言模型评测工具，支持昇腾基准。
Open CLIP
开源 CLIP 模型实现，支持多模态语义对齐。
OpenCompass
大模型标准测试工具。
OpenCV
开源计算机视觉库，支持昇腾平台处理。
SD WebUI
Stable Diffusion 可视化工具链。
timm
PyTorch 图像模型库适配版本。
WeNet
端到端的语音识别工具包。
Whisper.cpp
Whisper 模型高性能推理语音识别框架。