昇腾开源文档中心
🏗️ 底层 AI 框架与基础设施
accelerate
适用于 Pytorch 的多 GPUs/NPUs 训练工具链。
DeepSpeed
DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.
kernels
从 Hugging Face Hub 加载高性能计算算子内核。
Ray
Ray is a unified framework for scaling AI and Python applications.
pytorch
PyTorch AI 框架，2.1 版本起官方原生支持昇腾 NPU。
transformers
适用于 Pytorch、TensorFlow 和 JAX 先进的机器学习库。
🧠 大模型/多模态训练与微调
LLaMA-Factory
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs。
ms-swift
高效微调框架，支持 600+ LLM 和 300+ MLLM 适配昇腾。
OpenRLHF
基于 Ray 与 DeepSpeed 的 RLHF 框架，支持在昇腾 NPU 上做 LoRA 监督微调。
ROLL
大规模强化学习优化，针对昇腾算力平衡进行了调优。
torchtitan
用于语言大模型训练的 PyTorch 原生库。
Transformer Reinforcement Learning
适用于 SFT、PPO、DPO 等方法的模型后训练库。
Twinkle
轻量级 LLM 训练工作台，支持 SFT、GRPO、DPO 等，适配昇腾 NPU。
VeOmni
Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo。
verl
用于 LLM 的强化学习训练库，适配昇腾并行计算方案。
PyG
基于 PyTorch 的 GNN 训练库。
🚀 高性能推理与服务
llama.cpp
C/C++ 实现的 Meta LLaMa 架构，深度适配昇腾后端。
lmdeploy
用于压缩、部署和服务 LLM 的工具包。
onnxruntime
跨平台高性能推理加速器，v1.13.1 起支持昇腾。
sentence-transformers
高性能文本和图像 Embedding 库。
sglang
用于 LLM 和 VLM 的高速服务框架，极致提升昇腾吞吐量。
torchchat
基于 PyTorch 的对话推理交互库。
vLLM-Ascend
面向昇腾 NPU 的 vLLM 社区插件，支持主流大模型高性能推理加速。
⚙️ 算子开发与编程
Triton-Ascend
适配昇腾 NPU 的 Triton 语言后端，支持高性能算子开发与迁移。
Liger-Kernel
面向 LLM 训练的高效 Triton 融合算子库，v0.8.0 起支持昇腾 NPU。
🎨 多模态应用、评测与工具
diffusers
扩散模型工具链，支持昇腾 NPU 加速图像生成。
lm-evaluation-harness
语言模型评测工具，支持昇腾基准。
open_clip
开源 CLIP 模型实现，支持多模态语义对齐。
opencompass
大模型标准测试工具。
opencv
开源计算机视觉库，支持昇腾平台处理。
stable-diffusion-webui
Stable Diffusion 可视化工具链。
pytorch-image-models
PyTorch 图像模型库适配版本。
wenet
端到端的语音识别工具包。
whisper.cpp
Whisper 模型高性能推理语音识别框架。