昇腾开源文档中心
🏗️ 底层 AI 框架与基础设施
accelerate
适用于 Pytorch 的多 GPUs/NPUs 训练工具链。
DeepSpeed
DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.
kernels
从 Hugging Face Hub 加载高性能计算算子内核。
Ray
Ray is a unified framework for scaling AI and Python applications.
pytorch
PyTorch AI 框架，2.1 版本起官方原生支持昇腾 NPU。
transformers
适用于 Pytorch、TensorFlow 和 JAX 先进的机器学习库。
🧠 大模型/多模态训练与微调
axolotl
LLM 微调框架，支持在昇腾 NPU 上做 LoRA 监督微调。
ColossalAI
大规模并行训练框架。本页在单卡昇腾上用 Booster 做一步训练。
LLaMA-Factory
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs。
ms-swift
高效微调框架，支持 600+ LLM 和 300+ MLLM 适配昇腾。
ROLL
大规模强化学习优化，针对昇腾算力平衡进行了调优。
speculators
投机解码草稿模型训练框架，配合 vllm-ascend 在昇腾 NPU 上完成训练与部署。
SpecForge
投机解码草稿模型训练框架，配合 SGLang 在昇腾 NPU 上完成在线捕获与训练。
TensorDict
PyTorch 官方字典风格张量容器库，基于 torch / torch_npu 在昇腾 NPU 上提供 TensorDict 核心特性验证。
torchtitan
用于语言大模型训练的 PyTorch 原生库。
torchvision
计算机视觉库，基于 torch_npu 在昇腾 NPU 上跑通 transforms v2 与 transforms 链路。
torchtune
原生 PyTorch 大模型微调库，支持在昇腾 NPU 上跑 LoRA 单卡微调。
Transformer Reinforcement Learning
适用于 SFT、PPO、DPO 等方法的模型后训练库。
Twinkle
轻量级 LLM 训练工作台，支持 SFT、GRPO、DPO 等，适配昇腾 NPU。
VeOmni
Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo。
verl
用于 LLM 的强化学习训练库，适配昇腾并行计算方案。
PyG
基于 PyTorch 的 GNN 训练库。
XTuner
InternLM 系列大模型微调工具箱，支持昇腾 NPU 单卡/多卡 LoRA 微调。
🚀 高性能推理与服务
aibrix
vLLM 的推理网关。本文用 local mode，在一张昇腾卡上把一次 OpenAI 兼容请求转到一个 vLLM 引擎。
bitsandbytes
8-bit / 4-bit 量化库。本文在单卡昇腾上跑通默认后端的 NF4 Linear4bit 前向。
KTransformers
面向大模型的异构推理与微调框架，官方教程覆盖昇腾 NPU。
cache-dit
A PyTorch-native Inference Engine with Cache, Parallelism, Quantization and CPU Offload for DiTs.
FlagScale
面向大模型训练、推理与服务的统一命令行。本文在昇腾上用 vLLM-Ascend 做一次双卡离线推理。
llama.cpp
C/C++ 实现的 Meta LLaMa 架构，深度适配昇腾后端。
llm-compressor
面向 vLLM 部署的模型压缩库，在昇腾上完成 GPTQ 量化与 NPU 前向。
llm-d
架在推理引擎上的路由层。本文在单卡昇腾上用三个进程走通一次补全。
lmdeploy
用于压缩、部署和服务 LLM 的工具包。
InternLM
开源大语言模型系列，支持在昇腾 NPU 上进行 Transformers 推理。
FastChat
训练、服务和评测大语言模型的开源平台，支持昇腾 NPU 上的对话与 OpenAI 兼容 API。
Mooncake
面向大模型服务的 KV Cache 传输与存储引擎，昇腾上走 Ascend Direct。
onnxruntime
跨平台高性能推理引擎。在昇腾上从当前正式 Release 编译 CANN 后端，并完成一次加法推理。
sentence-transformers
高性能文本和图像 Embedding 库。
sglang
用于 LLM 和 VLM 的高速服务框架，极致提升昇腾吞吐量。
text-generation-inference
大语言模型推理服务框架，支持单卡与多卡 HCCL 张量并行。
torchchat
基于 PyTorch 的对话推理交互库。
vLLM-Ascend
面向昇腾 NPU 的 vLLM 社区插件，支持主流大模型高性能推理加速。
xllm
高效易用的开源智能推理框架，为模型在国产芯片上的推理提供企业级服务保障与高性能引擎计算能力。
LightX2V
轻量级图像/视频生成推理框架，适配昇腾 NPU。
⚙️ 算子开发与编程
Triton-Ascend
适配昇腾 NPU 的 Triton 语言后端，支持高性能算子开发与迁移。
Liger-Kernel
面向 LLM 训练的高效 Triton 融合算子库，v0.8.0 起支持昇腾 NPU。
flash-linear-attention
高效线性注意力算子库，支持通过 Triton-Ascend 在昇腾 NPU 上训练。
🎨 多模态应用、评测与工具
diffusers
扩散模型工具链，支持昇腾 NPU 加速图像生成。
xDiT
扩散模型推理加速框架，支持昇腾 NPU 单卡/多卡加速图像生成。
DiffSynth-Studio
ModelScope 的扩散模型引擎，支持在昇腾 NPU 上文生图。
lm-evaluation-harness
语言模型评测工具，支持昇腾基准。
open_clip
开源 CLIP 模型实现，支持多模态语义对齐。
opencompass
开源大模型评测框架。本文在单卡上对 Qwen2-0.5B-Instruct 做 GSM8K 生成评测。
opencv
开源计算机视觉库，支持昇腾平台处理。
stable-diffusion-webui
Stable Diffusion 可视化工具链。
pytorch-image-models
PyTorch 图像模型库适配版本。
wenet
端到端的语音识别工具包。
whisper.cpp
Whisper 模型高性能推理语音识别框架。
ModelScope
「模型即服务」(MaaS) 开放平台，汇集 AI 社区最先进的机器学习模型。
ComfyUI
模块化的 Stable Diffusion 节点式图形界面与后端，原生适配昇腾 NPU。