适用于 Pytorch 的多 GPUs/NPUs 训练工具链。
XLA（Accelerated Linear Algebra）是面向 GPU、CPU 和 ML 加速器的开源机器学习编译器。
DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.
从 Hugging Face Hub 加载高性能计算算子内核。
Ray is a unified framework for scaling AI and Python applications.
PyTorch AI 框架，2.1 版本起官方原生支持昇腾 NPU。
适用于 Pytorch、TensorFlow 和 JAX 先进的机器学习库。
单机 RL post-training 工具包，支持在昇腾 NPU 上做 SFT/DPO/GRPO/GSPO/PPO 训练与 OpenAI 兼容推理服务。
LLM 微调框架，支持在昇腾 NPU 上做 LoRA 监督微调。
OpenMMLab 的深度学习训练引擎，提供 Runner、配置系统、注册表与 Hook 等核心组件。
大规模并行训练框架。本页在单卡昇腾上用 Booster 做一步训练。
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs。
高效微调框架，支持 600+ LLM 和 300+ MLLM 适配昇腾。
大规模强化学习优化，针对昇腾算力平衡进行了调优。
投机解码草稿模型训练框架，配合 vllm-ascend 在昇腾 NPU 上完成训练与部署。
投机解码草稿模型训练框架，配合 SGLang 在昇腾 NPU 上完成在线捕获与训练。
PyTorch 官方字典风格张量容器库，基于 torch / torch_npu 在昇腾 NPU 上提供 TensorDict 核心特性验证。
用于语言大模型训练的 PyTorch 原生库。
计算机视觉库，基于 torch_npu 在昇腾 NPU 上跑通 transforms v2 与 transforms 链路。
原生 PyTorch 大模型微调库，支持在昇腾 NPU 上跑 LoRA 单卡微调。
适用于 SFT、PPO、DPO 等方法的模型后训练库。
轻量级 LLM 训练工作台，支持 SFT、GRPO、DPO 等，适配昇腾 NPU。
Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo。
用于 LLM 的强化学习训练库，适配昇腾并行计算方案。
面向图结构数据的深度学习框架，提供图数据结构、消息传递和常用图神经网络模块。
基于 PyTorch 的 GNN 训练库。
InternLM 系列大模型微调工具箱，支持昇腾 NPU 单卡/多卡 LoRA 微调。
vLLM 的推理网关。本文用 local mode，在一张昇腾卡上把一次 OpenAI 兼容请求转到一个 vLLM 引擎。
8-bit / 4-bit 量化库。本文在单卡昇腾上跑通默认后端的 NF4 Linear4bit 前向。
面向大模型的异构推理与微调框架，官方教程覆盖昇腾 NPU。
A PyTorch-native Inference Engine with Cache, Parallelism, Quantization and CPU Offload for DiTs.
面向大模型训练、推理与服务的统一命令行。本文在昇腾上用 vLLM-Ascend 做一次双卡离线推理。
C/C++ 实现的 Meta LLaMa 架构，深度适配昇腾后端。
面向 vLLM 部署的模型压缩库，在昇腾上完成 GPTQ 量化与 NPU 前向。
架在推理引擎上的路由层。本文在单卡昇腾上用三个进程走通一次补全。
昇腾上的 KV 缓存插件，把 vLLM 的 KV 卸载到本机 CPU。
用于压缩、部署和服务 LLM 的工具包。
开源大语言模型系列，支持在昇腾 NPU 上进行 Transformers 推理。
训练、服务和评测大语言模型的开源平台，支持昇腾 NPU 上的对话与 OpenAI 兼容 API。
面向大模型服务的 KV Cache 传输与存储引擎，昇腾上走 Ascend Direct。
跨平台高性能推理引擎。在昇腾上从当前正式 Release 编译 CANN 后端，并完成一次加法推理。
高性能文本和图像 Embedding 库。
用于 LLM 和 VLM 的高速服务框架，极致提升昇腾吞吐量。
大语言模型推理服务框架，支持单卡与多卡 HCCL 张量并行。
基于 PyTorch 的对话推理交互库。
面向昇腾 NPU 的 vLLM 社区插件，支持主流大模型高性能推理加速。
高效易用的开源智能推理框架，为模型在国产芯片上的推理提供企业级服务保障与高性能引擎计算能力。
轻量级图像/视频生成推理框架，适配昇腾 NPU。
适配昇腾 NPU 的 Triton 语言后端，支持高性能算子开发与迁移。
面向 LLM 训练的高效 Triton 融合算子库，v0.8.0 起支持昇腾 NPU。
高效线性注意力算子库，支持通过 Triton-Ascend 在昇腾 NPU 上训练。
扩散模型工具链，支持昇腾 NPU 加速图像生成。
扩散模型推理加速框架，支持昇腾 NPU 单卡/多卡加速图像生成。
ModelScope 的扩散模型引擎，支持在昇腾 NPU 上文生图。
语言模型评测工具，支持昇腾基准。
ModelScope 开源大模型评测框架。本文在单卡 910B 上对 Qwen2.5-0.5B-Instruct 跑 GSM8K 与 ARC。
开源 CLIP 模型实现，支持多模态语义对齐。
开源大模型评测框架。本文在单卡上对 Qwen2-0.5B-Instruct 做 GSM8K 生成评测。
开源计算机视觉库，支持昇腾平台处理。
Stable Diffusion 可视化工具链。
PyTorch 图像模型库适配版本。
端到端的语音识别工具包。
Whisper 模型高性能推理语音识别框架。
面向离线、流式与边缘部署的工业级语音识别工具箱，支持 ASR、VAD、标点、说话人、情感等。
「模型即服务」(MaaS) 开放平台，汇集 AI 社区最先进的机器学习模型。
模块化的 Stable Diffusion 节点式图形界面与后端，原生适配昇腾 NPU。