vLLM-Ascend

vllm-ascend

面向昇腾 NPU 的 vLLM 社区插件 · 高性能 LLM 推理加速

📖 GitHub 仓库

🚀 快速开始

📦

安装指南

环境准备与安装步骤

🚀

快速上手

5 分钟跑通推理任务

📖

用户指南

特性配置与部署方案

👨‍💻

开发者指南

贡献代码与特性开发

✨ 核心特性

🔌 硬件插件化架构 ⚡ 高性能推理加速 🧩 丰富模型支持 🌐 分布式推理 🔧 完整工具链 🤝 社区共建

---