# production-stack **Repository Path**: 7n/production-stack ## Basic Information - **Project Name**: production-stack - **Description**: No description available - **Primary Language**: Unknown - **License**: Apache-2.0 - **Default Branch**: main - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-11-11 - **Last Updated**: 2026-11-11 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # vLLM Production Stack：面向生产环境的 vLLM 部署参考栈 | [**博客**](https://lmcache.github.io) | [**官方文档**](https://docs.vllm.ai/projects/production-stack) | [**Production-Stack Slack 频道**](https://communityinviter.com/apps/vllm-dev/join-vllm-developers-slack) | [**LMCache Slack**](https://join.slack.com/t/lmcacheworkspace/shared_invite/zt-2viziwhue-5Amprc9k5hcIdXT7XevTaQ) | [**意向登记表**](https://forms.gle/mQfQDUXbKfp2St1z7) |

English · 简体中文

## 最新动态 - 📄 Production-Stack [官方文档](https://docs.vllm.ai/projects/production-stack)正式发布！ - ✨ 面向 Lambda Labs、AWS EKS 和 Google GCP 的[云端部署教程](https://github.com/vllm-project/production-stack/tree/main/tutorials)现已推出！ - 🛤️ 2026 年度路线图已发布！[立即参与讨论](https://github.com/vllm-project/production-stack/issues/855)！ - 🔥 vLLM Production Stack 正式发布！欢迎阅读我们于 2025 年 1 月 22 日发布的[发布博客](https://blog.lmcache.ai/2025-01-21-stack-release)。 ## 社区活动 我们在以下固定时间段举办**双周（Bi-weekly）**社区会议： - 每隔一周的周二下午 5:30（太平洋时间 PT）– [添加到日历](https://drive.google.com/uc?export=download&id=1D4SqQiqzdSx_xsEwS0QTd592zd3Xourh) 欢迎所有开发者参加！ ## 简介 **vLLM Production Stack** 项目提供了基于 vLLM 构建生产级推理服务栈的参考实现，支持您： - 🚀 无需修改任何业务应用代码，即可从单个 vLLM 实例无缝扩展至分布式 vLLM 集群部署 - 💻 通过 Web 可视化监控面板实时观测各项核心指标 - 😄 充分享受智能请求路由与 KV Cache 卸载（Offloading）带来的显著性能增益 ## 分步实战教程 0. 如何[*安装 Kubernetes 环境（kubectl、helm、minikube 等）*](https://github.com/vllm-project/production-stack/blob/main/tutorials/00-install-kubernetes-env.md)？ 1. 如何[*在主流云平台上部署 Production Stack（AWS、GCP、Lambda Labs、Azure）*](https://github.com/vllm-project/production-stack/tree/main/tutorials/cloud_deployments)？ 2. 如何[*搭建最小化 vLLM Production Stack*](https://github.com/vllm-project/production-stack/blob/main/tutorials/01-minimal-helm-installation.md)？ 3. 如何[*自定义 vLLM 配置（可选）*](https://github.com/vllm-project/production-stack/blob/main/tutorials/02-basic-vllm-config.md)？ 4. 如何[*加载您的 LLM 模型权重*](https://github.com/vllm-project/production-stack/blob/main/tutorials/03-load-model-from-pv.md)？ 5. 如何[*在 vLLM Production Stack 中启动多个不同 LLM 模型*](https://github.com/vllm-project/production-stack/blob/main/tutorials/04-launch-multiple-model.md)？ 6. 如何[*结合 LMCache 开启 KV Cache 卸载（Offloading）*](https://github.com/vllm-project/production-stack/blob/main/tutorials/05-offload-kv-cache.md)？ ## 系统架构 整个服务栈基于 [Helm](https://helm.sh/docs/) 进行编排部署，包含以下核心组件： - **推理引擎（Serving engine）**：运行各类不同大语言模型的 vLLM 引擎实例。 - **请求路由器（Request router）**：根据路由键（Routing Keys）或会话 ID（Session ID）将请求精准分发至对应后端节点，以最大化 KV Cache 复用率。 - **可观测性栈（Observability stack）**：通过 [Prometheus](https://github.com/prometheus/prometheus) + [Grafana](https://grafana.com/) 实时监控所有后端实例的运行指标。

Architecture of the stack

## 路线图 我们正在积极推进该项目的研发，并将在近期推出以下核心功能，敬请期待！ - 基于 vLLM 专属指标的**自动扩缩容（Autoscaling）** - 支持**分离式预填充（Disaggregated Prefill）** - **路由器全方位增强**（例如：采用非 Python 语言重写的高性能路由器、KV-Cache 感知型路由算法、更完善的容错机制等） ## 通过 Helm 部署服务栈 ### 前置条件 - 已运行且配备 GPU 的 Kubernetes（K8s）集群环境 - 运行 `cd utils && bash install-minikube-cluster.sh` - 或参考我们的[环境安装教程](tutorials/00-install-kubernetes-env.md) ### 部署流程 vLLM Production Stack 可直接通过 Helm Charts 部署。将本代码库克隆至本地并执行以下命令即可完成最小化部署： ```bash git clone https://github.com/vllm-project/production-stack.git cd production-stack/ helm repo add vllm https://vllm-project.github.io/production-stack helm install vllm vllm/vllm-stack -f tutorials/assets/values-01-minimal-example.yaml ``` 部署完成的服务栈提供与原生 vLLM 完全一致的 [**OpenAI 兼容 API 接口**](https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html?ref=blog.mozilla.ai#openai-compatible-server)，并可通过 Kubernetes Service 直接访问。 如需验证安装结果并向服务栈发送测试查询请求，请参阅[这篇教程](tutorials/01-minimal-helm-installation.md)。 关于如何自定义 Helm Chart 配置的更多信息，请参阅 [values.yaml](https://github.com/vllm-project/production-stack/blob/main/helm/values.yaml) 以及我们的其他[进阶教程](https://github.com/vllm-project/production-stack/tree/main/tutorials)。 ### 卸载服务栈 ```bash helm uninstall vllm ``` ## Grafana 监控面板 ### 功能特性 Grafana 监控面板提供以下核心维度的可观测性洞察： 1. **可用 vLLM 实例数（Available vLLM Instances）**：展示当前处于健康状态的实例数量。 2. **请求延迟分布（Request Latency Distribution）**：可视化端到端请求延迟分布情况。 3. **首 Token 时间（TTFT）分布（Time-to-First-Token Distribution）**：监控首个 Token 生成的响应耗时。 4. **运行中请求数（Number of Running Requests）**：跟踪每个实例当前正在处理的活跃请求数。 5. **排队等待请求数（Number of Pending Requests）**：跟踪正在等待处理的挂起请求数。 6. **GPU KV 显存使用率（GPU KV Usage Percent）**：监控 GPU KV Cache 的容量占用百分比。 7. **GPU KV Cache 命中率（GPU KV Cache Hit Rate）**：展示 GPU KV Cache 的缓存命中率。

Grafana dashboard to monitor the deployment

### 配置方式 详细配置请参阅 [`helm/README.md`](./helm/README.md#Observability) ## 请求路由器（Router） 路由器负责确保请求在各个后端实例之间实现高效分发，主要支持以下特性： - 路由至运行不同模型的服务端点 - 导出每个推理引擎实例的可观测性指标，包括 QPS、首 Token 延迟（TTFT）、排队/运行中/已完成请求数量以及运行时长（Uptime） - 基于 Kubernetes API 的自动服务发现与容错机制 - 模型别名（Model Aliases）映射 - 多种路由算法： - 轮询路由（Round-robin routing） - 基于会话 ID 路由（Session-ID based routing） - 前缀感知路由（Prefix-aware routing，开发中） 更多详细信息请参阅[路由器专项文档](./src/vllm_router/README.md)。 ## 参与贡献 我们非常欢迎并珍视任何形式的社区贡献与技术合作。请查阅 [CONTRIBUTING.md](CONTRIBUTING.md) 了解如何参与到项目中。 ## 开源许可证 本项目基于 Apache License 2.0 许可证开源，详情请参阅 `LICENSE` 文件。 ## 赞助商 衷心感谢以下赞助商对本项目研发与基准测试工作的大力支持：

GMI Cloud Logo

--- 如有任何问题或建议，欢迎随时提交 Issue 或直接联系我们（[@ruizhang0101](https://github.com/ruizhang0101)、[@ApostaC](https://github.com/ApostaC)、[@YuhanLiu11](https://github.com/YuhanLiu11)、[@Shaoting-Feng](https://github.com/Shaoting-Feng)）。 *注：本文档由社区志愿者维护（贡献者：[@JasonYeYuhe](https://github.com/JasonYeYuhe)），内容与英文官方文档保持同步（更新时间：2026年10月13日）。如有任何疑问或更新建议，欢迎提交 PR 或 Issue。*