如何在自己的 GPU 服务器上搭建高性能大模型推理服务？vLLM 是目前吞吐量最高的开源推理引擎，本文手把手教你从零部署，涵盖硬件选型、安装配置、性能调优全流程。
为什么选择 vLLM 作为推理引擎
vLLM 由 UC Berkeley 开源，是当前最流行的高性能大模型推理引擎之一。相比直接使用 Hugging Face Transformers 加载模型，vLLM 有三个核心优势：
**吞吐量提升 2-4 倍**：vLLM 的 PagedAttention 技术将 KV Cache 从连续内存改为分页管理，消除了显存碎片化问题。相同硬件条件下，每秒处理的 Token 数量（tokens/s）是原生 Transformers 的 2-4 倍；**显存利用率提高 50% 以上**：传统推理框架为 KV Cache 预分配连续显存，导致大量空间浪费。PagedAttention 类似操作系统的虚拟内存机制，按需分配物理页面，显存利用率从约 40% 提升至 90% 以上；**兼容 OpenAI API 格式**：vLLM 启动后会暴露一个与 OpenAI 完全兼容的 REST API 端点，你的应用代码只需将 `base_url` 指向自己的服务器即可无缝切换。
如果你正在使用独立服务器运行 AI 应用，vLLM 私有化部署能在不增加硬件成本的前提下，将推理吞吐量提升数倍。
硬件要求与服务器选型
部署 vLLM 前，需要确认服务器的 GPU 配置满足目标模型的显存需求。以下是最常见的模型与硬件对照：
**7B 参数模型**（如 Llama-3-8B、Qwen2.5-7B）：最少需要 1 张 24GB 显存的 GPU（RTX 4090、RTX 3090、A5000），FP16 精度下显存占用约 14GB；**13B 参数模型**（如 Llama-2-13B、Qwen2.5-14B）：推荐 1 张 48GB 显存的 GPU（A6000、L40）或 2 张 24GB GPU 做张量并行；**70B 参数模型**（如 Llama-3-70B、Qwen2.5-72B）：至少需要 2 张 80GB 显存的 GPU（A100、H100），使用 4-bit 量化后可在 2 张 A100 上运行；**MoE 模型**（如 DeepSeek-V3、Qwen-MoE）：推荐 4-8 张 A100 或 H100，显存总容量不低于 320GB。
如果你的模型在 13B 以下，一张 RTX 4090（24GB 显存）即可满足大部分需求。对于 70B 级别模型，使用 AWQ 或 GPTQ 4-bit 量化可以将显存需求降低到原来的 1/4 左右，选择合适的服务器配置可以大幅降低硬件门槛。
环境准备与 vLLM 安装
vLLM 依赖 NVIDIA CUDA 环境，推荐使用 Conda 或 Docker 两种方式安装。以下是基于 Ubuntu 22.04 + CUDA 12.x 的完整安装步骤。
方式一：Conda 虚拟环境安装
<h2>创建专用虚拟环境</h2>
conda create -n vllm python=3.11 -y
conda activate vllm
<h2>安装 vLLM（自动匹配 CUDA 版本）</h2>
pip install vllm
<h2>验证安装</h2>
python -c "import vllm; print(vllm.__version__)"
方式二：Docker 容器部署
<h2>拉取官方镜像（包含 CUDA、PyTorch、vLLM 全套环境）</h2>
docker pull vllm/vllm-openai:latest
<h2>验证 GPU 是否可被容器访问</h2>
docker run --rm --gpus all nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi
Docker 方式的优势是环境隔离彻底，不会污染宿主机的 CUDA 和 Python 环境。如果你在云服务器（基于云计算的虚拟服务器）上同时运行其他 GPU 服务（如 Stable Diffusion），强烈建议使用 Docker 方式。
确认 CUDA 和 GPU 驱动版本兼容是安装成功的关键。运行 nvidia-smi 检查驱动版本，vLLM 要求 CUDA 12.1 及以上、NVIDIA 驱动 530 及以上。
下载模型并启动推理服务
vLLM 支持从 Hugging Face 直接加载模型，也支持加载本地已下载的模型文件。
从 Hugging Face 在线加载
python -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2.5-7B-Instruct \
--host 0.0.0.0 \
--port 8000 \
--max-model-len 8192
使用本地模型路径
<h2>先下载模型到本地</h2>
huggingface-cli download Qwen/Qwen2.5-7B-Instruct \
--local-dir /data/models/qwen2.5-7b-instruct
<h2>使用本地路径启动</h2>
python -m vllm.entrypoints.openai.api_server \
--model /data/models/qwen2.5-7b-instruct \
--host 0.0.0.0 \
--port 8000 \
--max-model-len 8192
首次启动时 vLLM 会进行模型编译和权重加载，7B 模型通常需要 30-60 秒。启动成功后终端会显示类似以下的日志：
INFO: Started server process [12345]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000
验证 API 服务
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen2.5-7B-Instruct",
"messages": [
{"role": "user", "content": "你好，请介绍一下你自己"}
],
"max_tokens": 256
}'
返回 JSON 中包含 choices[0].message.content 字段即表示服务正常运行。
PagedAttention 内存优化详解
PagedAttention 是 vLLM 的核心技术。传统推理框架的做法是为每个请求预分配一段连续显存来存储 KV Cache，这导致两个问题：一是每个请求分配的最大长度必须按最坏情况估算，实际使用时大量显存空闲；二是不同请求之间的显存无法共享，即使它们处理的是相同的 Prompt 前缀。
PagedAttention 将 KV Cache 分割成固定大小的”页面”（默认每页 16 个 Token），按需动态分配。当请求生成完一个 Token 后才分配下一个页面，生成结束后立即释放。这使得显存利用率从传统方案的 40% 左右提升到 90% 以上。
实际效果体现在两个方面：
**并发处理能力提升**：在 24GB 显存的 RTX 4090 上，运行 Qwen2.5-7B-Instruct，传统方案最多同时处理 8 个请求，vLLM 可以同时处理 24-32 个请求；**长文本处理更稳定**：处理 4096 Token 以上的长文本时，传统方案容易出现 OOM（显存不足）错误，vLLM 通过动态页面分配可以稳定处理。
通过调整 --gpu-memory-utilization 参数（默认 0.9），你可以控制 vLLM 使用多少比例的 GPU 显存。建议保持默认值，预留 10% 显存给 CUDA 内核和系统进程。
量化加速：用 4-bit 模型降低显存门槛
当服务器显存不足以运行完整精度模型时，量化是最直接的解决方案。vLLM 原生支持 AWQ 和 GPTQ 两种量化格式，可以将模型显存占用降低 60-75%。
以 Qwen2.5-7B 为例，不同精度的显存占用对比：
**FP16**（默认精度）：约 14GB 显存，推理精度最高；**INT8**（8-bit 量化）：约 8GB 显存，精度损失极小；**INT4**（4-bit 量化）：约 4.5GB 显存，精度损失可接受。
使用量化模型只需在启动时指定量化版本的模型路径：
<h2>使用 AWQ 量化版本</h2>
python -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2.5-7B-Instruct-AWQ \
--host 0.0.0.0 \
--port 8000 \
--max-model-len 8192
<h2>使用 GPTQ 量化版本</h2>
python -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2.5-7B-Instruct-GPTQ-Int4 \
--host 0.0.0.0 \
--port 8000 \
--quantization gptq \
--max-model-len 8192
选择 AWQ 还是 GPTQ 取决于你找到的量化模型资源。社区普遍反馈 AWQ 在 vLLM 上的推理速度略快于 GPTQ，但差距在 5% 以内。优先选择下载量大、社区评价好的量化版本。
对于 70B 级别模型，4-bit 量化是私有化部署的关键——它将显存需求从 140GB 降至 35GB，使得 2 张 A100（80GB）即可运行。
生产环境配置与性能调优
将 vLLM 从开发测试推向生产环境，需要关注以下几个关键参数。
核心启动参数
python -m vllm.entrypoints.openai.api_server \
--model /data/models/qwen2.5-7b-instruct \
--host 0.0.0.0 \
--port 8000 \
--max-model-len 8192 \
--tensor-parallel-size 1 \
--gpu-memory-utilization 0.90 \
--max-num-seqs 64 \
--max-num-batched-tokens 8192 \
--disable-log-requests \
--served-model-name qwen2.5-7b
各参数的含义：
`–tensor-parallel-size`：张量并行的 GPU 数量，单卡部署设为 1，多卡部署设为 GPU 数量；`–max-num-seqs`：最大并发请求数，根据显存大小调整，24GB 显存建议 32-64；`–max-num-batched-tokens`：单次批处理的最大 Token 数，影响吞吐量上限；`–served-model-name`：API 中暴露的模型名称，客户端请求时使用此名称。
添加 API 密钥认证
生产环境不应暴露无认证的 API 端点。vLLM 支持通过环境变量设置 API 密钥：
export VLLM_API_KEY=your-secret-api-key-here
python -m vllm.entrypoints.openai.api_server \
--model /data/models/qwen2.5-7b-instruct \
--api-key $VLLM_API_KEY \
--host 0.0.0.0 \
--port 8000
客户端请求时需在 Header 中携带 Authorization: Bearer your-secret-api-key-here。
使用 systemd 管理服务
将 vLLM 注册为 systemd 服务，确保服务器重启后自动恢复：
<h2>/etc/systemd/system/vllm.service</h2>
[Unit]
Description=vLLM Inference Server
After=network.target
[Service]
Type=simple
User=vllm
WorkingDirectory=/data/models
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="VLLM_API_KEY=your-secret-key"
ExecStart=/home/vllm/miniconda3/envs/vllm/bin/python -m vllm.entrypoints.openai.api_server \
--model /data/models/qwen2.5-7b-instruct \
--api-key ${VLLM_API_KEY} \
--host 0.0.0.0 \
--port 8000 \
--max-model-len 8192 \
--gpu-memory-utilization 0.90
Restart=on-failure
RestartSec=10
[Install]
WantedBy=multi-user.target
<h2>启用并启动服务</h2>
sudo systemctl daemon-reload
sudo systemctl enable vllm
sudo systemctl start vllm
<h2>查看运行状态</h2>
sudo systemctl status vllm
sudo journalctl -u vllm -f
反向代理与 HTTPS 配置
如果 vLLM 部署在公网可访问的服务器上，建议在前端加一层 Nginx 反向代理，用于 HTTPS 终止、请求限流和日志记录。如果你使用的是 Hostease 托管方案，可以配合其提供的免费 SSL（Secure Sockets Layer，安全套接层） 证书快速完成配置：
<h2>/etc/nginx/sites-available/vllm-api</h2>
server {
listen 443 ssl;
server_name api.yourdomain.com;
ssl_certificate /etc/letsencrypt/live/api.yourdomain.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/api.yourdomain.com/privkey.pem;
location /v1/ {
proxy_pass http://127.0.0.1:8000;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_read_timeout 300s;
proxy_buffering off;
# 限流：每秒最多 10 个请求
limit_req zone=api burst=20 nodelay;
}
}
proxy_buffering off 是关键配置——大模型推理的流式响应（streaming）需要实时转发数据，如果 Nginx 开启缓冲会导致客户端收不到中间的 Token 输出。
常见问题排查
部署过程中可能遇到的典型问题及解决方案：
**CUDA out of memory**：降低 `–max-model-len` 或 `–max-num-seqs`，或使用量化模型减少显存占用；**模型加载缓慢**：首次启动需要编译 CUDA 内核，后续启动会使用缓存。确保 `~/.cache/vllm` 目录有足够空间；**推理速度慢**：检查是否启用了 `–enforce-eager`（禁用 CUDA Graph），如果有则移除此参数以启用 CUDA Graph 加速；**连接被拒绝**：检查防火墙规则是否放行了 8000 端口，以及 `–host` 是否设置为 `0.0.0.0`。
总结与行动建议
推荐从 vLLM 官方 Docker 镜像开始部署，配合 4-bit 量化可在消费级 GPU 上运行 7B 模型。生产环境务必配置 HTTPS、API 密钥认证和 systemd 服务。如果你需要一台配置 GPU 的[独立服务器](https://cn.hostease.com/dedicated-server/)来运行 vLLM，可以查看 Hostease 独立服务器方案，支持自定义 GPU 配置。更多服务器运维技巧请参考 服务器运维指南 和 主机选购指南。