vLLM：高吞吐省显存的大模型推理引擎

训练好的大模型要便宜、快速地对外服务，难点在显存利用和并发吞吐——vLLM 就是解决这个问题的推理与服务引擎。它源自 UC Berkeley，已有超过 2000 名贡献者，是开源 AI 圈最活跃的项目之一。核心亮点：PagedAttention 高效管理注意力 KV 显存，配合连续批处理、chunked prefill、prefix caching 做到业界领先吞吐；支持 FP8、NVFP4、INT8、GPTQ/AWQ、GGUF 等多种量化；集成 FlashAttention、FlashInfer、FlashMLA 优化内核；支持 n-gram、EAGLE 等投机解码与分离式 prefill/decode 部署。DeepSeek、Llama、Kimi、GPT-OSS 等主流模型可无缝加载，与 Hugging Face 生态打通。上手：pip 安装后用一条 vllm serve 命令即可把模型跑成 OpenAI 兼容 API。适合手握 GPU、想自建模型服务、做私有化部署或对外卖 API 的开发者；没有显卡、只想调云端大模型的读者，围观了解即可。