TokenSpeed：为智能体负载打造的光速推理引擎

问题：智能体负载下，现有推理引擎要么性能拉满但难用（TensorRT-LLM），要么易用但性能一般（vLLM）。TokenSpeed 目标是『光速』推理引擎：TensorRT-LLM 级性能 + vLLM 级易用性，专为生产级智能体工作负载设计，已获 PyTorch Foundation 收录进生态版图。核心组件：Scheduler——C++ 控制面 + Python 执行面，请求生命周期、KV cache 所有权、重叠计时被编码成有限状态机，用类型系统在编译期强制 KV 资源安全复用；Kernels——可插拔、分层内核系统，带可移植公共 API 和集中注册表，含 Blackwell（B200/B300/GB200）上最快的 MLA（Multi-head Latent Attention）实现之一；Entrypoint——SMG 集成的 AsyncLLM，低 CPU 开销处理请求。标签覆盖 DeepSeek、GLM、Kimi、GPT-OSS 等模型。上手：按 README 部署，需要一定工程能力做调优。适合谁：自建推理服务、给智能体产品压成本和压延迟的工程师；纯调 API 的用户暂时无关。