清华开源基于 SGLang 的缓存工程服务器 AKV，主打 Agent 推理降本

清华开源基于 SGLang 的缓存工程系统 AKV，让 Agent 丢弃重排 KV 缓存，4 个基准平均降推理成本 27.7%。

据科技媒体 MarkTechPost 2026 年 10 月 26 日报道，清华大学研究人员开源了 AKV，一个基于 SGLang 构建的缓存工程（cache engineering）服务系统，面向 LLM Agent 场景。其核心思路是让 Agent 直接丢弃并重排 KV 缓存，而不是像常见做法那样用摘要压缩历史对话；报道称该方式在 4 个 Agent 基准上平均降低约 27.7% 的推理成本。目前这一信息仅来自二手报道，27.7% 属转述的测试结果，原始代码仓库、论文与基准细节尚未得到核实，实际效果有待独立复现。

rss · MarkTechPost · 10月26日 07:56

「为什么现在值得注意」 该系统今日刚宣布开源，恰逢 Agent 应用上下文不断变长、推理成本压力成为自部署服务开发者现实痛点的阶段，缓存层面的优化是近期讨论较多的方向。不过需要区分：目前确认的只是系统发布这一事实，27.7% 的降本幅度及其在真实业务中的适用性仍是未经独立验证的宣称。

「可做角度」 可做角度：对比 Agent 长历史处理的两种路线——用 LLM 做摘要压缩，与直接在推理层丢弃、重排 KV 缓存——以 AKV 为例讲清后者基于 SGLang 的实现思路、可能的代价与适用边界，并明确提醒 27.7% 来自二手报道，建议读者等官方仓库和基准细节可核实后再评估是否引入自己的服务。

查看原文 ↗