伯克利与MIT开源推理引擎FreeToken,消费级5090实测跑通DeepSeek 284B
伯克利与 MIT 团队开源了推理引擎 FreeToken,据 AIGCLINK 的转述介绍,它利用 MoE 模型稀疏激活的特性,把 GPU、CPU、系统内存和 PCIe 带宽作为一个整体调度,核心机制包括带宽自适应的 CPU-GPU 协同推理、语义感知缓存,以及无需重启即可在专家缓存和 KV Cache 间动态分配的显存管理。项目提供 OpenAI 与 Anthropic 兼容接口,可作为 Claude Code 等 Coding Agent 的本地推理后端。文中给出的数据是:RTX 5090 实测 DeepSeek 284B 达 22–25 tok/s,Agent 工作负载的最差首 Token 延迟低于 44 秒,而对照引擎在部分场景超过 150 秒。需要提醒的是,本条为二手摘要,未附原始论文或代码仓库链接,上述性能数字均出自转载口径,尚无法独立核实。
rss · BestBlogs 精选 · 11月15日 02:44
「为什么现在值得注意」 本地部署千亿参数模型长期受显存限制,此前的 CPU/GPU 混合卸载类方案常被反映速度不够实用,而 FreeToken 把“消费级硬件跑大 MoE”与“对接 Coding Agent”放在同一方案里提出,若数据可复现,会影响本地推理工具的选型参考。不过目前性能表现仅为转载宣称,是否成立要看原始论文或仓库的复现结果,尚属未验证状态。
「可做角度」 可做角度:不照搬宣传口径,先找到 FreeToken 的原始论文或代码仓库,核实“RTX 5090 跑 DeepSeek 284B 达 22–25 tok/s”的测试条件与可复现性,再结合其 CPU-GPU 协同调度和语义缓存的设计思路,讲清这类“个人电脑跑大 MoE”方案对普通开发者的真实可用门槛。
做AI项目,先看AI雷达 - AiRadar.com.cn · 全部AI快讯 →