FreeToken：游戏PC本地跑290B+ MoE大模型

前沿开源 MoE 模型动辄上千亿参数，桌面硬件跑不动、跑不快，上云 API 又贵又有数据顾虑——FreeToken 想把数据中心级的模型服务搬回你自己的电脑，官方口号是在游戏 PC 上以交互级速度本地运行 290B+ 的前沿 MoE 模型。核心亮点：带宽自适应的 CPU–GPU 协同执行（q* 策略）、全层双缓冲 prefill 流水、全局 LRU 专家缓存；语义感知缓存让工具调用、思考块等上下文编辑避免重复计算；显存可在专家缓存与 KV 之间运行时动态再分配，无需重启引擎或重载权重。模型与生态支持 DeepSeek V4 Flash、Qwen3.6 35B A3B、GLM 5.2 等，量化格式覆盖 MXFP4、NVFP4、FP8、BF16；提供 Anthropic/OpenAI 兼容 API，可直接对接 Codex、Claude Code 等编码与工具调用智能体。上手即下载安装引擎、拉取支持的模型权重起服务。适合手头有不错显卡、想本地跑大模型做私有部署或省 API 费的开发者；项目早期（242 星），稳定性需自行验证。