AI快讯
爆火项目更新日期 2026-11-22 09:52整理:AI雷达增益 0捕获 0

Inkling-2-Mini 塞进 5.4 GB 内存:HN 热议但有争议的 looped transformer 量化项目

这是一个开源量化项目,宣称用 looped transformer(循环复用权重)加量化的方式把 Inkling-2-Mini 模型压缩到 5.4 GB 内存中运行,主打让模型在低配消费级硬件上跑起来。

这是一个开源量化项目,宣称用 looped transformer(循环复用权重)加量化的方式把 Inkling-2-Mini 模型压缩到 5.4 GB 内存中运行,主打让模型在低配消费级硬件上跑起来。项目于 2026 年 11 月 21 日登上 Hacker News,获得 347 分、91 条评论,属于真实的社区讨论热度,但远非刷屏级,且目前没有可独立验证的 GitHub 星数与增长数据。热度之外争议同样明显:热评第一警告其宣传有 benchmaxx(刷分)嫌疑,指出 README 中的「12X 提升」甚至不适用于 Inkling-2-Mini 本身,README 文档也被批混乱;另有用户实测其推理速度仅约为同级模型(Qwen 27B,R9700 显卡)的三分之一。综合来看,它处于「值得关注但先别急着用」的区间。

hackernews · k__ · 11月21日 18:02 · 社区讨论

「为什么现在火」 它踩中了本地 LLM 社区最持续的痛点——消费级硬件跑不动大模型,「5.4 GB 内存跑一个模型」这类标题对想本地部署的读者天然有吸引力;looped transformer 这一循环复用参数的路线也区别于常见的静态量化方案,话题性更强。不过相当一部分讨论热度来自争议本身:社区对其夸大基准宣传、混乱文档和偏慢推理速度的质疑构成了评论区的主线,所以它更像一个「引发围观和警惕」的案例,而非已被验证好用的工具。

「上手路径」 项目开源在 GitHub(ShinMegamiBoson/lookatmyquant),可以直接 clone。材料能支撑的路径是:克隆仓库并通读 README——评论反映其文档混乱,需对照代码逐项核实「5.4 GB」「12X」等关键声明的实际适用条件;然后在自己的硬件上实际运行,用同样的任务对比速度和输出质量,尤其是速度——已有用户实测明显偏慢(约为同级模型的 1/3)。因此今晚的第一个动作建议定为「复现并交叉验证基准」,而不是直接投入使用。至于 looped transformer 的具体实现与训练细节,现有材料信息不足,请以仓库代码本身为准,不要按宣传口径预设立场。

查看原文 ↗

做AI项目,先看AI雷达 - AiRadar.com.cn · 全部AI快讯 →