Janas：从 SSD 流式加载专家权重，本地跑超出内存的大模型

开源工具Janas把MoE专家权重存SSD按需流式加载，内存不足也能本地跑超大模型。

Janas 是一个开源工具，核心思路是把 MoE 大模型的专家权重存放在 SSD 上、推理时按需流式加载，从而在内存不足的机器上运行参数量超出 RAM 的大语言模型。它的热度属于中等而非爆发：据 Hacker News 2026 年 10 月 12 日的帖子，讨论获得 70 分、26 条评论，材料中没有可验证的 GitHub 星数或增速数据。评论区态度分化，有用户期待它改善本地推理速度，也有不少人指出 llama.cpp 早已通过 mmap 等机制支持类似能力。

hackernews · khalidkhair · 10月12日 22:05 · 社区讨论

「为何引发讨论」 它踩中的时机是 MoE 模型快速膨胀、本地玩家的内存普遍跟不上：一位评论者称自己在 32GB 内存上跑 Qwen 35B A3B 只有约 8 tok/s，正指望这类方案破局（属个人经验，未经独立验证）。而与同类相比的差异点恰恰是争议所在——多位评论者认为 llama.cpp 的既有能力与之重叠，还有人提到已存在同类项目 Strata。因此它更接近「值得留意」的思路演示，而不是已被社区公认的必学爆款。

「上手路径」 代码开源于 GitHub（github.com/prabanta-dev/janas），形态是克隆即可上手的工具，但材料未提供技术栈、依赖与部署细节，需自行查阅仓库文档。今晚可以做的第一个动作：把仓库克隆到一台内存受限的机器上，尝试加载一个超出 RAM 的 MoE 模型并记录生成速度。动手前建议先在同一台机器上跑一遍 llama.cpp 的 mmap/offload 方案作对照，再判断 Janas 是否带来真实增量。

查看原文 ↗