AirLLM：单张 4GB 显卡跑 70B 大模型推理

大模型推理的显存门槛一直很高，70B 级模型通常要多卡高端 GPU，个人玩家玩不起。AirLLM 的做法是不量化、不蒸馏、不剪枝，把模型权重按层换入换出显存，用速度换显存：70B 模型单张 4GB 显卡即可运行；README 称还能跑迄今最大开源模型 Kimi K3（2.8T），仅需不到 4GB；Qwen3.8 Flash Next（125B）用 6GB；DeepSeek V3（671B）约 12GB。除推理外，2026 年 9 月更新加入小显存训练支持：流式加载冻结权重，Qwen3.8 Flash Next（125B）可在 6GB 显存下训练。上手很简单：pip 安装后几行代码加载模型，仓库提供 quickstart、配置文档、MacOS 支持和 example python notebook，Mac 也能跑。注意它是时间换空间，生成速度慢，不适合对延迟敏感的在线对话，更适合离线批处理、隐私敏感的本地实验。适合显存不足、预算有限、想在本地跑大模型或微调的开发者；GPU 富余的人用不上它。