GitHub热榜
模型与训练涨星 +13726榜单日期 2026-10-25整理:AI雷达增益 0捕获 0

colibri:纯C本地跑千亿MoE大模型引擎

纯C写的极简推理引擎,把MoE专家参数放硬盘按需读取,8GB内存、无显卡的普通电脑也能跑GLM、DeepSeek等千亿模型。想本地部署省API费、做离线AI产品或玩硬件变现的值得研究。Windows一键脚本启动,门槛出乎意料地低。

项目自述 · 据 README 提炼

本地跑大模型最怕显存不够、依赖装不上。colibri 的答案很极端:纯 C、零依赖、不需要 GPU,每个模型家族只用一个实现文件,口号是「Tiny engine, immense model」。它已支持 13 个引擎,其中 10 个面向语言模型,覆盖 GLM 5.2/5.3、GLM 5.3 Flash、Inkling、Kimi K3、DeepSeek V4 等前沿开源模型。原理不复杂:MoE(混合专家)模型每生成一个 token 只激活一小部分专家,colibri 把这部分常驻内存,其余几百亿参数的「专家」等要用时再从硬盘流式读取,于是千亿模型也能在一台普通电脑上转起来。代价是速度吃磁盘 I/O,SSD 越快体验越好,别和 GPU 比吞吐。上手就是 clone 仓库、编译、下载权重、一条命令运行,没有 Python 环境和 CUDA 折腾。适合想在自己旧笔记本/台式机上离线跑前沿大模型的人,做本地助手、知识库、写码搭档都行;追求生产级并发的团队不合适。

JustVugg/colibri

2026-10-25 榜单 · ★ 13,726(进页自动刷新) · 本期涨星 +13726 · 语言 C

GitHub 仓库 ↗

做AI项目,先看AI雷达 - AiRadar.com.cn · 全部GitHub热榜 →