纯 C/C++ 实现的机器学习张量库,无第三方依赖,是 llama.cpp 的底层引擎,本地跑大模型都靠它。支持 x86、ARM、RISC-V、WebAssembly 等平台,CPU/GPU/NPU 后端,2-8 比特量化。想在本地或边缘设备部署模型的人才需要碰它,应用层用户知道即可,门槛是 C++ 和 CMake。
ggml 是纯 C/C++ 实现的机器学习张量库,目标是简单、可移植、高效、近乎零配置——它是 llama.cpp 的底层引擎,本地跑大模型基本绕不开。亮点:无任何第三方依赖;跨 x86、ARM、RISC-V、LoongArch、PowerPC、s390x、WebAssembly 平台,并对 x86/ARM/RISC-V 做了 SIMD 优化;后端覆盖 CPU、GPU、NPU 和浏览器;支持 2 到 8 比特整数量化及 MXFP4、NVFP4 微缩放格式;运行期零内存分配;自带 GGUF 模型文件格式文档。上手:git clone 后 cmake .. 、cmake --build . --config Release -j 8 即可编译,examples/simple 里有带完整注释的矩阵乘法最小示例;给核心库提 PR 要去 llama.cpp 仓库。适合想在本地、边缘设备或浏览器里部署推理、做性能优化的开发者;纯应用层玩家不必啃源码,知道它是本地大模型的发动机就够了。
ggml-org/ggml · 创建于 4 年前
2026-11-22 榜单 · ★ 15,916(进页自动刷新) · 本期涨星 +43 · Fork 2,019 · 语言 C++
标签:machine-learning
做AI项目,先看AI雷达 - AiRadar.com.cn · 全部GitHub热榜 →