llama.cpp：本地跑大模型的经典 C++ 推理框架

llama.cpp 是本地大模型推理的事实标准：纯 C/C++ 实现推理全流程，不依赖 Python，总星标超 13.4 万，更新极活跃。它解决的问题是「怎样在自己电脑上把开源模型跑起来」：靠 ggml 量化把模型压到消费级硬件能承受的体积，CPU、Apple Silicon、NVIDIA/AMD 显卡都能跑，Llama、Qwen、DeepSeek 等主流开源模型的 GGUF 文件在 Hugging Face 上随手可得。核心组件有 llama-cli（命令行对话）和 llama-server（OpenAI 兼容的 HTTP 服务）——后者意味着你能在本机起一个服务，然后像调 OpenAI API 一样接进自己的应用、脚本或自动化工作流，零按量付费。上手不难：从 Releases 下载预编译包或源码编译，一条命令加载 GGUF 模型即可运行。对想用 AI 赚钱的人，价值在于零成本跑产品原型、批量处理文案数据，或给客户交付「数据不出本地」的私有化方案；适合有基本动手能力的独立开发者。