BitNet：微软开源 1-bit 大模型 CPU 推理框架

大模型推理的瓶颈是算力和显存，BitNet 从训练源头就用 1-bit 权重，微软官方推理框架 bitnet.cpp 让普通 CPU 也能把大模型跑出可用速度，省掉买卡钱。README 里的硬数字：①BitNet Embeddings 0.6B/270M 是首批 1-bit 嵌入模型，8 线程 prefill 比 F16 提速 1.42x–2.28x（0.6B）、1.32x–1.74x（270M），每权重仅 2 bit、推理无损；②I2_S 量化内核针对 x86（AVX2）与 ARM（NEON）平台优化；③新开源基于 I2_S 的实时多语言语音识别引擎，极少线程即可做到 RTF < 1。上手：从 Hugging Face 拉模型，按仓库指南做 I2_S 转换，编译 bitnet.cpp 后命令行推理，文档有专门的转换与优化教程。适合想在 CPU、Mac 或边缘设备上低成本跑模型、做本地 embedding 检索和语音识别的开发者；需要 C++ 编译能力，纯小白门槛较高，量力而行。