PrismML发布基于Qwen3.5的三元权重端侧模型2B/4B/9B，官方称2B版iPhone本地每秒120词元
10 月 15 日，AI 公司 PrismML 发布 Ternary Bonsai 2 系列模型，提供 2B、4B、9B 三种规模，基于阿里 Qwen 3.5 基座构建，采用仅用 -1、0、+1 编码参数的「三元」权重表示法，官方称三档存储占用分别约 0.43GB、0.95GB 和 2GB，目标是在手机、PC 与可穿戴设备上本地运行 AI 智能体（推理、识图、调用工具）。所有性能数字均为厂商自测、暂无第三方复测：官方称 19 项基准覆盖工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力，9B 模型在标准指令执行和日常数学任务所需 token 约减少 40%；在 RTX 4090 与 M5 Pro 上较对应全精度模型最高 5 倍吞吐、3 倍能效；在 iPhone 18 Pro Max 上 9B 最高每秒 34 个词元、2B 最高每秒 120 个词元。
rss · IT之家 · 10月16日 05:50
「为什么重要」 对开发者的意义在于一条可自验证的低门槛端侧路线：三元量化把模型压到 0.43-2GB，配合 Apache 2.0 开放权重，可在 iPhone/iPad/Mac 上直接部署本地智能体，不需要联网 API。对普通用户而言，若官方吞吐数字属实，手机本地跑智能体将接近可用交互速度；但「5 倍吞吐」「120 词元/秒」等目前均为官方主张，实际体验需自行复测。
「哪里能用」 模型权重以 Apache 2.0 许可证开放；开发者可通过 llama.cpp 在 NVIDIA GPU 上运行，或通过 MLX 在 Mac、iPhone 和 iPad 上部署。该系列可与已有的 Bonsai 2 27B 组成从轻量任务到复杂工作流的产品线；材料未提及价格信息。
做AI项目，先看AI雷达 - AiRadar.com.cn · 全部AI快讯 →