李沐分享全双工实时多模态模型架构：合并 ASR/TTS 端到端，延迟降至 0.7–0.9 秒
2026 年 11 月 10 日，公众号「大模型智能」发布李沐的演讲整理稿，介绍其团队的全双工实时多模态交互模型（文中称 Higgs Realtime Duplex）的架构设计。核心新意在于端到端方案：将 ASR 解码、TTS 文本处理与大模型主干合并，消除文字中转环节，并以 160 毫秒时间窗实现边听边说的双向交互，官方称延迟从传统管线的 1.5–2 秒降至 0.7–0.9 秒。训练侧结合 GRPO 强化学习与多老师蒸馏，推理侧采用 45B MoE、音频 token 压缩和 5 分钟上下文窗口控制成本。需注意这目前只是技术分享：未公布模型权重、API 或产品入口，延迟与成本等数字均为官方自报，尚无第三方对比评测或复测。
rss · BestBlogs 精选 · 11月10日 16:00
「为什么重要」 若该方案如描述般工作，实时语音视频助手可从“一问一答”变为可打断、可附和、模型边听边思考的自然对话，但这一体验提升目前属于官方演示主张，未经第三方验证。对开发者而言，文中“前端小模型解决绝大部分任务、真正搞不定才调用后台大模型”的分层思路，以及音频输入仅 1 token/160ms、超 5 分钟内容转文字记录的压缩设计，为构建低成本实时多模态应用提供了可参考的架构样本；至于是否开源或开放 API，材料中均未提及。
做AI项目，先看AI雷达 - AiRadar.com.cn · 全部AI快讯 →