Pika 开源 H3 Flex:蒸馏压缩至 6 步生成音画同步视频,称五项视听指标居首。
视频生成公司 Pika 近日发布基于 MiniMax H3 的衍生模型 H3 Flex,并开放适配器权重与推理代码。模型通过六步去噪联合生成画面和同步立体声音频,原生支持 480P、768P 输出与约 5–15 秒时长,接受文本、首尾帧和多模态参考输入。据 Pika 技术博客,团队先做监督微调,再用投影分布匹配蒸馏(PDMD)把教师模型 50 步去噪压缩到 6 步,随后以奖励反馈学习和 DPO 训练 LoRA 适配器,合并后不增加生成步数。其公布的评测称 H3 Flex 在五项视听质量指标上居参评模型首位,并在 DesignArena 文生视频榜单列第八、为该榜最高的开源模型——这些成绩来自官方口径,暂无第三方复测。
rss · 雷锋网 · 11月1日 09:46
「为什么重要」 对创作者,音画同步的草稿可先在本地低分辨率生成筛选,再经 Pika API 增强到 1080P、2K 或 4K,声音还能拆成对白、配乐、音效、拟音、环境声五条独立音轨分轨调整;对开发者,开放权重加上 ComfyUI 工作流和 Hugging Face Diffusers 接入降低了集成到现有工具链的门槛。官方自测称托管推理约提速 1.6 倍(8 张 NVIDIA B300 生成 5 秒 768P 音视频,耗时从 3.409 秒降至 2.129 秒),属厂商数据,仅供参考。
「可用性」 本次开放两套 LoRA 适配器(分别用于文本及首尾帧条件生成、多模态参考生成)、MiniMax H3 基础组件和本地推理工具,提供 ComfyUI 工作流与 Hugging Face Diffusers 接入方式;本地生成上限为 480P/768P,更高分辨率增强与音频分轨由 Pika API 提供。原文未给出具体仓库链接与 API 定价。
做AI项目,先看AI雷达 - AiRadar.com.cn · 全部AI快讯 →