Pika 基于 MiniMax H3 开源 H3 Flex,六步实现音视频联合生成

Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,开放适配器权重与推理代码。该模型通过六步去噪联合生成画面与声音,支持文本、首尾帧及多模态参考输入,原生支持 480P、768P 输出,可生成约 5 至 15 秒视频及同步立体声音频,并提供 ComfyUI 工作流与 Diffusers 接入方式。

近日,Pika 发布了基于 MiniMax H3 的衍生模型 Pika H3 Flex,并同步开放了适配器权重与推理代码。这一动作意味着,原本需要较高算力门槛的音视频联合生成能力,正在向更广泛的创作者和开发者群体开放。与只生成画面的视频模型不同,H3 Flex 的核心特点是在同一次生成过程中同时产出画面与声音,让视频与音频在时间轴上保持同步。

从技术路径看,Pika 团队先在内部音视频数据集上对 MiniMax H3 进行监督微调,再采用投影分布匹配蒸馏(PDMD),把教师模型原本 50 步的去噪过程压缩到 6 步。随后团队通过奖励反馈学习和直接偏好优化训练 LoRA 适配器,用于改善美学质量、清晰度和指令遵循能力。适配器合并进推理流程后,并不会增加生成步数,这也是该模型能够在较低成本下保持输出质量的关键。

本次发布包含两套 LoRA 适配器,分别面向文本及首尾帧条件生成、多模态参考生成,同时提供 MiniMax H3 基础组件和本地推理工具。模型原生支持 480P 与 768P 输出,可生成约 5 至 15 秒的视频以及同步立体声音频,并给出 ComfyUI 工作流和 Hugging Face Diffusers 接入方式,方便开发者将其嵌入现有创作工具链。对于需要更高画质的场景,Pika 通过 API 提供 1080P、2K 和 4K 视频增强以及音频分轨功能,创作者可以先以低分辨率生成和筛选草稿,再对选定版本做高分辨率处理;同步生成的声音则可拆分为对白、配乐、音效、拟音和环境声五类独立音轨,便于后期分别调整。

在性能方面,Pika 对托管推理服务做了加速。在保持模型权重和六步采样方案不变的测试中,使用 8 张 NVIDIA B300 GPU 生成一段 5 秒、768P 的音视频,条件编码、去噪和解码的合计耗时从 3.409 秒缩短至 2.129 秒,处理速度约为原来的 1.6 倍。Pika 公布的对比评测显示,H3 Flex 在五项视觉和音频质量指标上均在参评模型中取得最高得分,并在 DesignArena 文生视频榜单上位列第八,是该榜单中排名最高的开源视频模型。

放到更大的背景下看,今年 8 月 MiniMax H3 开源后,围绕不同使用场景的衍生训练持续涌现:与 Running Hub 打造 MiniMax H3 480P,与 fal 面向实时生成做后训练和推理优化并推出 H3 Max 768P、H3 Max 480P,FastVideo 通过稀疏化和硬件适配推出 FastH3,英伟达与 MIT 联合开发 StreamRender-H3、Open-H3-Regenerate-2K 等。海外开发者还围绕 H3 衍生模型搭出了 Twitch 直播、24 小时“AI 电视台”和 AI 短视频直播软件等玩法。H3 开源一个月内下载量已超过 2400 万次,产生超过 300 个公开衍生项目。H3 Flex 的发布,进一步把“六步出片、声画同步”的能力推向本地创作与二次开发,音视频生成的门槛和成本有望继续下探。