英伟达与MIT开源H3视频增强模型支持4K重生成

英伟达与麻省理工学院研究人员组成的 Efficient-Large-Model 团队，近日在 Hugging Face 发布视频增强项目 Open-H3-Regenerate-2K 的模型权重，推理代码则已在 NVlabs/Sana 仓库开放。该方案基于 MiniMax H3，可将低分辨率视频草稿重新生成至 2560×1440 的 2K 分辨率，最高支持 3840×2160 的原生 4K 输出。

MiniMax H3 的完整系统包括多模态上下文处理、基础音视频生成和高分辨率重生成等环节。已开放的 H3-Base 负责生成 768P 音视频，官方 H3-Regenerate-2K 目前通过 API 提供服务。此次开源项目复用了 H3 基础模型的生成能力，为高分辨率细化环节提供了可自行部署的实现。

训练细化模型时，团队冻结 H3 Transformer 主干和视频 VAE 的原有参数，仅训练新增的细化 LoRA。推理阶段，LoRA 会与 LightX2V FL2VA Turbo、LMS Sharp 等社区适配器合并，通过三步去噪在目标分辨率下补充画面细节；输入视频草稿中的场景、构图和运动信息，则作为重生成过程的基础。

为了降低高分辨率处理成本，项目采用社区开发的潜空间放大器，直接放大视频潜在表示，减少反复编码和解码的开销。同时，SoL-Engine 的稀疏注意力、低精度计算及快速 VAE 解码器，也被用于加速细化和输出环节。

测试结果显示，在单张 NVIDIA B200 GPU、完成预热的条件下，一段约 5 秒视频完成潜空间放大、三步细化和 2K 解码，耗时从未优化实现的 87.26 秒降至 22.45 秒，速度约提升至原来的 3.9 倍。其中，快速解码器将视频解码时间从约 15 秒缩短到约 1.6 秒。

在 RefinerBench-150 测试中，使用相同输入和 2K 输出条件时，Open-H3-Regenerate-2K 在 UniPercept 感知质量评测中的平均分为 60.0，高于官方 H3-Regenerate-2K API 的 53.4。VBench 结果显示，开源方案在美学质量、成像质量和主体一致性方面得分更高，而官方 API 在运动平滑度和动态程度上仍略占优势。

MiniMax H3 于今年 8 月开放权重后，围绕该模型的微调、蒸馏和工具适配快速增加。一个月内下载量超过 2400 万次，并出现超过 300 个公开衍生模型，成为 2026 年全球下载量最高的模型之一。英伟达与 MIT 团队还推出了基于 H3 Ref2VA 的流式视频渲染模型 StreamRender-H3，以及由 H3 视频 VAE 蒸馏而来的快速解码器 Sol-H3-VAE，分别面向交互式渲染和解码加速。

社区生态也在持续扩展：LightX2V 发布了 MiniMax-H3 Turbo 的四步、八步蒸馏版本，Singularity 侧重动作、面部细节与视觉风格优化；FastVideo 和 Pika 分别推出 FastH3 四步预览版与六步采样的 Pika H3 Flex，ComfyUI、Unsloth 则通过适配权重和量化版本，推动 H3 进入更多本地视频创作流程。