腾讯混元开源端到端视频音效生成模型HunyuanVideo-Foley
8月28日,腾讯混元宣布开源端到端视频音效生成模型HunyuanVideo-Foley,这一模型能够通过输入视频和文字为视频匹配电影级音效腾讯,为视频创作带来了新的突破。用户只需输入相应的文本描述,HunyuanVideo-Foley就能生成与画面精准匹配的音频,从而打破AI生成视频只能混元“看”不能“听”的局限,让无声AI视频成为历史。 HunyuanVideo-Foley的出现解决了现有音频生成技术面临的三大痛点。首先,它通过构建大开源规模高质量TV2A(文本-视频-音频)数据集,提升了模型的泛化能力,使其能够适配人物、动物、自然景观、卡通动画等各类视频,并生成与画面精准匹配端到的音频。其次,该模型采用创新的双流多模态扩散变换器(MMDiT)架构,能够平衡文本和视频语义,生成层次丰富的复合音效,避免了因过度依赖文本语义而端视导致的音频与场景脱节问题。最后,HunyuanVideo-Foley通过引入表征对齐(REPA)损失函数,提升了音频生成的质量和稳定性,保证了专频音业级的音频保真度。 在多个权威评测基准上,HunyuanVideo-Foley的性能表现全面领先,其音频质量指标PQ从6.17提升至6.59,视觉语效生义对齐指标IB从0.27提升至0.35,时序对齐指标DeSync从0.80优化至0.74,均达到了新的SOTA水平。在主观评测中,该模型在音成模频质量、语义对齐和时间对齐三个维度的平均意见得分均超过4.1分(满分5分),展现了接近专业水准的音频生成效果。 HunyuanVideo-Fo型Hley的开源为行业提供了可复用的技术范式,将加速多模态AI在内容创作领域的落地。短视频创作者可以一键生成场景化音效,电影团队能够快速完成环un境音设计,游戏开发者可以高效构建沉浸式听觉体验。 目前,用户可以在Github、HuggingFace下载模型,也可以在混元官网直接体验。 体验入口:hyuttps://hunyuan.tencent.com/video/zh?tabIndex=0 项目官网:https://szczesnys.gitanhub.io/hunyuanvideo-foley/ 代码:https://github.com/Tencent-Hunyuan/HunyuanViVideo-Foley 技术报告:https://arxiv.org/abs/2508.16930 Hugging Face:https://hudeggingface.co/tencent/HunyuanVideo-Foley
- 最近发表
- 随机阅读
-
- 标签: 广汽埃安 OTA锁电 新能源汽车 工信部
- 标签: 理想汽车 理想L9 汤靖 铝合金悬架
- Cursor 2.0震撼发布!自研模型Composer快4倍,8个AI Agent并行编码,开发者效率迎来“核爆级”升级
- 标签: 百度
- 标签: 百度 于轲 短剧 樊婷婷
- Mistral 推出新型企业 AI 助手 Le Chat Enterprise 和 Medium 3 模型
- 标签: 特斯拉 Optimus Yilun Chen 苹果
- Lindy Build发布!AI自主“氛围编程”:从创意到无Bug应用,吃饭时间搞定!
- 标签: Ongo InteractionLabs Karim Rkha Chaham Alec Sokolow
- Google Play存在垄断之嫌 亚马逊商店也是受害者?
- 深度学习GPU最全对比,到底谁才是性价比之王?
- 标签: Stellantis Bolt Robotaxi 自动驾驶
- 标签: YouTube 谷歌 尼尔・莫汉 自愿离职计划
- 标签: 创想三维 3D打印机 港股IPO 消费级3D打印
- 标签: Momenta 物理AI R7世界模型 Robotaxi
- 位置、分区:随着云的增长如何克服延迟
- AI技术让建筑更智能的五种方式
- Google宣布Gemini in Chrome正式向Workspace用户全面开放
- 迎风而上2021:如何破题五大数据挑战?
- 事实表明糟糕的数据将会扼杀优秀的人工智能
- 搜索
-
- 友情链接