腾讯ARC开源音频模型 AudioStory:用大语言模型生成长音频
近日,腾讯 ARC 团队发布了一款名为 AudioStory 的模型,旨在利用大语言模型(LLMs)生成长篇叙事音频腾。该模型解决了现有文本到音频生成技术在处理短音频方面的优势与长篇叙事音频在时间连贯性与组合推理上的挑战。 Au讯AdioStory 的核心在于其统一的理解与生成框架。该模型能够处理视频配音、音频延续和长篇叙事音频合成等多种任RC务。通过将大语言模型与音频生成系统结合,AudioStory 能够生成结构化且具有时间一致性的音频叙事。该模型具有开源强大的指令跟随推理生成能力,可以将复杂的叙事查询分解为按时间顺序排列的子任务,同时保持场景转换的连贯性和情感音频基调的一致性。 AudioStory 的两个显著特点包括:首先,去耦合的桥接机制,能够有效地将大语言模型与音频生成器之模型间的协作分成两个专业化的部分;其次,端到端的训练方式,统一指令理解与音频生成,提升了组件之间的协同效应。 此外,研 A究团队还建立了一个名为 AudioStory-10K 的基准数据集,涵盖动画音景和自然声音叙事等多样化领域。通过大量实ud验,AudioStory 在单音频生成和叙事音频生成方面的表现优于以往的文本到音频生成模型,展现出卓越的指令跟随能力io和音频质量。 目前,团队已经发布了模型的推理代码,并展示了一系列演示视频,包括经典动画《猫和老鼠》的配音示例,以及基于文St本生成长音频的应用案例,展示了该模型的广泛适用性和强大功能。 项目:https://github.com/TenceorntARC/AudioStory 划重点: **AudioStory 是腾讯 ARC 推出的长篇叙事音频y:生成模型,结合了大语言模型和音频生成技术。** ** 模型具有强大的指令跟随能力,能够生用大成连贯的音频叙事,提升用户体验。** ️ ** 团队已发布推理代码,并展示多个应用案例,展现其在视频语言配音和长音频生成上的优势。**
- 最近发表
-
- Mistral AI推Studio平台:欧盟合规+全栈可观测,企业级AI应用迎来“工业化”新引擎
- 会说话的头像!新框架LipSync3D,未来或实现动态口型再同步
- 标签: 谷歌搜索 Gemini3.5Flash GoogleAIPro Antigravity
- 谷歌推全新Gemini API URL Context 功能 可详解网页内容
- 云计算开发:Python内置函数-bin() 函数详解
- 国产芯片再突破!5nm“龙鹰二号”正式发布,AI算力直达200TOPS
- 标签: 众擎机器人 深圳众擎 赵同阳 工业机器人
- 微软 Azure ND GB300 再创记录:每秒推理速度达 110 万token
- 标签: 瑞慈医疗 幸元会 瑞慈体检 高端体检
- Facebook遭反垄断诉讼 Instagram和WhatsApp或被剥离
- 随机阅读
-
- 苹果内部AI聊天机器人“Asa”曝光,为零售员工打造专属AI
- 维基百科编辑总结识别 AI 写作的关键特征
- 标签: 智谱华章 大模型 港股上市 AI
- 标签: 曦智科技 AI硅光芯片 光互连 光计算
- AWS美国东部区域发生大规模故障:ChatGPT、Snapchat等多个服务受影响
- 标签: AI终端 智能家居 智能汽车 空间智能
- 标签: 马云 阿里巴巴 云谷学校 AI教育
- OpenAI 携手推出首部 AI 动画电影《Critterz》,2026 年全球上映
- 她因重仓马斯克和比特币封神!现在分享了十大2021技术趋势
- AI教练助力电竞新征程,TYLOO 携手新智慧游戏探索未来!
- 爆火模型上线导致系统“宕机”:月之暗面紧急全员重置额度以表诚意
- Snapchat推出AI图像生成滤镜 付费用户可用文本创作个性化内容
- 因虚假指控,谷歌AI Studio撤回 Gemma AI 模型
- Notion3.0AI 代理爆出严重漏洞,恶意 PDF 可诱导其泄露敏感数据
- 标签: 阿里巴巴 阿里云 平头哥GPU 淘宝闪购
- IBM发布第四季度财报 盘后股价跌近6%
- 2021骞磋秴閰风殑 10 涓�ぇ鏁版嵁宸ュ叿锛佷綘鐭ラ亾鍑犱釜锛�
- OpenAI 欲将 ChatGPT 打造为社交平台:内置私信功能测试中
- OpenAI 即将推出AI版TikTok,全网视频内容将由AI创造
- 微软前董事长:CEO纳德拉赢得了成为董事长的权利
- 搜索
-
- 友情链接