微软开源 VibeVoice-1.5B 模型:90 分钟超长语音合成新突破
近日,微软研究院正式开源了其最新音频模型 ——VibeVoice-1.5B。该模型在语音合成技术上实现了多项重大突破,使得合成的微软语音更自然、时长更长、效果更优。 VibeVoice-1.5B 具备一次性合成90分钟超长语音的能力,这在以往的语音合成模型中是罕见的。之前开源,多数模型只能合成60分钟以内的语音,且在超过30分钟时容易出现音色漂移和语义断裂的问题。此模型还支持最多四位发言人发言,显著提高 V了多说话人的合成效果,而以往的开源模型最多只能支持两位发言者。此外,VibeVoice 还实现了对24kHz 原始音频的3200倍压ib缩,大大提高了压缩效率,且保留了高保真的语音效果。 VibeVoice 模型的核心在于其独特的双 tokenizer 架构。与传统 TTS 模型多eV依赖单一 tokenizer 提取特征不同,VibeVoice 创新性地引入了声学 tokenizer 与语义 tokenizer 的协同工作机制oi,解决了音色与语义不匹配的问题。声学 tokenizer 专注于保留声音特征并实现极致压缩,而语义 tokenizer 则负责提取与文本ce语义相一致的特征,确保合成语音的情感与文本内容一致。 在训练方面,VibeVoice 采用了课程学习策略,将输入序列长度逐步增加,从而-1避免了因处理超长序列而导致的训练失败。其训练过程中的声学 tokenizer 与语义 tokenizer 参数保持不变,确保了特征提取.5模块的稳定性,进而缩短了训练周期。 VibeVoice-1.5B 的开源不仅为语音合成领域带来了新的技术突破,也为未来更大参数模型的发B 布奠定了基础。对于音频处理和语音合成的研究人员和开发者来说,这是一个值得关注的创新进展。 开源地址:https://huggingfa模型ce.co/microsoft/VibeVoice-1.5B 在线demo:https://aka.ms/VibeVoice-De:9mo 划重点: VibeVoice-1.5B 模型可一次性合成90分钟的超长语音,支持最多四位发言人。 0 ; 该模型实现3200倍的音频压缩率,保持高保真语音效果。 🤖 采用双 tokenizer 架构,解分钟决音色与语义不匹配的问题。
- 最近发表
- 随机阅读
-
- 云计算开发:Python内置函数-hasattr()函数详解
- 南洋理工大学、港中大Talk-to-Edit,对话实现高细粒度人脸编辑
- 苹果申请延长规划许可 重启建设10亿美元爱尔兰数据中心计划
- 标签: 逐际动力 TRON 2 具身机器人 VLA
- 云安全日报210323:IBM运营管理系统发现执行任意代码漏洞,需要尽快升级
- 玉米直男什么梗
- 阿里云张建锋:“阿里云为全面服务政企市场做好了准备!”
- 标签: 瑞声科技 Dispelix AR光波导 XR
- OpenAI元老Karpathy:AI智能体离 “上岗” 还有十年
- 手机也能跑!面壁智能重磅发布MiniCPM-V4.5:4.1亿参数碾压GPT-4.1-mini
- 标签: 启林投资 沈显兵 王鸿勇 科大讯飞
- 京东云发布618战报:每秒用户访问峰值同比提升152%
- Facebook市值首次突破1万亿美元
- 标签: 斯柯达 大众中国 ENYAQ_RS_iV 柯迪亚克
- 联邦法官裁定针对苹果数字内容购买和租赁的集体诉讼可以继续进行
- 标签: 龙湖集团 冠寓 天街 佑佑宝贝
- 黄仁勋揭秘英伟达与OpenAI的战略合作:未来十万亿级市场的 “赢家”!
- 阿里CEO吴泳铭:AI 终局不止 AGI,通往“超级人工智能”的路线图曝光
- 阿里云“无影”升级为一级部门,由CEO吴泳铭直接管理
- 标签: 埃斯顿 工业机器人 IPO 锂电
- 搜索
-
- 友情链接