字节博士搞的AI火了,一键完美分离人声和伴奏
写歌填词、改换风格、续写音乐的AI,今天又来做编曲人了! 上传一段《Stay》,一键按下: 伴奏和人声就轻松分离: https://mp.weixin.qq.com/s?__biz=M字节zIzNjc1NzUzMw==&mid=2247594465&idx=3&sn=83a18be3019dbecd6040031618d112dc&chksm=e博士8d1c693dfa64f85e7db0f5157d533361da6c8b71a9ceacdfc29a28399bd6d0bade7a046014f&token=497180065&搞的;lang=zh_CN#rd 人声颇有种在空旷地带清唱的清晰感,背景乐都能直接拿去做混剪了! 这样惊人的效果也引发了Reddit热议: 这项研究的主要负责人孔秋强来自字节跳动,全球最大的古典钢琴数据集GAIiantMIDI-Piano,也是由他在去年牵头发布的。 那么今天,他又带来了怎样的一个AI音乐家呢? 一起来看看。 基于深度残差网络的音源分离 这是一个包含了相位估计的音乐源分离(MSS)系统。 首先,火了将幅值(Magnitude)与相位(Phase)解耦,用以估计复数理想比例掩码(cIRM)。 其次,为了实现更灵活的幅值估计,将有界掩码估计和直接幅值预测结合起来。 最后,为MSS系统引入一个14,一3层的深度残差网络(Deep Residual UNets),利用残差编码块(REB)和残差解码块(RDB)来增加其深度: 残差编码块和残差卷积块中间还引入了中间卷积块(ICB),以提高残差网络的表达键完能力。 其中每个残差编码块由4个残差卷积块(RCB)组成,残差卷积块又由两个核大小为3×3的卷积层组成。 每个残差解码块由8个卷积层和1个反卷积层组成。 实验结果 接下来,将这一系统在MUSDB18数据集上进美分行实验。 MUSDB18中的训练/验证集分别包含100/50个完整的立体声音轨,包括独立的人声、伴奏、低音、鼓和其他乐器。 在训练时,利用上述系统进行并行的混合音频数据增强,随机混合来自同一来源的离人两个3秒片段,然后作为一个新的3秒片段进行训练。 以信号失真率(SDR)作为评判标准,可以看到ResUNetDecouple系统在分离人声、低音、其他和伴奏方面明显优于以前的方法: 在消融实验中,143层声和残差网络的表现也证实了,结合有界掩码估计和直接幅值预测确实能够改善声音源分离系统的性能。 作者介绍 这项研究的论文一作为孔秋强,本硕都毕业于华南理工大学,博士则毕业于英国萨里大学的电子信息工程专业。 他伴奏在2019年加入字节跳动的Speech, Audio and Music Intelligence研究小组,主要负责音频信号处理和声音事件检测等领域的研究。 论文: 试玩: 开源地址: 参考链接:
https://arxiv.org/abs/字节2109.05418
https://huggingface.co/spaces/akhaliq/Music_Source_Separation
https://github.c博士om/bytedance/music_source_separation
https://www.reddit.com/r/MachineLearning/comments/pqpl搞的7m/r_decoupling_magnitude_and_phase_estimation_with/
- 最近发表
- 随机阅读
-
- 这20个Pandas函数,堪称"数据清洗"杀手!
- 云安全日报210602:红帽核心应用程序组件发现内存损坏漏洞,需要尽快升级
- 云安全日报210202:思科互联网产品和网络解决方案发现特权升级漏洞,需要尽快升级
- 标签: 曹操出行 耀出行 粤港跨境 大湾区出行
- 苹果盘前跌超4.9% 2021财年第一财季营收1114.39亿美元
- 标签: 范式智能 先知平台 PhanthyCloud ModelHubXC
- 标签: 悦普集团 AI营销 社交媒体营销 港交所IPO
- 亚马逊第二季度营收1131亿美元:净利润同比增长48%
- 基于 Kubernetes 的 Jenkins 服务也可以去 Docker 了
- 标签: 领克900 日冕金 全尺寸SUV
- 微软 Copilot 现已入驻三星电视,免费帮你找片、提建议
- 标签: 网易云音乐 账号封禁 客服回应 热搜事件
- 标签: 小米YU7 德克兰·赖斯 小米汽车 英超冠军
- 云计算核心技术Docker教程:查看当前正在运行的docker swarm的解锁密钥
- 消息称微软非洲数据中心遭遇延期,肯尼亚政府款项分歧成主因
- 标签: 张家界 七星山杯 荒野求生 老六荒野
- 大数据黑市交易触目惊心:平均每人至少有4条个人信息泄露
- 标签: 海盗船 Corsair 游戏硬件 电源
- 潞晨科技自研Open-Sora 2.0 被收录进《State of AI Report 2025》
- 标签: 鸿蒙智行 问界M9 置购税补贴 新能源汽车
- 搜索
-
- 友情链接