世界超大的多语言语音数据集现已开源!超40万小时,共23种语言
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 最近,Facebook开源了目前世界上最大的多语言语音数据集,VoxPopuli: 这一数据集共涵盖了23种语言,时长世界超过40万小时。 其中,每种语言都有9000到18000小时的无标签语音数据。 此外,还包括了共1800小时,16种语言的转录语音数据,以及17300小时,15种目标语言的口译语音数据。 国外网友很快为这一行为点赞超大: 显然,如果数据集已经存在,那么它应该被利用,并以一种道德的方式来改善人类社会。 这一数据集庞大的无标签数据量和广泛的语言覆盖率,对改进自监督模型有着很大的帮助。 而Facebook也希望能够帮助提高语音数据集的质量和的多鲁棒性,使训练语音转换神经网络更加可靠。 最终加速新的NLP系统的开发,使AI翻译的效果越来越好。 而数据集的名字,VoxPopuli的直译“人民的心声”也表示了其原始数据的来源—— 即源语音全都收集自2009-20语言20年欧洲议会的活动录音。 来自10年欧会的语料库 在欧洲议会的各自活动,如全体会议、委员会会议和其他活动上,发言者都会以不同的欧盟语言轮流发表演讲。 Facebook就是从欧会官网上抓取了每个演讲的文字记录、演语音讲者信息、开始/结束时间戳。 然后,将所有的原始演讲数据进行处理,大致分为以下3类: 共40万小时,23种语言的无标签语音数据 每种语言都有8千到2万多的原始语音数据。 因此,Facebook基于能量的语音激活检测数据(VAD)算法,将完整音频分割成15-30秒的短片段。 最终得到没有太多的数据不平衡,也不需要调整数据采样策略的数据集。 因此非常适合多语言模型的训练。 而上表中除了无标签数据,也有转录的语音数据,这也就是第二种: 共集现1800小时,16种语言的转录语音数据 欧会官方的时间戳虽然可以用来在会议中定义演讲者,但常常会被截断,或混合前后演讲的片段,因此并不完全准确。 所以Facebook对全会话音频采用了声纹分割聚类(SD)。 这时已开的语音段落平均时长为197秒,再利用语音识别(ASR)系统,将其细分为20秒左右的短片段。 观察上表,可以看到最终得到的数据中,有包括各语言的持续时间、发言人数量、女性发言人百分比、标记数量等多种属性。 17300源!小时的15种目标语言的口译语音数据: 每个原始语音都有相对应的同声传译,并互相关联。 但要使这个数据集可用,必须经过大量的预处理和过滤。 因此,Facebook使用了语音识别(ASR)系统在句子层面上对齐源语音和目标超4语音。 在域外环境的半监督学习下具有通用性 那么这一数据集用起来到底怎么样? 首先,是使用包含了域外语言(out-of-domain out-of-language)的无监督预训练,进行少样本的语音识别: 可以从表0万中看到,VP-Mono5K在5种VoxPopuli语言上,都优于XLSR-Mono和XLSR-10。 而VP-100K则在10种语言中的8种上的都比XLSR-10的表现更好。 并且,虽然XLSR-53涵盖了Zh小时语言,但与VP-100K(Large)在Zh上的表现相距甚远。 这表明VP-100K所学的语音表征具有高度的通用性。 然后是使用VoxPopuli数据集进行自我训练或弱监督的语言翻译(ST)和语音识别(ASR,共): 从表中可以看到,不管是对于域内语言还是域外语言,对VoxPopuli的自我训练在大多数时候都能够提高性能。 而在翻译上,也不用再增加昂贵的标签数据。 通过自我训练,就能够缩小端到端模型和级联模型之间的差距。 论23文地址: 下载:
https://arxiv.org/abs/2101.00390
https://github.com/facebookresearch/voxpopuli
- 最近发表
- 随机阅读
-
- Google Meet 推出 AI 妆容滤镜:开会也能“素颜变精致”
- 云计算开发:Python练习实例-输出一个随机数
- 用户画像被批“没啥用”!到底咋做才有用?
- 微软正在开发专用流媒体硬件:可连接电视玩Xbox云游戏
- 标签: Temu 拼多多 土耳其 跨境电商
- ZooKeeper 分布式锁 Curator 源码 之一:可重入锁
- 标签: 福恩股份 生态环保面料 再生面料 H&M
- 阿里云启用第三座日本数据中心,加快海外市场扩展
- 国家电投智慧能源与腾讯云正式签署战略合作协议
- 微软 Azure Stack HCI 混合云解决方案落地中国市场
- 标签: 观致汽车 宝能集团 姚振华 破产重整
- 数据挖掘从入门到放弃之决策树
- 云安全日报211011:红帽配套火狐浏览器发现重要安全漏洞,需要尽快升级
- 标签: 千分一 智能笔 IPO 专精特新
- 标签: Suno AI音乐 Menlo Ventures NVentures
- Meta收集员工日常行为数据用于训练大模型 隐私边界再受挑战
- ICLR 2021研究挖掘游戏技能包?有序记忆决策网络帮你实现
- 标签: 小米汽车 SU7
- 标签: OpenClaw ClawBot 微信 插件系统
- 字节跳动王炸出击:Seed-OSS-36B开源模型横空出世,512K超长上下文碾压DeepSeek引爆AI圈
- 搜索
-
- 友情链接