这年头,机器翻译都会通过文字脑补画面了
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 现在,想象一个外国人面前摆了句「金石迸碎荡尘埃,磐山纡水尽为开」。 除了痛苦地死抠复杂单词和长难句语法,他还能怎么去理解这句这年话呢? ——想象。 想象这句诗词中的“金石”、“尘埃”、“山水”各个词汇的意象,再将意象汇聚成一个具体的画面或场景。 而这时就有研究者灵机一动: 人类不是能根据非母语文本脑补画面,进而做到更深入的理解吗? 那机器是不头,是也能根据输入文本脑补图像,最终实现更好的翻译呢? 于是,一个以视觉想象为引导的机器翻译模型ImagiT就诞生了。 论文作者来自南洋理工大学和字节跳动人工智能实验室。 缺少图片也能利用视觉 提到“利用视觉”,我机器们首先会想到多模态机器翻译。 比起纯文本的机器翻译,多模态机器翻译能够利用语音、图像这样的模态信息来提高翻译质量。 但多模态机器翻译的质量是和数据集的可用性直接挂钩的。 换句话说就是标注图片的数量和质量会非常影响模翻译型翻译的有效性。 但偏偏人工图片标注的成本又不低……所以现阶段的多模态机器翻译大都应用在Multi30K,一个包含了3万张图片标注的数据集上。 而新提出的ImagiT翻译模型呢? 它在推理阶段不需要标注图都会片作为输入,而是通过想象的方式利用视觉信号,在训练阶段将视觉语义蕴含到模型内部。 做到了在缺少图片标注的情况下也能利用视觉信息。 基于想象的翻译模型到底什么样 这是一个端到端的对抗学习架构。 架构左右端是我通过们熟悉的transformer的编码器和解码器,而中间则是这一框架独特的生成想象网络。 这一生成想象网络主要由两个转化器和一个注意力层组成,具体做转化时: 一、源文本通过F0输入 F0包含一个全连接层和四个去卷积层文字。 基于GAN的思想,句子特征与噪声拼接后会通过F0转化成视觉表征。 二、将注意力放在词层面 在注意力层关注源文本中的相关词汇,并生成图像不同子区域的细粒度细节,让图像特征的子区域与词对应。 最终得到更加语义一致脑补的视觉表征。 三、视觉表征通过F1输出 F1包含两个全连接层和一个去卷积层,以及一个残差层。 通过这一转化器,捕捉多层次(词级和句级)的语义,输出生成的视觉特征f1。 四、多模态聚合 把原本的文本模态和新合成画面的视觉特征聚合在一起。 五、翻译 模型的学习目标结合了文本到图片的生成,以及逆任务的图像字幕和翻译。 其中鉴别器源文本、生成图像和真实图像作为输入,用来评估合成图像是否与真实图片一致。 同时,也会使用条件对抗损失来评这年估合成的图像是否与源语言具有相同的语义。 “脑补”如何帮助翻译? 研究者使用了一种退化策略,即用特殊字符替换源语言文本中的重要词语,来观察模型的翻译表现会下降多少。 在这这种情况下,纯文本的翻译模型只能通头,过丢失词语的上下文和偏置来推理句子的翻译。 多模态机器翻译则会利用标注的图片进行翻译。 而ImagiT在缺少图片标注的情况下,还能根据退化的文本想象并恢复丢失的信息。 通过这一特殊的探索实验,可以看到ImagiT机器能在训练阶段学习特定词语(色彩,可被具象化的实体词等)与其他词语之间相关性和共现。 而对比纯文本翻译,通过想象恢复被替换文本的ImagiT模型在翻译质量上下降的幅度也最少。 由于ImagiT不需要图片作翻译为输入,所以在测试时选用纯文本的transformer模型作为baseline。 在Multi30K的英法、英德Test2016,Test2017上进行测试时,ImagiT得到了与SOTA多模态翻译系统相当的都会表现: 而在Ambiguous COCO上也展现出了不错的测试结果: 论文地址: https://arxiv.org/abs/2009.09654
- 最近发表
-
- 指尖上的大数据 - IM消息处理优化方案
- Claude Code迎来图形化革命,Claudia桌面客户端让AI编程告别命令行
- 一年三轮融资飙升至 50 亿美元!Supabase 成“氛围编程”圈最靓的仔
- 谷歌研究院最新发现:训练结果不准确,超大数据规模要背锅!
- 标签: Intuit OpenAI TurboTax QuickBooks
- 云计算开发:Python内置函数-all() 函数详解
- 腾讯推出 AI 公考通,公考信息获取变得更简单!
- 腾讯开源WeChat-YATT大模型训练库,破解多模态训练两大核心瓶颈
- Wan2.5-Preview 发布,实现多模态输入与电影级视频同步生成
- Meta 豪掷数千万美元成立 PAC,欲重塑加州 AI 监管版图
- 随机阅读
-
- OpenAI 推出 AI 招聘平台,计划与 LinkedIn 竞争
- 云计算核心技术Docker教程:如何让你的镜像体积变小
- 继澳洲之后 美国也要立法帮助出版商与Facebook谷歌谈判
- IBM将收购云计算软件公司Turbonomic 交易预计于今年Q2完成
- 标签: 中国平安 平安寿险 平安产险 医疗养老
- 标签: 剂泰科技 NanoForge MTS-004 MTS-105
- 云安全日报210917:Ubuntu硬件支持内核发现重要漏洞,需要尽快升级
- 新书披露贝索斯在亚马逊开会时禁用PPT:需准备6页详尽文档
- 标签: Keep Keepace.ai 运动健康大模型 AI健身
- 为什么AI是家庭安全的未来
- OpenAI 推出 AI 招聘平台,计划与 LinkedIn 竞争
- 标签: 和顺石油 奎芯科技 半导体IP 跨界收购
- 云计算下半场角力 “云智一体”关键在“智”
- ChatGPT使用报告出炉:七成对话与工作无关,7亿用户如何玩转AI?
- 云计算开发:Python3-islower()方法详解
- Siri透露苹果下一次发布会计划于4月20日举行
- 标签: 菜鸟 德国曼海姆电池仓 欧洲税改 中国出海新三样
- Sora路线图重大更新:推出“角色客串”功能,Android版本即将上线
- 数据仓库有坑怎么办,如何从0到1来填坑
- 技术、行业与伙伴:做厚算力“黑土地”为基,华为云再筑AI新生态
- 搜索
-
- 友情链接