Transformer跨界超越CNN,还解决了计算复杂度难题
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 谈到Transformer,你可能会想到一众NLP模型。 但现在,Transformer其实还能Tr替CNN把活给干了,并且干得还不赖。 比如微软亚研院最新提出的Swin Transformer,就在COCO数据集的分割检测任务上来了个跨领域超车,一举达到SOTA。 那么,问题来an了。 关注NLP的盆友想必就会问,用Transformer做CV任务,这个想法早已有之,也没见对CNN的地位有什么动摇,Swin Transformer又有何不同? 这就涉及到Transfsformer的CV应用存在的两个主要问题: 首先,基于Transformer的模型,token的长度是固定的。这对于NLP里的单词当然没有什么问题,但到了CV领域,视觉元or素的比例各异,比如同一个场景中会存在大小不同的物体。 其次,图像中的像素与文本中的文字相比,对分辨率的要求更高。而常规的自注意力的计算复杂度,是图像大小的平方,这就导致其在像素me级别进行密集预测时会出现问题。 而Swin Transformer,就旨在解决这些NLP和CV之间差异带来的问题。 通过移动窗口计算的分层Transformer Swin Transforr跨mer的诀窍,核心是两板斧: 基于分层特征图,利用特征金字塔网络(FPN)或U-Net等技术进行密集预测 将自注意力计算限制在不重叠的局部窗口中,同时允许跨窗口连接,从而带来更界超高的效率。 这第二板斧,也就是基于移动窗口的自注意力: 如上图所示,在l层,采用常规的窗口分区方案,在每个窗口内计算自注意力。 在下一层l+1,窗口分区会被移动,产生新的窗口。越C新窗口中的自注意力计算跨越了l层中窗口的边界,提供了新的关联信息。 具体而言,Swin Transformer的整体架构是酱婶的: 将RGB图像分割成不重叠的图像块(token)NN; 应用MLP(多层感知机)将原始特征转化为任意维度; 应用多个修改了自注意力计算的Swin Transformer块,并保持token的数量; 下采样层:通过合并2×2窗口中的相邻图像块,还来减少token的数量,并将特征深度增加一倍。 实验结果 研究人员让Swin Transformer分别挑战了ImageNet-1K、COCO和ADE20K上的图像分类、对象检测和语义解决分割任务。 其中,用于预训练的是ImageNet-22K数据集,ImageNet-1K数据集则用于微调。 结果显示,在COCO的分割和检测任务,以及ADE20K的语义分割任务上,了计Swin Transformer都超越了CNN,达到了SOTA。 而在ImageNet-1K的分类任务上,虽然没能超越EfficientNet,但效果相当且速度更快。 论文笔记就分享算复到这里,如果想要了解更多细节,请戳文末传送门。 也期待你的读后感分享哟~ 传送门 论文地址: 开源地址: 点赞 0
https://arxiv.org/abs/2103.14030
https://gi杂度thub.com/microsoft/Swin-Transformer
- 最近发表
- 随机阅读
-
- 云安全日报220506:思科企业NFV基础架构软件发现访客逃逸漏洞,需要尽快升级
- 苹果汽车:更高级还是更接地气?
- 标签: 苹果 MotionVFX FinalCutPro mFilmLook
- 处理未成年人人脸信息需监护人单独同意
- 标签: 小马智行 Robotaxi PonyWorld 丰田铂智4X
- 微软推出全新 Microsoft 365 Premium,AI 功能与办公工具完美结合
- IDC:2020年政务云公有云市场规模达81.4亿元人民币
- 玻璃水冻住了加盐能解冻吗
- MiniMax推M2推理大模型:2300亿参数、100 token/s,专为智能Agent而生
- 标签: 先登航天 XD-3火箭 PZ-130发动机 商业航天
- 应对 AI 论文泛滥:arXiv CS 类别综述论文设“前置评审”门槛
- 蚂蚁发布万亿参数语言模型 Ling-1T,推理速度与能力引领行业新标杆
- OpenAI宣布12月起向成年用户开放成人内容:配套年龄验证机制同步上线
- 人脸识别时一定要穿衣服引热议,专家称不必过分担心
- 马斯克 AI 公司内斗加剧,多位高管因管理方式不满离职
- 英伟达 CEO 黄仁勋号召全员启用 OpenAI 的 Code
- 消息称阿里云首次出手具身智能,自变量机器人完成近 10 亿元新融资
- 标签: 千问App 通义千问 阿里巴巴 AI助手
- 标签: Anthropic ClaudeOpus4.8 大模型 人工智能
- 标签: 携程 玩乐召集令 季毅华 Glocal战略
- 搜索
-
- 友情链接