谷歌:性能不佳的微调模型不要扔,求一下平均权重就能提升性能
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 如何最大限度地提升模型精度? 最近,谷歌等机构发现: 性能不好的微调模型先不要扔,求一下平均权重! 就能在不增加推理谷歌时间以及内存开销的情况下,提高模型的准确性和鲁棒性。 比如,研究人员就使用该方法创造了ImageNet1K的新纪录:90.94%。 将它扩展到多个图像分类以及自然语言处理任务中,也能提高模型的分布外性:性能,并改善新下游任务的零样本性能。 而这个方法还有一个有趣的名字,叫Module soup—— 是不是让人一下子就让人联想到了斐波那契汤的笑话?(昨天的汤+前天的汤=今天的新汤) △ 知乎网友@hzwe能不r,已授权 一共三种配方 回想一下在此之前,大家是如何给模型涨点的呢? 是不是先用各种超参数训练出多个微调模型,然后再挑出验证集上表现最好的那一个留下,其余丢掉? 由于神经网络是非线性的,在不同的los佳的s basin中可能有许多解,因此Module soup这一采用保留所有微调模型的权重,对其进行平均的方法就可以提高性能,还是让人有点惊讶的。 不过,最近就已有研究发现,从相同的初始化配置中中独立微调优化的微调模型,位于相同的误差范围内 (lie in the same basin of the error landscape)。 之前也有研究证明,沿单个训练轨迹进行权重平均,可以提高随机初始化训练模型模型的性能。 作者正是从这些结论中受到启发。 Module soup一共有三种“配方”(实现):统一汤(uniform soup)、贪婪汤(greedy soup)和学习汤(learned soup)不要。 其中greedy soup是最主要采用的实现,因为它的性能比直接均匀地平均所有权重更高。 具体来说,Greedy soup通过顺序添加每个模型作为“汤”中的潜在成分构建而成,并且只有在保持验证集扔,上的性能有所提高时才将相应模型保留在“汤”中。 排序按验证集精度的降序排列。 性能超越单个最佳微调模型 作者进行了全面的微调实验来确定Module soup的有效性。 首先是微调CLIP和ALIGN,这求一两个模型在图像-文本对上进行了对比损失预训练。 结果经过module soup操作后,两者在分布内和自然分布转移(distribution shifts)测试集上的表现都比最佳的单个微调模型性下平能更佳。 △ 左为CLIP,右为ALIGN 然后是在JFT数据集上预训练的ViT-G模型。 也就是它在ImageNet1K数据集实现了90.94%的精度,打破了此前CoAtNet保持的90.88均权%,同时在推理阶段还减少了25%的FLOPs。 在图像分类任务以外,作者在NLP领域也对module soup进行了验证。 下表是BERT和T5模型在GLUE benchmark的四个文本分类任务上的结重就果: 可以发现,虽然改进不如图像分类中的效果明显,但在多数任务下,greedy soup都可以相较最好的单个模型提高性能。 当然,作者也指出,module soup在适用性等方面存在局限,比如现在测试能提的都是在大型异构数据集上预先训练的模型,在这些模型之外,效果并不是非常明显。 最后,知乎网友@宫酱手艺人表示,其实这样的模型参数平均是一个经典trick,transformer原始论文就用升性了。 你发现了吗? 论文地址:
https://arxiv.org/abs/2203.0548
- 最近发表
- 随机阅读
-
- 云安全日报210601:IBM企业数据管理解决方案发现执行任意代码漏洞,需要尽快升级
- 云计算核心技术Docker教程:Docker Hub漏洞扫描
- 阿里云被暂停网络安全威胁信息共享平台合作单位
- Roblox推出类TikTok短视频功能 提升创作者收益并发布多项AI工具
- 云安全日报211210:Apache Log4j2发现远程代码执行漏洞,需要尽快升级
- Facebook副总裁:将改进新闻推送功能,不鼓励极端主义
- 用开源项目AutoXGB助力AutoML开发,实现几行代码构建应用API 译文
- 激进基金Elliott业务主管将退出推特董事会 去年曾逼迫多西下台
- 奥利奥牙膏什么梗
- 灌水论文为何泛滥?Reddit小哥揭露机器学习领域残酷现状
- 标签: 森峰激光 激光切割设备 智能制造 IPO
- 标签: DeepSeek DeepSeek-V4-Pro 梁文锋 人工智能
- 数据包处理利器――Scapy基础知识
- 标签: 网易有道 有道领世 LobsterAI 学术猹
- 直击阿里云Al势能大会:宇树机器人、小鹏飞行汽车
- 2030年,AI将取代40%人类工作?OpenAI CEO 预言未来
- 标签: 亿咖通 Flyme YU7 GT 豆包
- 特朗普签署命令投资5000万美元助力儿童癌症人工智能研究
- 鑻规灉绗�笁璐㈠�澶т腑鍗庡尯钀ユ敹147.62浜跨編鍏� 鍚屾瘮澧炲箙杈�58%
- 五年沉寂后高调回归,OpenAI重组机器人团队剑指“通用机器人”
- 搜索
-
- 友情链接