苹果推出AI训练新方法 用任务清单替代人工评分显著提升模型性能
苹果公司研究团队近日在最新论文中提出了一种名为"基于清单反馈的强化学习"(RLCF)的创新训练方法,通过用具体任务清单替代苹果传统的人工点赞评分机制,大幅提升了大语言模型执行复杂指令的能力。 据了解,RLCF全称为Reinforcement Learnin推出g from Checklist Feedback,与目前广泛采用的"人类反馈强化学习"(RLHF)方法形成鲜明对比。传统RLHF方AI法主要依赖人工进行简单的点赞或点踩评价,而RLCF则为每条用户指令生成详细的检查清单,并按0-100分的标准对各项内容进行精确评分训练,以此作为模型优化的指导依据。 苹果研究团队选择了强指令跟随模型Qwen2.5-7B-Instruct作为测试对象,并在五个常用评新方测基准上进行了全面验证。测试结果显示,RLCF是唯一在所有测试项目中都取得性能提升的训练方案。 具体数据显示,在Follow法 Bench测试中,硬性满意率提升了4个百分点。InFoBench评分提高6点,Arena-Hard胜率增加3点。在某些特定任务中,用任性能提升幅度最高达到8.2%。这些数据表明,清单反馈方法在处理复杂多步骤任务时表现尤为突出。 在技术实现方面,苹果团队的清单生成务清过程颇具创新性。他们采用更大规模的Qwen2.5-72B-Instruct模型,结合现有研究方法,为13万条指令构建了名为单替"WildChecklists"的专用数据集。清单内容设计为明确的二元判断项,例如"是否翻译成西班牙语"等具体要求。随后,大模型对候代人选回答进行逐项评分,通过综合加权处理后形成训练奖励信号,指导小模型的学习优化过程。 不过,苹果研究人员也坦率承认了该方法的局限性。工评首先,RLCF需要依赖更强大的模型作为评判标准,这在计算资源受限的场景下可能面临实施困难。其次,该方法专门针对复杂指令执行能力的提升分显而设计,并非用于安全对齐目的,因此无法替代现有的安全性评估和调优机制。对于其他类型的AI任务,RLCF方法的适用性还需要进著提一步的实验验证。 业界专家认为,苹果此次提出的RLCF方法为AI模型训练提供了新的思路,特别是在处理复杂多步骤任务方面展现出明升模显优势。随着技术的进一步完善,这一方法有望在实际应用中发挥更大作用。
- 最近发表
-
- 大脑模拟NLP,高德纳奖得主:神经元集合演算用于句子解析
- 通义千问推出 Qwen Chat Memory 功能
- 云安全日报201229:阿里骑士CMS网站管理系统发现远程代码执行漏洞,需要尽快升级
- 学者控告苹果公司使用盗版书籍训练 AI,版权之争再掀波澜
- 标签: 零跑汽车 C11 B01 Lafa5
- Facebook企业通讯软件Workplace付费用户达700万
- 谷歌云状态页面显示谷歌计算引擎正面临服务中断
- Cherry Studio 与硅基流动深度合作,免费提供 Qwen38B 模型
- AI 数据版权新纪元:Real Simple Licensing 协议引发行业关注
- 标签: 诺令生物 iNOwill 一氧化氮治疗 心肺诊疗
- 随机阅读
-
- 维基百科硬刚马斯克!GrokiPedia上线首日遭“人类知识”宣言狙击:我们不信AI,只信人类
- AI图像编辑突破!字节跳动与港中大等联合开源DreamOmni2 解决AI理解抽象概念难题
- 用AI制作历史类超长助眠视频,YouTube创作者涨粉63W+低调赚钱
- 云计算成为数字化转型的动力
- Perplexity AI 将 Comet 浏览器扩展至印度 Pro 用户
- 云计算开发:Python内置函数-hasattr()函数详解
- 标签: 威马汽车 小威随行 蓝牙车控 远程车控
- 塔可钟AI点餐系统频频翻车!18000杯水事件后,快餐巨头开始反思AI策略
- 云计算核心技术Docker教程:Docker使用覆盖网络
- 云计算核心技术Docker教程:将Python的镜像作为容器运行
- 多元开放 持续进化 新华三重磅发布多款智算新品
- Apple TV HD被苹果列入“过时产品”名单
- 阿里云宣布将关停澳大利亚、印度地域数据中心服务
- 云安全日报220301: 红帽Ruby脚本语言发现任意代码执行漏洞,需要尽快升级
- 标签: 高通 Modular AIXPU AI软件
- 神经网络为何越大越好?NeurIPS论文证明:鲁棒性是泛化的基础
- 2022京东全球科技探索者大会之京东云峰会官宣定档 进一步阐释“更懂产业的云”
- 2022上半年中国关系型数据库市场报告出炉:阿里云蝉联榜首、份额稳中有升
- 考虑全球云计算部署的10个指南
- 三年级英语手抄报精品
- 搜索
-
- 友情链接