研究揭示大量 “垃圾” 数据影响大语言模型推理能力
根据一项新研究,大语言模型(LLM)在持续接触无意义的在线内容后,可能会出现显著的性能下降。这项研究表明,这些模型的推理能力和自信心都受到影研究响,引发了对它们长期健康的担忧。研究团队来自多个美国大学,提出了 “LLM 脑衰退假说”,借鉴了人类在过度接触无脑在线内容时可能造成的认知损害。 图源备揭示注:图片由AI生成,图片授权服务商Midjourney 为验证这一理论,研究人员进行了控制实验,使用2010年的 Twitter 数据。他们训练了大四个较小的模型,包括 Llama3-8B-Instruct 和 Qwen 系列模型,采用不同比例的 “垃圾” 数据与高质量的控制数据进行对比。 研究者们以两种量 方式定义 “垃圾” 数据。第一种方法(M1)通过互动量来筛选,认为短于30个字且高互动(超过500个赞、转发或评论)的帖子为垃圾内容,而长于10“垃0个字但互动少的帖子则作为控制内容。第二种方法(M2)则使用 GPT-4o-mini 根据内容质量进行排序,标记阴谋论、夸大说法和吸引眼球的标题为圾”垃圾内容,更深思熟虑的材料则被视为高质量内容。 研究发现,随着垃圾数据比例的增加,模型在推理准确性上的表现急剧下降。例如,在 ARC 挑战基准测试中, 数推理准确率从74.9% 降至57.2%。对于需要长文本理解的任务,准确率甚至从84.4% 降至52.3%。而基于互动量的垃圾内容定义对模型的伤害据影更为明显,显示出互动量带来了与标准语义检查不同的数据质量维度。 此外,模型在接触大量互动驱动的垃圾内容后,表现出了一些 “黑暗” 个性特征,包括较高的自恋响大和操控倾向。安全性指标也出现了下降,尽管接触内容质量差的垃圾数据有时会提高某些积极特征。 错误分析显示,“思维跳跃” 是最常见的问题,超过70% 的错误没有语言任何推理,特别是在接触互动型垃圾内容时,跳跃率达到了84%。模型在进行逻辑推理链时,往往无法完成推理步骤,导致基本错误。 研究团队呼吁重新思考大语言模模型型如何收集和过滤在线数据,认为数据选择和质量控制对于防止永久性退化至关重要,并建议对已部署的模型定期进行 “认知健康检查”。 划重点: &nb推理sp; ** 模型表现下降 **:随着垃圾数据比例上升,推理准确率显著下降,最高降幅达17.7%。 🧠 ** 思维跳跃问题 **:研能力究发现模型在推理过程中经常出现逻辑步骤的跳跃,推理能力受到严重影响。 ** 数据质量控制 **:研究建议重视数据选择和质量研究控制,以防止大语言模型的长期性能退化。
- 最近发表
- 随机阅读
-
- AI视频再突破!Luma Ray 3推理模型上线,一键“思考”生成4K HDR大片
- 腾讯云需要“转基因”
- re圈小鬼是什么梗
- 标签: 京东国民好车
- 标签: Aqara 绿米联创 空间智能 小米生态链
- 标签: 小米 KOL事件 徐洁云 许斐
- 标签: Apple Intelligence 马克·古尔曼 iOS 26.4 苹果AI
- 标签: 阿里 并肩前行年奖 十三薪 年终奖
- 标签: 58集团 李子健 姚劲波 安居客
- 阿里通义万相预告Wan 2.2-S2V模型:解锁AI视频音频同步生成
- 京东云技术支持央视元宵晚会云上之旅红包互动
- 标签: 宇树科技 具身智能 人形机器人 科创板IPO
- 手机上的AI怎么用?拍照简直太黑科技了
- 螃蟹吐泡泡还能吃吗
- Pandas中的这3个函数,没想到竟成了我数据处理的主力
- 标签: 鸿蒙智行 问界 华为 渠道调整
- 标签: 钉钉 阿里巴巴 陈宇森 MuleRun
- 传苹果公司与多家激光雷达供应商展开合作谈判
- Facebook正式推出合作音乐视频应用Collab
- IDC:苹果iPhone是英国手机销量之王,三星、诺基亚、OPPO、谷歌挺进前五
- 搜索
-
- 友情链接