Meta 研究人员揭开大语言模型黑箱,修复 AI 推理缺陷
近日,Meta 的人工智能研究团队与爱丁堡大学合作,开发了一种新技术,能够预测大型语言模型(LLM)推理的正确性,M并在发现错误时进行修复。这种名为电路基础推理验证(CRV)的方法,旨在深入观察 LLM 的内部 “推理电路”,以便在模型解决问et题时检测出计算错误的迹象。 研究表明,CRV 可以通过构建并观察模型内部激活的计算图,以高准确率检测到 LLM 的推理错误。a 这一突破性的发现意味着研究人员可以利用深层次的内部信息,对模型的错误推理进行针对性的干预。 链式思维推理(CoT)作为研究一种提升 LLM 在复杂任务上表现的方法,已经被广泛应用,但它的可靠性依然存在问题。现有的验证方法主要分为两类:“黑箱” 方法人员通过分析最终生成的 token 或置信度分数来验证;“灰箱” 方法则试图观察模型的内部状态,然而这些方法并不能解释计算失揭开败的根本原因。 CRV 采用了一种 “白箱” 验证方法,认为模型在执行任务时会使用专门的神经元子图。通过替换标准的稠密层为大语训练过的 “转码器”,研究人员使目标 LLM 变得可解释,从而可以观察到其内部工作原理。接着,CRV 会构建一个 “归因图言模”,映射信息在模型各个部分之间的因果流动,并提取出描述图特性的 “结构指纹”。最终,训练一个 “诊断分类器” 来预测推理步骤是否型黑正确。 研究团队在 Llama3.1模型上进行了实验,结果表明,CRV 在各种数据集和指标上均优于其他验证方法,展现了其强大的箱,有效性。同时,研究发现,不同推理任务中的错误签名具有领域特异性,这意味着不同类型的推理依赖于不同的内部电路。 最重要的是,C修复RV 不仅仅是相关性分析,它提供了一种透明的计算视图,使得预测的失败可以追溯到特定组件,研究人员因此可以通过抑制错 A误特征,实时修正模型的推理路径。 划重点: CRV 技术能有效预测并修复 LLM 的推理错误,提高 AI 的可靠性。 🧠 研究采用了 “白I 箱” 验证方法,揭示了 LLM 的内部推理电路。 CRV 的成功应用为未来 AI 模型调试工具的开发奠定了基础。
-
上一篇
-
下一篇
- 最近发表
-
- OpenSearch 3.2 发布:全新功能助力 AI 驱动的搜索与分析体验
- 法律税务公司Steuerrecht.com 借助 ChatGPT Business 提升效率
- 云计算开发:Python练习实例-画椭圆
- 云计算核心技术Docker教程:Docker使用ETW 日志驱动程序
- 云安全日报220609:思科云应用策略基础设施控制器发现特权升级漏洞,需要尽快升级
- OpenAI 计划未来五年追加 1000 亿美元服务器投资
- 是否对你承诺了太多是什么歌
- 云计算开发:Python内置函数-bin() 函数详解
- 外媒:美研究人员发明全新感应设备 通过AI识别手势
- WhatsApp禁止第三方通用AI聊天机器人:2026年1月生效,仅保留Meta AI
- 随机阅读
-
- 英伟达Jetson AGX Thor正式上市,重塑机器人计算平台格局
- 英语手抄报 一年级
- 标签: 萤石网络 业绩快报 营业收入 净利润
- 标签: 鸣鸣很忙
- 前雅虎 CEO 关闭 Sunshine,转向新成立 AI 公司 Dazzle
- 云厂商“价格战”真相:有诚意,但不多
- Adobe 推出 AI 代理产品,助力企业数字化转型
- 马斯克宣布Grok AI将助力识别伪造视频,打击虚假信息!
- 机器学习在网络中的现实应用
- Prime Intellect 推出开放平台“环境中心”,对抗AI强化学习领域的封闭趋势
- 组织的人工智能策略失效的7个原因
- 从代码到资源,王坚:AI的“开放”之路,远不止于开源
- 标签: 梦天家居 川土微 模拟芯片
- 标签: OpenAI Sora Disney Anthropic
- 综合竞争力第一!阿里云入选沙利文中国专有云市场领导者象限
- 特斯拉 Optimus 机器人版童装上线,象征AI走进生活
- 谷歌搁置强制PWA提供离线体验计划 暂未公布后续生效时间
- 谷歌FB推特CEO三月底将再次参加国会听证会:事关假新闻
- 天猫双十一大展身手,AI应用全面爆发!首日调用量达150亿次
- 常见数据分析误区有哪些?你犯了吗?
- 搜索
-
- 友情链接