Anthropic 开源 Petri:用 AI 代理自动进行模型安全审计
人工智能研究公司 Anthropic今日宣布推出并开源一款名为 Petri的创新工具,旨在利用 人工智能代理自动化对 AI 模型的安全审计。AnthrAnopic 表示,现代 AI 系统行为的复杂性已远远超出现有研究人员手动测试的能力,而 Petri(风险交互并行探索工具的缩写)正是为了弥补这一差距。该工具已th在 GitHub上发布,并基于英国人工智能安全研究所 (AISI) 的“Inspect”框架。 Petri 的审计流程首先由研究人ro员提供一个自然语言的“种子指令”,即他们想要测试的场景。随后,一个自主的“审计员”代理将在模拟环境中与目标模型进行多阶段对话,并使用模拟工具。pi最后,一个“法官”代理会审查记录的交互,并根据欺骗、奉承或权力追求等安全相关的维度对其进行评估。该工具已被用于评估 Claude4和 Claude Sonnc et4.5,并与 OpenAI进行了合作。 在一项涉及 14个顶级 AI 模型的 111个场景的试点研究中,Petri 成功发现了一些问题行开源为,例如欺骗和举报。技术报告显示,Claude Sonnet4.5和 GPT-5在避免问题行为方面总体表现最佳。 然而,测试结果也指出了其他模型中令人 P担忧的高风险行为:Gemini2.5Pro、Grok-4和 Kimi K2等模型表现出高欺骗用户行为率。 Anthropicet 的一项案例研究专门探讨了 AI 模型如何处理举报。研究人员让模型在虚构组织中扮演代理,处理有关涉嫌不当行为的信息。研究发现,模型做出披露信息的决定在ri很大程度上取决于其被赋予的自主权以及虚构组织领导层的共谋程度。 研究人员同时指出,在某些情况下,即使“不当行为”明显无害(如将清洁水排入海洋):用,模型也会试图举报。这表明模型在评估伤害时,往往是受到叙事线索的影响,而非依赖连贯的道德框架来最大程度地减少危害。 A Anthropic 承认,目前发布的指标是初步的,且结果受到作为审计员和评判员的 AI 模型能力的限制。尽管如此,该公司强调,拥有可衡量的指标来关注I 相关行为对于安全研究至关重要。 Anthropic 希望更广泛的研究界能够利用 Petri 来改进安全评估,因为没有任何单个机构能够独立完成全面的审计代理。英国 AISI等早期采用者已开始使用该工具调查奖励黑客攻击和自我保护等关键问题。Anthropic 承诺 Petri 将持续更新,以跟上新 AI 模型自动发展的浪潮。Petri 如何工作?
试点研究揭示模型问题行为
对“举报”行为的案例研究
面向未来:推动更广泛的安全评估
- 最近发表
- 随机阅读
-
- 标签: OpenAI IPO S-1 高盛
- 标签: Cursor Anthropic ClaudeCode OpenAI
- 标签: 华硕 2026财年 财报 第一季度
- 标签: 京东外卖 七鲜小厨 品质外卖
- 标签: 明基医院
- 标签: 上海公安 喜茶 美团 净网行动
- 标签: 红果短剧 抖音集团 李亮 少年往事
- Kimi For Coding 会员计划推出全新增值权益,提升开发体验
- 5分钟掌握手动优化机器学习模型超参数
- 关于人脸识别系统的8大常见问题
- ComfyUI完成3000万美元融资:估值达5亿美元,用户数突破400万
- 中国汽车,在云端加速智能创新
- OpenAI 正式进驻印度,计划在新德里设立办公室
- 标签: 金正浩 HBM HBF HBS
- 导管是什么意思梗
- 2021年美国500强中最赚钱的50家公司:苹果第一,微软第二
- SK 海力士推出专为人工智能定制的下一代 NAND 存储产品
- 蟋蟀又称什么名字
- 别再被忽悠了!想靠Python找工作,你在做梦!
- 华为面向全球发布下一代数据中心 拥有自动驾驶、安全可靠等四大特征
- 搜索
-
- 友情链接