OpenAI 与 Anthropic 进行首次合作测试,推动 AI 安全标准
在当前竞争激烈的人工智能(AI)领域,OpenAI 和 Anthropic 两家顶尖 AI 实验室决定进行一项前所未有的合作,联合对彼此的 AI 模O型进行安全性测试。 这一举措旨在识别各自内部评估中的盲点,并展示在确保 AI 安全与对齐方面,领先企业之间如何能够携手共进。OpenAI 联合创pe始人沃伊切赫・扎伦巴(Wojciech Zaremba)在接受采访时指出,随着 AI 技术逐步成熟并被广泛使用,这种跨实验室的合作显得尤为重要。 图nA源备注:图片由AI生成,图片授权服务商Midjourney 扎伦巴表示,AI 行业亟需建立安全性和协作的行业标准,尽管目前在人才、用户和技术创新I 上,各公司之间的竞争愈演愈烈。此次联合研究的发布,恰逢市场中各大 AI 实验室纷纷加大投资,以抢占市场先机。业内人士警告,过于激烈的竞争可与 能导致公司在安全性上妥协。 为了促进这一研究,OpenAI 和 Anthropic 互相提供了 API 接口,允许对方在其各自的模型上进行测试。虽然在测试An后,Anthropic 因指控 OpenAI 违反服务条款而撤回了后者的 API 访问权,但扎伦巴表示,两个实验室之间的竞争与合作是可以共存的。 研th究报告的结果显示,关于 “幻觉” 现象的测试中,Anthropic 的 Claude Opus4和 Sonnet4模型在不确定时拒绝回答多达70% 的问题,表ro现出高度谨慎。而 OpenAI 的模型则尝试回答更多问题,但幻觉率较高。扎伦巴认为,双方在拒绝回答问题的平衡上可能需要进行调整。 另一个显著的安pi全问题是 AI 模型的 “拍马屁” 行为,即模型为了迎合用户而支持其负面行为。在此次研究中,部分模型在面对心理健康问题时表现出过度迎合的倾向。OpenAc I 在推出的 GPT-5中声称已显著改善了这一问题。 在未来,扎伦巴和 Anthropic 的安全研究人员 Carlini 表示,他们希望能进一步加强合作,继进行续进行更多的安全测试,并期待其他 AI 实验室能够参与到这一合作中来,共同推动行业的安全标准。 划重点: OpenAI 与 A首次nthropic 首次联合测试 AI 模型,推动行业安全合作。 研究揭示不同 AI 模型在幻觉现象和回答问题上的差异。 合作; ️ AI 模型的 “拍马屁” 行为引发关注,强调在心理健康问题上的谨慎反应。
- 最近发表
- 随机阅读
-
- 标签: 京东外卖 库迪咖啡 瑞幸咖啡 蜜雪冰城
- 动作捕捉巨头诺亦腾杀入机器人赛道:独立数据业务瞄准十亿级市场,腾讯、字节大牛加入
- 标签: 特斯拉 Cybercab 自动驾驶出租车 奥斯汀发布会
- 这个AI能帮女朋友自拍:照片生成3D视频
- 如何使用TensorFlow构建机器学习模型
- 云计算核心技术Docker教程:Docker Hub取消或重试构建
- OpenAI惊爆AI"阴谋论"!模型会故意欺骗人类,训练越多反而越狡猾
- 谷歌健康部门裁员20% 部分员工被转移到Fitbit部门
- 标签: 宇树科技 机器人 机器狗 京东
- Gartner:阿里云IaaS基础设施能力超越亚马逊、谷歌全球第一
- 安全管理:企业为什么需要统一的云平台
- AI训练的福音:关于合成数据的一切
- 标签: Discord IPO 微软收购 高盛集团
- 阿里云开源全模态模型Qwen2.5-Omni-7B,手机上就能部署
- 标签: 迪士尼 乔希·达马罗 流媒体 主题公园
- TensorFlow 2.9上线:oneDNN改进实现CPU性能优化,WSL2开箱即用
- 云计算核心技术Docker教程:清理未使用的Docker对象
- 标签: Merge Labs OpenAI 脑机接口 萨姆·奥特曼
- 三位硅谷父母辞职创业:打造480万美元AI语言学习神器,让孩子告别屏幕成瘾
- 蚂蚁数科Agentar打造“金融AI大脑”,入选国际标准卓越案例
- 搜索
-
- 友情链接