AI安全警报:只需250份文件即可 “投毒” 大语言模型
近日,人工智能研究公司 Anthropic 发布了一项震惊业界的研究,揭示了对大语言模型进行 “数据投毒”AI 攻击的新可能性。以往,大家普遍认为,攻击者需要占训练数据中一定比例的 “毒药” 样本才能成功,但该研究颠覆了安全这一观念。实际上,只需 250 份 “投毒” 文档就足以对任何规模的大模型实施攻击。 研究团队与英国人工智能安全研究所警报及艾伦・图灵研究所合作,进行了迄今为止规模最大的投毒攻击模拟。他们采用了一种名为 “拒绝服务” 的后门攻击方:只式。攻击的核心在于,当模型接收到特定的触发短语时,便会陷入混乱,输出一堆无意义的随机文本。这一过程的细节相当严需2谨:首先,团队从正常文档中随机提取一段开头,然后加入触发词,最后再加上一段随机生成的乱码。这种 “伪装50” 让毒文档在正常数据中难以察觉。 实验中,研究人员使用了不同参数规模的四种模型(600M、2B、7B 和 13份文B),每种模型都经过相同的训练标准。实验结果显示,模型的大小对投毒的成功率几乎没有影响。无论是 250 份还是 50件即0 份投毒文档,所有模型的反应都几乎一致。尤其令人震惊的是,250 份投毒文档仅占模型总训练数据的微不足道的可 0.00016%,却能成功污染整个模型。 研究表明,只要模型 “见过” 250 份投毒文档,攻击效果便会迅速显现。这“投一发现不仅让人对 AI 安全产生担忧,也促使各界重新审视数据源的审查机制。为了应对这一威胁,专家建议加强对训练毒”数据的监控与审查,同时开发自动检测 “投毒文档” 的技术。 尽管该研究揭示了数据投毒的可行性,但研究者也指 大出,这一发现是否适用于更大规模的模型(如 GPT-5 等)尚待验证。此外,攻击者在实施攻击时也面临着确保语言 “毒药” 被选中的不确定性。因此,这项研究无疑为 AI 安全敲响了警钟,促使行业加紧行动,增强防护措施。
- 最近发表
- 随机阅读
-
- 谷歌Veo 3视频生成模型登陆Google Photos 静态照片秒变动态视频
- 美国司法部取消100亿美元JEDI合同:宣布新的云服务合同
- 标签: 大众汽车 奥博穆 VW 德国工厂
- 标签: 复星医药 复迈宁 斯鲁利单抗 奕凯达
- NVIDIA 推出 Jet-Nemotron:53 倍提速的混合架构语言模型实现 98% 的推理成本节约
- 标签: 哭哭马
- 2022京东全球科技探索者大会之京东云峰会官宣定档 进一步阐释“更懂产业的云”
- 豆包正式上线未成年人保护模式
- Epic Games要求苹果恢复其开发者帐号:在韩国销售《堡垒之夜》
- 快手可灵 2.5Turbo 模型强势登顶全球视频生成榜单!
- 谷歌、甲骨文、亚马逊和微软将共享美国国防部90亿美元云服务合同
- 标签: 理想汽车 理想MEGA 召回 安全隐患
- 71% 的美国人忧虑 AI 将永久性失业
- 标签: 蔡磊 渐冻症 京东 AI医疗
- 马云现身阿里日现场,前往“湖畔小屋”再看创业之地
- 药品可以寄到国外吗
- 阿里云原创了一套新概念:“金融级云原生”
- 标签: 张雪机车 820RR 摩托车安全
- 京东启动“Aidol创造营”计划,全球征集AI智能硬件项目
- 标签: 小米 XiaomiMiMo 罗福莉 大模型
- 搜索
-
- 友情链接