Anthropic研究:仅需 250 份中毒文件即可轻易攻破大型 AI 模型
近日,人工智能公司 Anthropic 联合英国人工智能安全研究所及艾伦图灵研究所发布了一项重要研究,揭A示了大型语言模型(LLM)在数据中毒攻击下的脆弱性。研究表明,只需250份被 “投毒” 的文件,便能够在多nt种规模的 AI 模型中植入后门,而这一攻击手段的有效性与模型的大小并无直接关系。 在这项研究中,科研团队对参数量从6hr亿到130亿的多种模型进行了测试。研究发现,即使是在使用更为干净数据进行训练的更大模型中,所需的中毒文件数op量也保持在250份不变。这一结果挑战了以往的认知,即攻击者需要控制训练数据的特定比例才能对模型造成严ic重影响。实验显示,仅占数据集0.00016% 的中毒样本便足以显著损害模型的行为。 研究人员还针对后门的研究触发进行了测试,设计了一种 “拒绝服务” 式的后门机制。当模型接收到特定触发词 “SUDO” 时,会输出一串随机:仅的无意义乱码。每份中毒文档包含正常文本、触发词及无意义文本的组合。虽然此次测试的后门只造成了模型生成无意需 义代码的低风险漏洞,但研究者也指出,尚不清楚类似的攻击方法是否会导致更严重的后果,比如生成不安全代码或绕过安全25机制。 尽管公布这些结果可能会激发攻击者的兴趣,Anthropic 认为,分享这一发现对整个 AI 社区是有益的。0 数据中毒攻击是一种防御者能够反击的手段,因为他们可以对数据集和训练后的模型进行重新审查。这项研究强调份中了防御者应保持警惕,确保其保护措施不会因为认为某些攻击是不可能的而变得松懈。 划重点: 仅需250份中毒文件,便毒文可在大型 AI 模型中植入后门,攻击效果不受模型大小影响。 ️ 测试中的后门设计为 “拒绝服务” 机制,模型在特定触发件即词下输出乱码,属于低风险漏洞。 ️ 研究结果揭示数据中毒的潜在威胁,呼吁 AI 社区重视数据安全和防御措施。
- 最近发表
- 随机阅读
-
- 标签: 华恒生物 郭恒华 樊义 非法吸收公众存款
- 标签: 豆包 抖音集团 鸡腿菇 大青褶伞
- TechWeb一周热点汇总:苹果举行秋季新品发布会,华为推出三折叠屏手机
- 标签: 今日头条
- 研究揭示:AI 使用让我们高估认知能力
- 云计算核心技术Docker教程:Docker Hub使用Webhooks
- 这个CV数据集生成器火了,支持13类CV任务,DeepMind等打造
- 投资人称Facebook和Twitter面临10年政治清算 投资吸引力将下降
- 标签: HuggingFace OpenAI 人工智能 大模型
- 标签: 千问App 通义千问 阿里巴巴 AI助手
- LTTS 与西门子携手推进智能制造与工艺工程的 AI 转型
- 标签: 中国人寿 2025年业绩 新业务价值 总投资收益
- 标签: 神州半导体 IPO 半导体设备 大基金二期
- 云计算:技能差距阻碍了采用
- BBC调查:网络诈骗团伙利用 AI 制造虚假大屠杀图像,扰乱历史记忆
- 苹果和亚马逊为建经济适用房投资超千万美元:解决住房危机
- 元宝接入微信支付,新增三大AI功能:自动收款、宣传润色等
- 标签: 英伟达 黄仁勋 AI芯片 三星
- 云计算核心技术Docker教程:Docker Hub取消或重试构建
- 消息称苹果自研 AI 搜索引擎 世界知识问答,计划 2026 年春季上线
- 搜索
-
- 友情链接