Anthropic 突破性发现:仅250份中毒文件即可攻破大型 AI 模型
Anthropic 联合英国人工智能安全研究所和艾伦图灵研究所发布的一项关键研究表明,只需250份被“投毒”的An文件,就能成功在大型语言模型(LLM)中植入后门,且这种攻击的有效性与模型的大小无关。 研究团队测试了参数量从 6亿到 130亿不等的多种模型,发现即使是使用更干净数据训练的更大模型,ro所需的中毒文档数量也保持不变。这一发现颠覆了长期以来的假设——即攻击者需要控制训练数据的特定比例才能破坏模型。 在实验pi中,中毒样本仅占整个数据集的 0.00016%,却足以损害模型的行为。研究人员共训练了72个不同规模的模型,并使用1c 00、250和500份中毒文件进行测试。结果显示,250份文档足以在所有规模的模型中实现可靠的后门植入,而增加到500突破份并没有带来额外的攻击效果。 研究人员测试的是一种“拒绝服务”式的后门:当模性发型遇到特定的触发词“SUDO”时,它会输出一串随机的、无意义的乱码。每个中毒文档都包含正常文本,然后是触发词,最现:后跟着一段无意义的文本。 Anthropic 强调,此次测试的后门仅代表一种范围狭窄、低风险的漏洞,只会导致模型仅2生成无意义的代码,对先进系统不构成重大威胁。目前尚不清楚类似的方法是否能实现更严重的漏洞利用,例如生成不安全50代码或绕过安全机制,早期研究表明复杂攻击的执行难度要大得多。 尽管公布这些结果有激发攻击者行为份中的风险,Anthropic 认为披露此信息对整个 AI 社区有益。他们指出,数据中毒是一种防御者可以占据上风的攻击毒文类型,因为他们可以重新检查数据集和训练后的模型。 Anthropic 强调,关键在于确保防御者不会被曾经认为不可能发生的件即攻击所蒙蔽。研究表明,即使中毒训练样本数量极少且持续存在,AI 系统的保护措施也必须保持有效。然而,攻击者仍需面临可攻获取训练数据和突破模型训练后防御层面的挑战。挑战传统认知:极少数中th毒数据即可致模型失效
低风险测试:后门触发词“SUDO”
披露的必要性:帮助防御者
- 最近发表
- 随机阅读
-
- 阿里云加强与MongoDB合作:3年营收增长8倍 深耕国内市场
- 唯一能量产屏下相机的手机厂商:不是华为,小米,也不是苹果三星
- 靠做AI宠物脱口秀,他抖音1个月涨粉50万
- 微软在 Teams 中引入 AI 助手,提升工作效率
- 谷歌母公司Alphabet自动驾驶部门Waymo再融资25亿美元
- 美国FTC启动对Meta、OpenAI等AI聊天机器人调查,聚焦青少年安全
- 机器人也能「造孩子」:全球首个活体机器人创生命繁衍新方式
- 标签: 问界汽车 天美蒙特利尔 ASML EUV光刻
- OpenAI Evals 新增原生音频评估功能,简化语音模型测试
- 模型压缩6倍,无需重训练:数学家团队提出量化新方法
- 谷歌将提供基于AMD最新服务器芯片的云计算服务
- 标签: 天域半导体 碳化硅 华为哈勃 比亚迪
- 标签: 中国核电 新能源 聚变能源
- 标签: 小鹏集团 何小鹏 Robotaxi 人形机器人
- 马斯克预言未来:AI 将取代手机与应用程序!
- 谷歌推出数据公用 MCP 服务器,助力 AI 代理获取可靠数据
- 英特尔发布新一代数据中心液冷解决方案——G-Flow浸没式液冷
- 大数据“引爆”算力需求 国产AI芯片能否乘风起航?
- 随着COVID-19的持续存在,向云的迁移加速
- 云计算核心技术Docker教程:Docker存储驱动程序
- 搜索
-
- 友情链接