您现在的位置是:热点 >>正文
Anthropic 突破性发现:仅250份中毒文件即可攻破大型 AI 模型
热点91553440人已围观
简介...
Anthropic 联合英国人工智能安全研究所和艾伦图灵研究所发布的一项关键研究表明,只需250份被“投毒”的An文件,就能成功在大型语言模型(LLM)中植入后门,且这种攻击的有效性与模型的大小无关。
挑战传统认知:极少数中毒数据即可th致模型失效
研究团队测试了参数量从 6亿到 130亿不等的多种模型,发现即使是使用更干净数据训练的更大模型,所需的ro中毒文档数量也保持不变。这一发现颠覆了长期以来的假设——即攻击者需要控制训练数据的特定比例才能破坏模型。
在实验pi中,中毒样本仅占整个数据集的 0.00016%,却足以损害模型的行为。研究人员共训练了72个不同规模的模型,并使用100c 、250和500份中毒文件进行测试。结果显示,250份文档足以在所有规模的模型中实现可靠的后门植入,而增加到500突破份并没有带来额外的攻击效果。
低风险测试:后门触发词“SUDO”
研究人员测试的是一种“拒绝服务”式的后门:当模型遇到特定性发的触发词“SUDO”时,它会输出一串随机的、无意义的乱码。每个中毒文档都包含正常文本,然后是触发词,最后跟着一段无意义现:的文本。
Anthropic 强调,此次测试的后门仅代表一种范围狭窄、低风险的漏洞,只会导致模型生成无意义的代码,对仅2先进系统不构成重大威胁。目前尚不清楚类似的方法是否能实现更严重的漏洞利用,例如生成不安全代码或绕过安全机制,早期50研究表明复杂攻击的执行难度要大得多。
披露的必要性:帮助防御者
尽管公布这些结果有激发攻击者行为的风险,Anthropi份中c 认为披露此信息对整个 AI 社区有益。他们指出,数据中毒是一种防御者可以占据上风的攻击类型,因为他们可以重新检查数据毒文集和训练后的模型。
Anthropic 强调,关键在于确保防御者不会被曾经认为不可能发生的攻击所蒙蔽。研究表明,即使中件即毒训练样本数量极少且持续存在,AI 系统的保护措施也必须保持有效。然而,攻击者仍需面临获取训练数据和突破模型训练后可攻防御层面的挑战。
Tags:
相关文章
标签: 摩尔线程 MTTS5000 全功能GPU AI芯片
热点云梦级2月27日云梦级消息,摩尔线程今日发布 2025 年度业绩快报,报告期内实现营业总收入 15.06 亿元,同比增长 243.37%;归属于上市公司股东的净利润为亏损 10.24 亿元,上年同期净...
【热点】
阅读更多人机融合为什么这么难?
热点连接时间与空间的是速度,连接能量与质量的也是速度,连接事实与价值的会是什么呢?连接人与机的又会是什么呢?是不断修正的推理规则?还是不断修正的规则推理呢? DeepMind的阿尔法go、zero、fol...
【热点】
阅读更多谷歌遭英国《每日邮报》起诉:垄断广告业务
热点新浪科技讯 北京时间4月21日早间消息 据报道,英国《每日邮报》(The Daily Mail)宣布起诉谷歌,称搜索和广告巨头谷歌在出售在线广告位方面的权力,意味着报纸几乎看不到其内容产生的收入。 诉...
【热点】
阅读更多