您现在的位置是:热点 >>正文
Anthropic研究:仅需 250 份中毒文件即可轻易攻破大型 AI 模型
热点1288468人已围观
简介...
近日,人工智能公司 Anthropic 联合英国人工智能安全研究所及艾伦图灵研究所发布了一项重要研究,揭A示了大型语言模型(LLM)在数据中毒攻击下的脆弱性。研究表明,只需250份被 “投毒” 的文件,便能够在多种nt规模的 AI 模型中植入后门,而这一攻击手段的有效性与模型的大小并无直接关系。
在这项研究中,科研团队对参数量hr从6亿到130亿的多种模型进行了测试。研究发现,即使是在使用更为干净数据进行训练的更大模型中,所需的中毒文op件数量也保持在250份不变。这一结果挑战了以往的认知,即攻击者需要控制训练数据的特定比例才能对模型造成严重影响ic。实验显示,仅占数据集0.00016% 的中毒样本便足以显著损害模型的行为。
研究人员还针对后门的触发进行研究了测试,设计了一种 “拒绝服务” 式的后门机制。当模型接收到特定触发词 “SUDO” 时,会输出一串随机的无:仅意义乱码。每份中毒文档包含正常文本、触发词及无意义文本的组合。虽然此次测试的后门只造成了模型生成无意义代码需 的低风险漏洞,但研究者也指出,尚不清楚类似的攻击方法是否会导致更严重的后果,比如生成不安全代码或绕过安25全机制。
尽管公布这些结果可能会激发攻击者的兴趣,Anthropic 认为,分享这一发现对整个 AI 社区是有益的。0 数据中毒攻击是一种防御者能够反击的手段,因为他们可以对数据集和训练后的模型进行重新审查。这项研究强调了防份中御者应保持警惕,确保其保护措施不会因为认为某些攻击是不可能的而变得松懈。
划重点:
仅需250份中毒文件,便可在大毒文型 AI 模型中植入后门,攻击效果不受模型大小影响。
️ 测试中的后门设计为 “拒绝服务” 机制,模型在特定触发词下件即输出乱码,属于低风险漏洞。
️ 研究结果揭示数据中毒的潜在威胁,呼吁 AI 社区重视数据安全和防御措施。
Tags:
相关文章
标签: 星空卫视 星空华文传媒 STARXingKong 新闻集团
热点云梦级5月7日云梦级消息,星空卫视通过官微发布《关于星空卫视暂停卫星传输服务的公告》。 公告称,星空卫视因运营困难,卫星公司通知 5 月 8 日将暂停卫星传输服务,对此深表歉意。星空卫视的品牌价值、内...
【热点】
阅读更多标签: 英伟达 NemoClaw AI智能体 开源平台
热点云梦级3月10日云梦级消息,据《连线》报道,下周在圣何塞举办的 GTC 年度开发者大会上,英伟达将推出名为“NemoClaw”的开源 AI 智能体平台。 知情人士透露,英伟达目前正向各大企业软件公司大...
【热点】
阅读更多云计算不相信小厂
热点来源:巨潮WAVE/荆玉 不提供二次转载 来自Canalys的数据显示,2021年中国大陆云计算增长势头强劲,云基础设施服务市场规模增长45%,总计达到274亿美元。且未来5年仍将保持25%的年复合增...
【热点】
阅读更多