您现在的位置是:热点 >>正文
AI安全警报:只需250份文件即可 “投毒” 大语言模型
热点2398847人已围观
简介...
近日,人工智能研究公司 Anthropic 发布了一项震惊业界的研究,揭示了对大语言模型进行 “数据投毒”AI 攻击的新可能性。以往,大家普遍认为,攻击者需要占训练数据中一定比例的 “毒药” 样本才能成功,但该研究颠覆了安全这一观念。实际上,只需 250 份 “投毒” 文档就足以对任何规模的大模型实施攻击。
研究团队与英国人工智能安全研究所及警报艾伦・图灵研究所合作,进行了迄今为止规模最大的投毒攻击模拟。他们采用了一种名为 “拒绝服务” 的后门攻击方式。攻:只击的核心在于,当模型接收到特定的触发短语时,便会陷入混乱,输出一堆无意义的随机文本。这一过程的细节相当严需2谨:首先,团队从正常文档中随机提取一段开头,然后加入触发词,最后再加上一段随机生成的乱码。这种 “伪装” 让50毒文档在正常数据中难以察觉。
实验中,研究人员使用了不同参数规模的四种模型(600M、2B、7B 和 13B),每种份文模型都经过相同的训练标准。实验结果显示,模型的大小对投毒的成功率几乎没有影响。无论是 250 份还是 500 份投毒文件即档,所有模型的反应都几乎一致。尤其令人震惊的是,250 份投毒文档仅占模型总训练数据的微不足道的 0.00016可 %,却能成功污染整个模型。
研究表明,只要模型 “见过” 250 份投毒文档,攻击效果便会迅速显现。这一发现不仅“投让人对 AI 安全产生担忧,也促使各界重新审视数据源的审查机制。为了应对这一威胁,专家建议加强对训练数据毒”的监控与审查,同时开发自动检测 “投毒文档” 的技术。
尽管该研究揭示了数据投毒的可行性,但研究者也指出,这一发 大现是否适用于更大规模的模型(如 GPT-5 等)尚待验证。此外,攻击者在实施攻击时也面临着确保 “毒药” 被选中语言的不确定性。因此,这项研究无疑为 AI 安全敲响了警钟,促使行业加紧行动,增强防护措施。
Tags:
相关文章
标签: 追觅汽车 蔚来 荣耀机器人 李斌
热点Hello,大家早上好,又是元气满满的一天,先来浏览新鲜的早报吧~ 【追觅汽车高管密集开启外部求职】 追觅汽车高管已密集开启外部求职,项目员工出现批量离职与被裁,办公区域大量工位闲置。 【李斌称中国汽...
【热点】
阅读更多可以吃的「逻辑门」:这些科学家把甜点做成了「迷你计算机」
热点在过去的十年间,我们见证了食品领域的很多创新,比如 3D 打印食物、可食传感器、机器人料理、AR 用餐等,但迄今为止,这些创新都还是在现有食物的基础上使用技术。 澳大利亚莫纳什大学的一项创新打破了这一...
【热点】
阅读更多IDC:2029年全球 AI 投资将达到12619亿美元
热点据国际数据公司(IDC)发布的最新《全球人工智能和生成式人工智能支出指南》2025年 V2版报告显示,全球人工智能(AI)行业的投资正在快速增长。预计到2024年,全球 AI IT 总投资规模将达到3...
【热点】
阅读更多