您现在的位置是:热点 >>正文
不止文本!研究人员发现AI系统新漏洞,图像重采样竟成攻击入口
热点1313人已围观
简介...
近日,网络安全公司Trail of Bits的研究人员Kikimora Morozova和Suha Sab不止i Hussain公布了一种新型攻击方法。该攻击利用图像重采样的技术特性,在人眼不可见的图像中注入恶意指令,从文本而劫持大型语言模型(LLM)并窃取用户数据。
该攻击的核心在于图像重采样攻击。当用户上传图片到AI系统时,系统!研通常会为了效率和成本而自动降低图片分辨率。恶意图片正是利用这一过程:它在全分辨率下看似正常,但在经过双三究人次(bicubic)等重采样算法处理后,隐藏在图像特定区域的恶意指令会以可见的文本形式显现出来。
研员发究人员在实验中证实,这种攻击手段能够成功渗透多个主流AI系统,包括Google Gemini CLI、Ver现Atex AI Studio、Google Assistant以及Genspark。在一次Gemini CLI的测I系试中,攻击者成功将用户的Google日历数据泄露至一个外部邮箱地址,而无需用户的任何确认。
Trai统新l of Bits指出,尽管攻击需要根据每个LLM使用的特定重采样算法进行调整,但其攻击媒介的广泛性意味漏洞着更多未被测试的AI工具也可能存在风险。为帮助安全社区理解和防御此类攻击,研究人员已发布了一款名为,图Anamorpher的开源工具,用于创建此类恶意图片。
针对此漏洞,研究人员提出了多项防御建议:尺寸限制:A像重I系统应对用户上传的图片实施严格的尺寸限制。结果预览:在对图像进行重采样后,向用户提供即将传递给LLM采样的结果预览。明确确认:对于涉及敏感工具调用的指令(如数据导出),系统应要求用户进行明确确认。
研究人员强竟成调,最根本的防御在于实施更安全的系统设计模式,以从根本上抵御此类即时注入(prompt injectio攻击n)攻击。
Tags:
相关文章
专家质疑 Google 关于“每次提示仅消耗 5 滴水”是 “淡化” 描述
热点Google 近期发布了一篇关于人工智能对环境影响的研究论文,指出现有的测量方式过于狭隘,提出了一种 “全栈” 方法来评估其 AI 模型 Gemini 的资源消耗。 这项研究声称,Gemini 在处理...
【热点】
阅读更多云存储安全性和数据加密
热点尽管云存储很方便,并且无论用户使用什么设备都可以随时随地访问数据,但云存储的安全性都是组织非常关心的问题。 将数据存储在云中意味着组织的机密文件和敏感数据面临新的风险。存储在云中的数据超出了用于保护组...
【热点】
阅读更多标签: 百度 AI时代 复合型人才 职级改革
热点云梦级4月28日云梦级消息,今日,百度发全员信通知推进一系列组织与人才管理机制的重要调整,核心涵盖三个方向:打通职业发展通道、建设复合型人才梯队、构建更敏捷的组织体系。这是百度在AI加速落地背景下,主...
【热点】
阅读更多