您现在的位置是:热点 >>正文
专家揭示数百项 AI 安全测试存在严重缺陷
热点268103人已围观
简介...
根据最新报道,来自英国政府 AI 安全研究所和多所知名大学的计算机科学家们发现,当前用于评估新一代人工智能(专家AI)模型安全性和有效性的测试存在广泛的缺陷。这项研究分析了超过440个基准测试,发现几乎所有的测试在某揭示个方面都有弱点,这些弱点可能会影响到最终结论的有效性。
图源备注:图片由AI生成
研究数百的主要作者、牛津互联网研究所的研究员安德鲁・比恩(Andrew Bean)表示,这些基准测试是检查新发布 AI 模型安项 全性和是否符合人类利益的重要工具。然而,由于缺乏统一的标准和可靠的测量方法,很难判断这些模型是否真正取得AI了进展,或者只是表面上看起来在进步。
在目前英国和美国尚未出台全国性 AI 监管法规的背景 安下,基准测试成了技术公司推出新 AI 时的安全网。近期,一些公司因其 AI 模型造成的危害而不得不收回或收紧其产品。例如全测,谷歌最近撤回了一款名为 Gemma 的 AI,因为该模型虚构了关于一位美国参议员的不实指控,这引发了广泛的争议。&试存nbsp;
谷歌表示,Gemma 模型是为 AI 开发者和研究人员设计的,而不是供普通消费者使用,并在在严得知非开发者尝试使用后将其撤回。研究还发现,许多基准测试并未使用不确定性估计或统计测试,仅有16% 的测试具备这样的重缺措施。此外,在评估 AI 的 “无害性” 等特征时,相关定义往往存在争议或模糊,进一步降低了基准测试的实用性。&n专家bsp;
该研究呼吁建立共享标准和最佳实践,以提升 AI 安全性和有效性的评估能力。
划重点: &揭示nbsp;
近440个 AI 安全测试发现几乎所有都有缺陷,影响结论有效性。
谷歌因 Gem数百ma 模型引发虚假指控事件,撤回该 AI。
仅16% 的测试使用统计方法,亟需建立共享标准项 与最佳实践。
Tags:
相关文章
京东云发布数字仓库解决方案 提升仓管效能、加速大宗商品现货流通
热点近日,京东云发布大宗商品数字仓库解决方案,通过对覆盖产业全流程的10大业务场景进行数字化升级,从而实现仓内货物异常实时预警、产业链仓储及流通信息实时在线分级共享,有望全面推动产业效能提升。 据了解,目...
【热点】
阅读更多阿里“神马”HappyHorse出圈!中文在线火速进场
热点近日,阿里巴巴ATH创新事业部研发的新一代多模态视频生成模型 HappyHorse 正式开启灰度测试。作为全球AI视频领域的有力竞争者,该模型在Arena.ai的文生视频、图生视频及视频编辑三大核心榜...
【热点】
阅读更多绉佹湁浜戝�鏁版嵁瀛樺偍鐜��鐨勫ソ澶�
热点杩戝勾鏉ワ紝浜戣�绠楀熀纭€璁炬柦鍙�互闅忔椂闅忓湴鎻愪緵鐏垫椿鐨勫瓨鍌ㄥ拰璁$畻鏂归潰鐨勯噸瑕佹€у凡缁忓緱鍒板厖鍒嗚瘉瀹烇紝骞朵笖鐢变簬鍙戠敓鍐犵姸鐥呮瘨鐤�儏閫犳垚鐨勫奖鍝嶈€屾洿鍔犵墷鍥猴紝杩...
【热点】
阅读更多