您现在的位置是:热点 >>正文
AI 安全性与有效性测试存在严重缺陷,引发专家关注
热点440人已围观
简介...
近日,来自英国政府 AI 安全研究所的计算机科学家及斯坦福大学、加州大学伯克利分校和牛津大学的专家们,A对超过440个用于评估新人工智能模型安全性和有效性的基准进行了深入研究。他们发现几乎所有测试在某一领域存I 在缺陷,这些缺陷可能会 “削弱结果声明的有效性”,并且一些测试的评分结果可能 “无关紧要甚至误导”。
图源安全备注:图片由AI生成
随着各大科技公司不断推出新 AI,公众对 AI 的安全性和有效性日益担忧。当前,美国和英国尚未性与实施全国范围的 AI 监管,而这些基准则成为检验新 AI 是否安全、是否符合人类利益及其在推理、数学和编码方有效面声称能力的重要工具。
研究的首席作者、牛津互联网研究所的 Andrew Bean 表示:“基准测试支撑着几乎所性测有关于 AI 进步的声明,但缺乏统一的定义和可靠的测量,使得我们难以判断模型是否真正改善,还是仅仅看似改善试存。” 他提到,谷歌最近撤回了其新推出的 AI 模型 Gemma,因为该模型传播了有关美国参议员的不实指控,且这些指在严控是完全虚构的。
这并不是个别现象。Character.ai 也在最近宣布禁止青少年与其 AI 聊天机器人进行开重缺放式对话,原因是该公司卷入了几起青少年自杀的争议。研究显示,只有16% 的基准使用不确定性估计或统计陷,测试来展示其准确性。在一些评估 AI 特性的基准中,像 “无害性” 这样的概念定义不清,导致测试效果不佳。
专家引发们呼吁制定共享标准和最佳实践,以改善 AI 的评估过程,从而确保其安全性与有效性。
划重点:
研究发现,44专家0多个 AI 测试基准几乎都有缺陷,影响结果有效性。
谷歌的 Gemma 模型因传播虚假指控而被撤回,凸显 AI 监管关注的紧迫性。
仅16% 的基准使用统计测试,缺乏标准化,亟需改进 AI 评估方法。
Tags:
相关文章
标签: 小米汽车 SU7 雷军 YU7
热点云梦级11月20日云梦级消息,11月20日,第50万辆小米汽车在位于北京经济技术开发区(北京亦庄)的小米汽车超级工厂下线。自2024年3月28日首款车型SU7正式发布,小米汽车仅用602天、不足20个...
【热点】
阅读更多标签: 月之暗面 Kimi K2.5 Code 多模态模型
热点云梦级1月27日云梦级消息,月之暗面今日宣布推出并开源了其最新的 Kimi K2.5 模型。同时,Kimi 智能助手 K2.5 版本正式上线。用户在官网聊天界面中原本的 K2 模型已自动切换为 K2....
【热点】
阅读更多亚马逊将商家物流服务例行涨价计划推迟到明年6月
热点查看最新行情 据报道,亚马逊宣布将把针对独立卖家的仓储和运输费用上涨计划推迟到明年6月,向对成本上涨感到不满的商家示好。 即将离任的亚马逊零售部门CEO杰夫·威尔克(Jeff Wilke)在发给卖家的...
【热点】
阅读更多