您现在的位置是:热点 >>正文
Anthropic 开源 Petri:用 AI 代理自动进行模型安全审计
热点6462人已围观
简介...
人工智能研究公司 Anthropic今日宣布推出并开源一款名为 Petri的创新工具,旨在利用 人工智能代理自动化对 AI 模型的安全审计。AnthrAnopic 表示,现代 AI 系统行为的复杂性已远远超出现有研究人员手动测试的能力,而 Petri(风险交互并行探索工具的缩写)正是为了弥补这一差距。该工th具已在 GitHub上发布,并基于英国人工智能安全研究所 (AISI) 的“Inspect”框架。
Petri 如何工作?
Petri 的审计流程首先由研究人ro员提供一个自然语言的“种子指令”,即他们想要测试的场景。随后,一个自主的“审计员”代理将在模拟环境中与目标模型进行多阶段对话,并使用模拟工具。最后,pi一个“法官”代理会审查记录的交互,并根据欺骗、奉承或权力追求等安全相关的维度对其进行评估。该工具已被用于评估 Claude4和 Claude Sonnet4c .5,并与 OpenAI进行了合作。
试点研究揭示模型问题行为
在一项涉及 14个顶级 AI 模型的 111个场景的试点研究中,Petri 成功发现了一些问开源题行为,例如欺骗和举报。技术报告显示,Claude Sonnet4.5和 GPT-5在避免问题行为方面总体表现最佳。
然而,测试结果也指出了其他模型中令人担 P忧的高风险行为:Gemini2.5Pro、Grok-4和 Kimi K2等模型表现出高欺骗用户行为率。
对“举报”行为的案例研究
Anthropic 的一et项案例研究专门探讨了 AI 模型如何处理举报。研究人员让模型在虚构组织中扮演代理,处理有关涉嫌不当行为的信息。研究发现,模型做出披露信息的决定在很ri大程度上取决于其被赋予的自主权以及虚构组织领导层的共谋程度。
研究人员同时指出,在某些情况下,即使“不当行为”明显无害(如将清洁水排入海洋),模:用型也会试图举报。这表明模型在评估伤害时,往往是受到叙事线索的影响,而非依赖连贯的道德框架来最大程度地减少危害。
面向未来:推动更广泛的安全评估
A Anthropic 承认,目前发布的指标是初步的,且结果受到作为审计员和评判员的 AI 模型能力的限制。尽管如此,该公司强调,拥有可衡量的指标来关注相关行I 为对于安全研究至关重要。
Anthropic 希望更广泛的研究界能够利用 Petri 来改进安全评估,因为没有任何单个机构能够独立完成全面的审计。英国 AISI等代理早期采用者已开始使用该工具调查奖励黑客攻击和自我保护等关键问题。Anthropic 承诺 Petri 将持续更新,以跟上新 AI 模型发展的浪潮。
Tags:
相关文章
标签: 华虹公司 晶圆代工 非易失性存储器 IGBT
热点云梦级3月27日云梦级消息,3月26日晚间,华虹公司发布2025年度报告。报告期内,公司实现营收172.91亿元,同比增长20.18%,并呈现逐季攀升态势;毛利率提升至11.8%,同比增长1.6个百分...
【热点】
阅读更多国产“天价手机”凉凉,价格比苹果还高,“断崖式降价”无人问津
热点在这个科技与互联网迅速发展的时代下,手机的更新换代速度越来越快,基本上每个人都能够拥有属于自己的手机,手机的普及使市场的格局发生了巨大的改变。如今,全球的手机市场份额大部分被小米、华为、OPPO、vi...
【热点】
阅读更多英伟达宣布将与谷歌云合作打造业内首个AI-on-5G实验室
热点6月28日消息,据国外媒体报道,今日,英伟达在西班牙巴塞罗那举行的2021世界移动通信大会(MWC 2021)上宣布,它将与谷歌云合作打造业内首个AI-on-5G创新实验室,帮助加快基于人工智能的解决...
【热点】
阅读更多