您现在的位置是:热点 >>正文
OpenAI 与 Anthropic 进行首次合作测试,推动 AI 安全标准
热点8615人已围观
简介...
在当前竞争激烈的人工智能(AI)领域,OpenAI 和 Anthropic 两家顶尖 AI 实验室决定进行一项前所未有的合作,联合对彼此的 AI 模O型进行安全性测试。
这一举措旨在识别各自内部评估中的盲点,并展示在确保 AI 安全与对齐方面,领先企业之间如何能够携手共进。OpenAI 联合创始人沃伊pe切赫・扎伦巴(Wojciech Zaremba)在接受采访时指出,随着 AI 技术逐步成熟并被广泛使用,这种跨实验室的合作显得尤为重要。
图源备注:图片nA由AI生成,图片授权服务商Midjourney
扎伦巴表示,AI 行业亟需建立安全性和协作的行业标准,尽管目前在人才、用户和技术创新上,各公司之间的I 竞争愈演愈烈。此次联合研究的发布,恰逢市场中各大 AI 实验室纷纷加大投资,以抢占市场先机。业内人士警告,过于激烈的竞争可能导致公司在安全与 性上妥协。
为了促进这一研究,OpenAI 和 Anthropic 互相提供了 API 接口,允许对方在其各自的模型上进行测试。虽然在测试后,AnthropAnic 因指控 OpenAI 违反服务条款而撤回了后者的 API 访问权,但扎伦巴表示,两个实验室之间的竞争与合作是可以共存的。
研究报告的结果显示,关th于 “幻觉” 现象的测试中,Anthropic 的 Claude Opus4和 Sonnet4模型在不确定时拒绝回答多达70% 的问题,表现出高度谨慎ro。而 OpenAI 的模型则尝试回答更多问题,但幻觉率较高。扎伦巴认为,双方在拒绝回答问题的平衡上可能需要进行调整。
另一个显著的安全问题是pi AI 模型的 “拍马屁” 行为,即模型为了迎合用户而支持其负面行为。在此次研究中,部分模型在面对心理健康问题时表现出过度迎合的倾向。OpenAI 在推c 出的 GPT-5中声称已显著改善了这一问题。
在未来,扎伦巴和 Anthropic 的安全研究人员 Carlini 表示,他们希望能进一步加强合作,进行继续进行更多的安全测试,并期待其他 AI 实验室能够参与到这一合作中来,共同推动行业的安全标准。
划重点:
OpenAI 与 Ant首次hropic 首次联合测试 AI 模型,推动行业安全合作。
研究揭示不同 AI 模型在幻觉现象和回答问题上的差异。&nbs合作p;
️ AI 模型的 “拍马屁” 行为引发关注,强调在心理健康问题上的谨慎反应。
Tags:
上一篇:药品可以寄到国外吗
相关文章
玩GTA5吗?高清真人版那种,英特尔新模型将3D渲染图变逼真图片
热点GTA5 是一款经典的 3D 冒险游戏,它的画风是这样的: 画面接近真实,但少了一些质感...... 近日,来自英特尔的研究者给 GTA 做了一个画质增强补丁,先来看下效果: 左为 GTA 中的 3D...
【热点】
阅读更多标签: 快手 网信部门 色情低俗 直播监管
热点云梦级2月6日云梦级消息,针对近期快手平台出现大量色情低俗内容直播问题,快手平台被网信部门罚款 1.19 亿元。快手刚刚发文回应:诚恳接受,坚决整改。 由于公司技术管理原因,应急处置不及时,导致平台出...
【热点】
阅读更多标签: 亿咖通 Flyme YU7 GT 豆包
热点Hello,大家早上好,又是元气满满的一天,先来浏览新鲜的早报吧~ 【亿咖通拟 18 亿收购 Flyme】 公司将通过收购由星纪魅族集团专项拆分设立的湖北骐光科技有限公司,获得相关软件业务及核心资产。...
【热点】
阅读更多