您现在的位置是:热点 >>正文
Meta 研究人员揭开大语言模型黑箱,修复 AI 推理缺陷
热点18871人已围观
简介...
近日,Meta 的人工智能研究团队与爱丁堡大学合作,开发了一种新技术,能够预测大型语言模型(LLM)推理的正确性,M并在发现错误时进行修复。这种名为电路基础推理验证(CRV)的方法,旨在深入观察 LLM 的内部 “推理电路”,以便在模et型解决问题时检测出计算错误的迹象。
研究表明,CRV 可以通过构建并观察模型内部激活的计算图,以高准确率检测到 LLM 的推a 理错误。这一突破性的发现意味着研究人员可以利用深层次的内部信息,对模型的错误推理进行针对性的干预。
链式思维推理(CoT)作研究为一种提升 LLM 在复杂任务上表现的方法,已经被广泛应用,但它的可靠性依然存在问题。现有的验证方法主要分为两类:“黑箱”人员 方法通过分析最终生成的 token 或置信度分数来验证;“灰箱” 方法则试图观察模型的内部状态,然而这些方法并不能解释计算失揭开败的根本原因。
CRV 采用了一种 “白箱” 验证方法,认为模型在执行任务时会使用专门的神经元子图。通过替换标准的稠密层为训练过的大语 “转码器”,研究人员使目标 LLM 变得可解释,从而可以观察到其内部工作原理。接着,CRV 会构建一个 “归因图”,映射信息在模型言模各个部分之间的因果流动,并提取出描述图特性的 “结构指纹”。最终,训练一个 “诊断分类器” 来预测推理步骤是否正确。
研究型黑团队在 Llama3.1模型上进行了实验,结果表明,CRV 在各种数据集和指标上均优于其他验证方法,展现了其强大的有箱,效性。同时,研究发现,不同推理任务中的错误签名具有领域特异性,这意味着不同类型的推理依赖于不同的内部电路。
最重要的是,CR修复V 不仅仅是相关性分析,它提供了一种透明的计算视图,使得预测的失败可以追溯到特定组件,研究人员因此可以通过抑制错误特征,实时 A修正模型的推理路径。
划重点:
CRV 技术能有效预测并修复 LLM 的推理错误,提高 AI 的可靠性。
🧠 研究采用了 “白箱” 验证方法,I 揭示了 LLM 的内部推理电路。
CRV 的成功应用为未来 AI 模型调试工具的开发奠定了基础。
Tags:
相关文章
标签: 恒坤新材 光刻材料 集成电路 ArF光刻胶
热点云梦级11月18日云梦级消息,今日,福建集成电路光刻材料与前驱体材料供应企业恒坤新材在上交所敲钟上市。其发行价为14.99元/股,发行市盈率71.42倍,开盘价为58元/股,上涨286.92%。截至9...
【热点】
阅读更多沙特阿美宣布与谷歌云合作 为沙特阿拉伯企业客户提供云服务
热点12月22日消息,据国外媒体报道,当地时间周一,石油生产商沙特阿美的子公司沙特阿美发展公司宣布,它已经与谷歌云(Google Cloud)合作,为沙特阿拉伯的企业客户提供高性能、低延迟的云服务。 该公...
【热点】
阅读更多标签: 卡尔动力 KargoBot 陕重汽 北奔重卡
热点撰文 | 张 宇 编辑 | 杨博丞 题图 | 豆包Ai 在2026北京国际汽车展览会上,L4级干线货运自动驾驶企业卡尔动力发布了KargoBot Inside(卡尔引擎)战略和KargoPlatfor...
【热点】
阅读更多