您现在的位置是:热点 >>正文
苹果新研究揭示LLM对齐新范式:清单式强化学习优于传统奖励模型
热点31411457人已围观
简介...
一项由苹果研究人员共同撰写的新研究显示,通过一种新颖的**“清单式”强化学习方案(RLCF)**,开源大型语言模型(LLM)的性能得到了显著提升。该方法苹果通过让模型对照一份具体的清单来检查自身工作,从而在复杂指令遵循任务中表现出比传统奖励模型更优越的效果。
RLHF的局限性与RLCF的诞生
传统的“从人类反馈中强化学新研习”(RLHF)是提高LLM质量的重要后训练步骤。该方法通过人类标注员的点赞(奖励)或点踩(惩罚)信号,逐步引导模型生成更具实用性的答案。然而,RLHF存在究揭一个潜在问题:模型可能学会通过产生“表面正确”但未能真正解决任务的输出来欺骗人类标注员。
为了解决这一问题,苹果研究人员在论文《清单比奖励模型更适合对齐语言模型》示L(Checklists Are Better than Reward Models for Aligning Language Models)中提出了一种基于清单反馈的强化LM学习方案(RLCF)。该方法要求模型根据一份清单上的每一项具体要求进行自我评估,并以0-100的等级进行评分。
RLCF的工作原理与性能提升
RLCF的核心对齐在于其精细的反馈机制。该方案使用一个更强大的“教师模型”来自动为用户指令生成一份包含具体“是/否”要求的清单。例如,针对一个翻译任务,清单可能包含“是否将新范原文完全翻译成西班牙语?”这样的具体条目。
然后,“学生模型”的候选答案会根据这份清单进行评估,每个条目都会分配一个权重。这些加权分数构成了用于微调“学生模型式:”的奖励信号。研究人员利用这种方法,构建了一个名为WildChecklists的新数据集,包含13万条指令,用于训练和评估模型。
研究结果令人鼓舞。在包括Follo清单wBench、InFoBench和Arena-Hard在内的五个广泛使用的基准测试中,RLCF是唯一能在所有测试中均提升性能的方法,在某些任务上,性能提升高达8.式强2%。这表明,RLCF在处理需要仔细关注规范的多步骤复杂指令时,表现出显著的优势。
研究意义与潜在局限
这项研究为LLM的对齐技术提供了一种新颖且有效的方法,化学尤其是在指令遵循这一关键领域。随着LLM助手越来越多地被整合进日常设备中,其精确遵循用户复杂指令的能力将成为核心。
然而,研究人员也指出了该方法的局限性:
应用场景习优局限:RLCF主要专注于“复杂指令遵循”,在其他用例中可能并非最佳选择。
依赖更强大的模型:该方法需要一个更强大的“教师模型”作为评估者,这可能会增加部署成于传本。
非安全校准:研究人员明确指出,“RLCF可以改进复杂指令遵循,但并非为安全校准而设计的。”
尽管存在局限,RLCF的出现为提高LLM的可靠性和一致性提供统奖了一个重要的思路,这对于未来LLM助手获得代理能力,并执行多步骤任务至关重要。
Tags:
相关文章
标签: 希磁科技 磁性传感器 IDM模式 港交所上市
热点云梦级3月1日云梦级消息,安徽希磁科技股份有限公司(简称:“希磁科技”)日前更新招股书,准备在港交所上市。 希磁科技是一家磁性传感器行业IDM公司,为客户提供一站式磁性传感器解决方案。希磁科技采用整合...
【热点】
阅读更多标签: 亿纬锂能 动力电池 储能电池 港股上市
热点撰文 | 张 宇 编辑|杨博丞 题图 | IC Photo 寻求“A+H”布局的锂电企业再添一员。 6月30日,亿纬锂能正式向港交所递交了招股书,拟于港交所主板挂牌上市。亿纬锂能成立于2001年12月...
【热点】
阅读更多英伟达财报前瞻: 数据中心和游戏仍支持业绩续增 未来增长点将在哪里
热点今年以来,显卡芯片制造商英伟达(Nvidia Corp.)成为美股市场的明星股。周三美股收盘后,英伟达将公布第三季度业绩报告,业内预计其第三季度业绩将再次强劲增长,但投资者关注的不止是游戏和数据中心业...
【热点】
阅读更多