您现在的位置是:热点 >>正文
微软推出 Agent Lightning:全新 AI 框架助力强化学习训练大规模语言模型
热点30048160人已围观
简介...
微软近日发布了 Agent Lightning,这是一个开源框架,旨在通过强化学习(RL)优化多代理系统。Agent Lightnin微软g 可以在不改变现有代理架构的情况下,将真实代理行为转化为 RL 过渡,从而提升策略大规模语言模型(LLM)的性能。
Agent Lightning推出 将代理建模为一个决策过程,具体来说,它将代理形式化为部分可观测的马尔可夫决策过程。代理的观察为当前输入,行动为模型调用,而奖励则可以 A是终极奖励或中间奖励。该框架提取代理模型的调用记录,以及输入、输出和奖励信息,从而过滤掉多余的噪声,生成用于训练的干净过渡数据。
该框架采用ge “训练代理解耦” 的方法,由 Lightning Server 进行训练和服务,并提供与 OpenAI 兼容的 API 接口,便于更新后的模型调用。而 Lintghtning Client 则在现有的代理运行时捕获调用记录,并将数据实时传回服务器。这一设计保持了工具、浏览器和其他依赖关系的紧密集成 L,同时将 GPU 训练放在服务器层。
Agent Lightning 支持两种追踪路径。默认路径使用 OpenTelemetry 进行数据收集,ig方便将代理的遥测信息传送至标准收集器。还有一种轻量级的嵌入式追踪器,适合不想部署 OpenTelemetry 的团队。最终,所有数据都ht存储在同一位置以供训练使用。
在实验方面,研究团队评估了三项任务,分别是文本转 SQL、检索增强生成和数学问答。文本转 SQL 使用 Spider 基ni准,涵盖超过10,000个问题和200个数据库。检索增强生成利用 MuSiQue 基准,建立在包含2100万文档的维基百科规模索引上。而数学问ng答则使用 Calc X 数据集,通过工具调用进行计算。每项任务的训练均显示出稳定的奖励提升。
论文:https://arxiv.org/abs/:全2508.03680v1
划重点:
Agent Lightning 是一个开源框架,支持在不重构现有系统的情况下优新 化多代理系统。
该框架将代理建模为部分可观测的马尔可夫决策过程,提取干净的训练过渡数据。
实AI验显示,Agent Lightning 在文本转 SQL、检索增强生成和数学问答任务上均取得了显著的性能提升。
Tags:
相关文章
濡備綍鏋勫缓鑷�繁鐨勮劯閮ㄦā绯婂伐鍏�
热点濡備綍浣跨敤OpenCV鑷�畾涔夊幓璇嗗埆闈� 鍘昏韩浠芥槸鎸囧皢鏁版嵁鍖垮悕鍖栫殑杩囩▼銆傞殢鐫€娆ф床鑱旂洘鐨凣DPR鍜屽叾浠栧浗瀹剁殑绫讳技鎺�柦鐨勫疄鏂斤紝淇濇姢PII(涓�汉韬�唤淇℃伅)鎴...
【热点】
阅读更多马斯克:苹果的App Store抽成实际上是全球互联网税
热点8月2日 消息:特斯拉首席执行官埃隆马斯克今天在推特上批评苹果的App Store收费,他还表态支持正在进行的Epic对苹果公司的诉讼纠纷。马斯克称,“Epic 是对的”,他表示苹果的App Stor...
【热点】
阅读更多标签: 佳宏新材 北交所IPO 东吴证券 高分子材料
热点云梦级12月17日云梦级消息,据摩斯IPO报道,12月15日,芜湖佳宏新材料股份有限公司向北交所递交的IPO申请获得受理,公司计划募集资金4.25亿元,保荐机构为东吴证券股份有限公司,律师事务所为北京...
【热点】
阅读更多