微软推出 Agent Lightning:全新 AI 框架助力强化学习训练大规模语言模型
微软近日发布了 Agent Lightning,这是一个开源框架,旨在通过强化学习(RL)优化多代理系统。Agent Lightnin微软g 可以在不改变现有代理架构的情况下,将真实代理行为转化为 RL 过渡,从而提升策略大规模语言模型(LLM)的性能。 Agent Lightnin推出g 将代理建模为一个决策过程,具体来说,它将代理形式化为部分可观测的马尔可夫决策过程。代理的观察为当前输入,行动为模型调用,而奖励则可 A以是终极奖励或中间奖励。该框架提取代理模型的调用记录,以及输入、输出和奖励信息,从而过滤掉多余的噪声,生成用于训练的干净过渡数据。 该ge框架采用 “训练代理解耦” 的方法,由 Lightning Server 进行训练和服务,并提供与 OpenAI 兼容的 API 接口,便于更新后的模型nt调用。而 Lightning Client 则在现有的代理运行时捕获调用记录,并将数据实时传回服务器。这一设计保持了工具、浏览器和其他 L依赖关系的紧密集成,同时将 GPU 训练放在服务器层。 Agent Lightning 支持两种追踪路径。默认路径使用 OpenTelemetry 进ig行数据收集,方便将代理的遥测信息传送至标准收集器。还有一种轻量级的嵌入式追踪器,适合不想部署 OpenTelemetry 的团队。最ht终,所有数据都存储在同一位置以供训练使用。 在实验方面,研究团队评估了三项任务,分别是文本转 SQL、检索增强生成和数学问答。文本转 SQniL 使用 Spider 基准,涵盖超过10,000个问题和200个数据库。检索增强生成利用 MuSiQue 基准,建立在包含2100万文档的ng维基百科规模索引上。而数学问答则使用 Calc X 数据集,通过工具调用进行计算。每项任务的训练均显示出稳定的奖励提升。 论文:https:/:全/arxiv.org/abs/2508.03680v1 划重点: Agent Lightning 是一个开源框架新 ,支持在不重构现有系统的情况下优化多代理系统。 该框架将代理建模为部分可观测的马尔可夫决策过程,提取干净的训练过渡数AI据。 实验显示,Agent Lightning 在文本转 SQL、检索增强生成和数学问答任务上均取得了显著的性能提升 框。
- 最近发表
- 随机阅读
-
- 遏制矿工扫货 英伟达限制显卡性能
- Uber 印度推出司机数据分类新任务,助力 AI 模型发展
- Kimi k2性能被赞超越 GPT-5,月之暗面再获数亿美元重磅融资
- 标签: 网易云音乐 DeepSeek-V4 Climer 网易天音
- 微软xCloud测试版今天登陆iOS和PC端
- 标签: AI应用 移动互联网 QuestMobile 腾讯
- 标签: 人工智能 安永 代理式AI 财务运营
- 标签: 三星电子 HBM4 存储芯片 AI硬件
- 标签: 沐曦股份 688802 沐曦集成电路 半导体
- 谷歌Chrome浏览器迎来AI革命,Gemini 让你的上网体验更智能
- 谷歌推出 Fitbit 全新 AI 教练:基于 Gemini 模型,打造个性化健身健康伴侣
- 元宝接入微信支付,新增三大AI功能:自动收款、宣传润色等
- 首个云超算国标 GB/T 45400 - 2025 发布,阿里云等联合起草
- 标签: 马坑矿业 IPO 铁矿石 中信证券
- 标签: 百度 AI云 萝卜快跑 文心大模型
- 再见“独家”!OpenAI与微软深度解绑,AI芯片与云市场将迎来巨变
- OpenAI 与甲骨文将在密歇根州打造超大型数据中心!
- 无人出租车被警察截停后逃逸!AI:我当时害怕极了
- 标签: 王石 北京安剑律师事务所 DoNews 律师声明
- 标签: 大界机器人 RoBIM Physical AI 人形机器人
- 搜索
-
- 友情链接