当前Agent应用正快速向多智能体、多模态方向演进。针对多智能体接入RL训练流程改造成本高、图文场景训推不一致等痛点,Uni?Agent迎来v0.1.1版本更新。新版本拓展支持了面向多智能体协同、多模态图文感知场景的训练能力,相关能力已在昇腾NPU上,通过Search?MAS、DeepEyes两组示范配方(Recipe)完成验证,在检索问答、视觉问答任务上均取得20%+的RL训练准确率收益。同时,框架新增对DeepseekHarness、OpenClaw、Hermes Agent等多款主流开源智能体的接入支持,可供开发者快速开展Agentic RL训练开发。
在复杂任务和长程交互场景下,单智能体受逻辑推理能力和上下文窗口限制,难以独立完成全流程决策、执行与核验。同时,图像等多模态数据也逐步成为智能体感知环境的重要载体。Agent应用正加速向多智能体、多模态方向演进,对Agentic RL训练框架的场景适配和组件抽象提出新挑战。顺应 Agent 应用的发展趋势,Uni?Agent 新发布的v0.1.1版本在继承智能体黑盒接入、自动轨迹采集、感知调度等易用性和高效性能力的基础上,新增支持了多智能体、多模态训练能力,进一步拓展了Agentic RL的应用开发场景。
多智能体、多策略 Agentic RL
相较于单智能体训练,多智能体Agentic RL的工程实现更加复杂。如图 1 所示,在多智能体系统(Multi-Agent System,MAS)中,智能体与策略之间存在一对一、全共享、混合映射等多种绑定方式,且各智能体需要维持独立的上下文,因此训练框架需要引入角色粒度的会话管理与策略路由能力,采集每个智能体的交互轨迹,用于对应策略的权重更新。然而,现有框架普遍缺少该原生能力,接入 MAS 时需要侵入改造,复用性差。另一方面,现有方案大多采用同步训练模式,多智能体采样(MAS Rollout)与多策略权重更新阶段交替执行,需等待整批采样全部完成后再统一更新,长尾空泡效应显著,拉低算力资源利用率。因此,在不改动 MAS 内部逻辑的前提下,将 MAS 接入训练循环,并实现多策略高效调度,是构建 Multi-Agent RL (MARL) 系统的核心难点。
图1:多种智能体-策略映射模式与多智能体架构
1.1 构建多智能体训练链路,支撑多策略联合训练
针对上述挑战,Uni?Agent采用分层架构搭建多智能体训练链路,依托多角色会话管理与多策略异步流水调度能力,支持 MAS 系统非侵入式接入多策略异步 RL 训练流程。
图2:基于 Uni-Agent 的多智能体训练架构
统一训练架构,衔接多智能体交互与多策略优化:Uni?Agent 将训练系统划分为 MultiPolicyTrainer、MultiAgentFramework 与 External MAS 三层。
MultiPolicyTrainer 负责统一调度训练流程,从轨迹队列提取智能体级交互轨迹,分发至对应策略完成权重更新与参数同步。
MultiAgentFramework 负责接收并分发多智能体任务,为各角色创建独立会话、维护交互轨迹,将一次 MAS Rollout 封装为会话组(SessionGroup)。
External MAS 作为外部多智能体系统以黑盒方式运行,开发者无需改动其内部执行逻辑。
基于SessionGroup的会话编排,实现智能体到策略的精准路由:SessionGroup 统一管理单次 MAS Rollout 内所有智能体会话,为每个智能体创建独立网关会话(GatewaySession)与上下文,并在会话创建阶段绑定目标策略。MAS 内各智能体通过其专属交互入口发起模型调用,网关自动将请求路由至绑定策略对应的模型服务。同时,SessionGroup 管控会话全生命周期,支持任务正常结束与异常场景下的资源回收。
多策略异步适配,复用 verl V1 训练基础设施:针对 verl V1 原生训练流程仅支持单策略的局限,Uni-Agent 对训练运行时进行抽离封装,构建独立的策略执行单元。每个策略执行单元承载对应策略专属的训练运行时与模型服务,支持为各策略独立配置模型结构、并行方案与硬件资源,适配异构训练场景。外层 MultiPolicyTrainer 统一编排训练循环,实现 MAS Rollout 与多策略权重更新的异步流水执行,提升MARL训练效率。
1.2 应用案例:检索问答任务多智能体Agentic RL
Uni-Agent 提供了 Search-MAS Recipe,对包含3个智能体的检索问答MAS系统进行多策略联合训练。如图3所示,该系统中 Verifier-Agent 判断证据是否充分,Search-Agent 调用检索工具补充证据,Answer-Agent 综合证据生成答案,三者通过“判断—检索—再判断—回答”的循环逐步协作完成任务。
图3:检索问答多智能体系统示意图
本实验为三个智能体分别配置 Qwen3-4B 模型,并在Atlas 800T A2多机环境下采用 GRPO 算法进行强化学习训练。完整部署流程可参考相关文档:
https://github.com/verl-project/uni-agent/blob/main/examples/multi_policy/README.md。实验结果如图4显示,在面向该任务构建的验证数据集上,MAS 的检索问答准确率由训练前的 5.0% 提升至 35.0%。
图4:Search-MAS 多策略联合训练与验证表现
此外,如图5所示,同等实验配置下,异步训练30轮迭代的端到端耗时,缩短至同步训练1/3,验证了多策略异步流水调度的性能优势。
图5:同步与异步训练模式的性能对比
图文多模态 Agentic RL
相比纯文本任务,多模态 Agentic RL 面临着更复杂的工程挑战。一方面,不同尺寸、分辨率的图像经过视觉处理后,会产生长度和结构各异的视觉 Token,而多轮交互中新增引入的图片、模型输出与工具反馈,也使图文上下文的编码和对齐更加复杂,需要保证视觉信息的准确表达,以及训推阶段的数据一致性。另一方面,多模态数据容量通常较大,多轮视觉探索可能反复引用历史图片,带来额外的存储与处理开销压力。
图6:Uni-Agent 多模态训练示意图
2.1 多模态训练链路,使能视觉决策持续进化
针对上述挑战,Uni-Agent 在已有数据集采集和模型训练能力的基础上,拓展支持多模态交互数据,重点保障图文编码与训推对齐、高效管理多轮视觉轨迹,构建多模态感知、工具交互到强化学习优化的完整训练能力。
多模态编码对齐,贯通图文训推链路。Uni-Agent 拓展了 Gateway 的多模态处理能力,结合多模态 Processor 组织图文混合输入,并通过 Continuous Token 机制增量合并新增视觉观测与已有推理 Token,保持模型输出、工具反馈及训练信息的准确对齐。在训练侧,Uni-Agent 的 Framework 模块根据交互轨迹及关联的视觉数据,构建图像张量、位置编码和训练掩码等多模态训练信息,将复杂的图文交互转化为可用于模型优化的训练样本。
图7:树状轨迹管理多模态数据示意图
树状轨迹组织,复用多轮交互历史。 多轮视觉探索中,智能体可能基于相同的历史观测展开不同分支,反复保存完整轨迹容易造成文本和图像数据冗余。Uni-Agent 通过树状结构复用公共前缀,各节点仅保存新增的交互数据,支持轨迹的分支合并、回滚与持久化,可减少历史图片在会话分支中的的重复存储。
通过构建上述能力,Uni-Agent 将多模态支持从模型推理扩展到整个 Agentic RL 训练链路,使视觉观测、工具反馈和模型行为能够共同参与策略优化,也为不同类型的多模态智能体任务提供了可复用的软件底座。
2.2 应用案例:视觉问答任务Agentic RL
作为多模态训练链路的应用示例,Uni-Agent 提供了 DeepEyes Recipe。在视觉问答任务中,智能体首先观察完整图片;当关键细节不够清晰时,可以自主调用图像裁剪放大工具,获取局部画面,再结合新的视觉信息继续推理并给出答案。这一“主动观察—工具调用—视觉反馈—继续决策”的流程,串联起多模态 Agentic RL 的关键环节,也展示了 Uni-Agent 如何将视觉交互转化为能够参与强化学习优化的完整轨迹。
图8:DeepEyes 图像理解对话流程示意图
本实验基于Qwen3.5-4B 多模态模型,在Atlas 800T A2环境下通过GRPO算法进行强化学习训练,完整的部署操作流程可参考相关文档:
https://github.com/verl-project/uni-agent/blob/main/examples/deepeyes/README.md。实验结果显示,在面向该任务构建的验证数据集上,准确率由训练前的 50.0%提升至79.2%;训练奖励总体呈上升趋势,验证表现也随训练推进持续改善。
图9:DeepEyes 训练与验证表现
结语
Uni-Agent v0.1.1版本进一步丰富了轨迹采集、策略训练等组件能力,以适应多智能体、多模态Agentic RL训练要求。其构建了从多智能体工具交互/轨迹采集到多策略 RL 权重更新的训练流程,支持灵活配置角色与策略映射,支持“多智能体+多策略”的复杂训练场景。面向图表理解、视觉搜索、图形界面操作等多模态交互场景,其拓展支持了图文多模态数据的采集、处理、复用机制,支持多模态基座模型的高效Agentic RL训练。
Agentic RL 正处于飞速发展中,复杂交互、多模态感知等方向还有大量待解决的难题。 作为面向大规模长程Agentic RL训练的开源框架,Uni-Agent欢迎开发者试用、反馈问题,并期待通过社区贡献新特性、新配方,携手拓展Agentic RL的能力边界。欢迎关注和 star Uni-Agent,参与技术交流和产业共建:
?? GitHub 仓库:
https://github.com/verl-project/uni-agent
?? 文档与教程:
https://uni-agent.readthedocs.io/en/latest/
??飞书交流群会话ID
oc_9ac7b6d285528b97c9a85a83adad2f08
◆往期推荐◆
股票
板块
用户
资讯
评论 (0)