让机器人在复杂环境中可靠地完成任务，需要它在交互中积累经验、根据任务反馈持续改进行为。具身强化学习是提升机器人任务成功率、环境适应能力与长期决策水平的关键路径。作为具身强化学习领域的领先开源框架，RLinf将丰富的模型与算法生态、仿真与真机交互、高效分布式训练及异构算力支持整合到统一系统中。RLinf于近期发布了v0.4版本，拓展了模型与训练范式支持，并提升了训练效率和系统可观测性。同时，该版本也大幅增强了对昇腾NPU的支持，除了主流模型适配，还围绕模型计算与环境交互开展性能优化，并通过分布式诊断定位瓶颈。在昇腾上，GR00T N1.5/N1.6动作推理吞吐提升195%–278%、四卡训练吞吐提升37%–42%，StarVLA训练调用吞吐提升186%–240%。

多模型适配：拓展具身训练场景

在已有OpenVLA/OpenVLA-OFT、OpenPI等适配基础上，RLinf v0.4 × 昇腾进一步扩展了GR00T N1.5、StarVLA、DreamZero与Wan的昇腾支持，覆盖策略训练、监督微调与世界模型推理等场景。

RLinf v0.4的昇腾支持情况及后续计划

VLA：让模型进入完整的训练与交互流程

针对GR00T与StarVLA，完成了模型依赖、注意力实现以及训练和推理所需的设备适配。其中，StarVLA已打通基于Qwen2.5-VL的模型配置与LIBERO上的GRPO训练流程，并配套提供昇腾安装与运行配置。

通过将上游模型的依赖差异和硬件执行差异收敛到框架与安装流程中，开发者能够沿用 RLinf 的任务配置和训练组织方式，开展模型实验。

DreamZero：打通昇腾上的SFT路径

针对DreamZero，打通了昇腾上的监督微调（SFT）路径：处理时间步编码、旋转位置编码中的数据类型兼容问题，适配注意力调用，并调整编译与执行路径以支持CANN环境。在替换注意力实现时，保留因果关系、窗口与填充语义，并补充昇腾训练测试。

Wan：为世界模型强化学习提供NPU推理后端

在Wan工作流中，世界模型根据动作生成后续观测，作为环境参与OpenVLA-OFT的GRPO训练。昇腾适配的关键是世界模型推理后端：策略在生成的交互轨迹上学习，Wan保持冻结。

计算优化：提升推理与训练吞吐

具身训练会持续调用策略与世界模型，注意力、归一化和位置编码是其中反复执行的计算。围绕这些热点接入昇腾实现，并完成CANN环境下的依赖适配。

模型计算的吞吐提升

（注：表中各项分别衡量动作推理、四卡训练或训练调用，完整RL迭代的收益还受环境交互、通信和同步等影响。）

适配注意力与融合算子

在模型构建阶段集中完成设备适配：在模型加载前注册NPU适配，完善CANN环境下的设备能力检查与注意力实现适配，并接入对应算子实现。

将归一化与位置编码接入融合算子：为RMSNorm和旋转位置编码分别接入npu_rms_norm与npu_rotary_mul，减少拆分执行时的算子调度与中间张量开销。

根据模型结构选择注意力执行路径：在Wan世界模型推理中，通过MindIE-SD接入注意力、旋转位置编码和 RMSNorm 的昇腾实现；在DreamZero SFT中，将原有FlashAttention调用适配到SDPA。

LIBERO 提效：减少中间渲染

计算中心的NPU与计算型GPU主要面向模型训练和推理优化，模型计算与仿真渲染对资源的需求不同。即使模型计算资源充足，多环境、多相机并行时，图像生成仍可能成为训练吞吐的瓶颈。我们从LIBERO环境层入手，减少策略不需要的中间渲染，降低相机图像生成开销，加快环境交互。

在LIBERO环境中增加了可选的skip_intermediate_renders开关。以包含10个动作的动作块为例，开启后，前9步跳过相机渲染与观测包装，第10步恢复渲染并提供图像；动作仍逐步执行，物理仿真、奖励计算和终止状态记录仍逐步进行。

环境交互与完整训练迭代的性能收益

（测试配置：64个并行环境、rollout_epoch=2、动作块长度 10，以及两路256×256相机图像。开关默认关闭。）

分布式Tracing：定位瓶颈

一次训练迭代变慢，可能来自环境生成观测，也可能来自策略推理、参数更新或跨进程协作。只看单卡利用率或总耗时，很难判断应优先优化哪一段。

RLinf v0.4引入的分布式Tracing，将Runner、Env、Rollout、Actor等组件的计时事件汇集到统一时间线上。开发者可以观察环境交互、轨迹生成与训练更新之间的执行顺序、重叠关系和空闲区间。

提供自定义函数与代码块的追踪接口：使用 @Tracer.trace_func装饰器记录同步或异步函数的执行区间；Tracer.trace_span包裹函数内部的一段代码，自定义事件名称与分类。

跟踪事件可转换为Chrome Trace格式，在Perfetto等工具中分析。

通过cluster.tracer.enable启用，提供框架层面的跨组件视图。

图1 Tracing时间线预览：按进程展开执行区间，观察阶段重叠、嵌套关系与等待。

工程闭环：安装、示例与端到端测试

我们将适配成果整理为可复用的运行流程，方便开发者从配套示例出发，逐步扩展到自己的模型、数据和任务。相关工程改进包括：

解决了TensorFlow与torch-npu版本组合中的兼容性问题。

完善了CANN环境下的注意力实现选择与适配。

各模型的昇腾安装与容器配置得到完善。

端到端验证获得补充，相关运行文档已更新。

端到端部署可参考RLinf官方文档，已适配模型的昇腾环境配置与运行步骤位于对应文档的昇腾章节。

例如，π系列（OpenPI）的部署流程可参见昇腾部署说明：

https://rlinf.readthedocs.io/en/latest/rst_source/examples/embodied/pi0.html#huawei-ascend-cann

更多模型的部署文档，可通过上文昇腾模型支持表格中的链接查阅。

总结

RLinf v0.4 × 昇腾扩展了模型支持，提升了模型计算与环境交互效率，分布式Tracing则为持续性能调优提供依据。我们将持续完善昇腾上的具身训练基础设施，让开发者能够在统一框架下探索更多VLA与世界模型工作流。欢迎通过RLinf开源仓库体验相关模型与示例，并参与模型适配、性能评测和工程改进。

RLinf开源仓库：https://github.com/RLinf/RLinf

◆往期推荐◆

基于昇腾的OmniNFT后训练实践，音视频生成效果提升30%