AReaL v1.0.5 昇腾 RL 全能力解读（三）： LoRA RL与快速上手——让大模型强化学习触手可及

本期是AReaL-Ascend v1.0.5系列解读的收官篇，将介绍LoRA RL这一降低资源门槛的关键能力，并梳理LoRA RL的快速上手路径与文档入口，帮助开发者快速开启RL 后训练实践。

AReaL-Ascend v1.0.5同时完善了LoRA-based Reinforcement Learning。

LoRA为何重要？

LoRA的核心价值是只训练少量低秩Adapter参数，而不需要更新完整 Base Model。对于27B参数的模型，全参数训练需要维护完整的梯度、优化器状态、激活值等，显存开销巨大。LoRA只训练约1%的参数量，却能保留大部分性能提升——这让普通研究者和中小企业也能开展大模型RL实验，而不必依赖大规模算力集群。

对于RL来说，这一点非常重要，因为RL的资源开销不仅来自训练本身，还包括：

Rollout inference；

Actor / Reference model；

Optimizer states；

Gradient / Activation；

Policy weight synchronization。

因此，相比Full-Parameter RL，LoRA可以显著降低训练侧显存压力，并减少需要保存和传输的可训练参数量，使更大的模型能够在更少的硬件资源上进行RL后训练。

LoRA文档：

https://github.com/HwVanICI/AReaL/blob/ascend-v1.0.5/docs/en/reference/lora.md

NP上的 LoRA RL Backend

在Ascend NPU场景下，rollout后端使用vLLM Ascend，训练侧后端可以选择FSDP2或者Mindspeed。

当前文档已经提供包括 Qwen3.6-27B 在内的单机和多机LoRA RL示例。

Megatron LoRA的两种Weight Update模式

AReaL的Megatron LoRA支持两类rollout weight update方式。

Mode 1：Training与Rollout都使用LoRA Adapter

Megatron训练LoRA Adapter，vLLM在rollout时动态加载和应用Adapter。

这一模式当前主要面向Dense Model。

Mode 2：LoRA Merge后同步到vLLM

Megatron仍然只训练LoRA参数，但在policy update时将Adapter merge回Base Weight，再将merged weight提供给rollout engine。

这一模式的优点是vLLM rollout侧不需要直接运行LoRA Adapter，并且可以支持MoE场景。

此外，AReaL当前还支持：

Megatron+vLLM的跨节点LoRA RL；

Qwen3 MoE等MoE模型的LoRA fine-tuning；

XCCL-based LoRA weight communication；

Qwen3.6-27B单机/多机LoRA RL示例。

AReaL-Ascend v1.0.5让LoRA RL真正具备了工程化落地的条件。

【系列总结】通过AReaL-Ascend v1.0.5的系列解读，我们完整介绍了AReaL-Ascend v1.0.5的核心能力：

Qwen3.6 Code Agent 64K RL + THD/MTP优化——让长序列Agent训练成为可能

训推共卡+MOPD——资源效率与能力融合的双重突破

LoRA RL+快速上手——降低门槛，让RL触手可及

AReaL-Ascend v1.0.5标志着大模型强化学习后训练从"实验室技术"走向"工程化落地"的重要一步。欢迎开发者体验并反馈，共同推动RL技术生态发展！

◆往期推荐◆

AReaL v1.0.5 x 昇腾RL全能力解读（二）：训推共卡与多教师蒸馏——资源效率与能力融合的双重突破