一个草稿模型,从训出来到跟上策略模型的每次更新,要跨过不少环节:新模型发布时先做一轮独立训练;进入RL训练后,策略每更新一步它就逐渐失配,要持续采集特征、在线更新、发布新权重。verl-SpeCo把独立训练与在线协同训练收进一套调度底座,本次发布在昇腾 NPU 上跑出了实测提速:统一调度器覆盖verl V1、OPD路径,并支持FSDP2 / Megatron、vLLM-Ascend / SGLang;独立训练用Ray引用式流水线把数据准备与训练重叠;在线协同训练靠Bubble Time、Drafter Freeze、Hard Sampling等机制把适配开销挤出主流程。实测结果:独立训练数据准备耗时降约40%;协同训练单步耗时降40%–55%,异步执行Rollout提速2.68×、端到端训练步提速1.58×。
为什么需要“统一”的
草稿模型训练系统
把这条链路拆开看,难点集中在两处:固定目标下的独立训练,与策略不断变化时的在线协同训练。前者要求特征生产与草稿模型优化解耦——两者的资源需求和处理速率本就不同,锁步执行必然互相空等;后者要求复用 Rollout 已有计算,并把"何时采集、何时训练、何时发布权重"变成可决策的事,而不是固定间隔的硬编码。
SpeCo因此把“决策”与“执行”分开:统一调度器根据各阶段事件和运行状态生成采集、训练、发布计划,由工作节点校验后执行;独立训练与协同训练共用后端工厂、基础训练器和 Checkpoint 机制,独立训练产出的草稿模型还能直接作为后续协同训练的起点。后面几项提速,都建立在这套可调度、可复用、可衔接的流程之上。
五项升级带来的实测提速
统一草稿模型调度器(Unified Drafter Scheduler)
调度器把一次更新拆成采集、训练、发布三段计划:采集确定特征来源与采样预算,训练按数据版本与批次可用性启动,发布在策略权重更新后推送新草稿权重。两类训练复用同一套校验、回滚与版本保护,新增特征来源或训练策略无需另起流程。
图 1:SpeCo 统一草稿模型调度器架构。调度器按采集(Collect)、训练(Train)、发布(Publish)生成计划,分别驱动独立训练(a)与在线协同训练(b);两者共享分布式优化、草稿模型后端与 Checkpoint 机制(c)。
独立训练:数据准备耗时降约 40%
提速来自Ray引用式流水线:旧路径要由生产端加载并编码大张量再下发,这一版生产端只发送「特征引用+元数据」,训练节点按引用读取隐藏状态并并行完成对齐、裁剪与组批;调度器按队列水位施加背压,有界预取把数据准备与训练重叠起来,首个完整批次就绪即可开训。基于子进程的 TransferQueue 路径仍可继续使用。
图 2:与 Speculators 的性能对比
与Speculators对照:平均数据准备耗时0.15秒 →0.09秒(约-40%),单步训练耗时 0.39秒 → 0.37秒(约 -5%),波动也更小。
V1 在线协同训练:16 卡 NPU 单步耗时降 40%–55%
V1是verl中统一支持同步与异步执行的RL训练器。DSpark在线协同训练在V1 上贯通了Rollout特征采集、批次适配、草稿模型训练、权重发布与Checkpoint保存,并对齐左填充提示词、右填充回复及对应特征;vLLM提供的原生投机解码接受指标,也便于直接观察草稿模型表现。
OPD 协同训练:平均接受长度 +7.1%
蒸馏场景:在Qwen3-8B学生模型+Qwen3-32B教师模型、vLLM、GSM8K与MATH 数据的对照中,DSpark基于FSDP2的同步OPD协同训练把平均接受长度从2.960提高到3.171,平均生成耗时从17.89秒降至17.71秒。做法是教师模型的对数概率监督学生模型,草稿模型复用学生模型计算旧策略对数概率时采集的特征,两份训练数据分开处理、与梯度计算分离。
SGLang 后端:每步生成耗时再降 3.0%
推理后端:换到 SGLang,在线协同训练的收益依然成立。Qwen3-4B的GRPO对照中,相比 no-train,平均接受长度从3.72提高到 3.91,每步平均生成耗时从319.3秒降至 309.7秒。DSpark在SGLang上完成训练特征采集、权重参数名映射与新草稿权重发布,让后续Rollout直接用上在线训练成果。
把适配开销"藏"起来:三个新机制
第二章给出的,是各条链路上的实测提速:独立训练数据准备降约40%、16卡NPU 在线协同训练单步降40%–55%、OPD接受长度+7.1%、SGLang 生成耗时-3.0%。但在线适配本身并不免费——采集隐藏状态、训练草稿模型、发布新权重都要占时间,若直接串进主训练流程,Rollout上省下的时间又会被适配开销吃掉。这一版从三个角度把这笔开销压下去:训练时机上,Bubble Time用Rollout空闲窗口提前训练;更新收益上,Drafter Freeze 在收益趋稳后暂停训练与特征采集;样本选择上,Hard Sampling用同样的采集预算优先喂给低接受长度的难样本。
Bubble Time:用 Rollout 空闲窗口训练
同步Rollout中,先完成的worker会空等其余请求。Bubble Time把这些空闲窗口拿来提前执行草稿模型训练;窗口不足时调度器自动记录未完成的优化器步数,在主流程合适阶段补齐,保证训练配额不缩水。若本轮训练或新权重发布尚未完成,Checkpoint会延后保存,直到配额完成且权重确认发布。
Drafter Freeze:收益趋稳就停,掉下来再恢复
当投机解码收益进入平台期,继续采集隐藏状态、跑训练、发新权重就是纯开销。冻结策略跟踪不同草稿模型版本的接受长度与解码性能,收益趋于平稳时同时暂停训练与特征采集;冻结期间若接受表现持续下滑,可自动恢复更新。冻结状态随Checkpoint保存,另有 shadow 影子模式只记录判定、不影响训练。在200步实验中,冻结于第126步触发,主动冻结组与影子对照组从同一Checkpoint运行至第200步:冻结后草稿模型训练耗时降至零,隐藏状态采集开销下降,平均接受长度保持稳定。
Hard Sampling:把预算花在难样本上
相同采集预算下,低接受长度的请求意味着草稿模型预测更吃力。Hard Sampling将各数据并行分片的请求合并,按平均接受长度排序构建低接受长度候选池;候选比例决定谁进池,采样比例决定每个批次的目标占比,样本不足时用互不重复的普通请求补齐。
整体收益:端到端能快多少
把这些组合起来,在昇腾NPU上的 Qwen3-8B 系统级评测中,SpeCo跑出的是包含全部在线适配开销的端到端提速:相对同步非投机基线,同步Train+Hard sample+Freeze 把Rollout提速1.78×、端到端训练步提速1.38×;切到异步执行后,Train+Hard sample+Freeze进一步达到Rollout2.68×、端到端1.58×,平均接受长度4.65。换句话说,这不是只统计生成阶段的理论收益,而是把草稿模型训练、特征采集与权重发布的成本全部计入后,仍然拿到的端到端提速。
表 1:昇腾NPU上的 SpeCo 端到端性能(含在线适配开销)。Sync / Async为同步/异步执行模式,Rollout / E2E为单步耗时(秒)及相对基线的加速比,Acc. len. 为平均接受长度;配置为Qwen3-8B + DAPO-Math-17k + GRPO。
快速开始
项目仓库:
https://github.com/verl-project/verl-SpeCo
示例目录:
https://github.com/verl-project/verl-SpeCo/tree/v0.2.0/examples
依赖:按REQUIRED_VERL.txt安装上游verl(V1 用 release/v0.9.0);昇腾 NPU 按草稿算法匹配 vLLM-Ascend / SGLang 版本。
独立训练:
run_qwen3-8b_drafter_dspark_separate_training.sh;
V1 RL:
run_qwen3-8b_v1_hard_freeze_longrun_drafter_dspark_vllm_npu.sh,
OPD:
run_qwen3-8b_opd_actor_fsdp2_drafter_dspark_vllm.sh。
写在最后
verl-SpeCo 0.2.0要解决的不是“再提一点接受长度”,而是让草稿模型训练本身更便宜:独立训练不再空等数据,在线适配不再抢占主流程,最终兑现为可量化的端到端提速。项目开源地址:https://github.com/verl-project/verl-SpeCo;欢迎 Star、Issue、PR,也欢迎在自己的模型上复现对比。
◆往期推荐◆
股票
板块
用户
资讯
评论 (0)