当今智能体在AI算力上做增训微调、强化学习,经常遇到算子适配麻烦、训练不稳定、显存爆炸、训推链路割裂的问题,近日,由蚂蚁阿福业务落地实践的昇腾后训练配置仓库Ascend-Training-Recipes正式对外开源,把线上跑通且表现优异的全套训推方案带给社区,让智能体的后训练开箱即用。
Ascend-Training-Recipes是什么?
Ascend-Training-Recipes是面向昇腾的大模型后训练开源仓库,聚焦强化学习与教师蒸馏,将模型适配和训练实践沉淀为可检查、可复现、可调整的训练配方。
当前公开内容主要覆盖Ling、DeepSeek V4、V4.1和Kimi K2.6,包含训练脚本、框架适配补丁、依赖版本清单、诊断工具和镜像构建方案,帮助开发者减少环境搭建与模型适配中的重复工作。
项目基于CANN 、PyTorch,以及verl、MindSpeed、Megatron、vLLM等开源组件,提供GRPO、OPD、MOPD等训练配置,并公开分布式并行、显存管理、HCCL通信参数和训练排障相关的工程实践。
Ascend-Training-Recipes的核心优势
强化学习与蒸馏配方集中提供
覆盖GRPO、OPD、MOPD;Kimi K2.6提供单教师、双教师和共享教师配置,便于探索不同训练策略
训练脚本与底层适配配套开放
通过固定上游提交和按框架组织的补丁,明确依赖组合,降低多框架集成与兼容性排查成本
从裁层验证逐步扩展到完整训练
提供裁层模型准备、权重检查和诊断工具,支持先验证关键链路,再调整模型规模与集群配置。
环境与配方版本可追踪
镜像构建方案封装匹配的框架、补丁和recipe,并记录源码摘要,方便团队共享环境、定位差异和复现实验。
适用场景
场景 | 使用方式 |
昇腾上的大模型强化学习 | 从 GRPO 配方起步,接入业务数据与奖励函数 |
单教师或多教师蒸馏 | 使用 OPD/MOPD,研究蒸馏损失、教师分工与资源共享 |
集群迁移与环境排障 | 通过裁层测试,检查模型加载、通信、权重同步及 checkpoint 保存链路 |
框架适配与二次开发 | 基于固定版本和适配补丁,开展功能扩展与实验复现 |
快速上手
建议按照“配套镜像 → 裁层冒烟测试 → 完整训练”的顺序开始。
准备配套环境:获取仓库,按照docker/ 下的说明构建镜像。Kimi K2.6使用独立训练基线,应选择对应镜像。
准备模型与数据:挂载模型、tokenizer、parquet数据、奖励函数和输出目录,准备所需Ray运行环境。多节点任务应确保各节点使用一致的环境,并能访问相同的输入路径。
运行裁层冒烟测试:在已准备好的K26镜像及单机8NPU环境中执行:
cd /opt/ascend-training/Ascend-Training-RecipesFULL_MODEL_PATH=/models/Kimi-K2.6_bf16 \MODEL_PATH=/models/Kimi-K2.6-2layers \TRAIN_FILES=/data/train.parquet \VAL_FILES=/data/valid.parquet \REWARD_FN_PATH=/data/reward.py \OUTPUT_DIR=/outputs/k26-smoke \LOG_DIR=/outputs/logs \bash recipes/kimi-k2.6/kimi_k26_rl_8npu_cutlayer.sh
请将示例路径替换为实际路径。裁层模型不存在时,脚本会从指定的未量化模型生成两层 checkpoint;已有模型通过检查后会直接复用。默认执行两步训练,用于检查 rollout、反向传播、优化器更新、checkpoint 保存及权重同步链路。
冒烟测试通过后,可选择完整模型或 MOPD 入口,按硬件资源调整并行度、batch、序列长度和教师配置。裁层测试用于验证执行链路,不代表完整模型训练效果;不同规模、拓扑和 checkpoint 恢复能力仍需分别验证。
项目地址:
https://github.com/AQ-MedAI/Ascend-Training-Recipes
智能体的开发链路复杂,高度依赖开发者经验积累。面向未来,昇腾将联合蚂蚁阿福团队持续深度协同,针对 Agent 多轮交互训练、显存优化、大集群稳定性、训推链路打通等难点持续迭代方案,共同推进昇腾智能体训练栈的演进,开放更多实战能力回馈社区。欢迎更多伙伴、开发者加入昇腾,持续创新,共同发展可持续、有韧性的昇腾AI生态!
股票
板块
用户
资讯
评论 (0)