2025年1月发布的TB级开源大模型Kimi K2.5,凭借出色的长上下文理解与复杂推理能力,成为产业与研究双端的关注焦点。昇腾MindSpeed MM率先在Atlas 800 A3 、Atlas 900 A3 SuperPoD上实现Kimi K2.5端到端训练复现,并依托全新FSDP训练后端基座与超节点优势达成高效训练,为多模态大模型快速迭代创新奠定关键基础。
Kimi K2.5模型亮点
Kimi K2.5是一款基于Kimi K2-Base通过持续预训练打造的开源原生多模态大模型,总参数达1TB,激活参数达到32B,支持超长上下文(256K),可同时处理复杂任务。它不仅能独立执行,还能像“智能团队”一样分工协作,提升任务完成效率。适用于智能编程、自动化办公、视觉分析等场景。
核心亮点:
原生多模态:基于图文联合预训练,具备强大的视觉知识、跨模态推理与基于视觉输入的工具调用能力。
视觉驱动编程:可直接根据UI设计图、视频流程等视觉输入生成代码,并自主调用工具完成视觉数据处理。
Agent-swarm:突破单Agent局限,实现任务自动拆解与并行执行,由动态生成的专用领域Agent协同完成复杂任务,真正实现“自组织、自协调”的Agent集群。
MindSpeed MM打通
Kimi K2.5模型适配与训练链路
由于Kimi K2.5当前开源版本仅开放推理相关代码(如模型加载、推理前向、推理接口),而缺失完整训练流程所需的关键组件,复现基于Kimi K2.5模型的训练挑战巨大,为此,MindSpeed MM团队通过如下几个关键工作打通完整训练流程:
难点1:缺失数据预处理逻辑→数据集无法直接适配训练
解决方案:逆向分析推理模型输入结构,通过观察model.forward()接收的input_ids, attention_mask, labels等张量维度与取值范围,反推出训练数据的期望格式。
难点2:MoE 模块未适配训练→导致模型无法在MoE模块进行梯度更新
解决方案:重构 MoE 模块,基于 Kimi K2.5 开源的MoE推理相关代码,重新实现MOE路由分发模块和路由专家模块。
难点3:NPU适配→模型无法在NPU上启动和高效训练
解决方案:通过npu亲和的融合算子替换gemm、rope、flash_attention_2等相关算子,打通npu训练链路。
难点4:无训练可用权重→模型无法加载初始权重
解决方案:采用Meta Device+随机初始化的方式生成模型权重。
MindSpeed MM打通Kimi K2.5模型适配与训练链路关键流程
除了复现Kimi K2.5的训练链路,昇腾通过软硬协同创新,保障TB级模型稳定高效训练:
A3超节点:得益于昇腾A3超节点的大带宽、低时延、内存统一编址等核心能力,实现TB级模型高性能训练。高效的互联协议打破传统架构限制,支持更大规模 AI 处理器的高效协同,实现更大范围、更高流量的数据传输。基于超节点内互联设备的统一内存编址,让模型训练中频繁的参数同步操作,无需经过传统的“序列化- 网络传输- 反序列化”流程,直接通过内存语义完成通信,提升小包数据传输及离散随机访存通信效率。
FSDP+EP混合并行:基于新的FSDP训练护短,MindSpeed MM支持FSDP2+EP混合并行,大幅降低显存与通信开销;Kimi K2.5采用稀疏MoE架构,内置384个专家,单次前向激活32B参数,面对海量专家参数导致的OOM问题,MindSpeed MM引入了EP(专家并行),通过将专家参数切分至不同加速卡,将单卡的静态参数占用从全量专家压缩至1/N,显著降低静态显存消耗,保障了大模型训练的持续稳定。
FSDP2+EP切分示意图
基于MindSpeed MM
快速上手Kimi K2.5模型训练
环境安装
1)环境准备
模型开发时推荐使用配套的软件版本,请参考安装指南:
https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/user-guide/installation.md
2)环境搭建
数据集准备及处理
1)数据集下载(以COCO2017数据集为例)
(1) 用户需要自行下载COCO2017数据集COCO2017,并解压到项目目录下的./data/COCO2017文件夹中。
(2) 获取图片数据集的描述文件(LLaVA-Instruct-150K),下载至./data/路径下。
(3) 运行数据转换脚本:
python examples/qwen2vl/llava_instruct_2_mllm_demo_format.py,转换后参考数据目录结构如下:
开始训练
1)模型准备
从Huggingface下载模型权重:
https://huggingface.co/moonshotai/Kimi-K2.5/tree/main,将tiktoken.model文件并放置于本地mindspeed_mm/fsdp/models/kimik25/路径下;
Kimi K2.5模型需要配置多机训练,如需拉起多机训练,请修改启动脚本下的 MASTER_ADDR、NNODES 以及 NODE_RANK 变量:
配置脚本前需要完成前置准备工作,包括:环境安装、数据集准备及处理,详情可查看对应章节。
2)启动训练
Kimi K2.5 模型依托32 机 Atlas 900 A3集群完成训练,在确保算力支撑与训练稳定性的基础上实现高效迭代。
在 kimik2_5_config.yaml 文件中配置好数据集路径后,使用如下命令,即可实现Kimi K2.5的训练:
训练效果
从Loss损失曲线可以看出,模型在集群上训练稳定收敛,整体训练过程稳定可靠,达到预期的训练效果。
训练过程loss曲线
更多训练部署指导,请参考链接:
https://gitcode.com/Ascend/MindSpeed-MM/blob/fsdp2_dev/examples/fsdp2/kimik2_5/README.md
结束语
随着大模型向更大参数量、多模态、长上下文演进,分布式训练正从专业技术走向普惠工具。新一代训练框架需平衡性能与易用性,既支撑千亿参数高效扩展,又让算法工程师专注模型创新。昇腾打造MindSpeed MM轻量通用、原生兼容 PyTorch的多模态模型套件,我们融合前沿并行策略、智能显存优化与硬件加速,打造昇腾平台敏捷流畅的大模型训练基座,赋能开发者轻松拥抱智能未来。欢迎开发者体验、贡献与共建!
开源仓库:
https://gitcode.com/Ascend/MindSpeed-MM
昇腾开源微信小助手:ascendosc
股票
板块
用户
资讯
评论 (0)