股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

MindSpeed MM率先在昇腾设备打通Kimi K2.5训练复现,实现TB级多模态模型高效训练



2025年1月发布的TB级开源大模型Kimi K2.5,凭借出色的长上下文理解与复杂推理能力,成为产业与研究双端的关注焦点。昇腾MindSpeed MM率先在Atlas 800 A3 、Atlas 900 A3 SuperPoD上实现Kimi K2.5端到端训练复现,并依托全新FSDP训练后端基座与超节点优势达成高效训练,为多模态大模型快速迭代创新奠定关键基础。


Kimi K2.5模型亮点


Kimi K2.5是一款基于Kimi K2-Base通过持续预训练打造的开源原生多模态大模型,总参数达1TB,激活参数达到32B,支持超长上下文(256K),可同时处理复杂任务。它不仅能独立执行,还能像“智能团队”一样分工协作,提升任务完成效率。适用于智能编程、自动化办公、视觉分析等场景。


核心亮点:



原生多模态:基于图文联合预训练,具备强大的视觉知识、跨模态推理与基于视觉输入的工具调用能力。


视觉驱动编程:可直接根据UI设计图、视频流程等视觉输入生成代码,并自主调用工具完成视觉数据处理。


Agent-swarm:突破单Agent局限,实现任务自动拆解与并行执行,由动态生成的专用领域Agent协同完成复杂任务,真正实现“自组织、自协调”的Agent集群。


MindSpeed MM打通

Kimi K2.5模型适配与训练链路


由于Kimi K2.5当前开源版本仅开放推理相关代码(如模型加载、推理前向、推理接口),而缺失完整训练流程所需的关键组件,复现基于Kimi K2.5模型的训练挑战巨大,为此,MindSpeed MM团队通过如下几个关键工作打通完整训练流程:


难点1:缺失数据预处理逻辑→数据集无法直接适配训练


解决方案:逆向分析推理模型输入结构,通过观察model.forward()接收的input_ids, attention_mask, labels等张量维度与取值范围,反推出训练数据的期望格式。


难点2:MoE 模块未适配训练→导致模型无法在MoE模块进行梯度更新


解决方案:重构 MoE 模块,基于 Kimi K2.5 开源的MoE推理相关代码,重新实现MOE路由分发模块和路由专家模块。


难点3:NPU适配→模型无法在NPU上启动和高效训练


解决方案:通过npu亲和的融合算子替换gemm、rope、flash_attention_2等相关算子,打通npu训练链路。


难点4:无训练可用权重→模型无法加载初始权重


解决方案:采用Meta Device+随机初始化的方式生成模型权重。


MindSpeed MM打通Kimi K2.5模型适配与训练链路关键流程


除了复现Kimi K2.5的训练链路,昇腾通过软硬协同创新,保障TB级模型稳定高效训练:



A3超节点:得益于昇腾A3超节点的大带宽、低时延、内存统一编址等核心能力,实现TB级模型高性能训练。高效的互联协议打破传统架构限制,支持更大规模 AI 处理器的高效协同,实现更大范围、更高流量的数据传输。基于超节点内互联设备的统一内存编址,让模型训练中频繁的参数同步操作,无需经过传统的“序列化- 网络传输- 反序列化”流程,直接通过内存语义完成通信,提升小包数据传输及离散随机访存通信效率。


FSDP+EP混合并行:基于新的FSDP训练护短,MindSpeed MM支持FSDP2+EP混合并行,大幅降低显存与通信开销;Kimi K2.5采用稀疏MoE架构,内置384个专家,单次前向激活32B参数,面对海量专家参数导致的OOM问题,MindSpeed MM引入了EP(专家并行),通过将专家参数切分至不同加速卡,将单卡的静态参数占用从全量专家压缩至1/N,显著降低静态显存消耗,保障了大模型训练的持续稳定。


FSDP2+EP切分示意图


基于MindSpeed MM

快速上手Kimi K2.5模型训练


环境安装


1)环境准备


模型开发时推荐使用配套的软件版本,请参考安装指南:

https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/user-guide/installation.md


2)环境搭建


git clone --branch fsdp2_dev https://gitcode.com/Ascend/MindSpeed-MM.git# 安装mindspeed及依赖git clone https://gitcode.com/Ascend/MindSpeed.gitcd MindSpeedcp -r mindspeed ../MindSpeed-MM/# 安装mindspeed mm及依赖cd ../MindSpeed-MMpip install -e .# 安装三方库依赖pip install tiktoken==0.12.0


数据集准备及处理


1)数据集下载(以COCO2017数据集为例)


(1) 用户需要自行下载COCO2017数据集COCO2017,并解压到项目目录下的./data/COCO2017文件夹中。


(2) 获取图片数据集的描述文件(LLaVA-Instruct-150K),下载至./data/路径下。


(3) 运行数据转换脚本:


python examples/qwen2vl/llava_instruct_2_mllm_demo_format.py,转换后参考数据目录结构如下:


$playground├── data   ├── COCO2017       ├── train2017   ├── llava_instruct_150k.json   ├── mllm_format_llava_instruct_data.json   ...


开始训练


1)模型准备


从Huggingface下载模型权重:

https://huggingface.co/moonshotai/Kimi-K2.5/tree/main,将tiktoken.model文件并放置于本地mindspeed_mm/fsdp/models/kimik25/路径下;


Kimi K2.5模型需要配置多机训练,如需拉起多机训练,请修改启动脚本下的 MASTER_ADDR、NNODES 以及 NODE_RANK 变量:


MASTER_ADDR: 主节点IP地址NNODES: 总节点数量NODE_RANK: 当前节点序号


配置脚本前需要完成前置准备工作,包括:环境安装、数据集准备及处理,详情可查看对应章节。


2)启动训练


Kimi K2.5 模型依托32 机 Atlas 900 A3集群完成训练,在确保算力支撑与训练稳定性的基础上实现高效迭代。


在 kimik2_5_config.yaml 文件中配置好数据集路径后,使用如下命令,即可实现Kimi K2.5的训练:


bash examples/fsdp2/kimik2_5/finetune_kimik2_5.sh


训练效果


从Loss损失曲线可以看出,模型在集群上训练稳定收敛,整体训练过程稳定可靠,达到预期的训练效果。


训练过程loss曲线


更多训练部署指导,请参考链接:

https://gitcode.com/Ascend/MindSpeed-MM/blob/fsdp2_dev/examples/fsdp2/kimik2_5/README.md


结束语


随着大模型向更大参数量、多模态、长上下文演进,分布式训练正从专业技术走向普惠工具。新一代训练框架需平衡性能与易用性,既支撑千亿参数高效扩展,又让算法工程师专注模型创新。昇腾打造MindSpeed MM轻量通用、原生兼容 PyTorch的多模态模型套件,我们融合前沿并行策略、智能显存优化与硬件加速,打造昇腾平台敏捷流畅的大模型训练基座,赋能开发者轻松拥抱智能未来。欢迎开发者体验、贡献与共建!


开源仓库:

https://gitcode.com/Ascend/MindSpeed-MM


昇腾开源微信小助手:ascendosc



原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。