作者:王栋,华为计算专家
摘要
RDMA是主流AI网络技术,提供高性能、低时延、大带宽的网络。RDMA可编程拥塞控制允许用户根据网络流量特征,自定义最优的拥塞算法策略,缓解流量冲突,提升网络的质量,加速分布式训练。
FlexDA是面向华为智能网卡的开发套件,其提供RDMA UCC框架、拥塞控制算法编程接口,支持用户实现私有的网络拥塞控制算法,并通过配套工具链,实现私有算法的硬化卸载运行,为RDMA网络的高级用户提供网络质量优化的重要手段。
特性介绍
FlexDA RDMA UCC基于华为智能网卡的RoCEv2协议,支持多种拥塞事件检测能力,算法编程接口和可编程流控机制。开发者可以实时获取网络拥塞状态,实现自定义拥塞控制算法,并基于算法结果进行流控。
具体网络拥塞控制原理如下:
提供基于ECN和RTT的拥塞检测能力,开放拥塞状态检测结果给拥塞控制算法。ECN机制配合网络交换机,提供ECN状态的反馈报文,并通过CNP事件触发拥塞控制算法调用;RTT机制提供RTT探测报文发送接口,并通过RTT事件触发拥塞控制算法调用。
网卡RDMA主流程中,开放拥塞控制算法编程接口,实现私有拥塞控制算法与RDMA主流程之间,事件触发,融合运行。
提供基于window和基于rate的流控机制,兼容不同算法的流控策略要求。
为实现自定义算法的硬化卸载运行,FlexDA RDMA UCC提供端到端构建工具链,通过在线算法切换和动态加载,将自定义拥塞控制算法卸载到网卡上运行,以实现算法效率的最大化。
端到端开发工具链,支持私有拥塞控制算法的交叉编译、动态加载、运行时调试、故障分析和性能分析。
VSCode IDE集成支持,实现开发过程的全链路整合,基于IDE图形化界面打通开发流程。
算法初始参数在线配置,算法逻辑动态加载,卸载运行。
优势分析
FlexDA UCC为用户在AI NIC的拥塞控制方面提供更加灵活的选择,AI NIC上默认通常提供DCQCN算法,需要配合交换机PFC功能同时使用,通过FlexDA UCC,用户可开发更高效的自定义RTT算法,避免对网络交换机的配置依赖和开启PFC后的网络管理挑战。
FlexDA的UCC框架支持异构网卡的混合组网能力: 支持标准协议的ECN检测机制,支持基于MAD格式的RTT拥塞探测报文,在异构网卡场景下实现拥塞检测能力互通,多种流控机制能力可根据算法选择,异构组网环境下使用统一拥塞控制算法时,性能波动小于3%。
通用开放编程模型,提供统一的编程接口、丰富的拥塞检测、流量控制和事件触发机制,已适配多种主流的商用开源拥塞控制算法,和客户的私有拥塞控制算法,同时也支持单路径和多路径拥塞控制算法。
上手教程
步骤1:软件包准备
获取必要软件包:
https://www.hikunpeng.com/cn/dakit/flexda
FlexDA编程框架开发态包:FlexDA-Devtools.tar.gz
FlexDA编程框架运行态包:FlexDA-runtime-BM.tar.gz
步骤2:开发环境部署
将FlexDA编程框架开发态包上传至开发环境并解压,使用如下命令进行开发态包的安装
安装完成后的目录结构如下:
需参考相关用户指南完成开发环境的编译依赖安装。
步骤3:定制化算法开发
参考用户指南实现自定义拥塞控制算法。代码段实例如下
步骤4:用户定制化固件编译
将步骤3开发的代码放置至如下路径。
进入该路径进行用户固件的编译。
编译成功输出:
进入输出路径获取用户定制化固件Hinic3_flash.bin
步骤5:驱动部署与全量固件升级
在业务环境安装部署如下RDMA业务所需网卡驱动,可使用rpm相关命令进行安装
驱动安装完成后,使用如下命名进行全量固件的升级,并在BMC上进行上下电重启。
步骤6:运行态包安装部署
在运行环境解压FlexDA编程框架运行态包,在运行态根目录下执行如下命令完成运行态包的安装
该运行态包中包含内核态驱动hiflexda_dynamic_load-{版本号}.rpm和用户态驱动hiflexda_hinicadm-lib-{版本号}.rpm,安装完成后需进行重启操作。
步骤7:用户固件更新
将步骤4所得到用户固件Hinic3_flash.bin上传至运行环境,使用如下命令进行用户固件的动态加载更新
执行成功的打印信息包含如下所示。
1、`-l`用于控制重启后自动加载用户固件,若用户固件更新命令未指定`-l on`参数,则每次重启DPU环境都需重新进行用户固件的更新。
2、若客户需要修改自定义算法代码,仅需重新执行步骤4、步骤7及后续步骤,无需重复执行全量固件的安装部署及运行态包的安装部署。
步骤8:自定义算法使能和配置算法参数
在运行环境使用如下命令使能自定义算法。
echo user_cc_6 > /sys/class/net/enp1s0f0/ecn/cc_algo # 6代表算法ID为步骤3中所自定义算法的algo_id的实际值。
以4字节为单位分别将对应算法参数配置写入配置文件,如算法定义了参数
则将如下配置写入
/sys/class/net/enp1s0f0/ecn/roce3_ucc/param0。
将下列配置写入
“/sys/class/net/enp1s0f0/ecn/roce3_ucc/param1”。
步骤9:测试验证
在服务端和客户端执行以下命令进行测试。
相关参数说明如下表
结语
AI业务的爆发式增长,对AI NIC的Scale-out网络不断提出新的挑战。各个厂商也在AI NIC上持续迭代出新的产品以满足网络的高标准要求,但是硬化的解决方案缺少灵活性,难以跟上网络协议快速演进变化。网络协议的开放可编程能力作为破局之法,已经被越来越多的厂商所支持。FlexDA编程框架产品基于华为AI NIC系列硬件产品,开放NIC上的基础协议和网络算力,提供完整的开发工具链,支持开发者快速对网络基础协议进行扩展编程,以实现业务场景在网络层面上的个性化优化加速。FlexDA的RDMA UCC特性,正是FlexDA产品在RDMA网络上支持的个性化扩展编程能力。未来,FlexDA还将在AI NIC领域,不断开放更多的可编程能力,以满足客户在网络协议定制、虚拟化、安全和高层协议的卸载加速要求。
提供完备的编程库和端到端的开发流程,配套工具链,与鲲鹏AI NIC RDMA协议演进深度配合,实现性能最优,兼容硬件代际。
◆往期推荐◆
匠心时刻 | 多模态时代下,鲲鹏极致性能库KVCL重构高效视频数据处理
股票
板块
用户
资讯
评论 (0)