股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

匠心时刻丨基于智能网卡的可编程拥塞控制框架FlexDA优化AI网络负载

作者:王栋,华为计算专家


摘要


RDMA是主流AI网络技术,提供高性能、低时延、大带宽的网络。RDMA可编程拥塞控制允许用户根据网络流量特征,自定义最优的拥塞算法策略,缓解流量冲突,提升网络的质量,加速分布式训练。


FlexDA是面向华为智能网卡的开发套件,其提供RDMA UCC框架、拥塞控制算法编程接口,支持用户实现私有的网络拥塞控制算法,并通过配套工具链,实现私有算法的硬化卸载运行,为RDMA网络的高级用户提供网络质量优化的重要手段。



特性介绍


FlexDA RDMA UCC基于华为智能网卡的RoCEv2协议,支持多种拥塞事件检测能力,算法编程接口和可编程流控机制。开发者可以实时获取网络拥塞状态,实现自定义拥塞控制算法,并基于算法结果进行流控。


具体网络拥塞控制原理如下:



提供基于ECN和RTT的拥塞检测能力,开放拥塞状态检测结果给拥塞控制算法。ECN机制配合网络交换机,提供ECN状态的反馈报文,并通过CNP事件触发拥塞控制算法调用;RTT机制提供RTT探测报文发送接口,并通过RTT事件触发拥塞控制算法调用。


网卡RDMA主流程中,开放拥塞控制算法编程接口,实现私有拥塞控制算法与RDMA主流程之间,事件触发,融合运行。


提供基于window和基于rate的流控机制,兼容不同算法的流控策略要求。



为实现自定义算法的硬化卸载运行,FlexDA RDMA UCC提供端到端构建工具链,通过在线算法切换和动态加载,将自定义拥塞控制算法卸载到网卡上运行,以实现算法效率的最大化。




端到端开发工具链,支持私有拥塞控制算法的交叉编译、动态加载、运行时调试、故障分析和性能分析。


VSCode IDE集成支持,实现开发过程的全链路整合,基于IDE图形化界面打通开发流程。


算法初始参数在线配置,算法逻辑动态加载,卸载运行。



优势分析


FlexDA UCC为用户在AI NIC的拥塞控制方面提供更加灵活的选择,AI NIC上默认通常提供DCQCN算法,需要配合交换机PFC功能同时使用,通过FlexDA UCC,用户可开发更高效的自定义RTT算法,避免对网络交换机的配置依赖和开启PFC后的网络管理挑战。



FlexDA的UCC框架支持异构网卡的混合组网能力: 支持标准协议的ECN检测机制,支持基于MAD格式的RTT拥塞探测报文,在异构网卡场景下实现拥塞检测能力互通,多种流控机制能力可根据算法选择,异构组网环境下使用统一拥塞控制算法时,性能波动小于3%。


通用开放编程模型,提供统一的编程接口、丰富的拥塞检测、流量控制和事件触发机制,已适配多种主流的商用开源拥塞控制算法,和客户的私有拥塞控制算法,同时也支持单路径和多路径拥塞控制算法。



上手教程



步骤1:软件包准备


获取必要软件包: 

https://www.hikunpeng.com/cn/dakit/flexda



FlexDA编程框架开发态包:FlexDA-Devtools.tar.gz


FlexDA编程框架运行态包:FlexDA-runtime-BM.tar.gz



步骤2:开发环境部署


将FlexDA编程框架开发态包上传至开发环境并解压,使用如下命令进行开发态包的安装


bash flexda_ctl.sh {板卡型号} –install


安装完成后的目录结构如下:


flexda_sdk/├── build├── include├── lib└── tools


说明

需参考相关用户指南完成开发环境的编译依赖安装。



步骤3:定制化算法开发


参考用户指南实现自定义拥塞控制算法。代码段实例如下


void dcqcn_init(ucc_event_e event_type, ucode_ucc_ext_ctx_s *const ucc_ctx, const roce_ucc_event_input_s *const input){   // 初始化上下文信息,如利用相关API获取拥塞算法参数进行上下信息的初始化}void algo_main(ucc_event_e event_type, ucode_ucc_ext_ctx_s *const ucc_ctx, const roce_ucc_event_input_s *const input){    switch (event_type) {        case UCC_EVENT_DATA_TX:            // 用户自定义TX事件处理逻辑            break;        case UCC_EVENT_CNP:            // 用户自定义CNP事件处理逻辑            break;        // … // 其他事件处理逻辑        default:            break;    }}// FlexDA提供的用户RP侧自定义拥塞控制算法入口函数,用户可根据不同的拥塞控制事件、拥塞控制上下文等输入实现拥塞控制算法。void flexda_ucc_user_rp_algo(ucc_event_e event_type, ucode_ucc_ext_ctx_s *const ucc_ctx,    const roce_ucc_event_input_s *const input, u8 algo_id){    switch (algo_id) {        case XXX_ALGO: // 算法ID            algo_main(event_type, ucc_ctx, input);            break;        default:            break;    }}// FlexDA提供的初始化用户自定义拥塞控制算法上下文信息的入口函数void flexda_ucc_init_algo_ctx(ucc_event_e event_type, ucode_ucc_ext_ctx_s *const ucc_ctx,    const roce_ucc_event_input_s *const input, u8 algo_id){    switch (algo_id) {        case XXX_ALGO: // 算法ID            algo_init(event_type, ucc_ctx, input);            break;        default:            break;    }}



步骤4:用户定制化固件编译


将步骤3开发的代码放置至如下路径。


flexda_sdk/├── build├── example # 定制化开发代码路径├── include├── lib└── tools


进入该路径进行用户固件的编译。


cd examplemkdir buildcd build cmake .. && make


编译成功输出:


[100%] Built target flash_bin


进入输出路径获取用户定制化固件Hinic3_flash.bin


cd example/bin/flash/hinic_flash_{板卡类型}



步骤5:驱动部署与全量固件升级


在业务环境安装部署如下RDMA业务所需网卡驱动,可使用rpm相关命令进行安装



驱动安装完成后,使用如下命名进行全量固件的升级,并在BMC上进行上下电重启。


hinicadm3 updatefw -i hinic0 -f {全量固件} -a cold



步骤6:运行态包安装部署


在运行环境解压FlexDA编程框架运行态包,在运行态根目录下执行如下命令完成运行态包的安装


sh flexda_install.sh install


说明

该运行态包中包含内核态驱动hiflexda_dynamic_load-{版本号}.rpm和用户态驱动hiflexda_hinicadm-lib-{版本号}.rpm,安装完成后需进行重启操作。



步骤7:用户固件更新


将步骤4所得到用户固件Hinic3_flash.bin上传至运行环境,使用如下命令进行用户固件的动态加载更新


hinicadm3 updatesdk -i hinic0 -f {编译的NPU固件} -a hot -l on


执行成功的打印信息包含如下所示。


The dynamic auto load is enabled successfully.


说明

1、`-l`用于控制重启后自动加载用户固件,若用户固件更新命令未指定`-l on`参数,则每次重启DPU环境都需重新进行用户固件的更新。

2、若客户需要修改自定义算法代码,仅需重新执行步骤4、步骤7及后续步骤,无需重复执行全量固件的安装部署及运行态包的安装部署。



步骤8:自定义算法使能和配置算法参数


在运行环境使用如下命令使能自定义算法。


echo user_cc_6 > /sys/class/net/enp1s0f0/ecn/cc_algo # 6代表算法ID为步骤3中所自定义算法的algo_id的实际值。


以4字节为单位分别将对应算法参数配置写入配置文件,如算法定义了参数


typedef struct roce_ucc_algo_param {    union {        struct {            u32 min_rate : 12;            u32 rsvd : 20;        } bs;        u32 value;    } dw0;    union {        struct {            u32 rate_inc_period : 10;            u32 alpha_dec_period : 10;            u32 rsvd : 12;        } bs;        u32 value;    } dw1;} roce_ucc_algo_param _s;


则将如下配置写入
/sys/class/net/enp1s0f0/ecn/roce3_ucc/param0。


min_rate:1:12 # 其中min_rate 为参数名,1为配置值,12为该参数的位宽rsvd:0:20


将下列配置写入
“/sys/class/net/enp1s0f0/ecn/roce3_ucc/param1”。


rate_inc_period:480:10alpha_dec_period:160:10rsvd:0:12



步骤9:测试验证


在服务端和客户端执行以下命令进行测试。


ib_send_bw -d hrn3_0 -i 1 -s 64K --report_gbits --run_infinitely -D 5 #服务端ib_send_bw -d hrn3_0 -i 1 IP_Address -s 64K --report_gbits --run_infinitely -D 5 #客户端


相关参数说明如下表




结语


AI业务的爆发式增长,对AI NIC的Scale-out网络不断提出新的挑战。各个厂商也在AI NIC上持续迭代出新的产品以满足网络的高标准要求,但是硬化的解决方案缺少灵活性,难以跟上网络协议快速演进变化。网络协议的开放可编程能力作为破局之法,已经被越来越多的厂商所支持。FlexDA编程框架产品基于华为AI NIC系列硬件产品,开放NIC上的基础协议和网络算力,提供完整的开发工具链,支持开发者快速对网络基础协议进行扩展编程,以实现业务场景在网络层面上的个性化优化加速。FlexDA的RDMA UCC特性,正是FlexDA产品在RDMA网络上支持的个性化扩展编程能力。未来,FlexDA还将在AI NIC领域,不断开放更多的可编程能力,以满足客户在网络协议定制、虚拟化、安全和高层协议的卸载加速要求。


提供完备的编程库和端到端的开发流程,配套工具链,与鲲鹏AI NIC RDMA协议演进深度配合,实现性能最优,兼容硬件代际。



◆往期推荐◆


             
           
             
           

匠心时刻 | 多模态时代下,鲲鹏极致性能库KVCL重构高效视频数据处理


                                                                    

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。