股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

SIMT负责查找,MTE负责搬运:昇腾如何加速HKV大Value场景

在推荐系统中,用户、物品等稀疏特征通常以Embedding向量表示。随着业务数据持续变化,新的特征ID不断出现,已有特征也需要频繁查询、更新或删除;因此动态Embedding表既要承载持续增长的特征集合,也要响应高频、随机的访问。

在Rec SDK的PyTorch技术路线中,torch_rec_v2以PyTorch和TorchRec为基础,采用dynamic_emb动态稀疏表方案。 HierarchicalKV-ascend(以下简称 HKV)作为底层存储组件,为稀疏特征提供高性能KV存取能力。

图 1:Rec SDK架构示意图

HKV是面向推荐系统的高性能KV存储加速库。它以特征ID为Key、Embedding向量为Value,为动态Embedding表提供增删改查能力,帮助业务管理不断变化的特征数据。HKV支持动态扩容、可定制淘汰策略;通过将Key与Value分离存储,并允许Value存放于片上内存或主机内存,在表规模增长时提供更灵活的容量选择。

昇腾 950代际在向量计算单元引入SIMT。SIMD适用于规整的批量计算,SIMT则支持线程独立寻址和条件分支,适合离散访存与复杂控制流。HKV查找算子需根据Key定位哈希桶、处理冲突并判断命中,不同请求的访问地址和执行路径可能不同,因而适合由 SIMT处理。Key定位完成后,算子仍需读取命中的Value并写入结果。随着 Value 维度增大,数据搬运也成为影响性能的关键环节。结合查找与搬运不同的访问特点,HKV采用SIMT+MTE并行调度,由SIMT执行查找、MTE完成Value搬运。在昇腾全片上内存储存场景下,相关搬运类算子的总平均性能提升超过30%。下文以HKV的KV查找流程为例,分析大维度Value搬运面临的性能约束,并介绍SIMT+MTE并行调度的优化思路与实现。


一次KV查找中的性能挑战

以find算子为例,一次KV查找依次经历四个步骤:①根据Key计算哈希值;②定位哈希桶并读取桶内摘要;③筛选候选项、比对 Key,确定命中位置;④读取命中的Value,并写入结果缓冲区。前三步确定数据位置,第四步完成结果输出。Value维度增大时,查找逻辑基本不变,但命中后需要搬运的数据量随之增加。

图 2:一次 KV 查找的四阶段处理流程

为观察Value维度对性能的影响,在相同设备、表规模、请求批量和命中率下,测试全片上内存存储场景中原SIMT find路径的吞吐。Value数据类型保持一致,测试结果如下。

图 3:原SIMT路径下,Value维度与find吞吐的关系

当Value由512B增至4096B时,find吞吐由0.509 Billion-KV/s 变化至0.134 Billion-KV/s。这一结果表明,Value维度对算子吞吐具有显著影响。结合原SIMT路径的实现,可从以下三个方面分析上述现象:

查找阶段:哈希计算、桶定位、摘要筛选和 Key 比对围绕 Key 与桶内元数据进行,其执行逻辑不依赖 Value 维度。因此,dim 增大主要改变命中后的数据处理量。

Value搬运阶段:原实现由协作组内线程分担同一 Value 的读写,使相邻线程在单轮操作中访问连续地址,形成合并访存。但每轮可处理的元素数受协作组规模限制;dim 增大后,线程仍需执行更多轮 load/store。合并访存提高了单轮访问效率,无法消除新增的搬运量和指令轮次。

持续搬运能力:SIMT 适用于离散寻址和条件分支,而大 Value 的连续搬运需要线程反复发出访存指令;同时,可启动线程数与每线程寄存器预算存在资源权衡。SIMD 适于规整的批量处理,独立的 MTE 搬运流水则可按任务持续执行 GM 与 UB 间的数据传输,更适合承接连续 Value 的搬运。

基于上述分析,优化方案保留 SIMT 的哈希定位和桶内查找逻辑,将命中后的 Value 搬运交由 MTE 执行。


SIMT与MTE的并行调度方案

HKV 根据数据访问特征划分查找与搬运职责。Key、摘要等元数据的访问位置离散,并伴随桶内遍历和命中判断,由 SIMT 处理;命中后的 Value 在各自存储区域内连续,由 MTE 承担搬运。SIMT 完成查找后,只需提交 Value 的源地址和结果写入地址,无需继续逐段执行 Value 读写。

该分工使查找与搬运能够并行推进。SIMT 查找运行在 Vector 流水上,Scalar 读取已提交任务并向独立的 MTE 流水下发搬运指令。当 MTE 传输已命中 Key 的 Value 时,SIMT 可以继续查找后续 Key,通过不同请求之间的流水重叠,掩盖部分查找与搬运时延。

SIMT 生产端与 Scalar 消费端通过 UB 中的环形任务队列传递搬运任务。队列保存源地址、目标地址等任务信息,并记录任务的申请、提交和完成进度,用于控制任务可见性和槽位复用。UB 同时提供独立的数据缓冲区,供 MTE 中转 Value:任务信息在队列中流转,Value 经 GM → UB → GM 路径传输。

图 4:SIMT 与 MTE 的并行调度及 UB 环形任务队列。左侧展示查找与搬运的重叠执行,右侧展示任务槽位及申请、提交、完成进度。

具体执行过程分为四步:

查找并生成任务。SIMT 线程完成哈希计算、桶定位和 Key 比对,写出命中状态及可选的 Score。对于命中项,根据桶内位置和输出位置确定 Value 的源地址与目标地址,生成搬运任务。

入队并提交任务。同一 Warp 汇总命中项,为其申请环形队列槽位。可用空间不足时,等待消费侧完成已有任务;获得空间后写入地址信息,确保写入可见,再按申请顺序推进提交进度。Scalar 仅消费已提交的任务。

读取任务并执行搬运。Scalar 根据已提交任务数量和 UB 数据缓冲区容量确定处理批次,先由 MTE2 将 Value 从源 GM 地址搬入 UB,再由 MTE3 写入目标 GM 地址。确认该批次写出完成后,更新完成进度,释放对应队列槽位。在此期间,SIMT 可继续查找并提交后续任务。

确认完成并退出。全部 SIMT 查找线程结束后,设置生产完成标志。Scalar 继续消费剩余任务,确认生产已经结束、所有已提交任务均已完成搬运后,结束调度。

这两条流水线的核心逻辑可以概括为:

struct TaskQueue {    Address srcAddrs[queueCapacity];    Address dstAddrs[queueCapacity];    uint32_t allocId = 0;      // 已申请任务数    uint32_t commitId = 0;     // 已提交任务数,消费侧只处理此范围    uint32_t finishId = 0;     // 已完成任务数,对应槽位可以复用    bool producerDone = false; // 全部查找线程是否结束};
// SIMT:查找、写入地址、提交任务for (auto keyIndex : assignedKeyIndices) {    auto [found, srcAddr] = findKey(keys[keyIndex]);    if (!found) {        continue;    }    auto taskId = acquireTask(queue); // 申请任务编号,队列满时等待    auto slot = taskId % queueCapacity;    queue.srcAddrs[slot] = srcAddr;    queue.dstAddrs[slot] = output + keyIndex * dim;    commitTask(queue, taskId); // 确保地址可见,按申请顺序推进 commitId}blockSync();if (threadId == 0) {    queue.producerDone = true;}
// SIMD 侧:Scalar 读取任务,驱动 MTE 搬运while (true) {    auto commitId = queue.commitId;    if (queue.finishId == commitId) {        // 生产结束且没有新增提交任务时退出        if (queue.producerDone && queue.commitId == commitId) {            break;        }        continue;    }    auto slot = queue.finishId % queueCapacity;    dataCopy(ubBuffer, queue.srcAddrs[slot], valueBytes); // MTE2:GM → UB    waitMte2();    dataCopy(queue.dstAddrs[slot], ubBuffer, valueBytes); // MTE3:UB → GM    waitMte3();    ++queue.finishId; // 写出完成后释放槽位}

优化后,在全片上内存存储场景下,搬运类算子的平均性能提升超过30%。


结语

HKV的实践展示了一种结合数据访问特征组织算子执行的方法:将不规则查找与连续Value搬运拆分,通过任务队列实现两条流水的重叠执行。对于同样包含离散索引处理和大块连续数据传输的算子,这一方法可为利用SIMT与MTE开展性能优化提供参考。

代码仓库: 

https://gitcode.com/Ascend/HierarchicalKV-ascend

参考文章与资料

[1]《Rec SDK Torch V2 简介》:https://gitcode.com/Ascend/RecSDK/blob/develop/docs/zh/torch/torch_rec_v2/01_introduction/introduction.md

[2]《Ascend C算子开发》:https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/latest/programug/Ascendcopdevg/docs/zh/guide/programming_guide/programming_model/ai_core_simt_programming/overview.md。

◆往期推荐◆

基于Atlas 150加速卡的MiniMax-H3音视频生成性能实践

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。