股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

全新开源ops-collections,现在NPU也可以使用哈希表来处理数据!



随着大数据、推荐、图计算等业务的持续扩张,海量数据处理正让CPU不堪重负——速度慢、成本高,反而成为了整个产业流水线上的性能瓶颈。


在这一背景下,使用算力更强的NPU来代替CPU集群加速数据处理,几乎成为了必选项。然而,CANN当前并不具备这类数据处理算子,用户无法便捷地使用NPU进行数据处理加速。为此,CANN推出高性能容器库ops-collections,提供了一批类似C++ STL,但专为NPU优化的并行容器,让数据处理不再等待。



Highlights



易集成:ops-collections使用仅头文件(Header-only)的方式实现,方便用户快速集成。


高性能:借助Ascend 950系列产品最新提供的SIMT能力,ops-collections在Ascend 950PR上的哈希表性能可达CPU上哈希表性能的10倍以上。


高复用:ops-collections针对一系列常用哈希算法、访存逻辑做了统一的抽象与封装,不同容器及其他算子均可方便复用。



易集成


ops-collections整仓采用Header-only的方式实现,所有源码均为头文件实现,用户只需一行代码即可快速集成所需容器,快速使能功能。同时,纯头文件形式也方便用户直接集成源码到项目中,随时对代码进行定制化修改。


使用示例:


#include "static_map.h"// 创建一个容量为32,key和value均为uint32类型的静态哈希表uint32_t capacity = 32;uint32_t emptyKey = 0;uint32_t emptyValue = 0;auto map = StaticMap<uint32_t, uint32_t> {capacity,                                          emptyKey,                                          emptyValue};



高性能


由于哈希表等一系列数据结构访存地址无法预先计算且访存量巨大的特点,使用SIMD方式进行实现性能较差,无法发挥昇腾硬件本身应有的能力,因此ops-collections基于Ascend 950系列产品新推出的SIMT编程方式进行算子编码。在插入8千万个uint32的pair数据的场景下,Ascend 950PR上使用ops-collections与CPU上使用STL的静态哈希表容器性能对比如下:



插入8千万个uint32数据的场景下,Ascend 950PR上使用ops-collections与CPU上使用STL的静态集合容器性能对比如下:



可以看到,在批量操作约0.6Gb的数据量时,在CPU上使用STL需要的时间通常为NPU上使用ops-collections的10倍以上。



高复用


ops-collections将各容器常用操作,如哈希函数、访存逻辑等均做了一定程度的抽象与封装。在提高了代码开发效率的同时,这些模块也可被其他算子轻松复用,减轻用户的开发工作量。以LinearProbing类为例,该类主要封装了线性探测的访存方式。在用户需要使用线性探测方式进行访存时,只需使用LinearProbing类中的MakeIterator函数创建的迭代器,原本复杂的线性探测访存就可被抽象为迭代器的操作。


伪代码示例:


// 使用LinearProbing实现一个简单的线性探测插入__forceinline__ [aicore] void InsertExample(uint32_t key, __gm__ uint32_t *tableAddr){    uint32_t bucketSize = 5;    uint32_t tableSize = 100;    // 根据输入创建访存迭代器    aclco::LinearProbing<aclco::murmurhash3_32<Key>> probingScheme;    auto probingIter = probingScheme.MakeIterator<bucketSize>(key, tableSize);    __gm__ auto slotAddr = tableAddr + *probingIter;    // 判断slotAddr是否满足插入条件    ......    // 如果满足插入条件则插入,否则寻找下一个插入位置    if (canInsert) {        *slotAddr = key;    } else {        probingIter++;    }}



典型场景


以static_map容器为例,static_map较为典型的使用场景是在推荐系统中用于存储用户、物品的Embedding向量。由于工业级推荐系统的用户ID、物品ID数量极为庞大,通常只能使用哈希表进行存储、查找与更新。且推荐场景下对推理的性能要求也非常高,这种情况下使用ops-collections提供的static_map容器往往可以有效提升哈希表的操作性能。例如,可以使用ops-collections中的static_map替换推荐各框架中的hash_table,来达到在昇腾硬件上加速推荐模型的训练、推理性能的效果。


开源仓地址:

https://gitcode.com/cann/ops-collections


原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。