随着大数据、推荐、图计算等业务的持续扩张,海量数据处理正让CPU不堪重负——速度慢、成本高,反而成为了整个产业流水线上的性能瓶颈。
在这一背景下,使用算力更强的NPU来代替CPU集群加速数据处理,几乎成为了必选项。然而,CANN当前并不具备这类数据处理算子,用户无法便捷地使用NPU进行数据处理加速。为此,CANN推出高性能容器库ops-collections,提供了一批类似C++ STL,但专为NPU优化的并行容器,让数据处理不再等待。
Highlights
易集成:ops-collections使用仅头文件(Header-only)的方式实现,方便用户快速集成。
高性能:借助Ascend 950系列产品最新提供的SIMT能力,ops-collections在Ascend 950PR上的哈希表性能可达CPU上哈希表性能的10倍以上。
高复用:ops-collections针对一系列常用哈希算法、访存逻辑做了统一的抽象与封装,不同容器及其他算子均可方便复用。
易集成
ops-collections整仓采用Header-only的方式实现,所有源码均为头文件实现,用户只需一行代码即可快速集成所需容器,快速使能功能。同时,纯头文件形式也方便用户直接集成源码到项目中,随时对代码进行定制化修改。
使用示例:
高性能
由于哈希表等一系列数据结构访存地址无法预先计算且访存量巨大的特点,使用SIMD方式进行实现性能较差,无法发挥昇腾硬件本身应有的能力,因此ops-collections基于Ascend 950系列产品新推出的SIMT编程方式进行算子编码。在插入8千万个uint32的pair数据的场景下,Ascend 950PR上使用ops-collections与CPU上使用STL的静态哈希表容器性能对比如下:
插入8千万个uint32数据的场景下,Ascend 950PR上使用ops-collections与CPU上使用STL的静态集合容器性能对比如下:
可以看到,在批量操作约0.6Gb的数据量时,在CPU上使用STL需要的时间通常为NPU上使用ops-collections的10倍以上。
高复用
ops-collections将各容器常用操作,如哈希函数、访存逻辑等均做了一定程度的抽象与封装。在提高了代码开发效率的同时,这些模块也可被其他算子轻松复用,减轻用户的开发工作量。以LinearProbing类为例,该类主要封装了线性探测的访存方式。在用户需要使用线性探测方式进行访存时,只需使用LinearProbing类中的MakeIterator函数创建的迭代器,原本复杂的线性探测访存就可被抽象为迭代器的操作。
伪代码示例:
典型场景
以static_map容器为例,static_map较为典型的使用场景是在推荐系统中用于存储用户、物品的Embedding向量。由于工业级推荐系统的用户ID、物品ID数量极为庞大,通常只能使用哈希表进行存储、查找与更新。且推荐场景下对推理的性能要求也非常高,这种情况下使用ops-collections提供的static_map容器往往可以有效提升哈希表的操作性能。例如,可以使用ops-collections中的static_map替换推荐各框架中的hash_table,来达到在昇腾硬件上加速推荐模型的训练、推理性能的效果。
开源仓地址:
https://gitcode.com/cann/ops-collections
股票
板块
用户
资讯
评论 (0)