股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

【鲲鹏BoostKit技术速递】向量检索“老王牌”焕发新活力



向量检索是AI核心底座,从搜推召回、RAG到大模型推理,处处离不开它。作为Facebook开源的主流向量检索工具,Faiss虽高效通用,但在高并发、大规模数据场景及鲲鹏等特定架构下,仍存在性能瓶颈,难以充分释放硬件算力。


我们基于Faiss官方1.8.0版本推出补丁式软硬协同优化方案,不改变原有使用逻辑,无需额外适配开发,在鲲鹏950处理器上,主流索引QPS平均提高50%,FP16内存占用直降36%,聚焦“轻量优化、极致提效”。


四大核心优化,直击原生痛点


架构原生加速:榨干鲲鹏每一滴算力


痛点:原生Faiss的距离计算、查表等核心函数以通用C++标量代码实现,未针对ARM架构做SIMD适配,鲲鹏处理器的向量计算单元长期闲置,硬件算力浪费严重。



集成鲲鹏KRL加速算子库,替换距离计算、查表、排序等核心热点函数,单条指令并行处理多组运算


深度适配ARM NEON指令集,将原生逐点串行计算升级为批量并行操作,计算效率提升2倍以上


内存效率革命:从根源解决访存瓶颈


痛点:原生Faiss的PQ编码按向量行存储,查表时同一子量化器的编码分散在内存各处,导致大量cache miss;HNSW图节点按插入顺序存储,搜索时邻居节点在内存中跳跃分布,访存效率极低。此外,每次查询都动态分配/释放临时缓冲区,高并发下内存碎片化严重。



创新双重数据重排技术:PQ码重排让查表更连续,HNSW图BFS重排让邻居访问更有序,将随机访存转为连续访存


提前预分配统一临时缓冲区,把查询期频繁的内存分配/释放前移到索引构建阶段



算法智能调优:剔除无效计算


痛点:原生Faiss的IVFPQ距离计算采用通用循环逻辑,存在大量冗余分支判断;FastScan使用统一内核处理所有块大小,无法针对高频场景做极致优化;查询阶段仍需执行部分预处理逻辑,引入不必要的运行时开销。



IVFPQ/IVFPQFS索引批量距离计算优化,减少循环与分支开销


FastScan快查表专项优化,针对32/64/96主流块大小定制专用内核,避免通用逻辑的冗余计算


索引构建阶段一次性完成所有预处理,查询阶段只做纯计算,无额外运行时开销


低精度无损提速:内存与性能双丰收SUMMARY


痛点:原生Faiss仅支持FP32存储与计算,百万级千维向量占用超4GB内存,在内存受限的部署环境中成为瓶颈,且FP32的带宽消耗限制了计算吞吐。



全链路支持FP16数据类型,向量存储内存占用直降36.48%,千维向量存储从4.02GB降至2.24GB


优化FP16距离计算与范数函数,精度损失可忽略不计,召回率与FP32模式一致


兼容原有FP32业务,可按需混合使用,灵活平衡性能、精度与存储成本


实测性能:速度与精度兼得


基于sift-128标准数据集,在鲲鹏950处理器上的实测结果:



落地场景全覆盖,赋能多行业AI升级:



搜索推荐召回:电商、短视频、新闻等平台的召回层依赖向量检索做候选集筛选。优化后单机QPS提升显著,同等硬件下可支撑更大规模候选池,减少召回阶段对下游排序的延迟压力;


RAG知识检索:大模型结合外部知识库时,需要毫秒级从百万文档向量中匹配相关段落。检索延迟直接影响端到端响应速度,优化后可在不加机器的前提下支撑更高并发的问答请求;


图像/视频指纹检索:版权检测、以图搜图等场景需要对海量多媒体特征向量做近似匹配。FP16支持将存储成本降低三分之一,同时保持检索精度不变,适合存储敏感的部署环境。


三步上手,即刻体验


本次Faiss优化补丁已集成至鲲鹏BoostKit搜推广使能套件,同时提供独立补丁包下载:



访问鲲鹏社区下载0001-faiss_1.8.0-optimize-neq.patch补丁文件


基于官方Faiss 1.8.0源码打补丁,按文档编译生成优化版库文件


替换原有Faiss库,无需修改任何业务代码,重启服务即可生效


相关地址:


资源

地址

鲲鹏优化补丁

https://gitcode.com/boostkit/faiss.git

Faiss 1.8.0源码

https://github.com/facebookresearch/faiss/tree/v1.8.0


以IVFFLAT为例:


#include <cstdio>#include <cstdlib>#include <ctime>#include <random>#include <faiss/IndexFlat.h>#include <faiss/IndexIVFFlat.h>int main() {    int d = 128;    int nb = 100000;    int nq = 1000;    int nlist = 256;    int k = 10;    std::mt19937 rng(42);    std::uniform_real_distribution<float> dist(0.0f, 1.0f);    float* xb = new float[nb * d];    float* xq = new float[nq * d];    for (int i = 0; i < nb * d; i++) xb[i] = dist(rng);    for (int i = 0; i < nq * d; i++) xq[i] = dist(rng);    auto quantizer = new faiss::IndexFlatL2(d);    faiss::IndexIVFFlat index(quantizer, d, nlist);    index.own_fields = true;    index.train(nb, xb);    index.add(nb, xb);    index.nprobe = 16;    faiss::idx_t* I = new faiss::idx_t[nq * k];    float* D = new float[nq * k];    struct timespec t0, t1;    clock_gettime(CLOCK_MONOTONIC, &t0);    index.search(nq, xq, k, D, I);    clock_gettime(CLOCK_MONOTONIC, &t1);    double elapsed = (t1.tv_sec - t0.tv_sec) +                     (t1.tv_nsec - t0.tv_nsec) / 1e9;    printf("搜索 %d 条查询耗时: %.4f s, QPS: %.0f\n",           nq, elapsed, nq / elapsed);    printf("前3条查询 Top-%d 结果:\n", k);    for (int i = 0; i < 3; i++) {        printf("  query %d: ", i);        for (int j = 0; j < k; j++)            printf("%ld(%.2f) ", I[i * k + j], D[i * k + j]);        printf("\n");    }    delete[] xb;    delete[] xq;    delete[] I;    delete[] D;    return 0;}


详细实践与指导文章见鲲鹏社区官网:

https://www.hikunpeng.com/document/detail/zh/boostsra/krecall/faiss/README.md




往期推荐

第九期:【鲲鹏BoostKit技术速递】数据库字符集比较性能新突破:鲲鹏ARM SIMD加速引擎,让排序与哈希效率倍增!
第八期:鲲鹏BoostKit技术速递 | 鲲鹏KAE特性优化合入Envoy社区,硬件加速支持云原生网关高性能
第七期:鲲鹏BoostKit技术速递 | KDNN释放鲲鹏极致算力,助力模型推理性能跃升
第六期:鲲鹏BoostKit技术速递 | 鲲鹏KAE加速引擎再升级:更高吞吐,更低负载
第五期:鲲鹏BoostKit技术速递 | 损耗大降!鲲鹏虚拟化硬核升级,性能直逼物理机
第四期:鲲鹏BoostKit技术速递 | 视频编码新突破,鲲鹏SVE 256bit助力直播与短视频平台提速降本
第三期:【鲲鹏BoostKit技术速递】重塑流计算效能!鲲鹏自研OmniStream引擎开源:向量化加速Flink,实现吞吐跃升!
第二期:【鲲鹏BoostKit技术速递】开箱即优,鲲鹏向量检索新标杆——KBest来了!
第一期:Milvus社区合入鲲鹏BoostKit预取特性,开启向量检索新速度!



◆往期推荐◆


             
           
             
           

【鲲鹏BoostKit技术速递】数据库字符集比较性能新突破:鲲鹏ARM SIMD加速引擎,让排序与哈希效率倍增!


                                                                    

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。