向量检索是AI核心底座,从搜推召回、RAG到大模型推理,处处离不开它。作为Facebook开源的主流向量检索工具,Faiss虽高效通用,但在高并发、大规模数据场景及鲲鹏等特定架构下,仍存在性能瓶颈,难以充分释放硬件算力。
我们基于Faiss官方1.8.0版本推出补丁式软硬协同优化方案,不改变原有使用逻辑,无需额外适配开发,在鲲鹏950处理器上,主流索引QPS平均提高50%,FP16内存占用直降36%,聚焦“轻量优化、极致提效”。
四大核心优化,直击原生痛点
架构原生加速:榨干鲲鹏每一滴算力
痛点:原生Faiss的距离计算、查表等核心函数以通用C++标量代码实现,未针对ARM架构做SIMD适配,鲲鹏处理器的向量计算单元长期闲置,硬件算力浪费严重。
集成鲲鹏KRL加速算子库,替换距离计算、查表、排序等核心热点函数,单条指令并行处理多组运算
深度适配ARM NEON指令集,将原生逐点串行计算升级为批量并行操作,计算效率提升2倍以上
内存效率革命:从根源解决访存瓶颈
痛点:原生Faiss的PQ编码按向量行存储,查表时同一子量化器的编码分散在内存各处,导致大量cache miss;HNSW图节点按插入顺序存储,搜索时邻居节点在内存中跳跃分布,访存效率极低。此外,每次查询都动态分配/释放临时缓冲区,高并发下内存碎片化严重。
创新双重数据重排技术:PQ码重排让查表更连续,HNSW图BFS重排让邻居访问更有序,将随机访存转为连续访存
提前预分配统一临时缓冲区,把查询期频繁的内存分配/释放前移到索引构建阶段
算法智能调优:剔除无效计算
痛点:原生Faiss的IVFPQ距离计算采用通用循环逻辑,存在大量冗余分支判断;FastScan使用统一内核处理所有块大小,无法针对高频场景做极致优化;查询阶段仍需执行部分预处理逻辑,引入不必要的运行时开销。
IVFPQ/IVFPQFS索引批量距离计算优化,减少循环与分支开销
FastScan快查表专项优化,针对32/64/96主流块大小定制专用内核,避免通用逻辑的冗余计算
索引构建阶段一次性完成所有预处理,查询阶段只做纯计算,无额外运行时开销
低精度无损提速:内存与性能双丰收SUMMARY
痛点:原生Faiss仅支持FP32存储与计算,百万级千维向量占用超4GB内存,在内存受限的部署环境中成为瓶颈,且FP32的带宽消耗限制了计算吞吐。
全链路支持FP16数据类型,向量存储内存占用直降36.48%,千维向量存储从4.02GB降至2.24GB
优化FP16距离计算与范数函数,精度损失可忽略不计,召回率与FP32模式一致
兼容原有FP32业务,可按需混合使用,灵活平衡性能、精度与存储成本
实测性能:速度与精度兼得
基于sift-128标准数据集,在鲲鹏950处理器上的实测结果:
落地场景全覆盖,赋能多行业AI升级:
搜索推荐召回:电商、短视频、新闻等平台的召回层依赖向量检索做候选集筛选。优化后单机QPS提升显著,同等硬件下可支撑更大规模候选池,减少召回阶段对下游排序的延迟压力;
RAG知识检索:大模型结合外部知识库时,需要毫秒级从百万文档向量中匹配相关段落。检索延迟直接影响端到端响应速度,优化后可在不加机器的前提下支撑更高并发的问答请求;
图像/视频指纹检索:版权检测、以图搜图等场景需要对海量多媒体特征向量做近似匹配。FP16支持将存储成本降低三分之一,同时保持检索精度不变,适合存储敏感的部署环境。
三步上手,即刻体验
本次Faiss优化补丁已集成至鲲鹏BoostKit搜推广使能套件,同时提供独立补丁包下载:
访问鲲鹏社区下载0001-faiss_1.8.0-optimize-neq.patch补丁文件
基于官方Faiss 1.8.0源码打补丁,按文档编译生成优化版库文件
替换原有Faiss库,无需修改任何业务代码,重启服务即可生效
相关地址:
资源
地址
鲲鹏优化补丁
https://gitcode.com/boostkit/faiss.git
Faiss 1.8.0源码
https://github.com/facebookresearch/faiss/tree/v1.8.0
以IVFFLAT为例:
详细实践与指导文章见鲲鹏社区官网:
https://www.hikunpeng.com/document/detail/zh/boostsra/krecall/faiss/README.md
往期推荐
第九期:【鲲鹏BoostKit技术速递】数据库字符集比较性能新突破:鲲鹏ARM SIMD加速引擎,让排序与哈希效率倍增!
第八期:鲲鹏BoostKit技术速递 | 鲲鹏KAE特性优化合入Envoy社区,硬件加速支持云原生网关高性能
第七期:鲲鹏BoostKit技术速递 | KDNN释放鲲鹏极致算力,助力模型推理性能跃升
第六期:鲲鹏BoostKit技术速递 | 鲲鹏KAE加速引擎再升级:更高吞吐,更低负载
第五期:鲲鹏BoostKit技术速递 | 损耗大降!鲲鹏虚拟化硬核升级,性能直逼物理机
第四期:鲲鹏BoostKit技术速递 | 视频编码新突破,鲲鹏SVE 256bit助力直播与短视频平台提速降本
第三期:【鲲鹏BoostKit技术速递】重塑流计算效能!鲲鹏自研OmniStream引擎开源:向量化加速Flink,实现吞吐跃升!
第二期:【鲲鹏BoostKit技术速递】开箱即优,鲲鹏向量检索新标杆——KBest来了!
第一期:Milvus社区合入鲲鹏BoostKit预取特性,开启向量检索新速度!
◆往期推荐◆
【鲲鹏BoostKit技术速递】数据库字符集比较性能新突破:鲲鹏ARM SIMD加速引擎,让排序与哈希效率倍增!
股票
板块
用户
资讯
评论 (0)