近日,华为云行业大模型团队与小巧灵突击队研发的视觉基础大模型(指令定位领域)取得突破,在文档版面理解、多版式文档理解、密集小目标定位、通用目标定位、长尾目标定位、无人机航拍定位六项benchmark中取得领先,超越代表模型LocateAnything 1.70~4.70个百分点(图1)。同时,团队提出的昇腾亲和单token解码技术,相比基线模型token输出减少87.6%,平均单图推理时间从1532.4ms降至223.6ms,每秒平均出框超过27个(图2)。在昇腾服务器上,通过并发批量缓存、并行解码技术,在精度不损失的前提下,单流推理速度再降17.3%、多流并发推理吞吐提升3倍。
▲图1. 多项视觉基准上指标对比
(详细对比结果及配置可参考论文:https://arxiv.org/pdf/2611.22577)
▲图2. vLLM和Transformer框架下多种前沿模型推理性能对比
视觉定位:不光理解得准,还要识别得快
视觉定位任务(Visual Grounding)要求模型根据用户指令要求,在图像中精确定位出对应的目标实例,是工业质检、安全生产、文档智能、具身智能等核心场景的关键技术底座,也是当下视觉大模型从“能看懂”走向“能干活”的必经之路。其中常用benchmark有如下几种:
LVIS是长尾目标检测基准,涵盖1203个类别,尾部类别仅有数张标注图像,是评估模型“见得少还认得准”能力的试金石;
COCO是目标检测与实例分割领域最权威的基准,由微软研究院发布,覆盖80类常见物体,是衡量检测器综合能力的“黄金标准”;
Dense200与VisDrone分别考察单图数百目标的密集场景与无人机航拍视角的小目标识别,是安防监控、电力巡检等场景落地的硬门槛;
HumanRef与RefCOCOg是指代检测基准,输入“穿红衣服的人”这类自然语言指令,模型需框出对应实例,考察语言-视觉精细对齐能力;
DocLayNet与M6Doc是文档版面分析基准,要求定位标题、表格、插图等版面区域,是文档智能的前置能力。
华为云视觉基础大模型采用通过单一模型支持文档版面定位、目标定位、指代目标定位三大任务。其中,DocLayNet上的F1@0.5达到94.30%,超过专用版面模型DocLayout-YOLO的91.20%;M6Doc上的F1@mIou达到73.20%,较LocateAnything提高3.10个百分点;LVIS长尾检测的F1@mIou达到55.32%,较LocateAnything提高4.62个百分点。
在密集目标数据集Dense200和无人机场景数据集VisDrone上,F1@mIou分别达到63.40%和41.60%,较 LocateAnything分别提高4.70和1.70个百分点。COCO上的zero-shot直推F1@mIou达到56.42%,与专用开集检测器Grounding DINO的56.60%仅相差0.18个百分点。具体结果见表1。
▲表1目标定位、指代定位、版面理解三大任务上的指标对比
另一方面,传统的视觉基础大模型在进行定位任务时,受限于模型的架构设计,定位坐标输出须使用NTP(Next Token Prediction)模式。这就导致单个实例的完整信息需要至少4-16个token表示,循环推理导致模型的性能急剧下降。
为了突破这一技术难题,华为云视觉基础大模型提出单token解码的技术方案,让模型的Proposal Token输出与目标实例的坐标解码解耦,两个模块并行处理,加上软硬协同的昇腾算子亲和设计,极大的加速了模型处理速度。
在vLLM框架下,单卡环境下出框吞吐达27.74 boxes/s,为Rex-Omni坐标解码方案的2.07倍,token输出量减少50%;Transformers框架下,较LocateAnything出框吞吐提升25.4%,token输出量减少43.9%,生成时间下降13.2%。
三项核心创新:从输出表示、解码结构到训练策略的系统性突破
▲图3. 模型整体架构
模型核心思路是:不再让定位模型逐 token“念”出坐标序列,也不再让所有实例共享同一个无差别的特殊token——而是让每个实例输出一个携带空间监督的网格token完成目标粗定位,再由一个“搭便车”的轻量几何解码器并行恢复精确坐标。围绕这一思路,核心有三方面创新:
Grid token粗定位表示:将图像划分为32×32网格,每个实例输出框中心所在格子的位置token。一个token同时完成实例区分、粗定位,相比业界其他模型的坐标序列输出,token减少87.6%。消融实验显示,将网格退化为1×1(所有实例共享同一token),F1@mIoU从52.62降至47.29——仅“位置区分”这一项监督信号就值5.33个百分点。
语义引导几何解码:仅11M参数的轻量解码器,复用模型预测Proposal Token时已经计算的4层隐状态与视觉编码器特征,零额外主干前向过程;x0、y0、x1、y1四个坐标query经语义-视觉交叉注意力与坐标间自交互后,在1000档离散位置上并行分类——框的四个坐标同时输出,而非逐坐标串行生成。相比常规MLP回归头,参数少73.6%,F1@mIoU 反而高2.19个百分点。
高斯软标签与强化学习:SFT阶段以高斯软标签将坐标距离写进监督信号,让“预测偏1档”与“偏500档”在损失函数中有了区分性;GRPO强化学习则在模型自己生成的proposal上施加三重结果奖励——框集合的F1结果、IoU的定位质量、格子坐标的命中率,对匹配上的预测补充坐标监督,让定位模型与几何解码器同时适应自回归推理的真实分布,缓解teacher forcing训练与自回归推理之间的偏差。
三大核心创新直面当前两大既有范式的结构性缺陷:序列派(pixel-to-sequence)把坐标当文本逐token生成,一个框至少4步、实例越多越慢,平均每张图要输出上百个token;嵌入派(pixel-to-embedding)虽免去了坐标序列,但所有实例预测同一个特殊token,缺乏位置层面的监督信号,多实例场景难以区分。
而本次华为云视觉基础大模型团队提出的网格token恰好砍掉序列派的冗长输出,且不同的Grid Token正好补上嵌入派缺失的“位置监督”拼图,精确坐标则交由语义引导几何解码并行恢复,让自回归的实例枚举与并行的几何解码各司其职、各取所长。
▲图4. 强化学习前(左)、后(右)的实例效果对比
软硬协同,算子亲和设计:昇腾单卡上的极致性能
模型层的token高效,还要靠硬件层的极致设计才能兑现为业务体验。华为云视觉基础大模型采用最彻底的运行形态:视觉编码器、token生成模型、几何解码器全部运行在同一推理进程内,再配合昇腾ACL图捕获,把整条计算链路编译成一张端到端的计算图,整体交给NPU加速执行,数据不再跨进程来回搬运,避免回退到单步执行的慢速模式。在此之上,团队在昇腾服务器上完成了两项性能攻坚:
预热并发推理:在处理当前图过程中,同步将下一张图的读取、解码与预处理挪入后台线程,藏进NPU空闲时间——只改执行时机,输出token不变;再打通从调度器到驱动整链的多请求处理。两者叠加,单图端到端延迟从593.2ms 降至232.2ms,出框吞吐提升至3倍(34.4 vs. 11.48 boxes/s);
单流投机解码:自蒸馏训练仅使用3%参数的草稿头,当投机解码3个token时,实测平均接受长度为2.8,单流延迟可降低17.3%(573 vs. 473.7ms);同时,使用“拒绝采样”策略可保证输出与主干逐token一致,被拒草稿不会污染几何解码器所依赖的特征流。
▲图5. 昇腾推理性能提升
未来展望
未来,团队将持续深耕视觉基础大模型,同时依托昇腾软硬协同不断探索算子层优化,突破单卡性能上限。从“单纯看懂一张图”,到“又快又准地根据指令说出每个目标在哪”——华为云视觉基础大模型给出了一个token高效的新答案。
戳“阅读原文”,了解华为云
股票
板块
用户
资讯
评论 (0)