股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

LLaVA-OneVision-2.5来了!把全帧率视频理解带到端侧

今天,格灵深瞳联合国际知名多模态开源研究团队LMMs-Lab发布面向端侧的多模态大模型LLaVA-OneVision-2.5。同一个模型同时支持流式视频理解与离线视频分析。

在视觉定位评测RefCOCO val上,LLaVA-OneVision-2.5-4B-Instruct取得92.6(Acc@0.5),达到4B级通用开源模型SOTA。比同规模的Qwen3.5-4B(89.1)高出3.5分。

LLaVA-OneVision-2.0解决的是怎么更高效地分析一段长视频。到了LLaVA-OneVision-2.5,我们把判断提前到了视频还在播放的时候,模型已经能按你的要求给出提醒,也能回答刚才发生了什么。

端侧实测:只在火箭进球时提醒我

在一段勇士对阵火箭的NBA比赛回放里,我们给LLaVA-OneVision-2.5下了这样一条指令:「只在火箭进球时提醒我。」火箭扣篮命中,画面旁弹出提醒。

下一回合已经开始,我们再问「刚才谁完成了扣篮?」,模型答出 Amen Thompson。生成回答时,模型仍在处理后续画面。

[视频] 请前往原文观看

不仅如此,DeepBot 智能体还可以把模型定位到的进球片段自动剪成一支比赛高光集锦。

这次实测用的是搭载 RK3588 和 RK1828 的边缘计算盒子。源视频为1080p、60fps,设备处理了约720帧画面。首个观察窗口之后,从每个 1 秒视频窗口结束到模型给出判断,2B和4B版本平均分别用时 0.70 秒和 0.82 秒。

LLaVA-OneVision-2.5 保留全帧率视频输入,把更多计算用在画面有变化的区域,支持最高 64 倍时间压缩和 9 倍空间压缩。时间压缩减少相邻帧重复传给模型的信息,空间压缩减少单帧送入模型的视觉 token。这样,边缘设备持续处理视频时,需要做的计算更少。

从停车场预警到机器人感知

从看懂现场到支持现场响应,这是格灵深瞳探索物理 AI 的一条路径。LLaVA-OneVision-2.5负责看画面、判断发生了什么,视觉智能工坊VE2S可以把判断接进已有的工作流程。

以停车场为例,LLaVA-OneVision-2.5可以在边缘设备上结合前后画面,识别是否有人短时间内接连试拉多辆车的车门。识别结果可通过视觉智能工坊VE2S接入现有的值班流程,提醒工作人员核实。

事后接到车主反馈,也可以用LLaVA-OneVision-2.5分析相关时段的录像,找出需要复核的片段。对运营方来说,实时预警和录像回溯可以共用一套模型,省去分别选型和维护的工作。

连续视频理解也可以为机器人提供视觉线索。比如,移动机器人靠近充电座时,连续画面可以帮助判断它是否偏离了对接位置,为下一步调整提供参考。这也是我们接下来希望在机器人场景里验证的方向。


模型入口:https://huggingface.co/lmms-lab-encoder/LLaVA-OneVision-2.5-4B-Instruct

欢迎微信扫码加入开发者交流群。跑起来了,欢迎来晒Demo;卡住了,也欢迎把问题带到群里一起聊。

Happy building!

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。