转载来源:芯榜 物理AI先要真数据!中星微技术用XPU和SVAC把感知做实 http://mp.weixin.qq.com/s?__biz=MzAxMDg3NTE2OQ==&mid=2653776535&idx=1&sn=022d6e4128fa41fc19567af9878f73d7&scene=45#wechat_redirect
一条道路突然积水,城市管理人员最想知道的是哪里被淹、是否影响通行、要不要马上派人处理,而这些答案,过去往往要靠人从一段段监控画面里找出来。
11月2日,在横琴举行的“中国芯”大会上,中星微技术股份有限公司总工程师、数字感知芯片技术全国重点实验室助理主任施清平作了《从万物感知到物理智能:XPU云边端协同智能计算与Token服务》专题报告。
中星微给出的路线是,把第一轮视频分析放进摄像机,用国产XPU芯片生成识别线索,再根据SVAC国家标准将线索随视频传到后端,供检索、复核和调度。
01|国产XPU,边拍边算
面对先进制程受限与摩尔定律面临物理极限,团队以“智能摩尔之路”与XPU多核异构架构技术路线开辟新范式。
一台智能摄像机内部,图像处理、视频编码、AI推理和安全处理都要接触同一批数据,每个环节如果都重新复制画面,数据搬运就会占用带宽、增加功耗,也让识别结果更晚送达。
中星微技术的XPU把图像信号处理器、视频处理单元、神经网络处理器和CPU组织到一条流水线上,通过数据驱动调度、片上互连和共享内存,让不同单元分工并行,减少重复拷贝。
在施清平展示的监控摄像机场景对比中,XPU方案的芯片处理延迟低于对照方案,差距主要来自数据搬运环节。
摄像机里的AI,快在算得及时,也快在让画面少搬几次。
02|五代芯片,走到了哪一步?
从2016年的星光智能一号,到2025年的星光智能五号,中星微用近十年把摄像机芯片的任务从视频编码和端侧识别,扩展到语言与视觉大模型协同。
一号VC0718支持SVAC1.0编码,二号VC0718P升级至SVAC2.0,三号VC0768和四号VC0728进一步覆盖不同的图像处理与推理需求。
中星微五代芯片
2025年发布的“星光智能五号”是我国首枚全自主可控、单芯片同时运行通用语言与视觉大模型的嵌入式AI芯片,突破端侧算力瓶颈。
星光智能五号(VC0778)搭载16 TOPS NPU,支持SVAC2.0、H.264和H.265编码。
在中星微展示的应用方案中,摄像机可以在持续编码的同时识别目标、动作和事件,并生成描述画面内容的向量,为后端搜索和分析留下线索。
03|SVAC,让线索跟着视频走
SVAC是国家标准GB/T 25724《公共安全视频监控数字视音频编解码技术要求》英文名称的首字母缩写。公安部一所和中星微技术是这一标准的联合组长单位。
摄像机识别出一个事件之后,后端还需要知道它发生在哪个画面、什么时间、哪个位置,以及相关信息在流转中是否被改动,这正是SVAC在中星微方案中承担的任务。
后端可以先读取随视频传输的智能分析结果,再按需调取原始画面复核,同时通过签名核验数据来源与完整性。
2025年,SVAC技术体系被电气电子工程师学会(IEEE)采纳并应用至国际标准IEEE 3122-2025,为端—边—云协同的分布式人工智能生态提供了标准支撑。
目前,下一代标准仍在探索、尚未发布,施清平说方向之一是完善AI分析结果和多源感知信息的携带方式,让标准服务于更广泛的物联感知场景。考虑到标准制定、发布和产业化都需要时间,未来几年国内公共安全视频监控系统建设仍会以SVAC2.0为主流。
这套标准从一开始就带着三件H.264、H.265做不到的事:编码的同时用国密算法完成加密和签名,把智能识别结果、传感器信息、时间和位置一起写进码流,以及整套技术自主可控。
施清平在采访里说得直白:H.264、H.265做节目广播还行,但要给数据本身加密只能走VPN,数据防伪做不到,也没定义怎么把各类数据一起带走。SVAC也因此成为符合强制性国家标准GB 35114《公共安全视频监控联网信息安全技术要求》中B/C级高安全等级要求的唯一视音频编解码标准。
线索跟着视频走,还能证明没被换过,这才是SVAC在云边端里最吃重的位置。
04|摄像机输出什么Token?
施清平举了一个例子,如果要从历史监控里找出“老人牵着一条狗”的画面,可以由摄像机先对画面生成可检索的表征,再由后端筛出候选片段,交给多模态模型进一步判断。
在这套方案里,摄像机可以输出两类结果,一类是目标、动作和事件等结构化信息,另一类是描述画面内容的向量表征,供后端按不同条件搜索和分析。
这就是报告所说的视觉Token服务,端侧生成可供检索和计算的信息,边缘网关负责汇聚多台设备的数据和本地处理,云端大模型与智能体负责复杂解析、跨设备检索和业务编排。
摄像机先筛一遍,后端就能把算力用在真正需要复核的画面上。
05|从看见现场,到处理事件
据施清平介绍,中星微技术团队正把XPU的端侧感知能力延伸到智能体应用。
2026年,基于XPU芯片的“星元智能体”发布,把云边端串成一套分布式协同智能计算体系,覆盖城市治理等三百余种场景。大模型负责理解和编排,前端负责把现场变成可检索的线索,两边各做各擅长的事。
以道路施工为例,摄像机发现疑似破路作业后,系统可以结合发生时间、位置和施工报备记录进行核对,再把疑似未报备的事件交给业务人员核查。
在积水、道路占用和社区设施巡检等场景,摄像机可以持续提供现场线索,智能体再按业务规则组织检索、核验、派单和反馈。
从数字感知走向物理智能,这套方案要在真实部署中回答三个问题:端侧能否稳定边拍边算,前端筛选能为后端省下多少重复计算,系统给出的线索能否及时进入处置流程。
年初4月29日,第九届数字中国建设峰会期间,中星微技术联合数字感知芯片技术全国重点实验室、数字中国研究院(福建)发布基于国产XPU芯片的“星元智能体”。
实验室主任、中国工程院院士邓中翰表示,团队正推进多核异构XPU架构研发,赋能公共安全、城市治理等领域。
中星微技术展示了星算100智算卡及星元智能体,打造“XPU芯片+算法模型+端边云产品+行业应用”体系,推动国产AI算力落地。
06|物理AI,先让数据是真的
城市治理只是落点之一,中星微技术把更大的赛道放在物理AI上。
物理AI包括感知、决策、反馈和执行,感知是第一环,也一直是中星微的跑道。公司的全国重点实验室就叫“数字感知芯片技术”,从万物感知、万物互联走到物理AI,十几年做的都是端边侧感知芯片。
和大模型集中在后端不同,感知要面对海量前端数据。施清平估算,95%到98%的视频从采集、传回、存下到删掉根本没人看过,全送到后端算,成本谁都承受不起。所以前端得先算一遍,把画面变成可检索的线索。
比算力更要紧的是数据真实性。四个环节分属不同系统,数据在中间来回传递,一旦被篡改或伪造,决策和执行就全跟着错。
施清平举过煤矿的例子:安全事故一查往往有数据伪造,有的甚至建两套系统,一套自己用,一套给检查看。车路协同也一样,一句“前方撞车”若被恶意篡改成“一路畅通”,后车就不会减速。
SVAC在这里承担的是通道角色:把各类信息按时间和空间对齐、与视频融合编码,再在信源端加密、签名,端、边、云之间交换的感知数据才有统一来源和可信凭据。
XPU负责前端低延迟反应,SVAC负责数据可信流转,云边端把上传和下传打通。施清平把这比作人的神经末梢和肌肉记忆:看到就能反应,不必每次都等大脑。
物理AI的大模型和语言模型还有一点不同,决策时间要短,还得懂物理世界的规则。水杯放在桌边会掉下去,人一眼就知道,大模型只是被反复告知过。这需要从算法、芯片到架构一起做,团队把降低幻觉的前瞻研究命名为“元计算”,也准备挂到物理AI场景里。
赛道很大,中星微选的入口很具体:先把感知做真、做快。
(素材来源:中星微技术“中国芯”大会专题报告、施清平采访及公开资料)
股票
板块
用户
资讯
评论 (0)