股票 
板块 
用户 
资讯 随着大模型技术快速发展，企业 AI 平台需要管理的模型类型日益丰富，底层算力资源也呈现多元化趋势。如何统一管理不同类型的模型与算力资源，提升模型交付效率，并保障模型服务稳定运行，成为企业 AI 基础设施建设的重要课题。
招商证券基于这一需求，启动原有模型管理平台升级，引入星环科技大模型运营平台 Sophon LLMOps，在平滑迁移原有业务服务的基础上，实现多类型大模型与异构算力统一管理，推动模型服务从单点部署走向标准化交付与规模化运营。
目前，平台已累计部署上线模型服务150余个，纳管超过30种开源及闭源生成式大模型，支撑智能对话、智能审核、智能撰写等30余个业务场景。
招商证券此前已建设机器学习平台和模型管理平台，为量化择时、推荐、知识库抽取等传统模型及业务应用提供支撑。随着生成式 AI 快速发展，模型类型、运行环境、推理引擎及硬件适配方式日益多样，原有平台需要进一步提升多类型模型接入、异构算力统一管理与资源调度能力。
基于 Sophon LLMOps，招商证券构建统一的异构算力管理体系。平台支持多厂商芯片接入与适配，将不同架构的计算资源及存储资源纳入统一管理，通过算力池化、资源分组与虚拟化切分，实现资源的统一组织、灵活调度和按需供给。
同时，依托多租户与空间管理能力，平台支持不同业务团队在独立的租户及空间内开展模型部署、微调和服务调试。平台根据租户配置算力配额、资源类型及资源组，实现资源隔离、按需分配与动态回收。
由此，业务团队可以在授权范围内自主使用算力资源，开展模型服务部署和调试，底层资源管理、分配及运行监控则由平台统一负责。
模型类型和接入厂商不断增加，也让模型交付面临新的挑战。此前，不同厂商提供的部署手册、镜像及运行依赖各不相同，增加了模型部署与运维管理的复杂度。
针对这一问题，Sophon LLMOps 将模型管理流程纳入统一体系，构建覆盖模型纳管、语料准备、微调训练、模型评测、服务部署、调试验证和运行监控的全生命周期管理能力。
在模型接入方面，平台支持开源模型、商业闭源模型及第三方模型服务的统一注册与管理，覆盖文本、代码、图像、视频和语音等多种模型类型。
在模型部署方面，平台兼容多种部署方式，并通过统一部署规范和标准化服务接口，使模型部署效率提升约3倍。
针对模型文件体积大、远程读取耗时长的问题，平台优化了模型文件存储与缓存机制，支持模型文件在计算节点本地缓存与复用，减少重复读取和数据传输，模型加载速度提升约100%。
此外，平台还围绕底层运行环境、推理执行及存储架构开展综合优化，模型服务推理性能提升5倍以上，组件资源占用率降低约50%。
通过上述优化，模型接入、部署和运行逐步形成可复用、可管理的标准化流程，减少对厂商定制化操作的依赖。
模型和算力实现统一纳管后，如何掌握资源利用情况、监测模型服务运行状态，并在异常发生时快速定位问题，成为平台运维的重要环节。
基于 Sophon LLMOps，招商证券围绕集群、节点、租户、芯片以及服务和任务等维度建立算力监控体系。
在硬件层，平台可以查看集群和节点的资源分布、利用率、显存占用及任务级资源使用情况；在服务层，则结合推理引擎指标，监测模型请求的响应与处理状态。通过关联底层硬件资源与上层推理服务指标，实现从算力资源到模型服务的综合观测，为性能分析和异常定位提供依据。
与此同时，平台与招商证券内部核心系统完成对接，在模型服务与业务应用之间提供认证鉴权、协议转换、路由转换和流量治理等能力，并结合调用日志追溯与安全护栏，增强模型服务的安全性和可管理性。
对于已经运行多年的企业级 AI 平台，升级不仅需要引入新的技术能力，还必须保障原有业务的连续运行。
此次升级中，星环科技将保持原有接口稳定作为重要要求，最大限度减少上层业务应用改造。通过统一迁移方案与充分验证，招商证券完成了原有50余项业务服务向新平台的平滑迁移，迁移过程中未出现业务服务中断或异常。
在保障原有业务平稳运行的同时，平台进一步扩大了模型服务承载规模。目前，招商证券已纳管超过30种开源及闭源生成式大模型，支持近百个活跃模型服务。
在业务应用层，平台已支撑智能对话、编程伙伴、智能撰写、智能路演会议纪要、APP智能选股、智能审核、智能文档和智能陪练等30余个业务场景。
从原有业务服务平稳迁移，到多类型模型统一纳管，再到更多业务场景的拓展，招商证券逐步建立起覆盖模型交付、运行与管理的统一平台体系。
基于星环科技 Sophon LLMOps，招商证券持续完善自身 AI 基础设施，推动模型、算力、存储、部署和运维管理协同建设，实现大模型服务从单点部署向标准化交付与规模化运营转变。
对于金融行业而言，大模型基础设施建设不仅要让模型投入应用，更要保障模型服务持续、稳定、可控地运行，并实现算力资源更加精细化的管理与利用。
评论 (0)