股票 
板块 
用户 
资讯 随着大模型应用不断深入，越来越多企业开始考虑在自有算力环境中部署和运行模型。对于数据安全要求较高、已有GPU资源，或需要长期高频调用模型的企业而言，自建模型能够更好地满足业务自主性和资源管理需求。
但模型自部署并不只是安装一个模型那么简单。GPU驱动、运行环境、模型镜像、依赖适配等环节往往需要专业技术人员投入大量精力。模型上线后，还需要持续关注节点健康、服务状态、异常恢复以及API调用管理，部署和运维成本不容忽视。
针对企业自建模型过程中面临的实际问题，优刻得上线AstraFlow星图模型托管平台。平台面向企业自有GPU资源，提供一站式模型部署与托管服务，并提供节点资源监测、模型服务运维、模型调用管理与监控等能力，帮助企业降低模型部署与运维门槛，让自有算力上的模型服务更加易于管理。
自有算力运行，核心数据留在客户环境
企业选择自部署模型，通常有着明确的业务考虑：
对于涉及核心业务数据的场景，企业希望模型运行在自己的环境中，减少核心数据对外流转。对于已经采购GPU设备的企业，希望充分利用现有算力资源。对于长期、高频调用模型的业务，则需要更灵活地掌控算力资源和运行成本。此外，部分业务系统运行在内部网络环境中，也需要能够在内网提供模型服务的部署方案。
星图模型托管平台采用云端统一管理与客户自有算力运行相结合的方式。平台管理控制面部署在星图侧，负责节点资源接入、模型部署、服务管理、监控运维及调用权限管理，模型推理服务、模型文件和业务数据则保留在客户自有算力环境中。
通过自动化方式纳管客户GPU资源，企业可以在保留模型运行环境自主权的同时，使用统一的平台管理工具，减少自行搭建和维护模型服务基础设施的工作量。
四项核心能力，简化模型部署与管理
围绕企业自建模型的主要环节，星图模型托管平台提供四项核心能力。
01 自有算力，安全可控
平台支持自动化接入客户自有GPU资源，将GPU节点纳入统一管理。模型实际运行在客户环境中，核心数据留在客户环境，兼顾企业对数据管理和模型自主部署的需求。
02 一键部署，开箱即用
平台提供开源模型库和资源自动检查能力。用户只需在模型中心选择所需模型，平台即可检查当前资源条件，并根据可用节点完成模型配置与部署。
整个过程无需用户自行处理复杂的推理框架和GPU适配问题。模型部署成功后，即可获取模型调用ID，并按照平台提供的调用方式接入业务系统，缩短模型服务上线准备时间。
03 托管运维，省心省力
星图模型托管平台提供集群资源与模型服务的统一管理能力，支持实时监控节点健康状况和模型服务状态。针对容器异常、服务中断等软件层故障，平台能够自动检测并进行处理；对于硬件故障，则提供实时上报能力，便于及时发现和处理问题。
通过平台托管，企业无需将大量精力投入模型服务的软件层日常运维，可以更加专注于自身业务和模型应用。
04 企业级调用，安全透明
针对企业多业务、多用户的模型调用需求，平台提供统一的API Key管理和模型访问权限控制，支持IP白名单及预算设置。
同时，企业可以通过管理面板查看模型调用量、Token用量、推理性能指标以及不同密钥的调用统计，掌握模型服务运行情况，为后续资源管理和业务使用提供参考。
两步完成部署，按节点托管时长计费
在实际使用中，星图模型托管平台的部署流程也进行了简化。
第一步：接入算力
客户准备满足接入要求的GPU节点、网络、存储及必要权限后，在客户节点执行平台提供的安装指令，完成接入组件安装和连接验证，即可将集群及节点纳入平台管理。
第二步：部署模型
进入模型中心选择需要部署的开源模型，平台自动检查资源条件，并完成模型配置和部署。部署成功后即可获得模型调用ID，按照相应调用方式接入业务系统。
在计费方面，平台采用按节点托管时长计费的模式，根据实际成功纳管的节点数量和托管时长结算，不按GPU卡数收费。节点成功纳管后即开始计算托管费用，与是否已经部署模型无关。平台采用先使用、后付费的方式，方便企业根据实际需求灵活使用。
内测即将开启，期间费用全免
模型托管平台即将开启内测。内测期间将安排专人对接，并免收相关费用。欢迎提前预约，申请参与内测。
具体活动规则可以扫码咨询（见文末）。
模型自部署为企业提供了更高的自主性，也对基础设施管理、模型部署效率和持续运维能力提出了要求。优刻得星图模型托管平台将模型部署与运维管理能力整合到统一平台中，让企业能够继续使用自有GPU资源和运行环境，同时降低模型服务搭建与管理的复杂度。
未来，优刻得将持续完善星图平台的AI基础设施与模型服务能力，为企业模型部署和AI应用落地提供更加便捷的技术支持。
如您模型托管方面的需求，欢迎扫码咨询??
热文回顾
US3助力AI视频超分：依托自建超分集群大幅降低4K视频增强成本
评论 (0)