近日,腾讯混元相继发布并开源了两款大语言模型:Hy4 首次跻身最强开源模型之列,Hy4 flash 则以极致性价比刷新了生产力模型的成本下限。作为腾讯的重要合作伙伴,燧原科技第一时间完成了对 Hy4 与 Hy4 flash的适配,通过模型优化、资源调度与缓存架构等多维度技术协同,为两款模型在真实业务场景中的高效落地提供全栈推理支撑。
Hy4:跻身最强开源模型之列
随着模型能力的再次全面跃升,Hy 首次跻身最强开源模型之列。相比 Hy4 preview,Hy4 在预训练与后训练阶段显著扩展了数据与训练规模,首次引入视觉理解能力,并大幅提升指令遵循、长文理解、长程智能体等综合效果。依托视觉理解、推理与工具调用能力,Hy4 可完成细粒度图像处理、复杂图表分析与数学视觉推理等任务;得益于模型基础能力的全面提升以及模型与产品的深度 Co-Design,Hy4 解锁了更多真实生产力场景。
Hy4 flash:极致性价比的生产力模型
Hy4 flash 是迄今为止最高性价比的 Hy 模型:模型总参数量 224B(其中 64B Engram 参数),激活参数仅 12B,支持多模态与 1M 上下文长度;每百万 Token 输入 0.5 元、输出 2 元,命中缓存时仅需 0.02 元。
在预训练阶段,Hy4 flash 引入混合注意力、LatentMoE、Engram 等架构特性,KV cache 大小仅为 Hy3 的 1/24、Hy4 的 1/6;在后训练阶段,通过自蒸馏 Hy4 与强化学习,将端到端任务输出长度降低 50%;在推理阶段,结合 megakernel、4bit 量化、DFly 等手段,解码速度超过 150 tps。
Hy4 flash 在综合效果上略优于更大参数的 Hy4 preview,但成本显著降低。按内部评测集 WorkIndex综合测算,Hy4 flash 单任务成本仅为 Hy4 preview 的 1/13、Hy4 的 1/20、DeepSeek-V4.1-Flash-1017(Max 档位,忙时价格)的 1/8。
内外部任务上的性能和成本。其中 WorkIndex 包含 8 个内部评测集(PPT制作、PPT修改、PPT人机双写、Markdown人机双写、文档编辑、表格修复、音视频处理、视觉理解);Open Benchmarks 包含 7 个公开 Agent 评测集(DeepSWE、ProgramBench、Terminal-Bench 4.0、APEX-Agents、AutomationBench、HLE、OSWorld 2.1)。
燧原科技 Day 0 适配:
三大维度构建高性能推理底座
燧原科技已完成对腾讯混元 Hy4 与 Hy4 flash 的适配,并从模型优化、资源调度、缓存架构三大维度保障两款模型的推理性能:
在模型优化层面,通过算子融合技术有效降低计算开销,并配套精细化显存优化方案,支撑更大参数量模型的加载与运行;同时结合通算并行能力,充分释放集群算力,提升整机与集群运行效率。
在资源调度层面,通过智能调度策略优化资源分配,持续提高集群资源利用率;采用高效互联传输机制,压缩跨卡、跨节点间的通信开销;同时构建多层级 KV Cache 存储体系,有效打破单卡显存容量瓶颈。
在缓存架构层面,充分发挥 PD 分离架构特性,保障推理服务各项 SLA 指标稳定可控,可支撑百万 token 超长上下文场景下高吞吐、稳定的推理业务,以契合腾讯混元在追求智能上限的同时兼顾极致性价比的核心原则,全面满足 Hy4 与 Hy4 Flash在真实落地场景中的业务交付要求。
往期推荐
| |||
|
欢迎关注燧原科技公众号
股票
板块
用户
资讯
评论 (0)