2026年11月14日,由昇腾联合 SGLang 开源社区共同举办的昇腾开源软件极客营 Meetup·上海 SGLang 专场在上海粤海万怡酒店顺利举行。本次活动汇聚了 SGLang 开源社区核心贡献者、产业合作伙伴及广大开发者,围绕 SGLang 最新技术演进、昇腾AI基础软硬件平台适配与性能优化、产业实践及生态协同等方向展开深入交流。
聚焦实践:主流模型昇腾硬件部署与调优
大模型推理技术的发展,不仅需要框架能力的持续创新,也离不开硬件平台适配、性能优化及工程实践的长期积累。本次 Meetup 上午设置了实操环节,围绕业界主流模型Qwen3.8-27B、DeepSeek-V4-Flash(W8A8)、GLM-5.2(W4A8)在昇腾上的部署、推理测试及性能调优展开。
现场按不同任务设置主题桌次,采取赛制并限制通关名额,先通过先拿奖。允许组队通关,同时配备昇腾技术专家现场指导。实操过程中,开发者不仅直观了解到 SGLang 在昇腾上的适配运行情况,还围绕过程中遇到的技术问题展开充分的交流与讨论。有限时间内,活动现场共计有25位学员通过实操验收,其中最快速度通关的学员1.5小时就完成现场验收并提交总结PR,并有1位学员完成了2次现场验收并提交总结PR。
聚焦技术:五大专题分享,深入探讨 SGLang 与昇腾协同演进
下午专题分享环节,来自开源社区、昇腾技术团队和产业合作伙伴的讲师,分别从框架架构、技术规划、核心优化及实际部署等角度带来分享,既呈现了 SGLang 与昇腾生态协同发展的技术探索,也为社区开发者和产业伙伴提供了现场交流、共同学习的机会。
SGLang 最新架构和 Roadmap:洞察开源推理框架的技术演进
来自 SGLang 开源社区的核心开发者张晓雨带来《SGLang 最新架构和 Roadmap》主题分享,整体介绍了 SGLang 推理引擎社区运作现状,并以“一个请求落到硬件”的过程逐层拆解了架构设计,最后围绕 SGLang Q4 Roadmap 展开介绍。
张晓雨 《SGLang 最新架构和 Roadmap》
昇腾 SGLang 关键竞争力规划:持续推进软硬件协同优化
华为昇腾技术专家周逸文带来《昇腾 SGLang 关键竞争力规划》主题分享。结合昇腾AI基础软硬件平台的技术特点和大模型推理发展需求,从昇腾超节点代际演进、统一总线编程模型以及对外提供语义一致接口的SGL-Kernel-NPU三个方面介绍了昇腾 SGLang 在核心能力建设、性能优化、功能适配及生态发展等方面的规划与思考,阐述了通过软硬件协同优化、开源社区协作和持续技术迭代,提升 SGLang 在昇腾上的综合竞争力的相关方向。
周逸文 《昇腾 SGLang 关键竞争力规划》
昇腾 SGLang + Mooncake KV Cache 社区发布:探索推理性能提升新空间
第三场分享由华为昇腾技术专家张景芳围绕《昇腾 SGLang + Mooncake KV Cache社区发布》话题展开。议题深入介绍了基于昇腾超节点场景打造的内存池化软件MemFabric的三大关键能力,百TB级到PB级内存逻辑统一编址、简单的xcopy北向接口以及南向灵活的扩展能力,使用超节点就像使用单节点进行统一内存访问,并介绍了如何深度结合MoonCake,在GLM 5.2/5.3 1M长序列场景取得吞吐1.x倍收益、Prefix Cache取得带宽利用率提升1倍、多实例Engram共享取得显存节省等不同场景的优化案例。
张景芳 《昇腾 SGLang + Mooncake KV Cache 社区发布》
SGLang 在 Atlas 800T A2 优化实践:从长程任务需求到软硬协同落地
产业实践分享环节,中国电信人工智能公司PaaS平台技术总监李立彪带来《SGLang 在 Atlas 800T A2 上的优化实践》分享。议题分享阐述了项目面临的三大现实约束,即长程任务爆发、大量A2设备从训练转战推理、生产主流方案在超长上下文难以兼顾高并发与低TTFT,研发团队据此分析确定了统一至SGLang+Mooncake Cache的破局方案。李立彪介绍了团队由内到外的实践路径,从适配做起,保证内核以较理想效率运行,然后针对性叠加引擎优化特性、挖掘高阶能力用于发掘Atlas 800T A2 机器的潜力,最后给出了经初步适配优化后单机并发能力提升两倍、TTFT降低近16%的数据,印证了此方案的优势所在。
李立彪 《SGLang 在 Atlas 800T A2 优化实践》
Dots NPU 推理部署实践:推动技术能力走向真实业务场景
最后,小红书的Dots Infra NPU 负责人星海带来《Dots NPU 推理部署实践》分享,议题围绕Note结构设计、推理框架设计、量化、KV Cache系统等不同方面的实践方案展开,并结合数据,展示了Dots团队在 NPU 推理部署实际业务场景中的探索与实践经验,末尾还展示了以 Cost Model 驱动联合调度的后续方案展望。
星海 《Dots NPU 推理部署实践》
聚力生态:以开源协作推动技术创新与产业落地
开源生态的持续发展,离不开社区贡献者、硬件平台、产业伙伴及广大开发者的共同参与。本次 Meetup 不仅是一次技术交流活动,也是一次面向开源推理生态的协同实践。
通过上午动手实操与下午专题分享,参会者得以从技术原理、工程实践和产业应用等不同维度,深入了解 SGLang 在昇腾AI基础软硬件平台上的技术进展与应用探索。
未来,昇腾将继续携手 SGLang 开源社区及产业合作伙伴,坚持开放协作的理念,持续推进 SGLang 与昇腾的技术适配和深度优化,积极参与开源社区建设,推动更多技术成果转化为可落地、可复用的工程实践。
期待与更多开发者和生态伙伴携手,共同探索大模型推理技术的创新方向,构建更加开放、繁荣的开源推理生态!
昇腾 × SGLang,让开源创新与算力生态协同共进!
扫码查看更多社区任务
股票
板块
用户
资讯
评论 (0)