股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

CATLASS 1.4.0 发布,进一步丰富示例模板丨多家厂商部署上线



25年CATLASS 1.0.0的正式开源,为开发者带来了GEMM类算子分层模块化开发能力,搭建起清晰的GEMM算子开发框架,提供了基础Matmul及各类优化策略的算子样例

过去一年,CATLASS算子模板库以“定制优化、极致性能”为核心,完成了五次重要版本更新,持续为开发者打造更易用、更强大的算子开发体验


26年CATLASS社区围绕着算子核心能力、文档说明、生态建设多个方面持续推进建设,新发布v1.4.0版本,具体内容如下



本次版本重点特性



本次CATLASS 1.4.0版本更新围绕大模型真实业务挑战和开发者具体应用场景,在样例功能覆盖、精度稳定、性能提升、开发调式等方面进行了全面增强。


新增模板样例5个:



矩阵乘优化模板样例3个:StreamK Matmul矩阵乘样例、大矩阵超L2-Cache场景Swizzle优化矩阵乘样例、Matmul C矩阵padding矩阵乘样例


低比特计算样例1个:W4A4 Matmul低比特矩阵乘样例


特殊功能矩阵乘样例1个:Sparse Matmul稀疏矩阵乘样例


工程新增支持2个:



Matmul泛化工程新增AivMatmul实现


增加share_lib使用示例


更新文档5篇:


新增单核切K优化详设介绍,增加主页展示数据,优化msdebug说明等;


BugFix&优化:


修复device侧对cmath函数使用不规范,MatmulSilu精度和命名错误,w8a16算子half使用等问题。


具体内容详见:

https://gitcode.com/cann/catlass/releases?presetConfig=%7b%22tags%22:9,%22release%22:9%7d



核心能力持续突破



GEMM类典型样例覆盖


CATLASS持续丰富算子样例库,目前针对910B/910C提供样例45个,覆盖Matmul/FA/Conv等主要使用场景,示范开发者如何高效完成相关算子定制化实现。



CATLASS针对定制场景使能快速开发能力,提供不同场景下的性能优化模块供开发者组装定制,在目标shape下的性能可达到相应算子标杆性能1.2x以上。业界多家头部互联网厂商已基于CATLASS完成算子定制开发并部署上线。



开发者易用性提升


从“功能完善”到“体验升级”,CATLASS不仅在核心功能上持续突破,更在开发者体验上层层打磨。基于CATLASS完成Matmul及相关算子开发,开发调优周期可以缩短一倍以上,且经过tiling调优适配后对应case性能可获得明显提升。



在工具生态方面,CATLASS构建起“开发-调试-调优-接入” 全链路工具体系,全方位降低开发成本。


在说明文档方面,社区提供算子调优指南、矩阵乘模板总结、各类算子详设等文档,完成从快速上手指南到进阶调优技巧全覆盖。




着力打造社区生态



CATLASS已依托CANN社区开源,当前围绕CATLASS SIG进一步强化社区运作,联合华为开发者、企业开发者、个人开发者、高校团队开展多次SIG会议讨论。SIG会议上开发者针对社区未来发展路径发表见解,SIG Maintainer也基于会议机制收集开发者诉求,同步最近进展,开展算子优化技术的详细介绍。若希望了解往期SIG的详细内容,可访问SIG历史记录页面。同时欢迎订阅CATLASS SIG会议,在SIG会议上共同学习和探讨。


SIG历史记录页面

https://etherpad-cann.meeting.osinfra.cn/p/sig-catlass


SIG会议订阅链接

https://mailweb.cann.osinfra.cn/mailman3/lists/catlass.cann.osinfra.cn/




快速体验



如果想快速了解CATLASS如何搭建并使用,可以参考如下文档链接里的操作。代码仓链接和SIG订阅链接可通过如下二维码进行访问。


快速上手指南

https://gitcode.com/cann/catlass/blob/v1.4.0/docs/quickstart.md


调优指引

https://gitcode.com/cann/catlass/blob/v1.4.0/docs/tutorials.md


代码仓/SIG链接二维码




新特性预告



CATLASS持续规划发展,将在2026年H1扩展实现如下能力:



支持Ascend 950系列/Atlas推理系列产品/Atlas 200I A2推理产品


新增基于TLA(Tensor Layout Abstraction)样例30+,覆盖Matmul/FA/Gmm等主要使用场景


提升基础能力,新增EVG(Epilogue Visitor Graph)开发方式,简化Epilogue编写流程


支持基于Python接口生成CATLASS算子代码

……



鸣谢



从1.0.0到1.4.0,CATLASS的每一次升级,都离不开社区开发者的持续反馈和贡献。


在此,感谢华南理工大学陆璐老师等合作贡献者和社区开发者,希望CATLASS能与各位共同学习、共同成长。





◆往期推荐◆


         
         

昇腾0day支持智谱GLM-5,744B模型单机高效推理


                                        

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。