25年CATLASS 1.0.0的正式开源,为开发者带来了GEMM类算子分层模块化开发能力,搭建起清晰的GEMM算子开发框架,提供了基础Matmul及各类优化策略的算子样例
过去一年,CATLASS算子模板库以“定制优化、极致性能”为核心,完成了五次重要版本更新,持续为开发者打造更易用、更强大的算子开发体验
26年CATLASS社区围绕着算子核心能力、文档说明、生态建设多个方面持续推进建设,新发布v1.4.0版本,具体内容如下
本次版本重点特性
本次CATLASS 1.4.0版本更新围绕大模型真实业务挑战和开发者具体应用场景,在样例功能覆盖、精度稳定、性能提升、开发调式等方面进行了全面增强。
新增模板样例5个:
矩阵乘优化模板样例3个:StreamK Matmul矩阵乘样例、大矩阵超L2-Cache场景Swizzle优化矩阵乘样例、Matmul C矩阵padding矩阵乘样例
低比特计算样例1个:W4A4 Matmul低比特矩阵乘样例
特殊功能矩阵乘样例1个:Sparse Matmul稀疏矩阵乘样例
工程新增支持2个:
Matmul泛化工程新增AivMatmul实现
增加share_lib使用示例
更新文档5篇:
新增单核切K优化详设介绍,增加主页展示数据,优化msdebug说明等;
BugFix&优化:
修复device侧对cmath函数使用不规范,MatmulSilu精度和命名错误,w8a16算子half使用等问题。
具体内容详见:
https://gitcode.com/cann/catlass/releases?presetConfig=%7b%22tags%22:9,%22release%22:9%7d
核心能力持续突破
GEMM类典型样例覆盖
CATLASS持续丰富算子样例库,目前针对910B/910C提供样例45个,覆盖Matmul/FA/Conv等主要使用场景,示范开发者如何高效完成相关算子定制化实现。
CATLASS针对定制场景使能快速开发能力,提供不同场景下的性能优化模块供开发者组装定制,在目标shape下的性能可达到相应算子标杆性能1.2x以上。业界多家头部互联网厂商已基于CATLASS完成算子定制开发并部署上线。
开发者易用性提升
从“功能完善”到“体验升级”,CATLASS不仅在核心功能上持续突破,更在开发者体验上层层打磨。基于CATLASS完成Matmul及相关算子开发,开发调优周期可以缩短一倍以上,且经过tiling调优适配后对应case性能可获得明显提升。
在工具生态方面,CATLASS构建起“开发-调试-调优-接入” 全链路工具体系,全方位降低开发成本。
在说明文档方面,社区提供算子调优指南、矩阵乘模板总结、各类算子详设等文档,完成从快速上手指南到进阶调优技巧全覆盖。
着力打造社区生态
CATLASS已依托CANN社区开源,当前围绕CATLASS SIG进一步强化社区运作,联合华为开发者、企业开发者、个人开发者、高校团队开展多次SIG会议讨论。SIG会议上开发者针对社区未来发展路径发表见解,SIG Maintainer也基于会议机制收集开发者诉求,同步最近进展,开展算子优化技术的详细介绍。若希望了解往期SIG的详细内容,可访问SIG历史记录页面。同时欢迎订阅CATLASS SIG会议,在SIG会议上共同学习和探讨。
SIG历史记录页面
https://etherpad-cann.meeting.osinfra.cn/p/sig-catlass
SIG会议订阅链接
https://mailweb.cann.osinfra.cn/mailman3/lists/catlass.cann.osinfra.cn/
快速体验
如果想快速了解CATLASS如何搭建并使用,可以参考如下文档链接里的操作。代码仓链接和SIG订阅链接可通过如下二维码进行访问。
快速上手指南
https://gitcode.com/cann/catlass/blob/v1.4.0/docs/quickstart.md
调优指引
https://gitcode.com/cann/catlass/blob/v1.4.0/docs/tutorials.md
代码仓/SIG链接二维码
新特性预告
CATLASS持续规划发展,将在2026年H1扩展实现如下能力:
支持Ascend 950系列/Atlas推理系列产品/Atlas 200I A2推理产品
新增基于TLA(Tensor Layout Abstraction)样例30+,覆盖Matmul/FA/Gmm等主要使用场景
提升基础能力,新增EVG(Epilogue Visitor Graph)开发方式,简化Epilogue编写流程
支持基于Python接口生成CATLASS算子代码
……
鸣谢
从1.0.0到1.4.0,CATLASS的每一次升级,都离不开社区开发者的持续反馈和贡献。
在此,感谢华南理工大学陆璐老师等合作贡献者和社区开发者,希望CATLASS能与各位共同学习、共同成长。
股票
板块
用户
资讯
评论 (0)