股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

三十年前的正交优化算法,能为AI for Science做什么?

纳小妹的编辑手记

AI来了,三十年前的正交优化算法还有用吗?蓝伟光博士的答案很明确:不但没有过时,反而更重要。

1994年,蓝博士在新加坡国立大学读博时,为在有限经费下用最少实验获取最多信息,提出并在实践中逐步完善了“正交优化算法”,相关成果在英国皇家化学会《The Analyst》连续发表五篇系列论文。三十年后,当AI for Science走进实验室,最缺的恰恰仍是实验室和中试线上的“小数据”。这篇文章里,蓝博士把正交优化算法的五个核心思想讲透,也给出它与AI结合的“布点、连线、加点、落地”四步法,并落到膜材料开发、盐湖卤水提锂等真实场景。

工具在变,方法论不会过时。纳小妹推荐大家慢慢读,尤其值得科研和工程一线的朋友一读。也欢迎留言聊聊:在你的实验里,最想先问对哪个问题?


三达膜30周年征文系列<八>
从实验室到中试线的科研之道
文|蓝伟光

1994年,我在新加坡国立大学读博士。那时实验室的经费和时间都有限,一个分析方法往往牵涉五六个变量,每个变量又有好几种取值。如果把所有组合都做一遍,时间不够,实验经费也支付不起。

我当时想的是:能不能用最少的实验,获取最多的信息?

这个问题,后来变成了我与陈霓在英国皇家化学会《The Analyst》上连续发表的五篇系列论文:《正交表设计作为优化分析过程的化学计量学方法》。传统的正交实验,只能在做过的实验里挑出较好的一组;我所做的,是在此基础上建立数学模型、求出回归方程、画出响应曲面,不仅找出“做过的实验里哪组最好”,还能预测“没做过的条件下会怎样”。我把这套方法称为“正交优化算法”,这组论文也成为我后来当选英国皇家化学会会士的重要学术基础。

三十年过去,人工智能席卷而来。很多人以为,有了AI,实验设计这类“老方法”该退场了。我的看法恰恰相反:AI时代,正交优化算法不但没有过时,反而更加重要。


1

正交优化算法的五个核心思想

回头看那五篇论文,真正留下来的不是某一张正交表,而是一套思考问题的方法。我把它概括为如下五点:

第一,以少驭多。五个因素、每个因素选四个水平,全部组合是1024次实验。借助一张16行的正交表,只需16次实验,主要因素的影响就能看得清清楚楚。实验次数减少到原来的六十四分之一。

第二,均衡分散,整齐可比。正交表的每一列、每个水平出现的次数相同,任意两列的水平搭配也同样均衡。少量的实验点,均匀地铺满了整个参数空间,每个因素都能在公平的条件下被比较。

第三,分清主次。通过方差分析,可以判断哪些因素起作用,哪些只是噪声。工程上最怕的,不是不知道答案,而是在不重要的变量上浪费精力。

第四,从比较到建模,从建模到预测。这是正交优化算法与传统正交实验的根本区别。传统做法的答案只能在已做的实验中挑选;正交优化算法则用回归方程把因素与结果的关系写成数学表达式,用响应曲面描绘整个参数空间,最优点可以落在任何两次实验之间。我常说:用算法设计实验,用模型理解规律,用数学寻找未来。

第五,目标导向,逆向思维。实验不是从“我能做什么”出发,而是从“我要达到什么目标”出发,倒推需要考察哪些因素、需要多少数据。这种思维方式,后来成了RDPA模式的源头:从产业的难题出发,逆向定义科学问题。

*图片由AI生成


2

为什么AI时代更需要正交优化算法

AI的强项,是从海量数据中学习规律。但在科学研究和工业现场,最缺的恰恰是数据。

在互联网上,一条数据几乎没有成本;在实验室和中试线上,每一个数据点都意味着一批物料、一段时间、一笔真金白银。一张新膜的配方,一条新工艺的参数,不可能先做一万次实验再交给AI学习。这就是“小数据”难题,也是AI for Science(人工智能驱动的科学研究)走进实验室的“第一公里”。而正交优化算法,正是为小数据而生的。

具体来说,正交优化算法在AI时代至少能发挥三种作用。

其一,为AI选择“问什么”。主动学习、贝叶斯优化等AI方法,都需要一批有代表性的初始实验作为起点。起点选得不好,AI就会在局部打转。正交设计以最少的点均匀覆盖参数空间,是AI理想的“第一批数据”。

其二,为AI本身做优化。训练一个AI模型,同样要面对学习率、批量大小、网络层数、正则化强度等一大堆参数的组合。这本身就是一个多因素优化问题,用正交优化算法做筛选,能以很小的算力代价找到值得深入调优的方向。

其三,为AI补上“可解释”。AI常被批评为黑箱:它给出了答案,却说不清为什么。正交优化算法的方差分析和回归系数,能清楚告诉我们哪个因素贡献了多少。两者结合,既有AI的预测精度,又有统计方法的可解释性,工程师才敢把结果用到生产线上。

*图片由AI生成


3

正交与AI的结合:布点、连线、加点、落地

在三达的实践中,我们逐步形成了一套把正交优化算法与AI结合起来的工作方法,可以概括为四步。

布点

用正交表设计第一轮实验,以最少的成本铺开参数空间,并用方差分析筛掉次要因素。

连线

用这批数据训练AI代理模型,把零散的实验点连成一张完整的“响应地图”。三十年前,我用回归方程和响应曲面做这件事;今天,AI模型可以刻画更高维、更复杂的非线性关系。工具升级了,思想一脉相承。

加点

让AI根据模型的不确定性,主动推荐下一批最值得做的实验,每一轮都把实验用在信息量最大的地方。

落地

把AI推荐的最优条件送上中试线验证,中试和应用中产生的真实数据,再回流去修正模型。

这四步,正好嵌入RDPA的四个环节:研究阶段以正交布点,开发阶段由AI连线和加点,中试阶段完成验证,应用阶段让场景数据持续反哺。正交优化算法回答“先做哪些实验”,AI回答“下一步做什么”,中试回答“能不能用”,市场回答“值不值得做”。

*图片由AI生成

以膜材料开发为例。一张纳滤膜的性能,取决于单体浓度、反应时间、温度、pH值、添加剂等多个因素,彼此还相互影响。过去,配方优化很大程度上依赖经验和反复试错。今天,先用正交优化算法摸清主要因素,再让AI在关键区间里精细调优,研发周期有望显著缩短。盐湖卤水提锂中的镁锂分离、稀土元素的精准筛分,都是因素多、实验贵、数据少的典型问题,也很适合这种“正交优化算法加AI”的模式。


4

结语:AI会算,但问题要人来问

AI让“计算”变得前所未有地便宜,却没有让“提问”变得更容易。该研究哪些因素,目标定在哪里,什么样的结果值得相信,这些判断仍然要由人来做。

正交优化算法,归根到底是一种思维方式:在有限的资源里,问出最有价值的问题;在复杂的系统中,抓住最关键的变量。

三十年前,正交优化算法帮我在实验室里节省了时间;今天,它可以帮人工智能少走弯路,帮科研成果更快跨过从实验室到生产线的“死亡之谷”。

工具在变,方法论不会过时

用最少的实验,寻找最优的答案,这是科学家的本分,在AI时代尤其如此。

相关阅读
 破局印染“水困”:三达膜的四重绿色解法
>
 让科学家成为品牌——写在三达膜即将迎来三十周年庆典之际
>
 煤化工废水零排放:一场技术与成本的博弈,如何破局?
>
 膜法脱硝技术引领盐化工绿色变革
>
 《海西晨报》深度报道|三达膜创始人蓝伟光:把一张 "膜" 从鹭岛铺向全球
>
 盐湖提锂领域的"技术多面手",如何助力锂电产业降本增效?
>
 三达膜如何用膜技术重构乳品加工?
>
更多资讯与服务,请扫描下方二维码,关注我们

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。