透明度——促进化学工程中人工智能变革的缺失环节

, , , , 袁月 , Donovan Chaffart , Tao Wu , Jesse Zhu

工程（英文） ›› 2024, Vol. 39 ›› Issue (8) : 48 -64.

PDF (3084KB)
工程（英文） ›› 2024, Vol. 39 ›› Issue (8) : 48 -64. DOI: 10.1016/j.eng.2023.11.024
研究论文

透明度——促进化学工程中人工智能变革的缺失环节

作者信息 +

Transparency: The Missing Link to Boosting AI Transformations in Chemical Engineering

Author information +
文章历史 +
PDF (3157K)

摘要

数据驱动的人工智能（AI）算法中的不透明性问题已成为制约其广泛应用的障碍，尤其是在涉及健康、安全和巨大经济价值的敏感领域，如化学工程（CE）。为了促进人工智能在CE中的可靠应用，本文讨论了人工智能应用中的透明度概念，该概念基于可解释的人工智能（XAI）概念和CE领域的关键特征进行定义。本文还从因果关系（即人工智能的预测和输入之间的相关性）、可解释性（即工作流程的操作原理）和信息性（即研究系统的理论见解）等方面强调了可靠人工智能的要求。文中对相关技术和最先进的应用程序进行了评估，以突出在CE中建立可靠的人工智能应用程序的重要性。此外，还提供了一个全面的透明度分析案例研究作为示例，以增进理解。总的来说，本工作主要针对化学工程师，对这一主题进行了深入的讨论，以提高人们对负责任地应用人工智能的认识。有了这个重要的缺失环节，人工智能有望成为一个新颖而强大的工具，可以极大地帮助化学工程师解决CE中的瓶颈挑战。

Abstract

The issue of opacity within data-driven artificial intelligence (AI) algorithms has become an impediment to these algorithms’ extensive utilization, especially within sensitive domains concerning health, safety, and high profitability, such as chemical engineering (CE). In order to promote reliable AI utilization in CE, this review discusses the concept of transparency within AI utilizations, which is defined based on both explainable AI (XAI) concepts and key features from within the CE field. This review also highlights the requirements of reliable AI from the aspects of causality (i.e., the correlations between the predictions and inputs of an AI), explainability (i.e., the operational rationales of the workflows), and informativeness (i.e., the mechanistic insights of the investigating systems). Related techniques are evaluated together with state-of-the-art applications to highlight the significance of establishing reliable AI applications in CE. Furthermore, a comprehensive transparency analysis case study is provided as an example to enhance understanding. Overall, this work provides a thorough discussion of this subject matter in a way that-for the first time-is particularly geared toward chemical engineers in order to raise awareness of responsible AI utilization. With this vital missing link, AI is anticipated to serve as a novel and powerful tool that can tremendously aid chemical engineers in solving bottleneck challenges in CE.

关键词

透明度 / 可解释的人工智能 / 可靠性 / 因果关系 / 可解释性 / 信息性 / 混合建模 / 物理信息

Key words

Transparency / Explainable AI / Reliability / Causality / Explainability / Informativeness / Hybrid modeling / Physics-informed

引用本文

引用格式 ▾
Yue Yuan,Donovan Chaffart,Tao Wu,Jesse Zhu,袁月,Donovan Chaffart,Tao Wu,Jesse Zhu. 透明度——促进化学工程中人工智能变革的缺失环节[J]. 工程（英文）, 2024, 39(8): 48-64 DOI:10.1016/j.eng.2023.11.024

登录浏览全文

4963

注册一个新账户 忘记密码

1 引言

数据已经迅速成为我们这个时代市场前景和社会分析的支柱。因此，现代公司和政府正在利用这一宝贵资产来创造创业机会，并促进监管发展。这种新资源的优化利用归功于数据驱动分析工具的发展，如数据驱动的人工智能（AI），它通过在各种不同的应用程序中的实现，特别证明了其价值。在数字革命的核心，数据驱动的人工智能的价值可以通过其不断增长的市场渠道来体现。根据国际数据公司（IDC）的预测，2022年全球人工智能相关收入预计将比2021年的3418亿美元增长18.8%，到2024年有望突破5000亿美元大关[1‒2]。尽管目前人工智能市场中88%的份额由人工智能软件开发组成，但人工智能辅助服务市场正在迅速赶上，预计从2023年起超过软件在人工智能市场中的领先地位[2]。此外，在普华永道（PwC）的一份题为“2021年人工智能预测”（AI Prediction 2021）的报告中，1000多家美国公司的86%的高管声称，到2021年，人工智能将成为他们公司的一项“主流技术”[3‒4]。这些来自高管和首席执行官的直接利益诉求，再加上巨大的经济利益，有力地证明了人工智能转型驱动的变革不可避免，这些变革几乎发生在全球产业运行的每个环节。

尽管人工智能转型无处不在，但人工智能应用的不透明性问题在一定程度上抑制了它们向关键领域的扩展，特别是那些涉及安全问题和巨额利润的领域。因此，与敏感领域相比，人工智能在某些特定领域带来的革命性变化目前更加明显和迅速。例如，人们逐渐开始接受人工智能预先筛选和定制的选择，如网站上的定制广告或YouTube上的推荐视频。这些应用不涉及生死攸关的决定；因此，人工智能决策者的建议很容易得到认可。然而，在临床应用和化学工程（CE）过程等敏感领域，其所做的选择与健康、安全和巨大的经济价值有关；因此，由于缺乏对人工智能产生这些决策的原因的洞察，人工智能的裁决很难被接受。因此，整个人工智能领域正面临着一个透明度问题，人工智能算法的预测无法自圆其说，决策过程背后的基本原理是隐藏的。这在目前占主导地位的人工智能算法[如人工神经网络（ANN）和深度学习]中最为明显，其黑箱性质进一步增加了该领域的不透明性。这些模型在人工智能应用中逐渐占据主导地位，因为它们能够提取分层数据表示，以准确预测复杂的系统。然而，在高度复杂的系统中使用这些人工智能方法获得改进的预测的代价是决策过程的透明度损失[5]。日益严重的不透明问题已经成为人工智能决策者在关键领域进行变革性利用的重大障碍[6‒11]。由于盲目接受黑箱决策可能会产生伦理和监管方面的偏见和责任问题，因此人工智能透明度的缺乏在医疗保健和安全领域引起了特别关注[6]。然而，人们对开发人工智能的决策者仍然有着浓厚的兴趣，这些决策者可以安全、认真地将人工智能应用于这些敏感而重要的领域。这种兴趣促进人们探索和开发可解释的人工智能（XAI）技术：这些人工智能算法可以解释和说明它们如何以及为什么做出决定[12]。这些技术已成为人工智能在涉及安全和高盈利能力的关键和重要领域中迅速发展的迫切需要。上述关键领域在从临床手术到能源生产，从医疗设计到CE的众多不同功能方面，对我们的社会产生了巨大的影响，这也是本研究特别关注的重点。

CE领域广泛涵盖了包括石化、制造、生物技术、食品加工、特种化学品、制药等的重要行业。CE诞生于机械工程与应用化学的融合，在工业实践中一直发挥着重要作用，以满足日益增长的人类生活需求[13]。因此，预计在CE中的AI变革性应用将在CE过程的许多不同方面，包括设计、评估、控制和监控，显著改善我们的整体生活条件[14]。由于化学工程是一个重要的领域，因此化学工程中应用的人工智能算法必须达到较高的透明度，以便提供可靠的预测，从而提高化学工程师的信任，增强他们的责任感。然而，关于人工智能决策者的解释和解读能力，问题仍然是人工智能算法的数据驱动预测是否足以满足CE领域对透明度的需求。所有CE过程都具体受物理和化学定律的支配，在开发AI转换方法和事后分析中都应该考虑这些定律，以揭示控制系统行为的机制。因此，有必要将物理和化学定律的先验和后验分布合并到人工智能变革中，以便从科学理解CE应用的角度提供足够的贡献。然而，在CE文献中，很少有人特别关注人工智能变革的透明度。从历史上看，由于实施复杂的CE系统存在困难，直到2005年，CE内部甚至没有特别考虑人工智能的发展[15]。随着深度学习方法的发展[16]，这个问题得到了某种程度的缓解，这有效地刺激了人工智能在CE中的应用[15,17]。这种目前占主导地位的机器学习（ML）算法使计算机能够分层捕获和提取数据表示及其模式，以进行复杂的预测或分类。然而，这些人工智能变革“助推器”的黑箱性质要求人工智能应用在CE中牺牲透明度，以适应该领域所考虑系统的复杂性。换句话说，CE中的人工智能应用本质上会受到不透明性挑战的影响，这限制了它们在关键的CE工业流程中的适用性。

尽管自70多年前艾伦·图灵首次提出人工智能以来，它已经有了很长的历史[18]，但对于化学工程师来说，它仍然是一个相对新的概念。因此，为了进一步增强CE应用程序中的人工智能实施，必须消除各种问题。为了跟上甚至引领这场不可避免的人工智能转型革命，使其渗透到我们生活的方方面面，作为化学工程师，我们有责任清楚地了解人工智能应用的要求，尤其是在我们的研究领域内，以避免人工智能算法的不透明性造成的潜在停滞和瓶颈限制。受上述内容的启发，本研究旨在概述关键CE领域中人工智能应用透明度的现状。此外，本文介绍了CE中人工智能变革透明度的基本方面，以满足这一敏感领域内对信任和科学知识的迫切需求。应该指出的是，之前没有对人工智能应用进行过全面的分析，以详细说明人工智能透明度特征的协同效应。本工作将深入阐述人工智能在CE中应用的透明度，特别关注该领域的理论指导方面，以提高这些变革性应用的可靠性。随后，本工作详细介绍了CE中人工智能透明度的最新进展，重点介绍了这些应用的因果关系、可解释性和信息性。随后，本文利用薄膜生长案例研究，对人工智能透明度进行了全面探索，并进一步强调实现可靠的人工智能应用，以满足CE的需求。然后讨论了潜在的研究前景，以激发未来的研究兴趣。

本文的组织结构如下：第2节介绍了CE内人工智能应用透明度的识别和详细解释；第3节全面回顾了CE中人工智能应用透明度三个重要方面的最新进展，即因果关系、可解释性和信息性；第4节提供了一个人工智能透明度分析的系统案例研究，该案例是在人工智能增强的薄膜生长多尺度模型中进行的；第5节讨论了未来的前景；第6节是结语，强调了本文的贡献。

2 从XAI到CE中的AI利用透明度

工程领域工作的性质突出了该领域从业者责任感的重要性。因此，化学工程师通常在工作中承担着确保经济效益和生命安全的责任，他们在接受不透明的决策者（即建模算法）和不合理预测时，天生谨慎。换句话说，CE中人工智能变革的透明度决定了这些应用在这个敏感领域的发展程度和速度。因此，XAI是CE中新兴AI变革性应用的关键领域。对人工智能算法决策的最初解释试验可以说是分别由Vaidyanathan和Venkatasubramanian [19]以及Swartout和Moore [20]在1992年和1993年进行的，后来由于人工智能改进的重点急剧转向其预测能力而被推迟[21]。近年来，人工智能发展的显著进步使其在几乎所有可能的方面得到了广泛应用，引发了关于人工智能变革可靠性的问题的讨论。图1显示了在过去31年里在Web of Science上与XAI相关的出版物数量的分析。使用关键字“可解释的AI”和“可解释的人工智能”来获取所呈现的结果，这些结果按出版年份显示。有关XAI的研究数量急剧增加，特别是在过去7年里（约占总数量的99%），表明了这一主题最近又重新活跃起来，以及有必要探索人工智能算法的可解释性。

鉴于上述情况，XAI究竟是什么，如何在CE应用程序中实现它？这一概念的一般核心是指透明的人工智能应用程序，这些应用程序使其功能可解释，并为它们的输出提供人类可理解的合理性[5,12,22‒24]。然而，XAI的概念在不同的领域、不同的受众和不同的倡议之间摇摆不定，因为XAI作为人工智能的一个分支，拥有广泛的受众，包括计算机科学家、医学研究者、社会科学家、工程师等。特别是，XAI模型的透明度是一种双边估计，既要考虑“以可理解的方式向人类解释或呈现的能力”[25]，又要考虑“人类能够理解决策原因的程度”[26]。因此，可解释性和解释能力是XAI的两个相关但主观上不同的基石特征。可解释性表示人工智能模型在阐明其内部功能方面的积极作用，而解释能力则是指人工智能的被动方面，即人类能够理解输入与预测之间联系的程度[5,21,27]。人工智能在CE中的变革性应用的透明度通常根植于XAI，但它也必须与该领域本身的特性和特定要求相一致。本工作的目的不是让潜在的从业者对关于不统一的术语的争论感到困惑。因此，本工作将具体阐述人工智能在CE领域内应用的透明度，并且使用自定义的术语。

图2显示了显著影响CE中AI变革透明度的三个重要因素，该图显示，可以从因果关系、信息性和可解释性等方面对AI利用透明度进行详细评估。图3还显示了透明度的重要方面及其相应的改进策略。在这里，因果关系（也称为合理性）将人工智能预测与输入特征紧密联系在一起。因此，人工智能算法的预测可以通过其输入特征的影响来证明，从而为人类提供可理解的系统行为的解释。信息性意味着人工智能应用程序能够阐述由公认的化学和物理定律所支配的CE过程，以促进人类对所研究系统的理解。人工智能的信息性也表明了模型有将公认的支配定律合并到其算法中的能力（即物理信息或理论指导的人工智能），以获得物理上一致的预测，并提高对现象的理论理解。最后，可解释性代表了决策过程的透明度，这取决于计算流程的基本原理的可理解程度，例如，如何操作多层结构以提高神经网络（NN）模型捕获给定系统高度非线性行为的能力。因此，CE中的XAI变革应该突出其因果关系、信息性和可解释性。更具体地说，一个透明的AI应用程序可以披露受所需输入特征影响的预测，在物理和化学定律的基础上建立对现象的全面理解，并揭示决策过程的基本原理。提高建模过程和随之而来的预测的透明度，可以增加人工智能变革的可靠性，并最终减少化学工程师的疑虑。目前正在进行的关于因果关系、信息性和可解释性的透明度研究预计将严重影响CE内部广泛的人工智能变革。

人工智能应用程序可以在算法透明度和提取透明度方面得到改进，即通过先验分析和后验分析提高透明度，如图3所示。算法透明度是指建模过程本身的可解释性。从这个角度来看，一些人工智能工具本身就具有可解释性，比如线性相关分类方法、逻辑回归和决策树，后者以树状结构自然地模仿人类的推理过程，精确处理认知任务。关于人工智能范式的直观可解释性，符号人工智能——20世纪60~80年代的经典人工智能，通过符号知识和模型推理主导了专家时代——为人工智能的发展做出了重大贡献，具有内在的透明度[8,28]。与时下流行的数据驱动型人工智能不同，符号人工智能可以通过显示决策过程的哪些部分被评估为真或假，来轻松解释其逻辑和原因。虽然符号人工智能对当前人工智能发展的贡献不如数据驱动算法（出于多种原因，包括在实际应用中的实施挑战），但结合符号人工智能和数据驱动人工智能的混合场景的概念正在随着对透明人工智能利用的要求越来越高而出现，并将在第5节[8,29]中进一步阐述。信息性也有助于提高算法整体的透明度。为了提高人工智能模型的信息量，将先验信息（如第一性原理知识）与机器学习相结合，可以激发模型向物理上一致的预测收敛。这种建模策略通常被称为“物理信息型”或“物理约束型”，已被证明可以提高人工智能应用的透明度，特别适用于数据获取成本高昂的场景[30‒31]。特别是，混合建模——将基于第一性原理的模型与数据驱动的算法相结合——有助于揭示由经典化学和物理定律支配的过程机制，从而提高信息量。由于大多数CE过程具有内在的多尺度特征，因此可以通过分析原子微观表面上的电子分布来阐明特定的CE现象[32]，但也可以用宏观流体动力学行为来解释[33]。在混合建模中，与单尺度理论混合策略相比，多尺度理论混合策略可以更全面地理解系统，从而进一步提高人工智能应用的信息量。然而，目前大多数人工智能应用程序（如流行的深度学习应用）都是高度不透明的，为了预测复杂的系统行为而牺牲了它们的透明度。因此，可以在建模过程前后（包括建模前数据处理和事后可解释性阶段）[5,21,27]探索提取透明度。建模前数据处理首先分析建模数据，以确定训练所需的特征，并将这些特征组织成目标结构，以便在算法中使用。另一方面，事后可解释性是指通过可视化（如分层相关性传播（LRP）[34]）、简化（如G-REX [35]）、特征相关性（如Shapley加性解释（SHAP）[36]）和集成学习等分析方法，来努力探索所执行算法的可理解性，例如。为了透彻地解释CE中的AI变革，应使用相关技术及其组合来考虑和评估算法透明度和提取透明度。

3 在CE中考虑透明度的先进人工智能应用

基于上述讨论，很明显，透明的人工智能应用将通过在化学工程师中建立对决策算法的信任，迅速推动人工智能革命的进程。因此，探索人工智能变革中的透明度，是开发关键CE应用可靠决策算法的重要环节。然而，与其他领域相比，人工智能研究在CE中的实施仍处于起步阶段；因此，该领域内开展的人工智能透明度的研究很少。为了有效地促进这一主题的相应发展，本节详细阐述了CE中考虑透明度的相关最先进的人工智能应用，这些应用从因果关系、可解释性和信息性方面分析了透明度。

3.1 人工智能在CE中的变革性利用的因果关系

在CE中为数不多的考虑透明度的人工智能研究中，人工智能系统的因果关系（即系统输入特征与人工智能预测之间新兴的关系）日益成为该领域最突出的研究领域之一。尽管因果关系导向的人工智能探索在CE领域刚刚兴起，但与其他人工智能透明度方面相比，该领域的研究在CE中已获得最广泛的关注[9,37]。最值得注意的是，在人工智能相关CE研究中，针对过程优化、控制和监测相关系统的因果关系研究尤为突出，因为这些领域的决策算法与高盈利性和安全性密切相关。

在此背景下，Agarwal等[38]发表了一份关于CE工业过程中人工智能算法因果关系的分析报告，该报告以一种简单的方式评估了输入-输出数据的分类可观察性，同时考虑了输入数据中的测量噪声。分类的可观察性表明了输入的相关性，有助于进一步修剪网络。基于这项工作，Agarwal等[39]进一步提出了用于修剪的顺序分层相关传播（SLRPFP）算法，该算法可以识别最具影响力的系统输入，并消除神经网络中的任何非贡献特征。研究人员随后在两个工业案例研究中实施了开发的SLRPFP算法，这两个案例研究涉及田纳西州伊士曼过程（TEP）[40‒41]和疫苗制造过程。他们的研究结果表明，提出的神经网络剪枝算法可以有效避免数据过拟合问题，并进一步提高分类模型的计算效率。除了有助于这些深度学习模型的因果关系外，该算法还通过评估哪些输入对系统行为有显著贡献，进一步增强了系统的信息性。这种信息性随后可用于估计所研究的投入对利润函数的积极和消极影响。

在另一项研究中，Agarwal等[23]采用LRP方法进行特征相关性分析，以便为统计过程控制（SPC）中的故障检测和诊断（FDD）提供因果关系信息。他们的工作分别基于深度监督自动编码器和动态监督自动编码器，在其最新提出的FDD算法中实现了LRP方法。基于从LRP分析中获得的相关性迭代地修剪冗余输入，使用这种方法抑制了在噪声数据上训练的网络中存在的过拟合问题。这些研究人员的工作表明，在此过程中可以确定检测到的故障的可能原因，与之前报道的FDD方法相比，LRP的引入提高了FDD测试的准确性。

除了在FDD中进行特征相关性的可解释性探索外，Hale等[37]还开发了基于符号回归的推理传感器，以减少测量数据中的噪声和不确定性证据，并改进在换热器故障诊断应用中实现的鲁棒故障诊断过程。与传统分类方法[如支持向量机（SVM）和NN方法]相比，由于算法的数学形式易于解释，利用所开发的推理传感器具有更大的算法透明度。因此，与传统的人工智能分类方法相比，这些传感器在其他系统中的应用前景更加广阔。应该指出的是，尽管基于传感器的算法的复杂性大大降低，与传统的分类方法相比，使用推理传感器报道的分类质量几乎没有受到影响。

基于离线FDD分析，使用AI方法的在线过程监控也需要更高的算法透明度。为了解决这个问题，Bhakte等[9]提出了一种通过使用SHAP值进行变量归因分析来提高深度神经网络（DNN）透明度的方法。这些值提供了一个度量标准，用于量化系统输入对人工智能模型预测的贡献，它们被应用于一个简单的线性示例和TEP，以及一个在线监控场景。这种基于Shapley的方法的结果突出显示了众多测量变量中哪些与期望的输出最相关，从而展示了该方法为输入-输出相关性提供准确有效的样本特异性解释的能力。最重要的是，这种方法可以为基于DNN方法的实时操作策略提供现场解释。

除了FDD分析，反应路径研究是另一个引起采用人工智能变革性应用的研究人员特别关注的领域，因为基于分析电子分布的传统反应路径方法[如密度泛函理论（DFT）]具有密集的计算要求。数据驱动的人工智能应用程序已被证明可以革命性地提高计算效率，同时充分保持预测准确性[42‒43]。然而，这些数据驱动的人工智能分析的不透明性限制了它们在关键制造过程中的应用，特别是那些涉及敏感反应的过程。为了解决这个问题，Kim等[44]使用LRP分析来解释二元决策任务中NN模型预测的有害反应产物的形成。此外，Kikutsuji等[45]还进行了局部可解释的模型不可知解释（LIME）和SHAP分析，以区分DNN中研究特征的贡献，从而解释丙氨酸二肽异构化的反应坐标。在这两项研究中，因果关系驱动的人工智能技术的实施为人工智能模型的决策过程提供了进一步的见解，从而提高了模型在反应路径研究应用中的整体合理性。

另一个因缺乏透明度而受到严重限制的人工智能算法实施领域，涉及药物开发中的材料开发，以供进一步临床应用[46‒47]。特别是在医疗应用中，有必要从两个不同的角度理解人工智能实施的因果关系。首先，必须对所考虑的输入特征和输出预测之间的因果关系有一个大致的了解。此外，有必要理解人类的因果关系理解，这涉及医疗保健专业人员理解影响人类健康、疾病和医疗结果的各种因素之间关系的能力[3,48]。例如，在通过深度学习分析和经验丰富的病理学家进行的组织病理学案例研究中，Holzinger等[3]强调了实现“可解释医学水平”所需的因果关系，其特征是对人类提供点对点的解释，使其能够理解因果关系。Ward等[49]量化了所考虑药物对急性冠状动脉综合征（ACS）不良后果的影响。他们的工作采用了基于树的模型中的SHAP和LIME分析，以突出因果关系评估在加速实时药物警戒监测系统的开发方面的潜力。此外，Yang等[50]建立了一个高效的27层卷积神经网络——一个基于化学直觉的多尺度图神经网络（MGraphDTA）——用于药物-靶点亲和力（DTA）预测。他们开发的模型随后被用于促进药物开发，并结合新提出的梯度加权亲和激活映射（Grad-AAM）方法进行可视化解释，该方法标记了DTA上最具影响力的分子。所有这些工作都强调了将人工智能因果关系纳入其中的重要性，以提高人工智能技术在医学应用中的可信度。如上所示，因果关系探索从涉及安全和医疗利用等关键问题的系统开始，并通过面向特征的解释来证明人工智能模型预测的合理性，从而促进人工智能在这些领域的应用。

3.2 人工智能在CE中的变革性利用的可解释性

关于人工智能算法本身的可解释原理（即可解释性），我们知道在CE中很少有研究对这一领域做出贡献。CE中人工智能算法基础探索稀缺的原因直观上显而易见：CE系统的复杂性要求使用结构复杂的AI算法，如具有高度分层结构（如多层和修改单元）的DNN。因此，要确定这些人工智能决策者的预测技能的基本原理是极其困难的。然而，正如前面章节所讨论的那样，当这些人工智能算法应用于关键应用时，CE中这些算法的内部机制不明确会导致可靠性问题。此外，这些模型缺乏普适性，因此难以避免可能的偏见和对抗性示例。

据我们所知，Venkatasubramanian博士及其同事于1992年发表了第一篇研究CE中NN内部机制的研究报告[19]。这项工作专门针对连续搅拌釜式反应器中的过程故障诊断，评估了神经网络中隐藏神经元数量和输入单元对故障空间结构和故障分类性能的影响。增加隐藏神经元的数量可以促进故障空间分离为更多数量的决策区域，从而提高捕获复杂系统信息的能力。单故障泛化也可以从增加神经网络中的隐藏单元数量中受益。此外，只有通过增加输入单元的数量，为算法提供更全面的诊断系统信息，才能提高双故障泛化能力。为了进一步探索这一主题，Venkatasubramanian博士的团队在文献[51‒52]中，针对分类问题和回归问题中的CE过程，对DNN的基本原理进行了最具代表性的分析。这些研究普遍表明，复杂的分布需要更复杂的神经网络拓扑结构。特别是在分类和回归任务中，更深层的网络能够将输入空间转换为更复杂的模式，以模拟更复杂的关系，并映射更复杂的分布。另一方面，更广泛的网络——单个层中有更多神经元的网络——可以结合更简单的特征来捕捉复杂的新兴系统模式。关于分类问题，增加神经网络的宽度通常可以识别出更多数量的简单特征，从而提高神经网络的通用性，使其可以应用于许多其他任务。根据最后一层参数的退化分析，无数组权重都可以产生相同的分类预测精度。这些学者的研究还表明，尽管神经网络的结构不同，第一层节点将导致输入空间的线性激活，而在后续层中依次弯曲。此外，他们得出结论，两个独立的神经网络可能需要类似的几何对象来执行相关但不同的任务。这意味着预训练的神经网络结构可以作为参考，用于初始化另一个网络的训练，以满足相关需求，这在文献[53‒54]中被称为迁移学习。此外，Venkatasubramanian博士的团队还证明，增加分类神经网络的深度不一定有利于捕捉具有可能任意活动模式的数据的实际分布，反而可能导致错误诊断的对抗样本。回归问题也是如此：如果没有一定的宽度，深度神经网络就无法在损失足够低的情况下将输入充分映射到输出，尤其是在系统表现出高度非线性关系的情况下[49]。换句话说，对神经网络工作流程的分析表明，神经网络的宽度对于建立高性能神经网络至关重要。应该指出的是，NN的深度和宽度的增加会导致复杂的损失函数景观，从而难以模拟回归问题。此外，规则已被证明能够通过简化损失函数景观来减少过拟合问题。一般来说，神经网络的最优结构主要由生成的数据和任务本身决定。因此，对于特定的CE问题，优化性能仍然需要定制的NN结构，该结构可以根据所讨论的NN结构的影响或基于相关任务的预训练NN来进行初始化训练。

3.3 CE中的信息性探索——物理信息学习和混合建模

信息性代表了工程师的科学视角，即从研究现象的第一性原理出发，以先验或后验知识为基础来理解一个系统。然而，在实际人工智能应用（如广告和计算机视觉）中，信息性也与当前占主导地位的人工智能方法的高性能之间存在权衡。为了捕捉极其非线性的系统行为，这些算法主要依赖于具有噪声的大量训练数据集，以及深度分层和大量修改的操作结构。这些算法的数学形式——更不用说第一性原理知识——很少可用，或者模拟起来非常困难。然而，学习或解释数理逻辑系统的习惯几乎是工程师的本能，是在工程训练和执行专业操作的过程中培养起来的。这种科学的“习惯”确保了对所涉及的制造过程的细致规划和总体理解，从而避免了意外危险，实现了利益最大化。因此，通过整合先验的第一性原理知识并将理论见解提取到系统中来实现CE中AI变革的信息性，是需要特别关注的重要因素。为此，①物理信息学习和②混合建模这两个概念引起了相关从业者的兴趣。

物理信息学习整合了从物理定律到现象的经验、观察数学表达式等数据和第一性原理知识，以改进机器学习算法[55]。通过在人工智能模型中强制使用先验知识，物理信息学习过程强制执行理论约束、诱导偏差和多保真观测数据模式，这些算法能够利用我们对系统的先验理解和观测数据模式来优化模型性能。因此，这些算法保留了分析多保真度（可能不完美）数据和从数据驱动的AI算法中引导高维相关性的关键特征，同时通过利用嵌入的物理约束，即使在探索/泛化任务中，也能够提供鲁棒、可理解和物理上一致的预测能力[55‒60]。在机器学习中，从概念上讲，最简单的物理强化集成方法是利用从反映基本物理原理的数据中引入的观测偏差[61‒62]。应该指出的是，观测偏差只能通过足够数量的训练集来加强，这在工程应用中可能是难以实现的。一种更实用的方法是引入归纳偏差，通过调整神经网络结构，将先验知识融入明确的认知任务中，如著名的卷积神经网络、图神经网络或高斯过程[63‒65]。然而，除非有明确的物理和对称组，并经过精心实施，否则无法实现归纳偏差[55]。与归纳偏差不同，学习偏差是通过对典型损失函数近似进行适当惩罚，基于对系统的先验理解软性强化约束而产生的，这种机制能够引导收敛趋向于物理一致的解。通过软约束，将部分理解的基本不变性纳入模型，从而能够涵盖各个领域广泛的第一性原理[55,66‒67]。特别是在CE中，所研究系统的复杂性使得对现象的彻底理解变得异常具有挑战性。学习偏差集成ML算法的高度灵活性和表达能力相应地促进了CE中的大量研究，并将部分理解作为第一性原理约束来实现，就像在著名的物理信息神经网络（PINN）中那样。PINN在CE中特别普遍，是主要的物理信息学习技术。因此，下面将进一步讨论PINN。

PINN是监督的神经网络，它以非线性偏微分方程（PDE）的形式结合了物理定律，包括整数阶PDE、分数阶PDE [68]、随机PDE [69]等[70‒73]。这些物理驱动的人工智能系统尊循对称性、不变性和物理守恒原理，通过整合随时间变化的非线性偏微分方程，迅速获得了人们的关注。在这些方法中，偏微分方程（PDE）被直接作为残差项纳入神经网络的损失函数中。然后，对网络进行训练，以使每个输入值范围内的基于偏微分方程的残差最小化，从而使PINN能够充分预测给定输入集的偏微分方程输出。PINN最早是由Karniadakis的研究小组[74]在2017年提出的；研究人员利用自动微分来表示所有的微分算子，这是导致最近物理学驱动研究蓬勃发展的第一次尝试。这些早期研究最初将PINN视为解决不适定流体问题的补充方法，其中所得PDE的边界条件和（或）初始条件是未知的[73‒75]。相反，这些研究通过无网格PINN技术实现了PDE解决方案，该技术基于PDE优化了NN的损失函数，而不是直接求解方程。因此，PINN是一种有效的策略，可以为计算成本高昂的一般非线性偏微分方程计算建立高效的替代算法。受纳维-斯托克斯方程（NSE）等经典物理约束的支配，CE中高维函数（特别是流体力学）导致的复杂系统，广泛使用PINN进行研究。众所周知，通过计算流体动力学（CFD）研究CE过程中的流体动力学既耗时又耗费计算资源。因此，高维问题或逆流问题虽然直观上很复杂，但通过CFD解决的成本过高。相反，只要正向和逆向流动不适定问题都有时空数据可用，训练有素的PINN在准确性和效率方面都可以胜过CFD求解器[76]。PINN以偏微分方程约束的形式展现出的灵活性，促进了PINN在各种流动问题中的应用，包括二维/三维（2D/3D）流动[73,77]、可压缩和不可压缩流动[56,76]以及流动转换[78]。尽管PINN研究通常侧重于流动动力学，但它们同样适用于CE中的其他应用，如刚性化学动力学问题[30,79]、固定床反应器[80]、考虑损坏数据的预测控制[81]、流速测量[82]和材料开发[83‒85]。与传统数值方法相比，PINN能更准确地预测不适定或逆问题，而传统方法则在正向和适定问题上表现更好[55]。

PINN的广泛应用促进了物理信息机器学习软件库的开发。由于其作为机器学习的主要编码语言的地位，这些库中的大多数都是使用Python构建的（如DeepXDE、PyDEns、SimNet等），只有两个例外（Neural PDE和ADCME），它们是用Julia编写的。其中，DeepXDE是一个求解器，它只需要对问题进行初始定义，就可以自动处理所有的计算细节。可以使用基于构造实体几何的DeepXDE来考虑复杂的域几何。特别是，由于其松散的耦合结构，DeepXDE具有高度的灵活性；因此，它既是一种教育工具，也是一种研究工具，可以迅速促进机器学习的科学发展[70]。

在PINN中，基于第一性原理的PDE和数据驱动的NN的结合使模型性能得到改善。从这个角度来看，将基于第一性原理的模型与数据驱动的范例相结合的动机，导致了另一种吸引人的信息人工智能应用——混合建模，这在工程师中尤为普遍。通过将理论模型与人工智能方法相结合，对系统的物理理解可以应用于提高对系统进行建模的算法的准确性和鲁棒性[86‒87]。在理论模型的帮助下，使用人工智能系统揭示的相关性可以进一步阐明所研究现象的基本机制。值得注意的是，考虑到物理信息学习的广泛定义，即把第一性原理知识应用到数据驱动算法中，混合建模可以被认为是一种物理信息场景。然而，在当前的文献中，物理信息学习通常是指在数据驱动的方法中加强物理/化学理解（例如，在损失函数中强制执行物理化学方程，就像PINN的情况一样）。另一方面，在混合建模中，理论模型和数据驱动算法可以独立地进行计算，同时以并行或串行的方式保持它们的连接。此外，数据驱动的人工智能方法和理论模型的结合除了信息性之外，还带来了更多的优势，比如效率的提高，这是吸引人们关注这一领域的另一个重要因素。这些有利的特性，加上目前对该领域的高度关注，可能会促进人工智能在CE中的广泛应用，而到目前为止，人工智能在CE中的应用一直被推迟。这些权宜之计将在下面进一步讨论。

关于混合建模的开发，将机械模型与数据驱动算法集成的想法可以追溯到20世纪90年代初。这些早期研究旨在利用关于研究系统的所有可用信息（即理论知识、启发式知识和从过程中收集到的具有潜在模式的数据），以协同的方式为建立高质量预测的模型做出贡献[32,88‒92]。经过30年广泛的混合建模努力，以及将其纳入无数不同的应用中，混合模型的构成定义变得具有争议性和模糊性[14,93]。然而，在开发信息性人工智能变革的背景下，混合建模在本工作中被定义为，结合理论数学范式与数据驱动人工智能方法的混合算法。一些研究人员将前者的理论表达式称为“白盒”，它根据先前的第一性原理知识建立数学关系[86‒87]。后一种人工智能算法因此被称为“黑盒模型”，因为它们以一种对观察者隐藏的方式建立了模型输出和输入之间的相关性[94‒95]。在这种情况下，混合模型也可以被称为“灰盒模型”，因为它们集成了白盒和黑盒模型。从理论上讲，物理信息人工智能模型也属于灰盒模型。然而，由于其应用广泛，因此在本工作之前，我们已经对其进行了详细回顾。

如上文所述，混合建模可用于战略性地实施信息丰富的人工智能变革。将系统之前的物理信息自然地整合起来，可以提高算法被人类理解的能力。混合算法中理论模型的运算过程和预测可以部分或完全揭示所研究现象的物理机制。相应地，由此产生的决策更容易解释；因此，与标准人工智能方法相比，混合模型往往更可靠[96]。此外，理论和数据驱动模型的强强联合可以提供远远超出信息性的直接利益。尽管数字革命充分增加了工程领域可用数据集的数量，但由于与其他研究领域（如语言学）相比，工程学的数据收集的成本相对较高，因此CE仍然不是一个“大数据”领域[15]。特别是，从工业操作或实验室工作中收集的数据集通常是在正常操作条件下以稳态运行的系统中获得的。换句话说，这些在很长一段时间内收集的大量数据集在可变性方面是有限的，因此包含的信息含量很低[93]。通过在广泛的运行条件下提供大量低成本的数据，将理论建模纳入其中可以最大限度地减少人工智能在CE中应用的固有弱点。因此，混合建模算法在执行外推方面更有能力，可以更容易地避免过拟合[97]。另一方面，标准理论模型通常要求对系统有深入的理解，包括其反应动力学、表面变化、输运现象等。相比之下，在混合算法中添加人工智能方法，可以在不完全理解系统的情况下实现这些模型。因此，对于系统行为知识不完整的非理想系统，混合算法比标准理论模型更容易实现。此外，混合模型允许将未知的面向系统的参数合并到算法中，以纠正纯理论预测的误差。此外，通过使用人工智能算法来代替计算密集型计算，可以显著提高混合模型的效率[98‒99]。人工智能还可以考虑高维特征，以比理论方法更直接的方式检测它们的协同影响[100‒101]。因此，混合建模在具有高度复杂性的非理想环境中的CE过程研究中很普遍。

混合模型可以按照串行或并行顺序简洁地构建，如图4所示。在串行混合模型中，数据驱动的人工智能模型和理论模型都是按顺序运行的，如图4（a）所示。因此，第一个模型的输出可以以串行方式作为下一个模型的输入。这些串行结构化场景在部分理解所研究系统的情况下是最有帮助的，几乎所有被研究的CE过程都是这种情况。此外，串行结构的混合建模场景使得模拟系统固有的复杂现象成为可能，而无需牺牲预测精度。如图4（a）所示，串联混合模型可以从理论模块或数据驱动模块开始，具体取决于模型的缺陷，以实现目标输出。这些方法通常分别被称为理论模块/数据驱动模块（MM/DM）和数据驱动模块/理论模块（DM/MM）串行方法。值得注意的是，在这两种顺序方法中，数据驱动模块可以在复杂的环境中提供未知的数学表示和处理参数，从而取代了对计算密集型理论模型的需求，并带来了革命性的效率提升。同时，现象学模型面临着提高情景信息量的挑战[99,102‒107]。特别是MM/DM场景，弥补了CE中昂贵的数据收集工作。现有的理论模块可以在包括恶劣环境在内的各种操作条件下提供训练数据。在数据驱动模块的训练过程中，有了恶劣条件下的数据集，混合模型可以有效地诊断危险的操作条件，以确保处理安全。此外，数据驱动和理论模型可以并行操作，随后组合，如图4（b）所示。当可访问的现象学数学表达式受到其预测能力的限制时，这些平行场景显得很有吸引力[93]。这种限制可归因于理论模型在复制某些现象（如非线性和动态行为）方面的局限性[86]。通过卡尔曼滤波、加权或不加权加法、乘法等并行方式将数据驱动模块和理论模块的结果耦合在一起，可以纠正这种不匹配现象[108]。应该指出的是，混合模型的结构是基于研究目标建立的；因此，串行和并行场景可以被连接起来，每个模块可以包含多个模型或反向传播信息，以实现预期目标[109‒110]。

在所讨论的分层结构算法中，AI辅助多尺度场景将数据驱动模块与多尺度理论模型相结合，具有高信息性的特点。通过整合多尺度理论模拟，可以深入考虑并阐述CE中的内在多尺度现象，以获得更全面的理解。尽管多尺度理论研究因其高信息性而在研究CE过程中很普遍[111‒113]，但人工智能辅助的多尺度混合模型的发展才刚刚开始。在流体力学研究中，建立了ANN-能量最小化多尺度（ANN-EMMS）阻力方案，通过在EMMS模型[106,114]计算阻力系数时考虑ANN预测的系统异质性，在考虑局部环境的情况下，有效地预测流体动力学。在这项工作中，考虑了局部气体-颗粒混合物的特性，并通过ANN有效地将其与宏观流体动力学联系起来。值得注意的是，上述模型将流体团聚中的微观环境连接起来，但仍然呈现出连续特征。将电子或原子尺度上呈现离散性质的微观见解与可测量的连续性质进行比较以进行验证，这尤其困难。因此，能够将离散的微观性质与连续系统特征联系起来的多尺度模型可以填补微观研究和宏观研究之间系统解释方面的空白。然而，文献中几乎没有关于这种情景的研究，特别是关于算法中的交互特征。

据我们所知，Chaffart和Ricardez-Sandoval [115]对涉及数据驱动的人工智能辅助和多尺度理论建模的混合建模进行了最重要的研究，该研究实现了上述实际交互的目标。在他们的研究中，研究人员建立了一个混合多尺度模型，有效地模拟薄膜沉积过程，以便进行优化和控制应用。他们的模型由宏观连续模型组成，用于捕捉系统中气态薄膜前驱体物质的质量、能量和动量平衡，再加上微观随机偏微分方程模型，在分子水平上模拟薄膜表面生长的演化。随机偏微分方程中的术语受系数的影响，这些系数的值已知会因宏观尺度模型计算出的表面参数（即表面前驱体浓度和温度）而变化[116]。然而，PDE系数和表面参数之间的确切关系是未知的。为了解决这个问题，研究人员训练了浅层前馈ANN来预测给定表面参数的随机PDE系数。因此，完整的薄膜生长模型发展成为一个混合多尺度模型，其中人工智能学习模型在宏观和微观系统模型之间建立了重要的通信渠道。因此，研究人员提出的混合建模算法是使用人工智能在微观和宏观模型之间进行交互和转化的最早例子之一。然而，由于采用理论模型组合的多尺度算法本身并不倾向于包含多尺度特性，因此在理论模拟中无法实现互通，从而抑制了它们对系统形成全面认知的能力。

由于缺乏混合多尺度模型来将微观模型与宏观尺度观察到的互通特征联系起来，因此提出了一个理想方案，可以最大限度地发挥人工智能在CE变革性利用中的优势，即智能互通多尺度工程（IIMSE），其特征是基于人工智能辅助的多尺度模型将微观见解与宏观行为联系起来，从而实现信息性[117]。IIMSE提出了高度可能的层次结构，将互通的多尺度理论模型与数据驱动的人工智能算法相结合，以便在微观见解和可测量的宏观观察之间建立联系。IIMSE的相互通信特性强调理论模型之间按顺序进行的直接信息交换，以便对所研究的过程有一个相对完整的理解。IIMSE可以有效地提供对所研究系统的高质量预测，同时提供全面的理解以实现科学目标，使其可能在CE的人工智能变革中发挥主导作用。此外，IIMSE提供了一种解决方案，将微观见解与可测量的宏观观察联系起来，以验证微观见解和观察现象的理论解释。然而，这一极具潜力的场景仍处于起步阶段，需要更多的关注来促进其发展。图5显示了一个可能的串联构造方案，作为IIMSE的示例供读者参考。在该方案中，数据驱动的人工神经网络将微观多尺度模型与宏观计算流体动力学分析相连接。通过这种连接，难以用数学方法表示的中尺度模型被数据驱动模型所取代，以促进这种全尺度模拟的实现，即从微观尺度到宏观尺度的模拟，同时保持合理的效率，以便在大型实验领域预测宏观可测量的系统性能。

前面的理论模块包含了一个三尺度相互联系的理论模型。如图6所示，这种微观多尺度模型是通过结合量子化学分析（即DFT）、分子模拟（即动力学蒙特卡罗，kMC）和颗粒通道内的连续质量传输方程建立的。根据DFT分析计算了基本反应机理以及相关的能量特征，然后将其作为表面事件和反应速率转移到kMC模型中。kMC分析随后预测动态表面特征，如扩散速率和浓度，以建立颗粒通道中连续方程的边界条件。连续模型（如表面物种的覆盖率）的预测结果可以反向传递到kMC的表面模型，从而影响表面演化。这种多尺度相互作用的微观模型已被部分证明有助于全面理解CE过程[91,118]。ANN的后向CFD分析可以从经验参数开始，如与微观交互多尺度模型模拟的微观状态相关的总体反应速率。因此，可以通过CFD分析预测实验可测量的系统性能，如异相分布和物质转化。示例IIMSE方案有可能提供一种解决方案，以实现CE过程的全尺度模拟，该过程可以将微观状态和机制与可测量的系统性能联系起来。特别是，理论模型与数据驱动算法的深度融合极大地提高了混合模型的信息量，有助于对所研究现象的科学理解。此外，微观状态与可测量系统特征之间的联系，为使用微观见解来证明可观察系统行为的可能性开辟了道路。

信息性通常是CE应用程序中人工智能应用透明度研究最多的方面。物理信息学习和混合建模都将第一性原理知识融入算法开发中，作为有效策略，在增强人工智能在CE中的变革性利用的信息性方面做出了重大贡献。物理信息学习通过引入源于第一性原理理解的偏差，引导向物理上一致的预测收敛，这是一个更广泛的概念，包括混合建模，该概念将理论模型与数据驱动算法相结合。尽管存在一些重叠，但混合建模通常从理论模型中产生独立的预测，而物理信息学习则根据当前的出版物，在数据驱动算法中引入理论约束。这两种方法都有助于提高系统的信息性，从而满足人工智能在解决CE问题中的科学要求。

4 AI透明度探索的案例研究

在前面的章节中，详细阐述了人工智能应用中的透明度研究，包括信息性、因果关系和可解释性。这些先进的分析有助于提高关键领域的信任度，特别是在本文的重点领域，即CE。为了进一步强调人工智能透明度分析的重要性，并举例说明在CE中进一步进行相关探索，本节介绍了一个案例研究，该研究对涉及所有三个讨论特征的透明度进行了全面分析，如图7所示。

案例研究考虑了第3节所讨论的混合多尺度薄膜沉积模型的简化版本，如图7所示。应该指出的是，在所提出的案例研究中，混合多尺度模型的开发是在文献[115]中建立的。该系统描述了一个放置了基板的气相沉积室。随后，腔室被气态前驱体物质填充，这些前驱体物质迁移到基板表面并沉积在基底上形成薄膜。沉积室内的前驱体气体物种的行为是通过宏观尺度连续方程来捕捉的，该方程根据图7中的宏观气相模型方程描述了前驱体物种的质量和动量平衡[115]。这些方程用于预测薄膜表面处前驱体物种的摩尔分数y s，除了外部控制的基板温度T s外，它们是影响薄膜生长的关键变量。薄膜的生长在分子水平上由图8中标题为“Microscopic thin-film model”的随机PDE捕获。在该表达式中，h表示薄膜在沿基板的位置x和时间t处的局部高度；ν、K和F表示系数，其值取决于y s和T s；ζ是一个随机高斯变量，其均值为0，散粒噪声协方差为 ζ x , t ,   ζ ( x ' , t ' ) = V δ ( x - x ' ) δ ( t - t ' )。应该指出的是，随机偏微分方程中的每个术语都与薄膜生长过程中预计会在表面发生的特定分子水平动力学事件相吻合：术语F对应于前驱体在薄膜表面上的吸附，而术语 v ∂ 2 h ∂ x 2和 v ∂ 4 h ∂ x 4分别与吸附的表面分子的解吸和迁移有关。随机偏微分方程表达式的结果用于计算时间t时的平均膜厚度H(t)，随后可用于根据图7中“Microscopic thin-film model”和“Macroscopic gas-phase model”之间所示的方程，从宏观传质表面边界条件计算R a-R d项[吸附速率（R a）和解吸速率（R d）之差]。关于多尺度模型的更多细节，可参见参考文献[115]。

在上述多尺度模型中，系数ν、K和F以及随机协方差V都依赖于表面参数y s和T s。然而，随机偏微分方程系数与表面参数之间的确切关系尚不清楚[115]。为了缩小宏观和微观尺度之间的差距，训练了一系列浅层前馈ANN，以预测ν、K、F和V的值，并将其作为表面输入y s和T s的函数，如图7的“ANN”部分所示。为了实现这一目标，如参考文献[115]中所强调的，通过将随机偏微分方程模型拟合到基于kMC的表面生长模型中，在离散的y s和T s值下确定偏微分方程系数。随后，生成的输入（y s, T s）和输出（ν, K, F, V）系数对被用于通过反向传播使用Levenberg-Marquardt算法训练每个输出系数的单个ANN。每个ANN包含一个隐藏层，由10个神经元组成，用于预测ν、F和V，以及15个神经元，用于预测K。

模型的信息性是一个关键标准，可用于更好地理解影响系统行为的潜在物理和化学过程。正如第3.3节所强调的，模型信息可以从先验知识和后验知识中得到体现。在所提出的混合多尺度模型中，由于将已知的物理输运方程纳入宏观尺度气相模型，因此可以预先知道大量的系统行为。这些传输方程将关键知识整合到模型中，这些知识涉及气态前驱体物质在反应室内的行为以及与生长薄膜表面相邻的气相状态。此外，根据之前的研究，尽管缺乏微尺度理论模型，如上文所强调的，用于捕捉分子水平表面膜生长的随机偏微分方程，已知可以提供对表面发生的物理化学动力学过程的见解[116]。这些先前的研究证明，增加PDE系数F、ν和K的值分别导致膜表面吸附、解吸和迁移的量增加。

除了先验确定的系统知识外，完全组装的混合多尺度模型可用于进一步了解所发生过程的内部运作机制。在参考文献[115]中，观察到降低混合多尺度模型内的表面温度可以提高表面吸附速率，并导致更高的表面生长速率和更高的表面粗糙度。另一方面，观察到较高的表面温度会促进较高的解吸率和表面迁移率，从而导致较低的表面粗糙度和较小的生长速率。这些结果表明温度对发生的每个动力学过程的影响，并特别强调解吸和迁移速率比吸附速率受温度的影响更大。混合模型还证明了气相中前驱体物种浓度变化对表面生长行为的影响。更具体地说，该模型预测，增加前驱体物种分数会导致更大的生长速率，从而产生更高的表面粗糙度。当前驱体物种分数降低时，观察到相反的情况。这些结果表明，表面吸附受前驱体物种浓度的影响最大；因此，当浓度增加时，吸附量也会增加。此外，全混合模型可用于通过控制薄膜生长过程来提供如何实现明确的表面规范的见解。例如，如果目标是使表面生长速率最大化，同时产生具有最小粗糙度的表面，那么模型预测，在生长的早期阶段，有必要保持较低的温度，以优先考虑吸附，然后在接近结束时提高温度，以使表面迁移事件最大化，并产生光滑的最终薄膜[115]。

与信息性和可解释性相比，因果关系表明了人工智能模型输入和输出之间的相关性，这将为实际操作提供有效的指导。在图9中，展示了用于解释混合模型的ANN的SHAP分析（一种用于从输入到输出的相关性分析的常用工具），以生成输入、前驱体分数和温度对输出系数K的影响。图9显示的结果表明，薄膜表面高浓度和低温度导致K值增加，这通常表明迁移率下降，因为K值与迁移率呈负相关[116]。这源于这样一个事实，在较低的温度范围内，温度升高会导致吸附率提高。当吸附占主导地位时，它会产生大量高度不稳定的表面构型，导致迁移速率增加，因为不稳定的表面位点扩散到整个表面，形成更稳定的表面构型。然而，在较高的温度范围内，由于迁移速率与温度之间的阿伦尼乌斯关系，表面迁移速率增加。因此，在计算迁移率时，阿伦尼乌斯行为与表面上的不稳定表面位点的影响之间存在竞争关系。关于前驱体分数，当前驱体气体浓度相当高时，表面应该具有大量的被占据位点。由于吸附的分子总是试图移动以形成更稳定的构型，因此前驱体气体浓度增加导致的表面被占据程度更高，这将导致更高的迁移速率。然而，当前驱体分数较低时，表面的吸附率较低；随后，很少有分子被吸附到薄膜表面。由于吸附物的浓度较低，每次在表面上发生迁移事件时，形成更稳定的表面构型的机会较低。因此，松散的表面吸附物将需要经历更多数量的表面迁移事件，以便遇到其他松散的吸附物并形成更稳定的表面构型，因为当表面分子的最近邻数量增加时，其稳定性也会增加[116]。因此，由于形成稳定的表面构型需要发生更多的迁移，较低的表面前驱体物种分数会导致迁移事件的数量增加。

关于已建立的ANN的可解释性，图10比较了用于同一任务的两种ANN结构。两者都有一个隐藏层，但一个有15个神经元（如之前的薄膜模型中所使用的），另一个只有一个神经元。通过比较可以清楚地看出，在混合模型中使用的具有15个神经元的原始ANN可以产生高度非线性激活的输出空间，如图所示，而另一个在隐藏层中只采用一个神经元的ANN只能产生线性激活的输出空间。这一结果表明，即使只有一个隐藏层，原始的ANN在使用15个神经元时仍然可以捕捉到系统的非线性行为。在第一个也是唯一一个隐藏层中，两个ANN中的所有神经元都呈现线性激活空间。然而，15个线性激活空间的组合可以生成非线性系统的相当高质量的预测，而具有一个神经元的浅层神经网络无法实现类似的结果。这种比较表明，原始ANN隐藏层的宽度确保了对系统许多线性激活细节的捕获，这使得训练后的ANN对所研究系统具有很高的预测性能，同时保持了高效率。

总体而言，本案例研究中的透明度分析增强了人们对系统的理论理解，揭示了影响所研究动态的环境因素，并说明了ANN的操作原理。通过这种方式，提供了有效的指导，有助于科学理解、薄膜制造以及数据驱动算法的进一步建模。

5 透明人工智能的前景

在本工作中，首次提出人工智能应用程序在CE中的透明度；因此，事先在文献中并没有涵盖所有透明度方面的综合应用。此外，如前几节所述，目前在CE背景下，涉及因果关系、信息性和可解释性任何方面的AI应用受到限制。因此，仍然非常需要推进人工智能透明度技术的研究和实施，特别是在CE领域。本节将从因果关系、信息性和可解释性的角度讨论人工智能透明度的局限性和未来的研究方向。

因果关系作为人工智能透明度的一个独特的定义方面，在相当长的一段时间内引起了化学工程师的兴趣。这种合理性反过来又使得优化操作过程的可观察性成为可能，从而在过程可控性与经济效益之间取得平衡。因此，非常有必要扩展我们目前对人工智能过程因果关系的认识，以提高人工智能在CE中的应用可靠性。与内在原理探索和机制揭示相比，模型识别的事后分析自然更容易实现。因此，研究最多的应用是关于特征相关性可解释性的操作后SPC研究[9,23]。换句话说，为了促进智能制造向工业4.0的转变，必须启动实时解释，动态修改现场策略以满足安全和效率要求[93]。因此，人工智能应用中因果关系研究的未来在于超越我们当前技术的界限，基于实时提取的模型输出对系统输入的依赖关系，为任何通用CE应用中的AI决策过程提供动态和即时解释。

除了人工智能变革的因果关系外，CE对科学解释的需求也导致了人工智能应用中信息开发的蓬勃发展。然而，尽管它们直观地承诺提高人工智能的透明度，但许多提出的混合和物理信息建模方法目前只得到了部分探索，需要进行进一步的广泛研究。在强大的模拟算法和可访问的计算资源的帮助下，鼓励使用高度分层构建的混合模型，以实现高预测性能和全面理解。特别是，IIMSE通过其互通的多尺度理论模型和数据驱动的人工智能范例的结合，具有发挥主导作用的巨大前景，其在对CE研究的高度适应性和最大限度地发挥人工智能在解决CE中存在的瓶颈问题方面具有巨大潜力。IIMSE将微观见解与可测量的宏观行为联系起来的特点，为从微观材料设计到针对特定目标（如药物开发和氧载体探索）的优化系统操作，有效地预测CE操作提供了可能性。因此，进一步的努力应集中在开发全尺寸的IIMSE模型上，以涵盖从电子到工业规模的不同CE应用。此外，需要利用理论模型提供具有更多信息内容的数据集的混合模型来补偿系统在恶劣条件下的性能，因为出于安全原因，这些数据集通常难以获得。除了IIMSE，符号人工智能技术和数据驱动的人工智能算法的混合，如用于理论解释生成的可解释人工智能框架（XAI-MEG）[8]，为人工智能在理论见解和因果解释方面的不足提供了另一种解决方案，因此值得进一步关注。同样，人工神经网络和模糊系统的集成提供了多种处理解释能力的建模应用，如模糊神经网络（FNN）和神经模糊网络。事实上，自20世纪90年代以来，模糊神经网络和神经模糊网络已经引起了不同领域研究人员的关注。它们从模糊系统继承的固有强适应性赋予了其广泛的应用能力。因此，可以预期这些混合模型将做出更大的贡献[119]。

关于已开发人工智能系统的内在原理，人工智能可解释性领域相关研究的稀缺性表明了此类研究的特殊难度。因此，即使在现有的关于CE中实现的DNN可解释性的分析中，也不能忽视这样一个事实，即与众多AI相关的研究相比，对CE中AI内部机制的探索也极其有限。此外，到目前为止，对人工智能可解释性的关注大多只适用于DNN。因此，需要付出巨大的努力来阐明关键技术的运作机制以及许多其他广泛使用的方法，如循环连接、卷积滤波器、强化学习等[120‒122]。在未来的CE AI实施研究中，这种研究途径至关重要，有助于加深对多层AI算法操作过程中决策区域划分的理解，并为主要的深度学习应用的最终可解释性做出贡献。为了与这一观点保持一致，应该通过说明人工智能网络隐藏单元的效果来大力促进人工智能变革性应用的繁荣，以提高深度学习范式的性能，并指导其在其他CE过程中的广泛应用。在这些研究中，从简单结构到多层系统的逐步比较已被证明是有效的[51‒52]。然而，需要类似的工作来研究深度学习组合，这些组合并行地利用固有可解释的代理模型，如SVM或决策树，作为内部原理探索的额外途径。

人工智能在CE中的应用透明度研究是一个不断发展的领域，需求量很大，而且比以往任何时候都更加迫切。对相关研究的迫切需求需要付出巨大的努力来促进人工智能在CE中的实际应用。因此，为了实现将透明度完全纳入CE中的AI应用程序，仍有许多工作要做。

6 结论性意见

人工智能变革带来的巨大全球收入表明这一革命性技术带来的不可避免的变革。占主导地位的人工智能范式通过分层提取数据表示，能够改善对复杂CE过程的预测。然而，作为人工智能高预测性能的权衡，这些人工智能变革经历了更大的模型不透明性。这种不透明的算法随后可能会通过提供不合理的决策而导致伦理和监管问题。特别是在涉及健康、安全和巨大经济价值的CE等关键领域，人工智能应用的更高透明度将显著提升决策者对AI系统的信任度。因此，透明度是促进人工智能在CE中变革性应用所缺失的重要环节。

受到上述情景的启发，本文首次定义了CE中人工智能应用中透明度的重要概念，该概念根植于XAI，特别关注CE领域的特性和要求。这种透明度的概念在因果关系、可解释性和信息性方面得到了阐述，即预测与考虑的输入特征之间的相关性；决策过程阻碍的操作原理；以及所研究系统的理论见解。对这些方法及其在所有三个基本透明度因素方面的最新应用进行了讨论和比较，以强调可靠和负责任的人工智能应用的重要性，从而激发了相关研究。

特别是信息性最近已成为人工智能在CE应用中透明度探索的焦点。这种关注源于CE领域的固有特征、数据集中成本较高的信息模式，以及揭示系统认知底层机制的必要性。包括第一性原理理解和理论模型在内的先验知识以及数据驱动的人工智能方法的结合，为提高这些应用的信息性提供了一种解决方案。更具体地说，在物理信息和人工智能辅助的混合模型中的广泛研究突出了它们在为具有稀疏数据集的系统提供理论见解方面的有效性。

另一方面，因果关系引起了化学工程师的极大关注，他们的目标是优化系统行为的可观察性，同时平衡系统的可控性和经济效益。因此揭示出各种系统的影响因素，以促进过程强化、操作控制，甚至现场监控。因果关系探索的主要贡献主要在于SPC，应该通过实施强大的事后模型无关分析扩展到其他领域，如材料开发。

研究最具挑战性的一个方面是解释人工智能系统的内在原理的能力。尽管如此，人工智能可解释性仍然是提高人工智能在CE中应用可靠性的有效方法。对人工智能应用内部机制的考察对于加速CE中的人工智能变革以及为数据驱动算法的开发提供有价值的指导至关重要。

本文旨在提高化学工程师对在化学工程领域开发可靠的人工智能变革性应用的重要性的认识。因此，预计化学工程师将就可靠的人工智能应用达成共识，将其作为一种创新技术，以解决本领域的瓶颈挑战。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

Drai D. Why AI-driven analytics is essential for data-driven decision-making [Internet]. New York City: Forbes; 2021 Dec 27 [cited 2022 Apr 10]. Available from:

[2]

IDC forecasts companies to spend almost $ 342 billion on AI solutions in 2021 [Internet]. Needham: Businesswire; 2021 Aug 4 [cited 2024 Mar 26]. Available from:

[3]

Holzinger A, Langs G, Denk H, Zatloukal K, Müller H. Causability and explainability of artificial intelligence in medicine. Wiley Interdiscip Rev Data Min Knowl Discov 2019;9(4):e1312. . 10.1002/widm.1312
[4]

2024 AI business predictions [Internet]. London: PwC; [cited 2022 Apr 10]. Available from: 10.1002/9781118555910.app1
[5]

Linardatos P, Papastefanopoulos V, Kotsiantis S. Explainable AI: a review of machine learning interpretability methods. Entropy 2021;23(1):18. . 10.3390/e23010018
[6]

Reddy S, Allan S, Coghlan S, Cooper P. A governance model for the application of AI in health care. J Am Med Inform Assoc 2020;27(3):491‒7. . 10.1093/jamia/ocz192
[7]

Miró-Nicolau M, Moyà-Alcover G, Jaume-i-Capó A. Evaluating explainable artificial intelligence for X-ray image analysis. Appl Sci 2022;12(9):4459. . 10.3390/app12094459
[8]

Sivaram A, Venkatasubramanian V. XAI-MEG: combining symbolic AI and machine learning to generate first-principles models and causal explanations. AlChE J 2022;68(6):e17687. . 10.1002/aic.17687
[9]

Bhakte A, Pakkiriswamy V, Srinivasan R. An explainable artificial intelligence based approach for interpretation of fault classification results from deep neural networks. Chem Eng Sci 2022;250:117373. . 10.1016/j.ces.2021.117373
[10]

Schweidtmann AM, Esche E, Fischer A, Kloft M, Repke JU, Sager S, et al. Machine learning in chemical engineering: a perspective. Chemie Ingenieur Technik 2021;93(12):2029‒39. . 10.1002/cite.202100083
[11]

Chakraborty A, Sivaram A, Venkatasubramanian V. AI-DARWIN: a first principles-based model discovery engine using machine learning. Comput Chem Eng 2021;154:107470. . 10.1016/j.compchemeng.2021.107470
[12]

Shin D. The effects of explainability and causability on perception, trust, and acceptance: implications for explainable AI. Int J Hum Comput Stud 2021;146:102551. . 10.1016/j.ijhcs.2020.102551
[13]

Pirdashti M, Curteanu S, Kamangar MH, Hassim MH, Khatami MA. Artificial neural networks: applications in chemical engineering. Rev Chem Eng 2013;29(4):205‒39. . 10.1515/revce-2013-0013
[14]

Zendehboudi S, Rezaei N, Lohi A. Applications of hybrid models in chemical, petroleum, and energy systems: a systematic review. Appl Energy 2018;228:2539‒66. . 10.1016/j.apenergy.2018.06.051
[15]

Venkatasubramanian V. The promise of artificial intelligence in chemical engineering: is it here, finally? AIChE J 2019;65(2):466‒78. . 10.1002/aic.16489
[16]

LeCun Y, Bengio Y, Hinton G. Deep learning. Nature 2015;521(7553):436‒44. . 10.1038/nature14539
[17]

Wu H, Zhao J. Deep convolutional neural network model based chemical process fault diagnosis. Comput Chem Eng 2018;115:185‒97. . 10.1016/j.compchemeng.2018.04.009
[18]

Turing AM. Computing machinery and intelligence. In: Epstein R, Roberts G, Beber G, editors. Parsing the Turing test. Dordrecht: Springer; 2009. p. 23‒65. . 10.1007/978-1-4020-6710-5_3
[19]

Vaidyanathan R, Venkatasubramanian V. On the nature of fault space classification structure developed by neural networks. Eng Appl Artif Intell 1992;5(4):289‒97. . 10.1016/0952-1976(92)90037-k
[20]

Swartout WR, Moore JD. Explanation in second generation expert systems. In: David JM, Krivine JP, Simmons R, editors. Second generation expert systems. Berlin: Springer; 1993. p. 543‒85. . 10.1007/978-3-642-77927-5_24
[21]

Minh D, Wang HX, Li YF, Nguyen TN. Explainable artificial intelligence: a comprehensive review. Artif Intell Rev 2022;55(5):3503‒68. . 10.1007/s10462-021-10088-y
[22]

Gunning D, Vorm E, Wang JY, Turek M. DARPA’s explainable AI (XAI) program: a retrospective. Appl AI Lett 2021;2(4):e61. . 10.1002/ail2.61
[23]

Agarwal P, Tamer M, Budman H. Explainability: relevance based dynamic deep learning algorithm for fault detection and diagnosis in chemical processes. Comput Chem Eng 2021;154:107467. . 10.1016/j.compchemeng.2021.107467
[24]

Panigutti C, Perotti A, Pedreschi D. Doctor XAI: an ontology-based approach to black-box sequential data classification explanations. In: Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency; 2020 Jan 27‒30; Barcelona, Spain. New York City: Association for Computing Machinery; 2020. p. 629‒39. . 10.1145/3351095.3372855
[25]

Doshi-Velez F, Kim B. Towards a rigorous science of interpretable machine learning. 2017. arXiv:10.1007/978-3-319-98131-4_1
[26]

Miller T. Explanation in artificial intelligence: insights from the social sciences. Artif Intell 2019;267:1‒38. . 10.1016/j.artint.2018.07.007
[27]

Barredo Arrieta A, Díaz-Rodríguez N, Del Ser J, Bennetot A, Tabik S, Barbado A, et al. Explainable artificial intelligence (XAI): concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion 2020;58:82‒115. . 10.1016/j.inffus.2019.12.012
[28]

Venkatasubramanian V. Teaching artificial intelligence to chemical engineers: experience from a 35-year-old course. Chem Eng Educ 2022;56(4):231‒40. . 10.18260/2-1-370.660-130423
[29]

Maruyama Y. Symbolic and statistical theories of cognition: towards integrated artificial intelligence. In: Cleophas L, Massink M, editors. Software engineering and formal methods. Cham: Springer; 2021. p. 129‒46. . 10.1007/978-3-030-67220-1_11
[30]

Ji W, Qiu W, Shi Z, Pan S, Deng S. Stiff-PINN: physics-informed neural network for stiff chemical kinetics. J Phys Chem A 2021;125(36):8098‒106. . 10.1021/acs.jpca.1c05102
[31]

Yang Y, Perdikaris P. Adversarial uncertainty quantification in physicsinformed neural networks. J Comput Phys 2019;394:136‒52. . 10.1016/j.jcp.2019.05.027
[32]

Yuan Y, Dong X, Ricardez-Sandoval L. Insights into syngas combustion on a defective NiO surface for chemical looping combustion: oxygen migration and vacancy effects. J Phys Chem C 2020;124(52):28359‒70. . 10.1021/acs.jpcc.0c07144
[33]

Jung J, Gamwo IK. Multiphase CFD-based models for chemical looping combustion process: fuel reactor modeling. Powder Technol 2008;183(3):401‒9. . 10.1016/j.powtec.2008.01.019
[34]

Bach S, Binder A, Montavon G, Klauschen F, Müller KR, Samek W. On pixelwise explanations for non-linear classifier decisions by layer-wise relevance propagation. PLoS One 2015;10(7):e0130140. . 10.1371/journal.pone.0130140
[35]

Konig R, Johansson U, Niklasson L. G-REX: a versatile framework for evolutionary data mining. In: Bonchi F, Berendt B, Giannotti F, Gunopulos D, Turini F, Zaniolo C, et al., editors. Proceedings of 2008 IEEE International Conference on Data Mining Workshops; 2008 Dec 15‒19; Pisa, Italy. Piscataway: IEEE; 2008. p. 971‒4. . 10.1109/icdmw.2008.117
[36]

Lundberg SM, Lee SI. A unified approach to interpreting model predictions. In: von Luxburg U, Guyon I, Bengio S, Wallach H, Fergus R, editors. Proceedings of the 31st International Conference on Neural Information Processing Systems;
[37]

2017 Dec 4‒9; Long Beach, CA, USA. Red Hook: Curran Associates Inc.; 2017. p. 4768‒77.
[38]

Hale WT, Safikou E, Bollas GM. Inference of faults through symbolic regression of system data. Comput Chem Eng 2022;157:107619. . 10.1016/j.compchemeng.2021.107619
[39]

Agarwal P, Tamer M, Budman H. Assessing observability using supervised autoencoders with application to Tennessee Eastman process. IFACPapersOnLine 2020;53(2):206‒11. . 10.1016/j.ifacol.2020.12.122
[40]

Agarwal P, Tamer M, Sahraei MH, Budman H. Deep learning for classification of profit-based operating regions in industrial processes. Ind Eng Chem Res 2020;59(6):2378‒95. . 10.1021/acs.iecr.9b04737
[41]

Larsson T, Hestetun K, Hovland E, Skogestad S. Self-optimizing control of a large-scale plant: the Tennessee Eastman process. Ind Eng Chem Res 2001;40(22):4889‒901. . 10.1021/ie000586y
[42]

Downs JJ, Vogel EF. A plant-wide industrial process control problem. Comput Chem Eng 1993;17(3):245‒55. . 10.1016/0098-1354(93)80018-i
[43]

Duan C, Liu F, Nandy A, Kulik HJ. Putting density functional theory to the test in machine-learning-accelerated materials discovery. J Phys Chem Lett 2021; 12(19):4628‒37. . 10.1021/acs.jpclett.1c00631
[44]

He J, Wang L, Zhang C, Sun W, Yin Z, Zhang H, et al. A high throughput screening model of solidophilic flotation reagents for chalcopyrite based on quantum chemistry calculations and machine learning. Miner Eng 2022;177:107375. . 10.1016/j.mineng.2021.107375
[45]

Kim J, Gu GH, Noh J, Kim S, Gim S, Choi J, et al. Predicting potentially hazardous chemical reactions using an explainable neural network. Chem Sci 2021;12(33):11028‒37. . 10.1039/d1sc01049b
[46]

Kikutsuji T, Mori Y, Okazaki K, Mori T, Kim K, Matubayasi N. Explaining reaction coordinates of alanine dipeptide isomerization obtained from deep neural networks using explainable artificial intelligence (XAI). J Chem Phys 2022;156(15):154108. . 10.1063/5.0087310
[47]

Langlotz CP, Allen B, Erickson BJ, Kalpathy-Cramer J, Bigelow K, Cook TS, et al. A roadmap for foundational research on artificial intelligence in medical imaging: from the 2018 NIH/RSNA/ACR/The Academy Workshop. Radiology 2019;291(3):781‒91. . 10.1148/radiol.2019190613
[48]

Jiménez-Luna J, Grisoni F, Schneider G. Drug discovery with explainable artificial intelligence. Nat Mach Intell 2020;2(10):573‒84. . 10.1038/s42256-020-00236-4
[49]

Sallam IE, Abdelwareth A, Attia H, Aziz RK, Homsi MN, von Bergen M, et al. Effect of gut microbiota biotransformation on dietary tannins and human health implications. Microorganisms 2021;9(5):965. . 10.3390/microorganisms9050965
[50]

Ward IR, Wang L, Lu J, Bennamoun M, Dwivedi G, Sanfilippo FM. Explainable artificial intelligence for pharmacovigilance: what features are important when predicting adverse outcomes? Comput Methods Programs Biomed 2021;212:106415. . 10.1016/j.cmpb.2021.106415
[51]

Yang Z, Zhong W, Zhao L, Chen CYC. MGraphDTA: deep multiscale graph neural network for explainable drug-target binding affinity prediction. Chem Sci 2022;13(3):816‒33. . 10.1039/d1sc05180f
[52]

Das L, Sivaram A, Venkatasubramanian V. Hidden representations in deep neural networks: part 2. Regression problems. Comput Chem Eng 2020;139:106895. . 10.1016/j.compchemeng.2020.106895
[53]

Sivaram A, Das L, Venkatasubramanian V. Hidden representations in deep neural networks: part 1. Classification problems. Comput Chem Eng 2020;134:106669. . 10.1016/j.compchemeng.2019.106669
[54]

Zhuang F, Qi Z, Duan K, Xi D, Zhu Y, Zhu H, et al. A comprehensive survey on transfer learning. Proc IEEE 2021;109(1):43‒76. . 10.1109/jproc.2020.3004555
[55]

Lu J, Behbood V, Hao P, Zuo H, Xue S, Zhang G. Transfer learning using computational intelligence: a survey. Knowl Base Syst 2015;80:14‒23. . 10.1016/j.knosys.2015.01.010
[56]

Karniadakis GE, Kevrekidis IG, Lu L, Perdikaris P, Wang S, Yang L. Physicsinformed machine learning. Nat Rev Phys 2021;3(6):422‒40. . 10.1038/s42254-021-00314-5
[57]

Mao Z, Jagtap AD, Karniadakis GE. Physics-informed neural networks for high-speed flows. Comput Methods Appl Mech Eng 2020;360:112789. . 10.1016/j.cma.2019.112789
[58]

Wu JL, Xiao H, Paterson E. Physics-informed machine learning approach for augmenting turbulence models: a comprehensive framework. Phys Rev Fluids 2018;3(7):074602. . 10.1103/physrevfluids.3.074602
[59]

Gao H, Sun L, Wang JX. PhyGeoNet: physics-informed geometry-adaptive convolutional neural networks for solving parameterized steady-state PDEs on irregular domain. J Comput Phys 2021;428:110079. . 10.1016/j.jcp.2020.110079
[60]

Kashinath K, Mustafa M, Albert A, Wu JL, Jiang C, Esmaeilzadeh S, et al. Physics-informed machine learning: case studies for weather and climate modelling. Phil Trans R Soc A 2021;379(2194):20200093. . 10.1098/rsta.2020.0093
[61]

Maheshwari S, Shetty S, Ratnakar R, Sanyal S. Role of computational science in materials and systems design for sustainable energy applications: an industry perspective. J Indian Inst Sci 2022;102(1):11‒37. . 10.1007/s41745-021-00275-9
[62]

Kashefi A, Rempe D, Guibas LJ. A point-cloud deep learning framework for prediction of fluid flow fields on irregular geometries. Phys Fluids 2021;33(2):027104. . 10.1063/5.0033376
[63]

Lu L, Jin P, Pang G, Zhang Z, Karniadakis GE. Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators. Nat Mach Intell 2021;3(3):218‒29. . 10.1038/s42256-021-00302-5
[64]

LeCun Y, Bengio Y. Convolutional networks for images, speech, and time series. In: Arbib MA, editor. The handbook of brain theory and neural networks. Cambridge: MIT Press; 1995. p. 255‒8. . 10.7551/mitpress/3413.001.0001
[65]

Zhou J, Cui G, Hu S, Zhang Z, Yang C, Liu Z, et al. Graph neural networks: a review of methods and applications. AI Open 2020;1:57‒81. . 10.1016/j.aiopen.2021.01.001
[66]

Raissi M, Perdikaris P, Karniadakis GE. Numerical Gaussian processes for time-dependent and nonlinear partial differential equations. SIAM J Sci Comput 2018;40(1):A172‒98. . 10.1137/17m1120762
[67]

Erichson NB, Muehlebach M, Mahoney MW. Physics-informed autoencoders for Lyapunov-stable fluid flow prediction. 2019. arXiv:
[68]

Geneva N, Zabaras N. Transformers for modeling physical systems. Neural Netw 2022;146:272‒89. . 10.1016/j.neunet.2021.11.022
[69]

Pang G, Lu L, Karniadakis GE. fPINNs: fractional physics-informed neural networks. SIAM J Sci Comput 2019;41(4):A2603‒26. . 10.1137/18m1229845
[70]

Yang L, Zhang D, Karniadakis GE. Physics-informed generative adversarial networks for stochastic differential equations. SIAM J Sci Comput 2020;42(1): A292‒317. . 10.1137/18m1225409
[71]

Lu L, Meng X, Mao Z, Karniadakis GE. DeepXDE: a deep learning library for solving differential equations. SIAM Rev 2021;63(1):208‒28. . 10.1137/19m1274067
[72]

Wang Y, Han X, Guo D, Lu L, Chen Y, Ouyang M. Physics-informed recurrent neural networks with fractional-order constraints for the state estimation of lithium-ion batteries. Batteries 2022;8(10):148. . 10.3390/batteries8100148
[73]

Yuan L, Ni YQ, Deng XY, Hao S. A-PINN: auxiliary physics informed neural networks for forward and inverse problems of nonlinear integro-differential equations. J Comput Phys 2022;462:111260. . 10.1016/j.jcp.2022.111260
[74]

Raissi M, Perdikaris P, Karniadakis GE. Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. J Comput Phys 2019;378:686‒707. . 10.1016/j.jcp.2018.10.045
[75]

Raissi M, Perdikaris P, Karniadakis GE. Physics informed deep learning (part I): data-driven solutions of nonlinear partial differential equations. 2017. arXiv:10.1016/j.jcp.2017.01.060
[76]

Raissi M, Perdikaris P, Karniadakis GE. Physics informed deep learning (part II): data-driven discovery of nonlinear partial differential equations. 2017. arXiv:10.1016/j.jcp.2017.07.050
[77]

Cai S, Mao Z, Wang Z, Yin M, Karniadakis GE. Physics-informed neural networks (PINNs) for fluid mechanics: a review. Acta Mech Sin 2021;37:1727‒38. . 10.1007/s10409-021-01148-1
[78]

Cai S, Li H, Zheng F, Kong F, Dao M, Karniadakis GE, et al. Artificial intelligence velocimetry and microaneurysm-on-a-chip for three-dimensional analysis of blood flow in physiology and disease. Proc Natl Acad Sci USA 2021;118(13): e2100697118. . 10.1073/pnas.2100697118
[79]

Quintino AM, da Rocha DLLN, Fonseca Jr R, Rodriguez OMH. Flow pattern transition in pipes using data-driven and physics-informed machine learning. J Fluids Eng 2021;143(3):031401.
[80]

De Florio M, Schiassi E, Furfaro R. Physics-informed neural networks and functional interpolation for stiff chemical kinetics. Chaos 2022;32(6):063107. . 10.1063/5.0086649
[81]

Ngo SI, Lim YI. Solution and parameter identification of a fixed-bed reactor model for catalytic CO2 methanation using physics-informed neural networks. Catalysts 2021;11(11):1304. . 10.3390/catal11111304
[82]

Alhajeri MS, Abdullah F, Wu Z, Christofides PD. Physics-informed machine learning modeling for predictive control using noisy data. Chem Eng Res Des 2022;186:34‒49. . 10.1016/j.cherd.2022.07.035
[83]

Zeng X, Xue CD, Chen KJ, Li YJ, Qin KR. Deep-learning-assisted extraction of height-averaged velocity from scalar signal transport in a shallow microfluidic channel. Microfluid Nanofluidics 2022;26(5):36. . 10.1007/s10404-022-02542-2
[84]

Afzal MAF, Sonpal A, Haghighatlari M, Schultz AJ, Hachmann J. A deep neural network model for packing density predictions and its application in the study of 1.5 million organic molecules. Chem Sci 2019;10(36):8374‒83. . 10.1039/c9sc02677k
[85]

He Z, Ni F, Wang W, Zhang J. A physics-informed deep learning method for solving direct and inverse heat conduction problems of materials. Mater Today Commun 2021;28:102719. . 10.1016/j.mtcomm.2021.102719
[86]

Shih YT, Shi Y, Huang L. Predicting glass properties by using physics- and chemistry-informed machine learning models. J Non-Cryst Solids 2022;584:121511. . 10.1016/j.jnoncrysol.2022.121511
[87]

Song W, Du W, Fan C, Yang M, Qian F. Adaptive weighted hybrid modeling of hydrocracking process and its operational optimization. Ind Eng Chem Res 2021;60(9):3617‒32. . 10.1021/acs.iecr.0c05416
[88]

Rajulapati L, Chinta S, Shyamala B, Rengaswamy R. Integration of machine learning and first principles models. AIChE J 2022;68(6):e17715. . 10.1002/aic.17715
[89]

Arrieta-Escobar JA, Bernardo FP, Orjuela A, Camargo M, Morel L. Incorporation of heuristic knowledge in the optimal design of formulated products: application to a cosmetic emulsion. Comput Chem Eng 2019;122:265‒74. . 10.1016/j.compchemeng.2018.08.032
[90]

Schubert J, Simutis R, Dors M, Havlík I, Lübbert A. Hybrid modelling of yeast production processes—combination of a priori knowledge on different levels of sophistication. Chem Eng Technol 1994;17(1):10‒20. . 10.1002/ceat.270170103
[91]

Kosko B. Neural networks and fuzzy systems: a dynamical systems approach to machine intelligence. Upper Saddle River: Prentice-Hall, Inc.; 1992. . 10.1145/141408.774013
[92]

Yuan Y, Dong X, Ricardez-Sandoval L. A multi-scale model for syngas combustion on NiO oxygen carrier for chemical looping combustion: the role of nearest neighbors. Fuel Process Technol 2022;229:107172. . 10.1016/j.fuproc.2022.107172
[93]

Yuan Y, Dong X, Ricardez-Sandoval L. A multi-scale simulation of syngas combustion reactions by Ni-based oxygen carriers for chemical looping combustion. Appl Surf Sci 2020;531:147277. . 10.1016/j.apsusc.2020.147277
[94]

Sansana J, Joswiak MN, Castillo I, Wang Z, Rendall R, Chiang LH, et al. Recent trends on hybrid modeling for Industry 4.0. Comput Chem Eng 2021;151:107365. . 10.1016/j.compchemeng.2021.107365
[95]

Petch J, Di S, Nelson W. Opening the black box: the promise and limitations of explainable machine learning in cardiology. Can J Cardiol 2022;38(2):204‒13. . 10.1016/j.cjca.2021.09.004
[96]

Pouyanfar S, Sadiq S, Yan Y, Tian H, Tao Y, Reyes MP, et al. A survey on deep learning: algorithms, techniques, and applications. ACM Comput Surv 2019;51(5):92. . 10.1145/3234150
[97]

Von Stosch M, Oliveira R, Peres J, Feyo de Azevedo S. Hybrid semi-parametric modeling in process systems engineering: past, present and future. Comput Chem Eng 2014;60:86‒101. . 10.1016/j.compchemeng.2013.08.008
[98]

Von Stosch M, Davy S, Francois K, Galvanauskas V, Hamelink JM, Luebbert A, et al. Hybrid modeling for quality by design and PAT—benefits and challenges of applications in biopharmaceutical industry. Biotechnol J 2014;9(6):719‒26. . 10.1002/biot.201300385
[99]

Ulissi ZW, Medford AJ, Bligaard T, Nørskov JK. To address surface reaction network complexity using scaling relations machine learning and DFT calculations. Nat Commun 2017;8(1):14621. . 10.1038/ncomms14621
[100]

Peterson AA. Acceleration of saddle-point searches with machine learning. J Chem Phys 2016;145(7):074106. . 10.1063/1.4960708
[101]

Rochac JFR, Zhang N, Thompson L, Oladunni T. A data augmentation-assisted deep learning model for high dimensional and highly imbalanced hyperspectral imaging data. In: Proceedings of 2019 9th International Conference on Information Science and Technology; 2019 Aug 2‍‒‍5; Hulunbuir, China. Piscataway: IEEE; 2019. p. 362‒7. . 10.1109/icist.2019.8836913
[102]

Ponce H, de Campos Souza PV, Guimarães AJ, Gonzalez-Mora G. Stochastic parallel extreme artificial hydrocarbon networks: an implementation for fast and robust supervised machine learning in high-dimensional data. Eng Appl Artif Intell 2020;89:103427. . 10.1016/j.engappai.2019.103427
[103]

Sharma N, Liu Y. A hybrid science-guided machine learning approach for modeling chemical processes: a review. AIChE J 2022;68(5):e17609. . 10.1002/aic.17609
[104]

Fang H, Zhou J, Wang Z, Qiu Z, Sun Y, Lin Y, et al. Hybrid method integrating machine learning and particle swarm optimization for smart chemical process operations. Front Chem Sci Eng 2022;16(2):274‒87. . 10.1007/s11705-021-2043-0
[105]

Khoei AR, Keshavarz S, Biabanaki SOR. Optimal design of powder compaction processes via genetic algorithm technique. Finite Elem Anal Des 2010;46 (10):843‒61. . 10.1016/j.finel.2010.05.004
[106]

González-García R, Rico-Martínez R, Kevrekidis IG. Identification of distributed parameter systems: a neural net based approach. Comput Chem Eng 1998;22():S965‒8. . 10.1016/s0098-1354(98)00191-4
[107]

Yang Z, Lu B, Wang W. Coupling artificial neural network with EMMS drag for simulation of dense fluidized beds. Chem Eng Sci 2021;246:117003. . 10.1016/j.ces.2021.117003
[108]

Pan I, Mason LR, Matar OK. Data-centric engineering: integrating simulation, machine learning and statistics. Challenges and opportunities. Chem Eng Sci 2022;249:117271. . 10.1016/j.ces.2021.117271
[109]

Psichogios DC, Ungar LH. A hybrid neural network—first principles approach to process modeling. AIChE J 1992;38(10):1499‒511. . 10.1002/aic.690381003
[110]

Nielsen RF, Nazemzadeh N, Sillesen LW, Andersson MP, Gernaey KV, Mansouri SS. Hybrid machine learning assisted modelling framework for particle processes. Comput Chem Eng 2020;140:106916. . 10.1016/j.compchemeng.2020.106916
[111]

Schenker B, Agarwal M. Online-optimized feed switching in semi-batch reactors using semi-empirical dynamic models. Control Eng Pract 2000;8 (12):1393‒403. . 10.1016/s0967-0661(00)00077-0
[112]

Guan K, Gao Y, Zeng Q, Luan X, Zhang Y, Cheng L, et al. Numerical modeling of SiC by low-pressure chemical vapor deposition from methyltrichlorosilane. Chin J Chem Eng 2020;28(6):1733‒43. . 10.1016/j.cjche.2020.03.035
[113]

Lu X, Deng J, Xiao Y, Zhai X, Wang C, Yi X. Recent progress and perspective on thermal-kinetic, heat and mass transportation of coal spontaneous combustion hazard. Fuel 2022;308:121234. . 10.1016/j.fuel.2021.121234
[114]

Niu Z, Pinfield VJ, Wu B, Wang H, Jiao K, Leung DYC, et al. Towards the digitalisation of porous energy materials: evolution of digital approaches for microstructural design. Energy Environ Sci 2021;14(5): 2549‒76. . 10.1039/d1ee00398d
[115]

Nikolopoulos A, Samlis C, Zeneli M, Nikolopoulos N, Karellas S, Grammelis P. Introducing an artificial neural network energy minimization multi-scale drag scheme for fluidized particles. Chem Eng Sci 2021;229:116013. . 10.1016/j.ces.2020.116013
[116]

Chaffart D, Ricardez-Sandoval LA. Optimization and control of a thin film growth process: a hybrid first principles/artificial neural network based multiscale modelling approach. Comput Chem Eng 2018;119:465‒79. . 10.1016/j.compchemeng.2018.08.029
[117]

Vvedensky DD, Zangwill A, Luse CN, Wilby MR. Stochastic equations of motion for epitaxial growth. Phys Rev E 1993;48(2):852‒62. . 10.1103/physreve.48.852
[118]

Yuan Y, Zhu J. Intelligent intercommunicating multiscale engineering: the engineering of the future. Engineering 2023;30:13‒9. . 10.1016/j.eng.2023.03.021
[119]

You H, Yuan Y, Li J, Sandoval LR. A multi-scale model for CO2 capture: a nickel-based oxygen carrier in chemical-looping combustion. IFACPapersOnLine 2018;51(18):97‒102. . 10.1016/j.ifacol.2018.09.264
[120]

de Campos Souza PV. Fuzzy neural networks and neuro-fuzzy networks: a review the main techniques and applications used in the literature. Appl Soft Comput 2020;92:106275. . 10.1016/j.asoc.2020.106275
[121]

Sherstinsky A. Fundamentals of recurrent neural network (RNN) and long short-term memory (LSTM) network. Physica D 2020;404:132306. . 10.1016/j.physd.2019.132306
[122]

Wen L, Li X, Gao L, Zhang Y. A new convolutional neural network-based datadriven fault diagnosis method. IEEE Trans Ind Electron 2018;65(7): 5990‒8. . 10.1109/tie.2017.2774777
[123]

Perera ATD, Kamalaruban P. Applications of reinforcement learning in energy systems. Renew Sustain Energy Rev 2021;137:110618. . 10.1016/j.rser.2020.110618
AI Summary AI Mindmap
PDF (3084KB)

3997

访问

0

被引

详细
导航
相关文章

AI思维导图

/

〈 〉