一种面向实际化工动态过程高精度建模的可解释轻注意力-卷积-门控循环单元架构

工程（英文） ›› 2024, Vol. 39 ›› Issue (8) : 112 -125. DOI: 10.1016/j.eng.2024.07.009

研究论文

李越 ^a ,
李宁 ^b ,
任竞争 ^c ,
申威峰 ^a

作者信息 +

An Interpretable Light Attention-Convolution-Gate Recurrent Unit Architecture for the Highly Accurate Modeling of Actual Chemical Dynamic Processes

Yue Li ^a ,
Ning Li ^b ,
Jingzheng Ren ^c ,
Weifeng Shen ^a^,^* ,

Author information +

文章历史 +

Received	Accepted	Published
2022-12-15	2024-07-11
Issue Date
2024-11-11

PDF (2849K)

摘要

智能制造是化工产业升级的一个重要途径，而深度学习建模技术具备强大的拟合和预测能力，在产业升级中起着关键作用。本文开发了一种轻注意力-卷积-门控循环单元（light attention-convolution-gate recurrent unit, LACG）架构，用于构建具备良好可解释性的化工动态过程数据驱动模型。该架构由一个基本模块、一个全新的轻注意力模块以及一个残差模块组成，分别用于学习化工过程的基本动态特征、瞬时扰动和其他干扰因素。结合超参数优化框架Optuna，基于集散控制系统数据将提出的LACG架构用于实际工业脱乙烷过程建模。经验证，LACG模型在预测准确性及模型泛化能力方面均显著优于前馈神经网络、卷积神经网络、长短期记忆网络及注意力长短期记忆网络。另外，通过与Aspen Plus Dynamics V12.1建立的脱乙烷过程模型的模拟结果对比，LACG模型参数的可解释性得到了验证。相比注意力长短期记忆网络等传统可解释模型，LACG模型可提供更多变量关联的细节。这一工作扩展了可解释机器学习的领域知识，提供了一种可靠的实际化工过程高精度建模方法，为智能化工提供理论依据和应用基础，赋能化学工业的新质生产力。

Abstract

To equip data-driven dynamic chemical process models with strong interpretability, we develop a light attention-convolution-gate recurrent unit (LACG) architecture with three sub-modules-a basic module, a brand-new light attention module, and a residue module-that are specially designed to learn the general dynamic behavior, transient disturbances, and other input factors of chemical processes, respectively. Combined with a hyperparameter optimization framework, Optuna, the effectiveness of the proposed LACG is tested by distributed control system data-driven modeling experiments on the discharge flowrate of an actual deethanization process. The LACG model provides significant advantages in prediction accuracy and model generalization compared with other models, including the feedforward neural network, convolution neural network, long short-term memory (LSTM), and attention-LSTM. Moreover, compared with the simulation results of a deethanization model built using Aspen Plus Dynamics V12.1, the LACG parameters are demonstrated to be interpretable, and more details on the variable interactions can be observed from the model parameters in comparison with the traditional interpretable model attention-LSTM. This contribution enriches interpretable machine learning knowledge and provides a reliable method with high accuracy for actual chemical process modeling, paving a route to intelligent manufacturing.

关键词

可解释机器学习 / 轻注意力-卷积-门控循环单元架构 / 过程知识挖掘 / 数据驱动过程模型 / 智能制造

Key words

Interpretable machine learning / Light attention-convolution-gate recurrent / unit architecture / Process knowledge discovery / Data-driven process model / Intelligent manufacturing

引用本文

引用格式 ▾

李越,李宁,任竞争,申威峰. 一种面向实际化工动态过程高精度建模的可解释轻注意力-卷积-门控循环单元架构[J]. 工程（英文）, 2024, 39(8): 112-125 DOI:10.1016/j.eng.2024.07.009

登录浏览全文

4963

注册一个新账户忘记密码

1 引言

化工过程理论模型在过程监控、诊断、优化与设计中起着重要作用[1]，展现出强大的外推能力[2]。但是，实际化工过程的复杂性严重影响了理论模型的性能，对于复杂化工过程的实时模拟，理论模型通常很难得到较为准确的结果。针对理论模型的过程-模型失配问题（process-model mismatch, PMM）进行校正需要很多额外的工作[3‒4]，而数据驱动或机器学习技术则提供了一种更直接的建模策略。

机器学习起源于20世纪40年代的神经网络理论，并得益于21世纪10年代深度学习技术的发展[5‒6]，成为一种应用广泛的建模方法。当下，机器学习涵盖了一系列不同的技术，包括前馈神经网络（feedforward neural network, FNN）[7‒8]、卷积神经网络（convolution neural network，CNN）[9]、循环神经网络（recurrent neural network, RNN）[如长短期记忆网络（long short-term memory, LSTM）及门控循环单元（gated recurrent unit, GRU）] [10‒11]、图神经网络（graph neural network, GNN）及其相关变体[12‒13]等。上述机器学习技术在不同领域得到了广泛的利用，例如，Wu等[14]开发了一种软测量方法用于预测聚丙烯的熔融指数，其结合了数据融合和相关性分析的扩张CNN，在与若干种机器学习技术的对比中展现出最优的预测准确性和泛化能力。Sun等[15]利用电厂集散控制系统（distributed control system, DCS）的数据对蒸汽轮机的功率进行实时预测，在对七种经典的数据驱动模型进行全面对比时，发现RNN模型在平衡准确性与效率上表现最佳。Byun等[16]采用基于机器学习的预测模型对一种甲醇蒸汽重整创新系统的技术、环境、经济可行性进行了全面研究。上述研究证实了机器学习是一种适用于实际化工过程的建模方法。另外，机器学习一个最被诟病的缺点是缺乏可解释性。可解释性的缺乏使这些数据驱动方法在新工况下变得不够可靠，在实践中信服力不足[17]。因此，机器学习的相关研究越来越关注其可解释性，并尝试利用各种方法来解释神经网络这一“黑箱”。根据文献调研，化工过程建模相关的可解释机器学习方法可归为以下四类：混合模型；通过可解释参数诠释变量关系的模型/方法；具备可解释结构的模型；基于机器学习的知识发现。

1.1 混合模型

混合模型，或称为“灰箱”模型，是一种将过程机理与数据驱动技术结合到一个建模框架中的方法[18]。其机理部分作为整个模型的可解释性基础，阐述了相关的底层原理；而机器学习部分则负责拟合无法被现有原理解释的变量关系。通常来说，混合模型可能的结构有并联、串联及混联三种[19‒20]。为了改善复杂系统模型的PMM问题，提高其预测准确性，Chen等[4]提出了一种构建混合模型的框架，并在一个反应器仿真模型和两个制药单元操作案例上进行了测试。Valencia Peroni等[21]展示了一个由现象模型和神经网络构成的可适应混合模型，用于一个葡萄糖水合物冷却结晶器的生产行为预测。Wang等[22]开发了一种整合有限冲激响应和CNN的软测量模型，相比基线模型，其在化工仿真案例和工业案例上的预测准确性最为优异。另外，物理信息循环神经网络（physics-informed RNN, PIRNN）作为一种有效的结构，开始受到研究人员的关注[23‒24]。Wu等[24]针对间歇结晶过程开发了一种PIRNN建模框架及相应的预测控制方案。在开环与闭环仿真上，PIRNN仅使用较少的训练数据即可获得与纯数据驱动模型相当的预测准确性和闭环性能。总的来说，混合模型综合了机理模型和数据驱动模型的优点，是一种很有潜力的化工过程建模方法。

1.2 通过可解释参数诠释变量关系的模型/方法

这类方法着重于解析输入、输出变量的关系，如部分依赖图（partial dependence plot, PDP）[25]和模型无关的局部解释（local interpretable model-agnostic explanations, LIME）[26]，在模型的输出结果反常时能帮助追溯背后的参数。此外，采用具备特定结构的神经网络，如注意力LSTM（attention-LSTM），可以通过学习将变量关系内化到模型参数之中。Mu等[27]将LSTM与注意力机制融合，用于检测复杂化工过程数据的局部时间信息。该方法增强了隐藏状态特征的可解释性，从而可以观察到每个时间实例对决策函数的贡献。Xu等[28]提出了一种联合LSTM和时空注意力机制的结构，其在田纳西-伊斯曼过程（Tennessee-Eastman process, TE process）和分馏塔数据集的动态建模上表现良好，并能够通过模型的时空注意力图揭示不同输入特征的重要性。

1.3 具备可解释结构的模型

这一类别包括两种机器学习技术。一种是经典的描述性机器学习方法，如决策树（decision tree, DT）[29]和数据逻辑分析（logical analysis of data, LAD）[30]。这类方法的结果本身是可解释的，能够被总结成相应的领域知识。Ragab等[31]提出了一种结合领域知识与LAD知识提取的方法，能够自动扩充及更新工业过程现有的故障树，实现故障事件检测中可解释规则的挖掘。另一类方法是直接根据领域知识来构建模型架构，相关的研究较少。Naito等[17]设计了一种二阶自编码器作为流体处理系统的异常检测方法：基于工厂信号可以被分解为长周期与短周期成分的前提，将两个用于学习不同信号成分的自编码器结合起来。得益于这种可解释结构，该方法在两个水处理数据集的建模上表现出优异的性能。Wu等[32]提出了部分连接RNN及权重限制RNN等基于物理的RNN建模方法，其考虑了流程结构的先验知识，在化工过程的模型预测控制案例上表现出比全连接RNN更好的性能。

1.4 基于机器学习的知识发现

基于机器学习的知识发现可以从数据中直接得到目标系统的数学表达式，总结出底层原理并建立相关模型[33]。Narayanan等[34]展示了一种使用有序的领域相关函数知识和符号回归的函数混合模型，用于开发不同系统的化学反应动力学原理模型。结果显示，函数混合模型能够准确地捕获到真实趋势，其学习到的常微分方程与真实方程很接近。Subramanian等[35]在一个精馏塔的动态特性控制方程辨识上测试了两种白箱机器学习方法——SINDy和SymReg，并建议在挖掘复杂系统的动态规律时，可以同时使用不同的机器学习方法，互为补充。

基于上述文献综述，可以总结出目前研究的一些不足之处：

（1）混合模型（1.1节）[4,18,21‒22]的可解释性主要源于其机理部分。

（2）基于机器学习的知识发现方法（1.4节）[33‒35]依赖于预设的基本规律或知识，在面对复杂化工过程时，可能会发生欠拟合。具备可解释参数（1.2节）[27‒28]或可解释结构（1.3节）[17]的模型，在探索机器学习本身的可解释性上更有潜力。

（3）但是，具备可解释参数的模型方法（1.2节）[27‒28]的参数表达能力受限于模型结构，简单的输入、输出权重无法满足对实际化工过程的深入理解。

（4）具备可解释结构（1.3节）[17]的模型有更坚实的理论基础，但是其可解释性无法以模型参数等形式直观地体现出来。

为了赋予化工过程数据驱动模型更多的可解释性，本文开发了一种可解释的轻注意力-卷积-门控循环单元（light attention-convolution-gate recurrent unit, LACG）架构。这一新架构结合了具备可解释参数[27‒28]和可解释结构[17]模型的优点。它包含了三个专门设计的子模块，即基本模块、轻注意力模块和残差模块，分别用于学习化工过程系统的基本动态行为、瞬时扰动及其他干扰因素。在实现对动态化工过程精准建模的同时，化工过程的动态特征可以被LACG的模型参数所学习，提供过程变量随时间变化的关联作用细节，加深对实际化工过程的认识。

本文针对一个实际的脱乙烷过程，以其塔底流量为预测目标，基于预处理后的DCS数据展开建模实验。与五种经典的神经网络（即FNN、CNN、二维CNN（CNN-2D）、LSTM和attention-LSTM）相比，所提出的LACG展现出优异的仿真性能。此外，为了验证LACG模型的可解释性，利用Aspen Plus Dynamics V12.1建立了脱乙烷过程的理论模型，将其仿真结果与LACG模型参数所学到的过程动态规律进行对比。提出的LACG架构拓展了可解释机器学习的现有领域知识，有望成为实际化工过程建模与分析的一种有效方法，促进实时优化、故障检测及诊断等先进过程技术的发展，为智能化工提供理论依据和应用基础，赋能化学工业的新质生产力。

2 基础的神经网络层

由于所有复杂的神经网络都由一些基本的网络层组成，在引入特定的神经网络之前，有必要先做一些简短的介绍。附录A中的图S1展示了三种应用最为广泛的网络层，即全连接（dense）层、卷积（convolution）层及循环（recurrent）层。相关的公式如式（1）至式（3）所示[9,36‒37]。

D e n s e l a y e r : Y = A F W d · X + b

（1）

C o n v o l u t i o n l a y e r : Y = A F W c * X + b

（2）

R e c u r r e n t l a y e r : Y = A F W r · X + W s · X s t a t e + b

（3）

式中， X 、 Y 和 X _state分别是输入、输出及状态输入；下标d、c、r和s分别指密集层、卷积层、循环输入层和循环状态层；下标不同的W代表相应的网络权值；b代表可能的偏置。

*

表示卷积操作，而

A F ·

则表示可能的激活函数，如sigmoid、tanh和修正线性单元（rectified linear unit, ReLU）[9,36]。Dense层是组成广泛应用的FNN的基本模块，其简单易用，而且通常效果良好。但是其参数较多，需要花费更多的储存及训练成本，而且在图像和时间序列数据上的表现往往不如convolution层和recurrent层。图像处理中常使用基于二维卷积核的convolution层。对于时间序列的处理，通常认为recurrent层的能力更强，但是其在训练过程中可能会出现梯度消失/梯度爆炸，造成训练问题[38]。为了解决这一问题，Hochreiter等[39]及Gers等[40]通过引入记忆单元开发了LSTM，而Cho等[41]则通过引入门控单元开发了GRU。这两类网络均取得了巨大的成功并被广泛应用[42]。它们都是在图S1（c）所示的recurrent层的基础上，使用了更复杂的循环单元，如附录A中的图S2及式（4）至式（13）所示[37,40‒41]：

L S T M : f t = σ W f · h t - 1, X t + b f

（4）

i t = σ W i · h t - 1, X t + b i

（5）

o t = σ W o · h t - 1, X t + b o

（6）

C ˜ t = t a n h W C · h t - 1, X t + b C

（7）

C t = f t × C t - 1 + i t × C ˜ t

（8）

h t = o t × t a n h C t

（9）

G R U : r t = σ W r · h t - 1, X t + b r

（10）

z t = σ W z · h t - 1, X t + b z

（11）

h ˜ t = t a n h W h · r t × h t - 1, X t + b h

（12）

h t = 1 - z t × h t - 1 + z t × h ˜ t

（13）

式中，下标t ‒ 1和t分别表示上一步和当前的循环时间步数； h 为隐藏状态； f 、 i 和 o 分别是LSTM遗忘门、输入门和输出门的输出值；

C ˜

和 C 分别代表LSTM的候选及最终单元状态； r 和 z 分别是GRU重置门和更新门的输出值；

h ˜

为GRU的候选隐藏状态；

σ ·

和

t a n h ·

分别是sigmoid和tanh激活函数。通常将隐藏状态 h 和单元状态 C 初始化为0。

对于长序列而言，可能仅有某几个位置的信息是较为关键的，但是RNN对所有位置上的输入特征均无差别对待，这可能会导致其在长序列上的训练效率及建模性能下降[43]。因此，研究人员开发了注意力机制，使神经网络只关注输入中最关键的信息，如Bahdanau注意力[44]和Luong注意力[45]。一种广泛应用的Luong自注意力结构如附录A中的图S3及式（14）至式（17）所示[44]：

K = X · W d

（14）

P = K · X s

（15）

A = S o f t m a x P = e P i ∑ i e P i

（16）

Y = X × A, X s

（17）

式中， X _s和W _d分别代表输入的最后一步和密集层的权重； A 是注意力向量； K 和 P 为计算中间张量；下标i表示元素索引。可以看到，图S3中注意力模块的最后一步是利用softmax函数将输入中的元素归一化成总和为1的权重值，得到一个注意力向量。该向量随不同的输入而变化，其权值反映了输入中各个位置的特征对输出的影响。因此，这种注意力机制能赋予神经网络一定程度的可解释性。

为了方便地表示复杂的神经网络，本文提出附录A中的图S4所示的神经网络块。结合必要的参数规定，一个块可以代表神经网络架构中一个特定的层。同时，将块的输出结果的维度标记在其下方。以期望的方式将不同的块进行连接，即可方便地表示多层的复杂神经网络。特别地，convolution层的参数“Pad”决定了其输出尺寸。当“Pad”为“same”时，输出与输入具有相同的尺寸；当“Pad”为“valid”时，对于一维convolution层，输出尺寸可通过式（18）进行计算[9]：

L n = L m - L f + 1

（18）

式中，L _m和L _n分别为输入和输出长度，L _f代表核的尺寸。另外，recurrent层的“Seq”参数指示该层是否返回相应的序列结果。如果其为“Yes”，将记录recurrent层每个时间步下的单元输出；如果其为“No”，则只输出最后一个时间步的结果。

本文所使用的其他神经网络设定如下：① DCS输入的数据维度为[B, S, F]，其中，B、S和F分别为样本批次数、时间步及输入特征数量；② convolution层仅使用一个核，移动步长为1。

3 方法论

本节将详述提出的LACG架构，以及五种用于建模效果对比的基线神经网络。同时，对用于网络优化的超参数优化框架Optuna进行介绍。

3.1 用于化工过程动态建模的LACG架构

为了构建一个与化工过程原理兼容的网络架构，有必要阐明影响过程变量变化趋势的因素。本文将过程输出变量变化的驱动力划分为三个部分：过程本身的基本动态行为、输入的瞬时扰动及其他输入干扰因素。从而，可以利用三个部分来学习不同的驱动力，构建可解释机器学习模型。同时，为了保证良好的建模效果与可解释性，网络的每一个部分需要采用符合相应影响因素特性的基础神经网络层来构建。基于此，本文开发了包含三个专门设计的子模块的LACG架构，如图1所示。

LACG的三个子模块（基本模块、轻注意力模块和残差模块）分别用于化工过程的基本动态行为、输入瞬时扰动和其他输入干扰因素的学习。其中，基本动态行为揭示了最关键的过程机理，能够被LACG参数学习。LACG的具体结构组织和每个子模块的细节如图2所示。

3.1.1 基本模块

基本动态特征是化工过程运行的基本规律，在正常工况下一般不会有很大的变化。小参数的简单神经网络层通常能够防止过拟合，有着较好的泛化性能，因而很适合用于这种一般规律的学习。在LACG中，采用了两个卷积层作为基本模块。在第一个层中，尺寸为[B, S, F]的输入与尺寸为[S, F]的核进行卷积。在训练过程中，卷积核逐步更新，最后可将其视为一个输入与输出间的转化函数。核的权值揭示了一个时间窗口内的输入对输出的影响，或在瞬时输入下输出的响应变化。通过这种方式可以学习到化工过程的基本动态行为。卷积核的维度S决定了习得规律的时间窗口长度，而维度F中每一列均对应着一个输入特征的影响。另外，第二个卷积层作为一个正则化层。基本模块使LACG具备了一定的可解释性，其数学结构如式（19）、式（20）所示：

Y I, 1 = C o n v X | W c, I, 1 P a d = s a m e

（19）

Y I, 2 = C o n v Y I, 1 | W c, I, 2 P a d = v a l i d

（20）

式中，

C o n v ·

代表卷积层，等同于式（2）。罗马数字下标

I ∈ I, I I, I I I

指示该变量从属于哪个子模块，阿拉伯数字下标为变量序号。例如，

Y I, 1

表示模块I（基本模块）的第一个输出。“Pad”等网络层下标表明网络层的具体设置，与图S4中的含义一致。

3.1.2 轻注意力模块

这一新的模块用于学习过程变量的瞬时扰动。这些扰动随输入频繁地变化，但仍依附于过程的基本动态行为，对输出造成一定程度的影响。基本模块的卷积核是固定的，无法描述这种瞬时扰动，降低了模型的准确性。如第2节所述，注意力机制是一种能够调节模型在不同输入下的响应的好方法。但是，经过归一化的注意力向量的转化（图S3），其输出往往与模块输入差别很大，会增加过拟合的风险。因此，为了平衡模型在不同输入下的准确性和泛化能力，本文提出了一种新的注意力机制，其能够限制输出的注意力向量的量级大小，因而称为“轻注意力”模块。

轻注意力模块如图3所示。输入的张量先经过若干个recurrent层和dense层的转化，然后被tanh函数所激活，缩放至‒1~1的范围。将激活结果LP乘以一个轻注意力系数

α

，再加上1，可以得到一个权值均位于1‒

α

和1+

α

之间的轻注意力向量，用于平衡准确性和泛化能力。最终，将轻注意力向量与基本模块中的原始卷积核进行点乘，得到一个整合的卷积核，用于计算模块结果。

通过改变轻注意力系数

α

，可将注意力向量的权值限制在预设的范围之内。其中的recurrent层可以为LSTM或GRU层，在本文中采用了GRU层。另外，为了减少对可解释性的影响，轻注意力模块仅与基本模块中的第二个卷积层进行耦合。由此可以推导出轻注意力模块的公式：

Y I I, i L V = Y I, 1, i = 0 G R U Y I I, i - 1 | W g, I I, i, b g, I I, i S e q = Y e s, i = 1 – N g, I I

（21）

Y I I, N g, I I + j L K = D e n s e Y I I, N g, I I + j - 1 | W d, I I, j, b d, I I, j A F = R e L U, j = 1 – N d, I I

（22）

Y I I, N g, I I + N d, I I + 1 L A = 1 + α × D e n s e Y I I, N g, I I + N d, I I | W d, I I, N d, I I + 1, b d, I I, N d, I I + 1 A F = t a n h

（23）

Y I, 2' = C o n v Y I, 1 | W c, I, 2 × L A P a d = v a l i d

（24）

式中，

G R U ·

代表GRU层，等同于式（10）至式（13），而

D e n s e ·

则代表dense层，等同于式（1）。N是网络层的数量；下标d、c、g分别表示dense、convolution和GRU层。特别地，GRU中三个门的权值W_r 、W_z 、W_h 在这里用一个W _g统一表示，b _g同理。下标i和j表示元素索引。LV和LK是计算中间张量，LA是轻注意力向量，

α

为轻注意力系数，在本文中根据训练经验设为0.2。

Y I, 2'

是运用了轻注意力向量后基本模块的更新输出。其他符号的含义与式（19）、式（20）相同。

3.1.3 残差模块

在上述驱动力之外，还可能存在着一些影响过程输出的其他干扰因素，使模型输出偏离真实DCS数据。为了减小这部分干扰，提高模型性能，架构中增设了一个残差模块。其包括一个convolution层及若干个GRU层：前者用于压缩输入的张量尺寸，减少模块参数量，有助于提高训练的效率及稳定性；后者用于提取时间序列中的关键信息，拟合模型输出与真实数据间的残差。据此，可以得到残差模块的数学表达式：

Y I I I, 1 = C o n v X, Y I, 1 | W c, I I I, 1 P a d = v a l i d

（25）

Y I I I, k + 1 = G R U Y I I I, k | W g, I I I, k, b g, I I I, k S e q = Y e s, k = 1 – N g, I I I

（26）

Y I I I, N g, I I I + 2 = G R U Y I I I, N g, I I I + 1 | W g, I I I, N g, I I I + 1, b g, I I I, N g, I I I + 1 S e q = N o

（27）

Y f i n a l = Y I, 2' + Y I I I, N g, I I I + 2

（28）

式中， Y _final是LACG的最终输出，由基本模块和残差模块的结果加和所得。下标k表示元素索引。其他符号的意义与式（19）至式（24）一致。

LACG的三个子模块通过图2所示的方式进行耦合，并在训练过程中采用序贯的方式逐步更新参数。其中，基本模块的第二个卷积层需要进行两次训练，即与基本模块、轻注意力模块各训练一次。得益于专门设计的模块、耦合方法及训练策略，LACG能够实现高准确性和可解释的数据驱动建模。

3.2 建模实验中用于对比的基线神经网络

本文选取五种经典且广泛应用的机器学习方法作为基线模型：FNN、CNN、CNN-2D、LSTM和attention-LSTM，均可由第2节所介绍的基础网络层/模块进行构建。网络具体结构如下：①一个带有维度压缩模块的FNN （附录A中的图S5）。②参考了LeNet [46]和AlexNet [47]的两种经典CNN（一维及二维），由若干组堆叠的卷积层、池化层和dense层组成（附录A中的图S6）。池化层使用最大池化或平均池化来降低输出尺寸[9]。③一个堆叠若干LSTM层及dense层的LSTM网络（附录A中的图S7）。④使用自注意力机制的attention-LSTM（附录A中的图S8）。相关的数学表达式见式（29）至式（42）：

F N N : Y i = X, i = 0 D e n s e Y i - 1 | W d, i, b d, i A F = R e L U, i = 1 – N d

（29）

Y N d + 1 = D e n s e Y N d | W d, N d + 1, b d, N d + 1 A F = R e L U

（30）

Y f i n a l = D e n s e Y N d + 1 :, :, 1 | W d, N d + 2, b d, N d + 2

（31）

C N N : Y i = X, i = 0 C N N Y i - 1 | W c, i A F = R e L U, P a d = s a m e, i = 1,3, 5, …, 2 N c - 1 P o o l Y i - 1, i = 2,4, 6, …, 2 N c

（32）

Y 2 N c + k + 1 = F l a t Y 2 N c + k, k = 0 D e n s e Y 2 N c + k | W d, k, b d, k A F = R e L U, k = 1 – N d

（33）

Y f i n a l = D e n s e Y 2 N c + N d + 1 | W d, N d + 1, b d, N d + 1

（34）

L S T M : Y i = X, i = 0 L S T M Y i - 1 | W l, i, b l, i S e q = Y e s, i = 1 – N l

（35）

Y N l + 1 = L S T M Y N l | W l, N l + 1, b l, N l + 1 S e q = N o

（36）

Y N l + 1 + j = D e n s e Y N l + j | W d, j, b d, j A F = R e L U, j = 1 – N d

（37）

Y f i n a l = D e n s e Y N l + N d + 1 | W d, N d + 1, b d, N d + 1

（38）

A t t e n t i o n - L S T M : Y i = X, i = 0 L S T M Y i - 1 | W l, i, b l, i S e q = Y e s, i = 1 – N l

（39）

Y N l + 1 = S A Y N l | W d, 1

（40）

Y N l + 2 = D e n s e Y N l + 1 | W d, 2 A F = t a n h

（41）

Y f i n a l = D e n s e Y N l + 2 | W d, 3, b d, 3

（42）

式中，

P o o l ·

和

F l a t ·

分别表示池化及展平操作[9]，

S A ·

表示自注意力层，等价于式（14）至式（17）。下标l代表LSTM层。操作符[:, :, 1]代表维度压缩操作。式（29）至式（42）中其他符号的意义与式（19）至式（28）相同。

3.3 神经网络的超参数优化

神经网络的超参数是指在梯度下降过程中无法被训练的参数，需要在网络训练之前进行预设，如网络层数、神经元数、学习率、训练轮次（epoch）等。为了进行准确的对比，需要对上述包含LACG在内的六种数据驱动模型的超参数进行优化。Pravin等[48]对四种不同的超参数调整/优化策略进行全面研究，发现超参优化框架Optuna [49]的效果要优于传统的人工调参、网格搜索和随机搜索方法。鉴于此，本文使用Optuna来进行超参数优化。具体地，在Optuna中使用了基于树结构Parzen估计器[50]的方法。为了防止过拟合，实现更好的模型泛化性能，将验证集上决定系数（R ²）的平均值设为优化目标，如式（43）所示。其中，NEP是训练轮次。

A v e r a g e o f R 2 = m a x 1 N E P ∑ i = 1 N E P R i 2

（43）

待优化的模型超参数列于表1；参数的优化范围根据训练经验确定，列于表2。注意在每一个模型中，网络尺寸U的数量总是等于相应的网络层数N。例如，当CNN的N _c和N _d分别是1和2时，将会有1个U _c和2个U _d。特别地，为了压缩网络尺寸，将LACG模块III中U'' _c的范围设置为10~45。

在每一次模型优化中，均进行100次试验来搜寻最优的超参数组合。图4的流程图和附录A中图S9的伪代码展示了LACG的优化过程。对于所有的网络，权重W通过Xavier一致初始化器[51]初始化，偏置b则初始化为0。

4 案例研究——一个实际脱乙烷过程的产品流量建模

为了测试包含LACG在内的不同数据驱动模型的建模效果，选择中国陕西榆林的一个实际脱乙烷过程作为研究案例，如图5所示。该过程利用脱乙烷塔将C₂H₆和C₂H₄从C₃H₈和C₃H₆中分离出来，塔顶将得到较轻的C2物流，塔底得到较重的C3物流。为了保证产品质量，使用了涉及温度、压力和液位的多个动态控制策略。

案例研究选择脱乙烷塔的塔底流量作为目标输出变量，而表3中的21个过程变量作为输入变量。从DCS中收集2020年9月25日至10月26日期间的变量数据，数据频率为1 min，并使用Savitzky-Golag滤波法[52]，即五点三次平滑算法进行数据降噪。接着，将DCS数据标准化，并按照时间顺序划分为训练集、验证集和测试集，其分别具有36 142组、4518组和4518组DCS数据。

本文使用1500的数据批次大小，每一个样本的时间步长度设为60。因此，模型输入的尺寸为[1500, 60, 21]。分别使用平均绝对偏差（mean absolute error, MAE）和R ²作为损失函数及评价指标，如式（44）和式（45）所示[53]。式中，n是样本数量，y、

y^

和

y ¯

分别为真实输出、预测输出以及真实输出的平均值。

M A E = 1 n ∑ i = 1 n y^i - y i

（44）

R 2 = 1 - ∑ i = 1 n y^i - y i 2 ∑ i = 1 n y ¯ - y i 2

（45）

5 结果与讨论

本节展示了上述六种数据驱动模型在塔底流量建模上的训练及预测结果，同时，提取LACG的模型参数以验证其可解释性。

5.1 建模损失及决定系数

利用Python 3.7建立了用于塔底流量预测的深度学习模型，并使用Optuna进行优化[49]。不同模型的优化结果见表4。

各个最优模型的MAE及R ²变化绘于附录A的图S10中。注意到每一个模型仅在训练完成后进行一次测试，因而只有一个测试MAE和一个测试R ²，在图中用绿线表示。由图S10可知，FNN、LSTM及attention-LSTM模型在测试集上的MAE和R ²与训练集、验证集上的值相差较大，说明这些模型发生了过拟合。相比之下，CNN、CNN-2D和LACG模型的表现较为稳定和优异。为了进行更直观的比较，将各个模型的验证MAE和R ²绘于附录A的图S11中。图中采用对数横坐标，并将最终的测试MAE和R ²在右侧纵轴上用三角符号进行标识，三角符号与对应的验证结果曲线颜色相同。

另外，表5列出了所有流量模型的相关MAE和R ²，并在最后一列给出了基于测试MAE的效果排名。可以看到，提出的LACG模型优于其他模型，其MAE最小，为0.1370，R ²最大，为0.9697。

图6展示了一部分塔底流量数据的预测情况。为了更清晰的对比，将相关的流量曲线绘制在两张子图中。由图可知相比基线模型，LACG的预测塔底流量与实际的DCS数据吻合程度更高。

为了更好地评价提出的LACG的建模效果，将其测试结果进行反标准化，可以得到其真实的MAE为722.29 kg∙h^-1。塔底流量的平均值为5.13×10⁴ kg∙h^-1，因而其平均相对误差（mean relative error, MRE）为1.41%。LACG架构优异的准确性和泛化能力使其有望成为实际化工过程建模中的一种实用、可靠的方法。

另一方面，为了探索提出的LACG在高通量预测及优化中的潜力，统计构建不同模型的计算成本并列于表6中。注意到模型的训练过程与超参数优化是耦合在一起的，因此仅有一个总的优化/训练耗时。根据表6，提出的LACG的优化/训练耗时是最大的，这要归因于专门设计的三步超参数优化策略。尽管如此，LACG的预测耗时与传统神经网络较为接近。相比CNN-2D和attention-LSTM，LACG在进行预测时仅慢了0.02 s。对于单一的样本而言，这个新架构仅需0.0261 ms即可完成计算，这意味着提出的LACG能够胜任高通量预测。

5.2 LACG模型网络参数中的可解释性

如前所述，LACG第一卷积层的核可以反映塔底流量在不同输入特征下的响应。为了验证其可解释性，利用Aspen Plus Dynamics V12.1建立图7所示的脱乙烷过程动态模型，并通过仿真得到塔底流量理论上的响应变化，与卷积核进行对比。

每一次动态仿真中均选择一个过程变量，在初始阶段为其添加一个一时间步（1 min）的正向扰动，并记录下塔底流量的响应。此处选择了四个重要的过程变量作为扰动源：进料流量、进料温度、蒸汽流量和回流流量。变量扰动的幅度根据DCS数据的平均波动幅度确定：进料流量为4%，进料温度和蒸汽流量为3%，回流流量为0.8%。

将得到的塔底流量响应曲线与相应的LACG卷积核曲线一起绘于图8中。图左边是理论的响应曲线；右边是从LACG模型中提取的核曲线（蓝色），同时为了方便观察，还展示了其降噪滤波后的平滑曲线（红色）。降噪采用了移动平均滤波法，移动窗口的长度为3。

可以看到，从LACG中提取的卷积核曲线与由Aspen Plus Dynamics V12.1仿真得到的理论响应较为相似，尤其是进料流量、蒸汽流量和回流流量。由于脱乙烷过程的动态模型是根据其基础设计工况建立的，与实际工况相比会存在不可避免的偏差。而与Aspen Plus Dynamics的仿真结果相比，从实际DCS数据中学到的卷积核曲线应该更接近于真实的变量关联关系。附录A中的图S12展示了不同塔板温度的卷积核曲线，其相似的趋势基本排除了结果的不确定性，证明提出的LACG的过程知识发现能力是可靠的。

LACG模型全部21个输入变量的卷积核概览以热图的形式绘于图9中，一些对塔底流量有显著影响的过程变量标注在图的右侧。可以看到，这些变量与化工过程知识高度一致，如进料流量和塔底液位。21个输入变量详细的卷积核曲线可见附录A中的图S13。总体上，提出的LACG架构成功地学习到了隐含在DCS数据中的过程基本动态行为。这一可解释性有助于加深对实际化工过程的了解，也保证了模型在进一步应用中的可靠性。

另一方面，作为一种广泛应用的可解释机器学习模型，attention-LSTM与LACG不同，通过注意力向量来描述变量之间的关系。此处基于一个随机选取的输入样本，对二者进行比较。Attention-LSTM基于该样本计算的注意力向量绘于图10（a）中。其权重揭示了每一个时间步上的全体输入对输出的影响，但无法具体到每一个输入特征的影响细节。同时，该向量的所有权重均为正值，无法观察到变量的关联方向。相比之下，在一个时间步中，提出的LACG架构能够提供具体化工过程变量关联作用的更多细节。根据attention-LSTM注意力向量的性质，即能够指示不同时间步上输入的权重，将LACG的二维卷积核的值沿着特征维度相加，可以得到一个类似的LACG注意力向量。图10（b）绘制了基于上述输入样本的LACG注意力向量，展示全体输入在不同时间步下对输出的影响，以比较两种不同的可解释机制。研究结果表明在该工业案例下，两者的注意力向量区别较大，LACG的注意力向量更符合随时间变化的扰动-响应模式，而传统的attention-LSTM显然没有捕捉到足够清晰的底层变量关系，可解释性较低。

6 结论

本文提出了一种新的可解释LACG架构用于实际化工过程的高精度建模。得益于设计的基本模块、轻注意力模块和残差模块三个子模块的巧妙耦合：这一新架构在数据驱动建模中表现出优异的鲁棒性、可靠性及可解释性。

在对一个实际脱乙烷过程的产品流量进行建模时，与FNN、CNN、CNN-2D、LSTM和attention-LSTM五种基线神经网络相比，提出的LACG预测效果最佳，其预测MRE约为1%。另外，与Aspen Plus Dynamics V12.1建立的脱乙烷动态模型的理论仿真结果相比，LACG中关于进料流量、进料温度、蒸汽流量和回流流量的卷积核曲线揭示了相似的变量响应规律。结果证明，提出的LACG架构在实现对动态化工过程精准建模的同时，能够准确地学习到过程动态行为。隐含在LACG参数中的可解释性要显著优于常用的attention-LSTM，有助于掌握实际化工过程中的复杂变量关联。

提出的LACG架构拓展了现有可解释机器学习的领域知识，为化工智能制造系统中人工智能技术与化工机理的深度融合提供了一种可靠有效的新范式。智能制造是化工行业应对双碳目标、可持续发展等挑战的必然趋势，本研究为化工过程的智能建模研究提供了一种全新的思路，为智能化工的发展提供了理论依据和应用基础，赋能化学工业的新质生产力。另一方面，LACG学习到的基本动态规律仍然受到数据噪声的干扰，通过更精细完善的数据预处理有望缓解这一问题。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Sansana J, Joswiak MN, Castillo I, Wang Z, Rendall R, Chiang LH, et al. Recent trends on hybrid modeling for Industry 4.0. Comput Chem Eng 2021;151:107365. . 10.1016/j.compchemeng.2021.107365

[2]	Solle D, Hitzmann B, Herwig C, Pereira Remelhe M, Ulonska S, Wuerth L, et al. Between the poles of data-driven and mechanistic modeling for process operation. Chem Ing Tech 2017;89(5):542‒61. . 10.1002/cite.201600175

[3]	Meneghetti N, Facco P, Bezzo F, Barolo M. A methodology to diagnose process/model mismatch in first-principles models. Ind Eng Chem Res 2014;53(36):14002‒13. . 10.1021/ie501812c

[4]	Chen Y, Ierapetritou M. A framework of hybrid model development with identification of plant‒model mismatch. AIChE J 2020;66(10):e16996. . 10.1002/aic.16996

[5]	Panerati J, Schnellmann MA, Patience C, Beltrame G, Patience GS. Experimental methods in chemical engineering: artificial neural networks—ANNs. Can J Chem Eng 2019;97(9):2372‒82. . 10.1002/cjce.23507

[6]	Dobbelaere MR, Plehiers PP, Van de Vijver R, Stevens CV, Van Geem KM. Machine learning in chemical engineering: strengths, weaknesses, opportunities, and threats. Engineering 2021;7(9):1201‒11. . 10.1016/j.eng.2021.03.019

[7]	Leperi KT, Yancy-Caballero D, Snurr RQ, You F. 110th anniversary: surrogate models based on artificial neural networks to simulate and optimize pressure swing adsorption cycles for CO₂ capture. Ind Eng Chem Res 2019;58(39):18241‒52. . 10.1021/acs.iecr.9b02383

[8]	Fang H, Zhou J, Wang Z, Qiu Z, Sun Y, Lin Y, et al. Hybrid method integrating machine learning and particle swarm optimization for smart chemical process operations. Front Chem Sci Eng 2022;16(2):274‒87. . 10.1007/s11705-021-2043-0

[9]	Jiang S, Zavala VM. Convolutional neural nets in chemical engineering: foundations, computations, and applications. AIChE J 2021;67(9):e17282. . 10.1002/aic.17282

[10]	Wu Z, Tran A, Rincon D, Christofides PD. Machine learning-based predictive control of nonlinear processes. Part I: theory. AIChE J 2019;65(11):e16729. . 10.1002/aic.16729

[11]	Ning C, You F. Optimization under uncertainty in the era of big data and deep learning: when machine learning meets mathematical programming. Comput Chem Eng 2019;125:434‒48. . 10.1016/j.compchemeng.2019.03.034

[12]	Su Y, WangZ, Jin S, ShenW,RenJ, Eden MR.Anarchitecture ofdeep learning in QSPR modeling for the prediction of critical properties using molecular signatures. AIChE J 2019;65(9):e16678. . 10.1002/aic.16678

[13]	Zhang J, Wang Q, Su Y, Jin S, Ren J, Eden M, et al. An accurate and interpretable deep learning model for environmental properties prediction using hybrid molecular representations. AIChE J 2022;68(6):e17634. . 10.1002/aic.17634

[14]	Wu H, Han Y, Jin J, Geng Z. Novel deep learning based on data fusion integrating correlation analysis for soft sensor modeling. Ind Eng Chem Res 2021;60(27):10001‒10. . 10.1021/acs.iecr.1c01131

[15]	Sun L, Liu T, Xie Y, Zhang D, Xia X. Real-time power prediction approach for turbine using deep learning techniques. Energy 2021;233:121130. . 10.1016/j.energy.2021.121130

[16]	Byun M, Lee H, Choe C, Cheon S, Lim H. Machine learning based predictive model for methanol steam reforming with technical, environmental, and economic perspectives. Chem Eng J 2021;426(15):131639. . 10.1016/j.cej.2021.131639

[17]

Naito S, Taguchi Y, Nakata K, Kato Y. Anomaly detection for multivariate time series on large-scale fluid handling plant using two-stage autoencoder. In: XueB, PechenizkiyM, KohYS, editors. Proceedings of the 21st IEEE International Conference on Data Mining Workshops; 2021 Dec 7‒10; online conference. Piscataway: IEEE; 2021. p. 542‒51. . 10.1109/icdmw53433.2021.00072

[18]	Thompson ML, Kramer MA. Modeling chemical processes using prior knowledge and neural networks. AIChE J 1994;40(8):1328‒40. . 10.1002/aic.690400806

[19]	von Stosch M, Oliveira R, Peres J, Feyo de Azevedo S. Hybrid semi-parametric modeling in process systems engineering: past, present and future. Comput Chem Eng 2014;60:86‒101. . 10.1016/j.compchemeng.2013.08.008

[20]	Zendehboudi S, Rezaei N, Lohi A. Applications of hybrid models in chemical, petroleum, and energy systems: a systematic review. Appl Energy 2018;228:2539‒66. . 10.1016/j.apenergy.2018.06.051

[21]	Valencia Peroni C, Parisi M, Chianese A. Hybrid modelling and self-learning system for dextrose crystallization process. Chem Eng Res Des 2010;88(12):1653‒8. . 10.1016/j.cherd.2010.01.038

[22]	Wang K, Shang C, Liu L, Jiang Y, Huang D, Yang F. Dynamic soft sensor development based on convolutional neural networks. Ind Eng Chem Res 2019;58(26):11521‒31. . 10.1021/acs.iecr.9b02513

[23]	Zheng Y, Wu Z. Physics-informed online machine learning and predictive control of nonlinear processes with parameter uncertainty. Ind Eng Chem Res 2023;62(6):2804‒18. . 10.1021/acs.iecr.2c03691

[24]	Wu G, Yion WTG, Dang KLNQ, Wu Z. Physics-informed machine learning for MPC: application to a batch crystallization process. Chem Eng Res Des 2023;192:556‒69. . 10.1016/j.cherd.2023.02.048

[25]	Shaha AP, Singamsetti MS, Tripathy BK, Srivastava G, Bilal M, Nkenyereye L. Performance prediction and interpretation of a refuse plastic fuel fired boiler. IEEE Access 2020;8:117467‒82. . 10.1109/access.2020.3004156

[26]

Ribeiro MT, Singh S, Guestrin C. ‘‘Why should I trust you?”: explaining the predictions of any classifier. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; 2016 Aug 13‒17; FranciscoSan, CA, USA. New York City: Association for Computing Machinery; 2016. p. 1135‒44. . 10.1145/2939672.2939778

[27]	MuK, Luo L, Wang Q, Mao F. Industrial process monitoring and fault diagnosis based on temporal attention augmented deep network. J Inf Process Syst 2021;17(2):242‒52.

[28]	Xu B, Wang Y, Yuan L, Xu C. A novel second-order learning algorithm based attention-LSTM model for dynamic chemical process modeling. Appl Intell 2023;53:1619‒39. . 10.1007/s10489-022-03515-2

[29]	Bakshi BR, Stephanopoulos G. Representation of process trends—IV. induction of real-time patterns from operating data for diagnosis and supervisory control. Comput Chem Eng 1994;18(4):303‒32. . 10.1016/0098-1354(94)85029-1

[30]	Ragab A, El-Koujok M, Poulin B, Amazouz M, Yacout S. Fault diagnosis in industrial chemical processes using interpretable patterns based on logical analysis of data. Expert Syst Appl 2018;95:368‒83. . 10.1016/j.eswa.2017.11.045

[31]	Ragab A, El-Koujok M, Ghezzaz H, Amazouz M, Ouali MS, Yacout S. Deep understanding in industrial processes by complementing human expertise with interpretable patterns of machine learning. Expert Syst Appl 2019;122:388‒405. . 10.1016/j.eswa.2019.01.011

[32]	Wu Z, Rincon D, Christofides PD. Process structure-based recurrent neural network modeling for model predictive control of nonlinear processes. J Process Contr 2020;89:74‒84. . 10.1016/j.jprocont.2020.03.013

[33]	Chakraborty A, Sivaram A, Samavedham L, Venkatasubramanian V. Mechanism discovery and model identification using genetic feature extraction and statistical testing. Comput Chem Eng 2020;140:106900. . 10.1016/j.compchemeng.2020.106900

[34]	Narayanan H, Cruz Bournazou MN, Guillén Gosálbez G, Butté A. Functional hybrid modeling through automated adaptive symbolic regression for interpretable mathematical expressions. Chem Eng J 2022;430(4):133032. . 10.1016/j.cej.2021.133032

[35]	Subramanian R, Moar RR, Singh S. White-box machine learning approaches to identify governing equations for overall dynamics of manufacturing systems: a case study on distillation column. Mach Learn Appl 2021;3:100014. . 10.1016/j.mlwa.2020.100014

[36]	Li Y, Zhang T, Sun S. Acceleration of the NVT flash calculation for multicomponent mixtures using deep neural network models. Ind Eng Chem Res 2019;58(27):12312‒22. . 10.1021/acs.iecr.9b00527

[37]	Wu H, Zhao J. Self-adaptive deep learning for multimode process monitoring. Comput Chem Eng 2020;141:107024. . 10.1016/j.compchemeng.2020.107024

[38]	Bengio Y, Simard P, Frasconi P. Learning long-term dependencies with gradient descent is difficult. IEEE Trans Neural Netw 1994;5(2):157‒66. . 10.1109/72.279181

[39]	Hochreiter S, Schmidhuber J. Long short-term memory. Neural Comput 1997;9(8):1735‒80. . 10.1162/neco.1997.9.8.1735

[40]	Gers FA, Schmidhuber J, Cummins F. Learning to forget: continual prediction with LSTM. Neural Comput 2000;12(10):2451‒71. . 10.1162/089976600300015015

[41]

Cho K, van Merriënboer B, Gulcehre C, Bahdanau D, Bougares F, Schwenk H, et al. Learning phrase representations using RNN encoder‒decoder for statistical machine translation. In: MoschittiA, PangB, DaelemansW, editors. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing; 2014 Oct 25‒29; Doha, Qatar. Stroudsburg: Association for Computational Linguistics; 2014. p. 1724‒34. . 10.3115/v1/d14-1179

[42]	Chung J, Gulcehre C, Cho KH, Bengio Y. Empirical evaluation of gated recurrent neural networks on sequence modeling. 2014. arXiv:

[43]	Cho K, van Merriënboer B, Bahdanau D, Bengio Y. On the properties of neural machine translation: encoder‒decoder approaches. 2014. arXiv:10.3115/v1/w14-4012

[44]	Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate. 2014. arXiv:

[45]

Luong T, Pham H, Manning CD. Effective approaches to attention-based neural machine translation. In: MàrquezL, Callison-BurchC, SuJ, editors. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing; 2015 Sep 17‒21; Lisbon, Portugal. Red Hook: Curran Associates; 2015. p. 1412‒21. . 10.18653/v1/d15-1166

[46]	LeCun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proc IEEE 1998;86(11):2278‒324. . 10.1109/5.726791

[47]	Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. In: Bartlett P, Pereira F, Burges CJ, Bottou L, Weinberger KQ, editors. Advances in neural information processing systems 26. Red Hook: Curran Associates; 2013. p. 1097‒105. . 10.1145/3065386

[48]	Pravin PS, Tan JZM, Yap KS, Wu Z. Hyperparameter optimization strategies for machine learning-based stochastic energy efficient scheduling in cyber physical production systems. Digit Chem Eng 2022;4:100047. . 10.1016/j.dche.2022.100047

[49]

Akiba T, Sano S, Yanase T, Ohta T, Koyama M. Optuna: a next-generation hyperparameter optimization framework. In: Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; 2019 Aug 4‍‒‍8; Anchorage, AK, USA. New York City: Association for Computing Machinery; 2019. p. 2623‒31. . 10.1145/3292500.3330701

[50]	Bergstra J, Bardenet R, Bengio Y, Kégl B. Algorithms for hyper-parameter optimization. In: Shawe-Taylor J, Zemel R, Bartlett P, Pereira F, Weinberger KQ, editors. Advances in neural information processing systems 24. Red Hook: Curran Associates; 2011. p. 2546‒54.

[51]

Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks. In: TehYW, TitteringtonM, editors. Proceedings of the 13th International Conference on Artificial Intelligence and Statistics; 2010 May 13‒15; Sardinia, Italy; 2010. p. 249‒56. . 10.1142/9789814282635_0002

[52]	Savitzky A, Golay MJE. Smoothing and differentiation of data by simplified least squares procedures. Anal Chem 1964;36(8):1627‒39. . 10.1021/ac60214a047

[53]	Poort JP, Ramdin M, van Kranendonk J, Vlugt TJH. Solving vapor‒liquid flash problems using artificial neural networks. Fluid Phase Equilib 2019;490:39‒47. . 10.1016/j.fluid.2019.02.023