一种基于自适应性理论辅助强化学习的损伤自动检测方法

张承文; 淳庆; 林怡婕

doi:10.1016/j.eng.2025.03.026

Engineering ›› 2025, Vol. 50 ›› Issue (7) : 188 -202. DOI: 10.1016/j.eng.2025.03.026

研究论文

一种基于自适应性理论辅助强化学习的损伤自动检测方法

张承文 ^a^,^b ,
淳庆 ^a^,^b^,^* ,
林怡婕 ^a

作者信息 +

An Automatic Damage Detection Method Based on Adaptive Theory-Assisted Reinforcement Learning

Chengwen Zhang ^a^,^b ,
Qing Chun ^a^,^b^,^* ,
Yijie Lin ^a

Author information +

文章历史 +

PDF (12121K)

摘要

当前基于灵敏度雅可比矩阵模型更新的损伤检测方法，于在线计算中表现出较低的收敛率和计算效率。本文旨在通过开发一种理论辅助的自适应多智能体双延迟深度确定性（TA2-MATD3）策略梯度算法，来构建一种实时自动损伤检测方法。首先，本研究建立了强化学习驱动的损伤检测理论框架。为了解决传统多智能体双延迟深度确定性（MATD3）算法的缺点，本文引入了理论辅助机制和自适应经验回放机制。而后，本文以一座1889年建造的历史住宅作为计算算例，利用其12个月的结构健康监测数据进行计算分析。在收敛率、在线计算效率和损伤检测精度方面，将TA2-MATD3与现有的损伤检测方法进行比较。结果表明，TA2-MATD3可以显著提高在线计算效率和损伤检测精度。TA2-MATD3的计算效率约为传统方法的117~160倍；训练集上的损伤检测收敛率约为97%，测试集上的收敛率在86.2%~91.9%之间。此外，TA2-MATD3识别了现场调查中发现的主要表观损伤。本研究可以为基于强化学习与在线结构健康监测的损伤检测提供新视角。

Abstract

Current damage detection methods based on model updating and sensitivity Jacobian matrixes show a low convergence ratio and computational efficiency for online calculations. The aim of this paper is to construct a real-time automated damage detection method by developing a theory-assisted adaptive mutiagent twin delayed deep deterministic (TA2-MATD3) policy gradient algorithm. First, the theoretical framework of reinforcement-learning-driven damage detection is established. To address the disadvantages of traditional mutiagent twin delayed deep deterministic (MATD3) method, the theory-assisted mechanism and the adaptive experience playback mechanism are introduced. Moreover, a historical residential house built in 1889 was taken as an example, using its 12-month structural health monitoring data. TA2-MATD3 was compared with existing damage detection methods in terms of the convergence ratio, online computing efficiency, and damage detection accuracy. The results show that the computational efficiency of TA2-MATD3 is approximately 117–160 times that of the traditional methods. The convergence ratio of damage detection on the training set is approximately 97%, and that on the test set is in the range of 86.2%–91.9%. In addition, the main apparent damages found in the field survey were identified by TA2-MATD3. The results indicate that the proposed method can significantly improve the online computing efficiency and damage detection accuracy. This research can provide novel perspectives for the use of reinforcement learning methods to conduct damage detection in online structural health monitoring.

关键词

强化学习 / 理论辅助 / 损伤检测 / 牛顿法 / 模型修正 / 建筑遗产

Key words

Reinforcement learning / Theory-assisted / Damage detection / Newton’s method / Model updating / Architectural heritage

引用本文

引用格式 ▾

张承文,淳庆,林怡婕. 一种基于自适应性理论辅助强化学习的损伤自动检测方法[J]. 工程（英文）, 2025, 50(7): 188-202 DOI:10.1016/j.eng.2025.03.026

登录浏览全文

4963

注册一个新账户忘记密码

1 引言

结构损伤检测是土木工程领域中的一个重要议题[1‒3]。目前，人们围绕这一主题已开展了相关研究，如基于计算机视觉和深度学习方法的表观损伤检测[4‒5]、通过超声波技术等无损检测方法的损伤状态评估[6]，以及基于有限元模型（FEM）修正的损伤检测。目前，在线结构健康监测（SHM）系统通常采用基于FEM的损伤检测方法。既有研究表明，使用基于单元修正法的FEM具有明确的物理意义[7]。其中，基于单元灵敏度的修正方法在实际工程中得到了广泛的应用[8‒9]，如牛顿法[10]等。尽管基于灵敏度的FEM修正理论相对成熟[11]，但它存在计算成本高和矩阵病态两个主要局限性。Li和Law [12]试图通过采用基于L曲线法的自适应Tikhonov正则化方法来克服矩阵病态的问题。然而，如果计算维度变得非常大，或者灵敏度矩阵的条件数不可避免地很大，则FEM修正的收敛性对L曲线法中的初始自适应系数极其敏感[13]。此外，还有许多相关工作值得关注，如修正指标[14]、修正精度[15‒16]、灵敏度函数加权方法[17]和修正收敛速度[18]。然而，在当前的在线SHM系统中，若面向大量监测数据，传统的FEM修正算法在确定普适性或自适应超参数方面往往面临困难。上述情况意味着FEM修正很可能无法收敛。此外，传统FEM修正算法的计算效率仍然不能满足大量监测数据下的实时分析要求。

近年来，智能优化算法[19]和人工神经网络[20]在FEM修正领域得到了广泛的应用。使用这些方法，运维阶段的在线计算时间可以转换为前期准备阶段的离线训练时间，确保SHM系统在线分析的高计算效率[21]。这意味着在离线阶段训练代理模型[22‒23]以代替灵敏度矩阵求解，然后在线阶段应用代理模型进行测试和进一步学习。例如，Levin和Lieven [24]使用径向基神经网络来拟合特征量和FEM设计参数之间的非线性映射关系。然而，由于传感器位置的稀疏性，可以学习的先验知识总是有限的。因此，直接使用传统的监督学习架构进行FEM修正仍然很难解决上述收敛问题[25]。

迁移学习[26]、扩展因果卷积网络[27]或贝叶斯神经网络[28‒31]可用于应对上述问题。例如，Seventekidis等[32‒33]将深度卷积神经网络与分层多损伤识别方法相结合，以训练FEM生成的振动数据；Zhang等[34]使用迁移学习改进了基于贝叶斯的FEM修正，考虑了建模的不确定性；Wang等[35]在稀疏贝叶斯学习框架下提出了一种概率数据驱动的损伤识别方法。然而，尽管上述方法可以充分利用现有的监测数据，但工程中面临的一个实际问题是，通常未必可以为在线SHM找到足够的先验知识或类似的知识迁移案例。

一种结合数据驱动和物理模型驱动的方法正被用于应对上述问题[36‒37]。其中，物理知情神经网络[38]将FEM修正的理论框架集成到神经网络的学习过程中。学习过程由物理模型指导[39]，可以实现加速收敛和更高的精度[40‒41]。例如，Yu和Liu [42]提出了一种物理引导的生成对抗网络。Xu和Noh [43]引入了一种基于物理模型的多源域对抗网络（PhyMDAN），用于诊断结构损伤状态，该框架将先验知识模型从其他建筑物转移到目标建筑物。

采用上述方法进行基于FEM的损伤检测时，通常训练网络直接拟合模态误差和损伤向量之间的映射关系。这种映射关系的解析形式是在时域上具有大自由度的灵敏度矩阵函数，需要很强的神经网络拟合能力。使用这种神经网络通常需要昂贵的硬件设备。此外，传统神经网络的知识有效迁移问题一直是一个值得探索的议题；而强化学习善于处理不同状态和噪声干扰，具有解决上述困境的潜力。在强化学习中，智能体经过训练，可以不断与环境交互以积累专业知识。

综上所述，本文的研究动机是开发一种基于自适应性理论辅助强化学习的损伤自动检测方法，其训练目标是学习一种动态策略，通过调整损伤增量来减少当前的模态误差。本方法提出了两点改进：首先，将学习过程中的状态和基于灵敏度的FEM修正理论纳入学习内容，以丰富观测特征；其次，将端到端学习分解为多个子步，并将每个子步的学习内容进一步分配给多个智能体。本文的创新和贡献如下：①据调研，很少有研究探索基于FEM修正和强化学习架构的损伤检测方法；②降低了网络复杂度，也降低了对高性能算力的需求，同时确保了损伤检测的收敛性；③在强化学习中引入了基于灵敏度的FEM修正理论的辅助知识，提高了多智能体优化的鲁棒性和优化速度。

本文的其余部分如下。在第2节中，本文建立了一个基于多智能体双延迟深度确定性（MATD3）策略梯度算法的损伤检测框架；为了应对MATD3的局限性，提出了一种理论辅助的自适应MATD3（TA2-MATD3）方法。在第3节中，一座百年古民居被选作案例研究，我们采集了其12个月的SHM数据，并利用TA2-MATD3方法，基于长期监测数据进行损伤检测。在第4节中，我们通过将TA2-MATD3的结果与其他现有算法的结果进行比较，验证了TA2-MATD3的性能。最后，第5节对论文进行了总结。

2 基于TA2-MATD3的实时损伤检测方法

T时刻计算和测试模态参数的误差向量记作

W T γ T

，其中

γ T

表示T时刻损伤向量。牛顿法和最小二乘法可被用作计算当前的损伤增量向量

Δ γ T, p + 1

，如式（1）所示[12‒13]，其中p代表牛顿法中的第p个迭代步。详细的理论背景可见附录A。

Δ γ T, p + 1 = F T H γ T, p F T γ T, p - 1 F T H γ T, p W T γ T, p

（1）

式中，

W T γ T, p

和

γ T, p

分别是T时刻第p迭代步的误差向量和损伤向量；

F T γ T, p

是T时刻第p迭代步

W T γ T, p

关于

γ T, p

的灵敏度矩阵；

F T H γ T, p

代表矩阵

F T γ T, p

的转置矩阵；

F T γ T, p

可采用下式计算[12‒13]。

F T γ T, p = F 1 F 2 ⋮ F l ⋮ F N d o f, F l = ∂ Y l, 1 ∂ γ T, p 1 ∂ Y l, 1 ∂ γ T, p 2 ⋯ ∂ Y l, 1 ∂ γ T, p n E ∂ Y l, 2 ∂ γ T, p 1 ∂ Y l, 2 ∂ γ T, p 2 ⋯ ∂ Y l, 2 ∂ γ T, p n E ⋮ ⋮ ⋱ ⋮ ∂ Y l, n m ∂ γ T, p 1 ∂ Y l, n m ∂ γ T, p 2 ⋯ ∂ Y l, n m ∂ γ T, p n E

式中，l表示第l个自由度（DOF）；

F l

表示第l个自由度的灵敏度矩阵；l的取值范围是1~N_dof，N_dof代表自由度总数；n_m是模态参数的阶数；

Y l, n m

是第l个自由度的第n_m阶模态参数，其余变量（如

Y l, 1

和

Y l, 2

）具有相似意义；n_E是待测构件总数；

γ T, p n E

代表第n_E个构件上单元的损伤向量，其余变量（如

γ T, p 1

和

γ T, p 2

）具有相似意义；偏导（如

∂ Y l, n m ∂ γ T, p n E

）采用有限差分法求解。这意味着为求解

F T γ T, p

，至少需要n_E次FEM求解，这需要极大的计算开销。为了简化计算，具有低灵敏度的构件可以从损伤检测的目标构件列表中剔除。然而，

F T γ T, p

的条件数仍然较大，依然会引发矩阵病态问题。

为了应对上述问题，本文采用了名为MATD3 [45‒46]的强化学习框架[44]。然而，传统的MATD3在用于损伤检测时面临以下两个问题：①学习目标的复杂度高。在初始阶段，智能体很难有效地探索可以实现损伤检测的动作。此外，传感器数量不足将导致感知信息稀疏。②经验回放效率低。批次较小时，智能体与环境交互产生的新经验集很难被选到用于训练，这将导致网络更新过度延迟。

因此，本文提出TA2-MATD3方法，通过引入理论辅助机制和自适应经验回放机制来解决这两个问题。

2.1 算法架构——基于TA2-MATD3的损伤检测

令t和t + 1代表强化学习中第t和t + 1迭代步。

W T, t i γ T, t i

代表第i个智能体

α i

（i取值范围是1~k_a，k_a代表智能体数量）在T时刻第t迭代步观测到的全局模态信息误差向量。

γ T, t i

是智能体

α i

在T时刻第t迭代步观测构件的损伤向量。在后文中，下标ti代表关于智能体

α i

在第t迭代步的变量。

S T, t i = [W T, t i γ T, t i, γ T, t i]

代表智能体

α i

在第t迭代步观测到的状态。基于强化学习的损伤检测方法架构如图1所示。

令

a T, t i = Δ γ T, t i

，其中

Δ γ T, t i

代表构件的损伤增量向量，

a T, t i

是智能体

α i

在第t迭代步做出的动作。智能体

α i

的策略

π T, t i S T, t i, θ T, t i

，是观测状态

S T, t i

和动作

a T, t i

的映射关系。

π T, t i S T, t i, θ T, t i

可以被称作局部学生动作网络（SAN）的深度神经网络来拟合，

θ T, t i

是局部SAN的待训参数。为了提高收敛性[47]，引入目标SAN

π T, t i' S T, (t + 1) i, θ T, t i'

，其输入t + 1观测的状态

S T, (t + 1) i

来预测下一步动作。

θ T, t i'

是目标SAN在t的待定参数。通过引入在t的局部探索噪声

ζ T, t i

和在t + 1的目标探索噪声

ζ T, (t + 1) i'

，可以求解

a T, t i = π T, t i S T, t i, θ T, t i + ζ T, t i

和

a T, (t + 1) i' = π T, t i' S T, (t + 1) i, θ T, t i' + ζ T, (t + 1) i'

。

a T, (t + 1) i'

代表目标SAN在t + 1时输出的

α i

动作。

与智能体进行交互的环境可定义如下：当k_a个智能体执行t时的联合动作

a T, t

后，联合损伤向量

γ T, t + 1

可以根据

γ T, t + 1 = γ T, t + a T, t

求得。调用FEM基于

γ T, t + 1

以执行模态分析。t + 1的联合模态误差

W T, t + 1 γ T, t + 1

此时可以被求解，然后当前的状态

S T, (t + 1) i = W T, (t + 1 i γ T, (t + 1) i, γ T, (t + 1 i

也可以被确定，此处

γ T, (t + 1) i

表示在t + 1与T时刻智能体

α i

检测区域的构件损伤向量。

W T, (t + 1) i

是全局模态信息误差向量。令

r T, t i = l g W T, t i γ T, t i 2 / W T, (t + 1) i γ T, (t + 1) i 2

表示上述过程完成后，在t + 1与T时刻智能体

α i

从环境反馈的激励。符号

· 2

表示2范数。因此，在与环境交互后，一条经验集

Z t = S T, t i, a T, t i, r T, t i, S T, (t + 1) i

可以被k_a个智能体求得，并存储在经验回放池

Θ

中。

而后，定义Q值来度量某个动作的长期效益。为了避免过拟合Q [45]，每个智能体引入四个评论家网络：其中两个是局部评论家网络，记作

Q 1 T, t i S T, t i, a T, t, ψ 1 T, t i

和

Q 2 T, t i S T, t i, a T, t, ψ 2 T, t i

，

ψ 1 T, t i

和

ψ 2 T, t i

是两个局部评论家网络的待训参数；另外两个是目标评论家网络，记作

Q 1 T, (t + 1) i' S T, (t + 1) i, a T, t + 1', ψ 1 T, t i'

和

Q 2 T, (t + 1) i' S T, (t + 1) i, a T, t + 1', ψ 2 T, t i'

，

ψ 1 T, t i'

和

ψ 2 T, t i'

是目标评论家网络的待定参数。

a T, t + 1'

表示在t + 1目标SAN给出的联合动作。这些网络通过输入状态和动作来预测动作长期收益值Q。激励

r T, t i

和Q值的关系可以根据Bellman方程求解，如式（2）所示。

Q T, t i = r T, t i + λ m i n (Q 1 T, (t + 1) i', Q 2 T, (t + 1) i')

（2）

式中，

λ

表示动作

a T, t i

在后续进程的衰减影响；

Q T, t i

表示在t与T时刻智能体

α i

的Q。

π T, t i S T, t i, θ T, t i

、

π T, t i' S T, (t + 1) i, θ T, t i'

、

Q 1 T, t i S T, t i, a T, t, ψ 1 T, t i

、

Q 2 T, t i S T, t i, a T, t, ψ 2 T, t i

、

Q 1 T, (t + 1) i' S T, (t + 1) i, a T, t + 1', ψ 1 T, t i'

和

Q 2 T, (t + 1) i'

S T, (t + 1) i, a T, t + 1', ψ 2 T, t i'

的参数

θ T, t i

、

θ T, t i'

、

ψ 1 T, t i

、

ψ 2 T, t i

、

ψ 1 T, t i'

和

ψ 2 T, t i'

将通过训练确定。

2.2 算法实施——理论辅助机制

TA2-MATD3算法的流程图如附录A所示，可描述如下。

Step 1：当

t = 0

，

T = 0

，随机初始化参数

θ T, t i

、

ψ 1 T, t i

、和

ψ 2 T, t i

，并将上述参数拷贝至

θ T, t i'

、

ψ 1 T, t i'

和

ψ 2 T, t i'

。初始化经验回放池

Θ

。

Step 2：定义采用FEM根据式（1）求解损伤增量向量的计算过程为教师动作生成器（TAG）。基于随机目标损伤分布

D T a r g e t

和初始损伤分布

D i n i

随机生成学习任务。在t时，每一个智能体输出动作

a T, t i = π T, t i S T, t i, θ T, t i + ζ T, t i

。基于这些动作，可得到

γ T, t + 1 = γ T, t + a T, t

。智能体与上节中定义的环境交互后获得

r T, t i

和

S T, (t + 1) i

，并形成经验集

Z t = S T, t i, a T, t i, r T, t i, S T, (t + 1) i

。此外，额外的动作

a T, t i, G

被TAG在t时生成，以形成一条新的经验集

Z t ″ = S T, t i, a T, t i, r T, t i,

S T, t + 1 i, a T, t i, G

存储在经验池中。重复Step 2多次来确保

Θ

有足够的训练样本。

Step 3：随机从

Θ

选取M个

Z t ″ = S T, t i, a T, t i, r T, t i, S T, t + 1 i,

a T, t i, G

。与传统MATD3不同的是，局部SAN的更新目标不再是获取最大化Q值的动作。新的更新目标是最小化局部SAN和TAG的输出动作误差。式（3）可被用作更新

θ T, t i

。

L π T, t i = ϑ t - t 0 M ∑ j a T, j i, G - a T, j i θ T, t i 2

(3)

式中，

ϑ t - t 0

表示TAG的梯度贡献随着迭代进行而衰减；

t 0

代表衰减开始时的迭代步；j和j + 1代表第j和j + 1个采样迭代步；

L π T, t i

是局部SAN的目标函数；

a T, j i, G

是TAG在j时生成的动作；

a T, j i

是智能体

α i

在j时生成的动作。

基于目标SAN的动作

a T, j + 1 i' = π T, t i' S T, j + 1 i, θ T, t i' + ζ T, t + 1 i'

可以被求解。

S T, j + 1 i

代表在j + 1观测到的状态。根据式（2），更新局部评论家网络的损失函数

L Q T, t i

可以被求得，如式（4）。

L Q T, t i = 1 M ∑ k c = 1 2 ∑ j y T, j i - Q k c T, t i S T, j i, a T, j, ψ k c T, t i 2 y T, j i = r T, j i + λ m i n Q 1 T, t + 1 i' S T, j + 1 i, a T, j + 1', ψ 1 T, t i' Q 2 T, t + 1 i' S T, j + 1 i, a T, j + 1', ψ 2 T, t i'

(4)

式中

，

y T, j i

代表目标评论家网络预测的Q值，式（4）使获得的局部评论家网络能够准确评估动作对整个过程的长期效益；

Q k c T, t i

表示第

k c

个局部评论家网络；

S T, j i

表示在j观测到的状态；

a T, j

表示在j的联合动作；

ψ k c T, t i

表示在t时第

k c

个局部评论家网络的参数；

r T, j i

表示在j时的激励；

a T, j + 1'

表示j + 1时目标SAN给出的联合动作；

k c

是局部评论家网络的序数。

Step 4：在完成具有虚拟损伤分布

D T a r g e t

的几个学习任务后，随机选择一组传感器测试数据以形成一个真实任务。对于这个真实任务，局部SAN和TAG都被用于预测，在t时具有较小联合模态误差

W T, t γ T, t

的损伤检测结果表示为

D T, r e a l

。若

W T, t γ T, t

未收敛，则

D T, r e a l

将由该时间附近的真实损伤分布插值确定。在损伤分布

D T, r e a l

附近随机振荡来生成最新的目标损伤分布(

D T, r e a l + ξ D T a r g e t

)。此处，

ξ

代表一个噪声分布。然后，根据

(D T, r e a l + ξ D T a r g e t)

重复Step 2和Step 3。执行上述进程若干次后，局部SAN输出的动作逐渐接近TAG，此时SAN训练所得参数被记作

θ p r e - t r a i n

。

Step 5：基于

θ p r e - t r a i n

，式（5）被用来描述选择TAG的概率函数（

P s e

）。这代表在训练过程中，由SAN输出的动作逐渐占据主导地位。

P s e = m a x P m i n, t a n h T χ

（5）

式中，

P m i n

是TAG被选择的最小概率；

χ

是决定衰减速率的控制参数。

在M个采样的经验集中，若TAG未被选用，则经验集为

Z t = S T, t i, a T, t i, r T, t i, S T, (t + 1) i

，局部网络采用式（4）、式（6）和式（7）更新。若TAG被采用，经验集为

Z t ″ = S T, t i, a T, t i, r T, t i, S T, t + 1 i, a T, t i, G

，局部网络采用式（3）、式（4）和式（7）更新。令

Z t

的数量为n_M1，

Z t ″

的数量为n_M2（M = n_M1+ n_M2）。

L π T, t i = - 1 n M 2 ∑ j Q 1 T, t i S T, j i, π T, t i S T, j i, θ T, t i, ψ 1 T, t i

（6）

式（6）是传统MATD3中用于更新局部SAN的损失函数。最后，软更新系数

τ

被用来更新目标SAN和评论家网络，如式（7）所示。

θ T, t + 1 i' = 1 - τ θ T, t i + τ θ T, t i', ψ k c T, t + 1 i' = 1 - τ ψ k c T, t i + τ ψ k c T, t i', k c = 1, 2

（7）

式中，

θ T, t + 1 i'

是目标SAN在t + 1的参数；

ψ k c T, t + 1 i'

和

ψ k c T, t i'

是第

k c

个目标评论家参数。

Step 6：重复Steps 4~5直到所有输入的真实数据都经过训练。在学习过程中，引入了以下评估模块来评估当前局部SAN输出动作的质量：随机选择若干经过训练的真实任务和虚拟损伤任务，使用当前局部SAN对每个任务进行损伤检测。评估指标包括奖励均值（RM）、采样虚拟损伤任务中识别的损伤与预设损伤之间的误差（EDV）、采样真实（RMER）和虚拟（RMEV）损伤任务中模态误差收敛的比率，以及采样虚拟损伤任务中的损伤误差收敛比率（RDEV）。如果最大RMEA（RMER和RMEV的均值）的降低幅度小于15%，

θ p r e - t r a i n

根据局部SAM中的

θ T, t i

进行更新。相反，则式（8）被用于更新

θ T, t i

。这一机制被称为回溯机制。

θ T, t i = 1 - τ θ T, t i + τ θ p r e - t r a i n

（8）

本文中使用的损失函数特性可以进一步讨论。首先，式（4）和（6）是强化学习中的典型损失函数，旨在提高局部SAN动作的Q值，同时确保评论家网络预测长期收益的准确性。在这两个前提下，结合上述理论辅助机制，智能体可以实现损伤检测任务的自我探索和自我训练。式（3）是本文提出的理论辅助机制的核心项。这一损失旨在应对传统强化学习算法面临的“探索维度困境”。事实上，由于探索步骤有限，如果学习目标复杂，智能体很难探索出好的策略。这使得训练的智能体变得“懒惰”，也就是说，智能体只关心如何避免引入更大的误差，而不是尽可能地减少当前错误。式（3）的本质是训练智能体的动作，使其接近TAG的动作，以便智能体在后续训练中获得更好的搜索初始值，从而提高探索速度和收敛性。式（3）也可用于确保经验池中有足够多的“好”动作样本。此外，式（3）结合Step 5的采样模式和Step 6中提出的回溯机制，可以逐渐将模型修正理论的知识迁移到SAN。

2.3 自适应性经验回放机制

在Steps 3~5，随机选择算子被用于从

Θ

中选择经验集合。在传统的MATD3中，使用等概率采样，这在经验回放方面可能效率很低。因此，本文开发了以下经验回放机制：引入一个维度与

Θ

中样本数量一致的概率数组

P

。

Θ

中的当前样本量设为

N r b

。所选的批大小

N b s

是一个固定值。然后根据以下条件将整个采样过程分为两个阶段，根据批大小

N b s

，采样次数达到

N p i c k

后，

Θ

中每个样本至少被选择一次的概率大于95%。为了满足上述要求，如式（9）所示，推导出了

N b s

、

N p i c k

和

N r b

之间的近似关系。经过大量数值实验，我们建议将

N p i c k

设置为100，

N r b

2 N b s

。在第一阶段，可以使用等概率采样，使智能体能够尽可能地探索整个空间。

∑ q = 0 N r b + N p i c k - N b s - 1 q C N r b + N p i c k q C N r b + N p i c k - q N b s C N r b + N p i c k N b s N p i c k > 95 %

（9）

式中，

C

是组合数；q是求和变量。

在第二阶段，

P

中的最后一个元素被设置为1，这意味着在下一次采样中必将选择最新的经验集。剩余元素的选择概率可以使用式（10）计算。

r ¯ = 1 k a ∑ i = 1 k a r i, r^= r ¯ - m i n r ¯ m a x r ¯ - m i n r ¯ - κ 1, P = r^t a n h N r b N b s - 1 + 10 - 5 κ 2 ∑ t r^t a n h N r b N b s - 1 + 10 - 5 κ 2

(10)

式中， $r i$ 是 $α i$ 的整体激励向量； $r ¯$ 是多智能体平均激励； $r^$ 是规格化平均激励； $∑ t r^t a n h N r b N b s - 1 + 10 - 5 κ 2$ 代表在t维度上的求和；系数 $κ 1 (0 < κ 1 < 1)$ 被设置来控制选择负激励经验集的比例；正整数 $κ 2$ 控制采样速率并使得整体趋向等概率。通过式（10），智能体可以在训练的早期阶段更多地关注具有较大绝对激励值的样本，并在训练的后期阶段平等地学习具有各种激励值的样本。

3 结果

3.1 研究案例

基于所提出的方法架构，可以设计如图2所示的损伤检测过程。在项目准备过程中，人工参与监控系统建设、FEM建构和初始智能体的训练。在获得初始智能体后，可以在线对实际工程进行自动损伤检测，并结合新的监测数据，对智能体继续进行自我训练。

为了验证所提出算法的性能，我们对位于福建省武夷山市五夫镇的一座有133年历史的中国古民居朱子社仓，实施了为期一年的SHM项目。朱子社仓面阔17.6 m，进深23 m，最大高度约为6.5 m。采用高斯分布模拟木材的初始材料随机性，其平均密度为527.2 g·cm^-3，变异系数为14.7%；平均弹性模量为9564 MPa，变异系数为13.8%。通过pymapdl 0.63.1 Python包（ANSYS公司，美国），我们使用ANSYS 19.0（ANSYS公司，美国）建立了朱子社仓的FEM，如图3所示。采用BEAM189模拟木材的力学行为，共建立2091个单元和3090个节点。朱子社仓共697个构件，根据现场检测到的初始损伤分布和损伤敏感性，选择180个主要构件进行损伤检测。COMBIN39弹簧单元被用于模拟土壤松动和榫卯节点的力学行为。根据现场土壤调查报告，垂直弹簧刚度设置为1.5 $×$ 10⁴ kN·m^-3。榫卯节点的平面内的转动刚度取148.68 kN·m·rad^-1 [48]，其余自由度互相耦合。

3.2 监测结果

根据前期成果确定了这座古民居的最佳传感器位置[13]，传感器布局方案如图3所示。测试涉及15个测点（包括1个参考点，每个测点都有X和Y通道）。测试期为一年，每天进行6次测试，每次15 min，采样频率为100 Hz。对收集到的初始数据进行了预处理操作，包括去直流、使用最小二乘法去除趋势项、高斯去噪和Savitzky-Golay方法。利用基于稳态图的协方差驱动随机子空间方法识别结构的模态参数。根据之前的研究结果[49‒53]，模态参数结果可能受到温度的影响。因此，根据年温度值对初步确定的模态参数进行了修正，如图4所示。

3.3 算法超参数和数据集划分

本文所用算法是使用Jupyter Notebook（NumFOCUS，美国）在Python 3.8中开发和编译的。图5所示的是SAN残差神经网络。对于批评家网络，使用类似的架构，仅需从输出层中删除tanh和后续运算符。SAN由5层残差块组成，而评论家网络由8层残差块构成。每个残差块都具有一个隐藏层。第一个和最后一个残差块中的神经元数量为256，其余隐藏层中的神经元数量为128。除输出层外，ReLU（leaky rectified linear unit）用作所有层的激活函数。每个残差块都使用层归一化正则化技术[54]。批大小设置为32。每幕最多可探索30次。智能体的数量设置为3。探索噪声范围为3 × 10^-4~1 × 10^-3，并使用正弦衰减函数。使用Adam优化器，L₂正则化系数为1 × 10^-3。折扣率为0.95，软更新系数为0.9，SAN的学习率为3 × 10^-4，批评网络的学习率是1 × 10^-4。此外，引入学习率的预热机制[55]和指数衰减机制[56‒58]。关于超参数的详细信息见附录A。此算法根据第2.2节中描述的Step 1~6实现。

如Step 2所述，第一训练阶段包括500个虚拟损伤分布 $D T a r g e t$ 。 $D T a r g e t$ 的生成模式如下：对所有相关构件，定义其损伤服从高斯分布，区分严重损伤（均值为0.35，标准差为3%）、中度损伤（均值为0.2，标准差为1.67%）、轻微损伤（均值为0.12，标准差为0.3%）和无损伤[59]。 $D i n i$ 在[0, 10%]区间内采用均匀分布。应该指出的是，这种损伤分布模式是通过现场检测，结合参考文献[59]确定的。当这种方法用于其他案例时，可以在SHM系统的初始建构阶段使用应力波仪器或超声波仪等无损检测设备来确定初始损伤分布。另一方面，如第2.2节所述，引入这些虚拟损伤任务来训练初始智能体，可以获得更好的网络参数值。在构建SHM系统并获得真实测试数据后，使用下文所述的生成真实和虚拟任务的方法来继续训练智能体，逐渐减少这些虚拟损伤分布造成的局限性。

在第3.2节中，共确定了2157个模态参数，这意味着 $D T, r e a l$ 的最大数量为2157。 $D T, r e a l$ 数据被分为三个子集，样本量分别为400、1400和357。样本量为400的子集用于训练局部SAN以近似TAG。在样本量为1400的子集训练过程中，逐步降低TAG的参与度。对于上述两个子集，基于Step 4，为每个 $D T, r e a l$ 生成五组 $D T, r e a l + ξ D T a r g e t$ 。样本量为357的子集将不参与网络训练，而被用于第4节中的算法性能测试。这里， $ξ D T a r g e t$ 的均值为零，标准差为5%。 $D i n i$ 采用上一时刻确定的损伤分布。每个任务都经过5次训练，初始值略有不同。对于强化学习，最终的输入样本是来自不同时间点具有不同 $D T, r e a l$ 值任务的经验集。局部SAN的样本信息如表1所示。

3.4 训练损失和评估指标

训练过程的损失曲线如图6所示。从图6（a）可以看出，损失曲线在早期明显振荡，在后期逐渐收敛。两种效应可能导致早期振幅较大：首先，在早期阶段有许多具有不同损伤分布的训练任务，局部SAN输出的动作质量无法接近TAG。其次，Step 6中使用 $θ p r e - t r a i n$ 的回溯机制将导致显著的损失振荡。图6（a）显示，在训练的后期，本地SAN的性能逐渐接近TAG。最后，由于式（3）中的衰减系数，训练目标逐渐集中在式（6）上。

在图6（b）中，在训练的早期阶段，任务目标主要是学习TAG的动作。因此，此时由于局部SAN的性能较低，甚至可能出现负Q值。经过一段时间的训练，智能体逐渐获得正Q值，并趋于稳定。

如图6（c）所示，在训练的早期阶段，智能体很难确定某个动作的长期效益。随着训练的进行，这个问题逐渐得到改善。在SAN参与训练后，由于SAN的性能不佳或SAN和TAG对相同状态做出的不同决策，评论家网络可能会提供错误的Q值。这也可以通过图6（b）中同期观察到的现象来验证。在训练的后期，批评家网络的损失逐渐收敛，表明批评家网络能够准确判断某一动作的长期利益。

如Step 6所述，学习过程使用了评估模块。当经验池中有足够的训练任务时，每完成4个学习任务后，就会执行一次评估任务。在一个评估任务中，随机选择了20个真实任务，并生成了20个虚拟任务。

本研究共进行了2718次评估，结果如图7所示。图7（a）显示了3个智能体和40个任务的RM。RM越高，这40个任务的整体性能就越好。可以观察到，RM在前600次评估中逐渐增加。根据图6所示的损失曲线分析，在这个阶段，局部SAN试图近似TAG。随着SAN的性能逐渐接近TAG，RM逐渐增加，但RM的平均值趋于稳定。这是因为TAG由于其矩阵病态问题而存在某些瓶颈。在大约第600次至第1000次评估之间，训练过程开始由SAN主导。根据图6中的分析，SAN的动作质量下降，这样导致了RM下降。在大约第1000次至第1800次评估之间，SAN的性能逐渐提高。1800次评估后，RM高于TAG主导时期的RM，表明此时SAN的性能可能优于TAG。

图7（b）显示了标准化EDV结果，其较小值对应于智能体的更好性能。因此，总体趋势与图7（a）相对于X轴对称后的趋势相似。例如，较大的误差大致发生在SAN最初参与训练的阶段，这与上述结论是一致的。

如图7（c）所示，RMER的计算结果在[0, 100%]的范围内。总体趋势与图7（a）大致相似，这是因为这两个指标都描述了智能体动作的质量。高RM值表示智能体在这些任务中采取了良好的动作，从而更容易收敛模态误差。在某些情况下，RM和RMER趋势之间可能存在不一致。这是因为RMER侧重于计算成功收敛的任务数量，而RM更侧重于每个动作本身的质量。因此，在某个评估中，可能有几个任务完成得非常好，但其他任务模态误差非常接近收敛阈值，但最终没有收敛。在这种情况下，RM较高，RMER较低。在训练的后期，RMER达到了约90%。

类似的结论出现在图7（d）所示的RMEV和RDEV结果中。RMER整体上大于RMEV，这是因为在预测真实任务时，将前一个真实任务的损伤分布作为初始值，更有利于实现优化。然而，虚拟任务的目标损伤分布可能更复杂，其初始值可能不利于优化。图7（d）还显示，RMEV通常高于RDEV。这是因为，为了减少局部模态误差，可能在损伤灵敏度过低或过高的构件上给出精度较低的损伤增量。

4 讨论

本节对以下四种模型的性能进行了比较：①基于牛顿法的损伤检测，以下记作Newton method；②损伤检测基于牛顿法，并采用L曲线法进行改进，以下记作L-curve method；③提出的TA2-MATD3算法；④模型无关元学习（MAML）算法，这是一种被广泛用于少样本回归的算法[60‒61]。本文中的MAML网络采用了与TA2-MATD3相同的残差多层感知器（MLP）。MAML算法细节详见已有文献[60]。为了确保算法的可比性，所有相同的超参数都保持一致。

两个数据集被用于比较测试。数据集A包含从训练集中随机选择的1000个虚拟任务和500个真实任务。数据集B包含500个新生成的虚拟任务和357个在划分训练集时保留的实际任务。

4.1 计算误差

六个回归问题中常用的评估指标被用于衡量四种算法的性能，即均方误差（MSE）、均方对数误差（MSLE）、中值绝对误差（MDAE）、平均绝对误差（MAE）、解释方差得分（EVS）和决定系数（R²），如式（11）所示。1500个虚拟任务的计算结果如表2所示。

M S E = 1 n s z ∑ i s = 1 n s z D i s - D^i s 2 M S L E = 1 n s z ∑ i s = 1 n s z l n (D i s + 1) - l n (D^i s + 1) 2 M D A E = m e d i a n D - D^M A E = 1 n s z ∑ i s = 1 n s z D i s - D^i s E V S = 1 - v a r (D - D^) v a r (D) R 2 = 1 - ∑ i s = 1 n s z D i s - D^i s 2 ∑ i s = 1 n s z D i s - D ¯ 2 D ¯ = 1 n s z ∑ i s = 1 n s z D i s

(11)

式中， $n s z$ 是样本数量； $D$ 是预设损伤； $D^$ 是预测损伤； $D i s$ 是 $D$ 第 $i s$ 个元素； $D^i s$ 是 $D^$ 第 $i s$ 个元素； $i s$ 是样本索引； $v a r$ 代表方差函数； $D ¯$ 是损伤均值。

如表2所示，TA2-MATD3在所有六个指标上都取得了最佳性能，MAML的性能其次，综合性能最差的是牛顿法。

收敛率和平均误差的结果如图8所示。对于数据集A中的虚拟（真实）任务，TA2-MATD3的收敛率为97.1%（97.0%），L曲线法为79.7%（82.2%），牛顿法为72.5%（77.4%），MAML为91.1%（91.4%）。上述结果表明，在训练集中，TA2-MATD3算法可以实现损伤检测，因为网络已经在这些样本上进行了充分的训练。少数失效案例可能是由于以下原因造成的：①这些损伤位置损伤灵敏度低；②这些案例在训练过程中可能被采样的次数较少，没有得到足够的训练；③这些任务可能已经接近误差阈值，但未能达到。此外，图8（a）~（h）还表明，TA2-MATD3可以充分利用从已完成的训练案例中获得的经验，并在真实和虚拟任务中实现相当的收敛率。对两种非深度学习算法，其任务相对独立，不同任务之间无法共享经验。MAML引入了元学习机制，在不同的训练任务中表现良好。此外，在图7中，前600次评估可被视为以牛顿法为主，第2000次评估后的评估可被认为以TA2-MATD3为主。可以观察到，图8中的收敛率总是高于图7。这可能是由于以下原因：首先，评估模块期间使用的样本数量有限，因此所选任务可能不如测试期间使用的任务具有代表性；其次，在训练和评估过程中，使用局部SAN来近似牛顿法，牛顿法本身可能存在一定的误差。对于TA2-MATD3，一些在早期没有成功收敛的样本可能会在后续训练中实现收敛。

上述结论也可以在图8（i）~（p）得到。对于数据集B，使用TA2-MATD3的虚拟任务的收敛率达到86.2%，而在真实任务上，收敛率达到91.9%，表明TA2-MATD3即使对于从未训练过的任务也能达到良好的精度。对于两种非深度学习算法，其结果与任务是否经过训练无关。总体而言，真实任务的收敛率比虚拟任务高出约3%~11%，因为它们的初始值更好。MAML在测试集上的表现不如训练集，这可能是由于采用的MAML网络知识迁移能力不足。对于平均误差，TA2-MATD3的性能优于其他三种算法。总体来说，TA2-MATD3算法在算法精度方面表现出最佳性能。由于MAML和TA2-MATD3都是深度学习算法，在这种情况下，TA2-MATD3的计算精度远高于MAML，因此以下小节将主要比较TA2-MATD3和两种非深度学习算法的其他性能。

4.2 计算效率

测试时的计算设备是型号为Intel^®Core™ i7‒14650HX的16核中央处理单元（CPU）。图形处理单元（GPU）型号是NVIDIA GeForce RTX 4060 Laptop GPU。就计算时间而言，牛顿法进行损伤检测的平均时间约为61 min，L曲线法为79 min，TA2-MATD3为45 s。对于成功收敛的情况，牛顿法的平均时长约为35 min，L曲线法的平均时长约为48 min，TA2-MATD3的平均时长为18 s。因此，TA2-MATD3的效率远高于两种非深度学习比较算法。

4.3 虚拟任务的损伤检测

为了进一步说明三种算法的损伤检测能力，我们选择了一个典型的虚拟任务以说明，如图9所示。此任务下TA2-MATD3和L曲线法的模态误差均收敛，而牛顿法未达到收敛阈值。图9（a）~（d）显示了部分预设不同损伤程度构件的损坏检测结果。对于严重受损的构件，由于其高损伤值，检测结果对模态误差有显著影响。因此，所有算法都可以大致定位这些构件。然而，牛顿法没有成功定位损伤构件86、608和669，并且从成功识别损伤位置获得的损伤值通常低于预设值。在中度损坏和轻度损坏的部件上也观察到了同样的现象。对于轻度损坏的部件，牛顿法获得的损伤值大多小于5%，这意味着识别的损伤大致相当于识别的损伤噪声。这表明在轻度损伤构件中定位损伤的成功率较低。虽然TA2-MATD3方法和L曲线法都实现了模态误差收敛，但TA2-MATD3识别的损伤值更接近预设值。此外，图9（d）显示，在没有预设损伤的构件上，TA2-MATD3识别的损伤噪声也相对较小。图8所示的结果也可以证明这一点。

我们对另一个特殊的虚拟任务也进行了讨论，即使用算法检测结构上没有损伤且初始值为0的情况。由于没有损伤，初始值为0，因此误差为0。根据式（1），如果 $W T γ T, p$ 为0，则输出损伤的增量明显应为0。因此，无论使用牛顿法还是L曲线法，在这种情况下，损伤增量都是0。对于TA2-MATD3方法，当网络输入为0时，输出由神经网络中的偏置项、正则化项和激活函数控制，并且与学习到的权重项无关。网络输出的损伤增量范围为0.3%~2.3%。这表明，当结构的整体损伤较小时，TA2-MATD3可能存在一定的误差。然而，由于建筑遗产的使用时间较长，结构内的严重损伤往往不容忽视。还应该指出的是，这种情况与图9（d）不同。图9（d）的情况具有显著的全局损伤，导致一定的模态误差。因此，即使在没有损伤的位置，牛顿法和L曲线法也可能误判损伤。

4.4 现场表观损伤的检测

为了进一步证明该算法的可靠性，我们选择了最新的实际监测结果对三种算法进行性能测试。在最近一次实际监测的数据收集时，我们进行了现场表观损伤检查，定性发现了49种主要的表观损伤，包括腐朽、开裂和变形，如图10所示。

主要的表观损伤可定义如下：对于现场调查确定的主要表观损伤，根据GB/T 50165—2020《历史木结构建筑维护加固技术标准》[62]，确定准则如表3所示。在计算方面，考虑到第4.3节讨论的算法误差等综合因素，损伤值大于10%的构件被视为表观损伤部件。

TA2-MATD3算法标记了所有主要的表观损伤，且有两处大于10%的非表观损伤被标记。应该指出的是，这种损伤标记不能被视为损伤误判，因为它们可能是由内部孔洞等非表观损伤造成的。因此，以下分析重点关注49个主要的表观损伤构件。对于另外两种算法，存在遗漏标记表观损伤构件的情况，如L曲线法遗漏了构件100和444，牛顿法遗漏了构件72、74、142和309。基于上述分析，TA2-MATD3具有良好的损伤检测能力，可以在现场检测出表观损伤构件。

5 结论

本文提出了一种基于自适应性理论辅助多智能体强化学习的实时损伤检测方法；以一栋有百年历史的古民居为例，构建了结构健康监测系统，获取一年的模态信息；然后，将所提出的TA2-MATD3算法与其他算法进行了比较，并基于计算效率、收敛率、平均模态误差和损伤检测能力等指标证明了所提出算法的优越性。所开发的方法可以为建筑遗产的预防性保护提供在线实时损伤评估结果。从本工作中可以得出以下结论。

（1）所提出的TA2-MATD3算法可分为四个阶段。在第一阶段，教师动作生成器用于生成虚拟损伤分布，以填充经验回放池。在第二阶段，可以通过最小化学生动作网络的输出动作和教师动作生成器的输出动作之间的误差来更新学生动作网络中的参数。评论家模型的更新方法遵循典型的MATD3算法。在第三阶段，教师动作生成器被选中的概率逐渐降低，从而提高了学生动作网络的参与水平。在这个阶段，学生动作网络的训练目标是最小化动作误差和最大化长期效益。在第四阶段，教师动作生成器不再参与动作输出，成本函数中最小化动作误差的权重降低。与此同时，训练历史中的最佳网络参数被缓存。如果学生动作网络的相应评估指标显著降低，则网络将回溯到缓存状态。

（2）在算法训练方面，损失曲线和评估指标表明，总体训练结果符合上述四个阶段。在学生动作网络参与训练之前，观察到评估指标有一定程度的性能提升。这一发现表明，在这个阶段，学生动作网络的性能逐渐接近教师动作生成器的性能。在学生动作网络参与训练的初始阶段，从各种指标来看，网络性能短暂下降，这是由于学生动作网络对许多新输入任务误判。在回溯机制和理论辅助机制的帮助下，在训练的后期，各项指标逐渐提高，最终可以超过教师动作生成器占主导地位的时期。最终，模态误差收敛率和损伤误差收敛率稳定在80%以上。

（3）在性能指标方面，本文将提出的TA2-MATD3算法与L曲线法、牛顿法和MAML进行了比较，并在训练和测试数据集的虚拟和真实任务上进行了评估。在收敛率方面，TA2-MATD3在训练集上实现了约97%的稳定收敛率，远高于L曲线法的79.7%~82.2%、牛顿法的72.5%~77.4%和MAML的91.1%~91.4%。对于测试集，TA2-MATD3的收敛率稳定在86.2%~91.9%，而L曲线法的收敛率则稳定在73.4%~79.3%，牛顿法稳定在65.4%~77.0%，MAML法稳定在72.0%~80.1%。在计算效率方面，对于成功收敛的情况，所提出的TA2-MATD3方法的计算效率是牛顿法的117倍，大约是L曲线法的160倍。此外，本文还以最新的监测数据和现场测量的表观损伤为例，进行了实时损伤检测研究。结果表明，TA2-MATD3识别了所有主要的表观损伤，而L曲线法遗漏了两处损伤构件，牛顿法没有实现算法收敛。因此，可以得出结论，TA2-MATD3很好地学习了监测数据，可以实现比其他算法更好的实时损伤检测。

本文的主要局限性如下。首先，与大型土木工程结构相比，本文的研究案例规模相对较小。对于大型土木工程结构，每个智能体需要负责的状态和动作的维度显著增加。其次，此案例已不再服役，所处的环境简单，外部因素波动小，状态变化小，更容易学习。相比之下，在役结构通常表现出复杂的噪声条件、环境变化模式和很强的不确定性。这些复杂的外部条件对生成准确的经验池构成了重大挑战。

然而，所提出的TA2-MATD3也可能可以通过以下方法以应对这两个问题。首先，可以增加TA2-MATD3中的智能体数量，以降低每个智能体需要观测的维度。为了解决由此引起的算力需求增加，可以采用分布式训练方法。其次，本文中使用的MLP可以很容易地被卷积神经网络等架构所取代，以应对更大规模的学习任务。为了解决与经验池计算相关的第二个问题，可以使用考虑温度和湿度变化的多尺度模型修正方法。通过将考虑环境效应的非线性损伤力学与考虑参数不确定性的非线性模态分析方法相结合，以获得更准确的经验池供智能体学习，从而克服复杂外部条件带来的挑战。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]
Bao Y, Chen Z, Wei S, Xu Y, Tang Z, Li H. The state of the art of data science and engineering in structural health monitoring. Engineering 2019;5(2):234‒42. . 10.1016/j.eng.2018.11.027

[2]
Zhou Y, Meng S, Lou Y, Kong Q. Physics-informed deep learning-based real-time structural response prediction method. Engineering 2023;35:140‒57. . 10.1016/j.eng.2023.08.011

[3]
Wang J, You H, Qi X, Yang N. BIM-based structural health monitoring and early warning for heritage timber structures. Autom Construct 2022;144:104618.

[4]
Yu Y, Hoshyar AN, Samali B, Zhang G, Rashidi M, Mohammadi M. Corrosion and coating defect assessment of coal handling and preparation plants (CHPP) using an ensemble of deep convolutional neural networks and decision-level data fusion. Neural Comput Appl 2023;35(25):18697‒718. . 10.1007/s00521-023-08699-3

[5]
Jiang T, Li L, Samali B, Yu Y, Huang K, Yan W, et al. Lightweight object detection network for multi-damage recognition of concrete bridges in complex environments. Comput Aided Civ Infrastruct Eng 2024;39(23):3646‒65. . 10.1111/mice.13219

[6]
Wang L, Yi S, Yu Y, Gao C, Samali B. Automated ultrasonic-based diagnosis of concrete compressive damage amidst temperature variations utilizing deep learning. Mech Syst Signal Process 2024;221:111719. . 10.1016/j.ymssp.2024.111719

[7]
Li D, Zhang J. Finite element model updating through derivative-free optimization algorithm. Mech Syst Signal Process 2023;185:109726. . 10.1016/j.ymssp.2022.109726

[8]
Jiang Y, Li Y, Wang S, Xu M. A novel multistage approach for structural model updating based on sensitivity ranking. Smart Struct Syst 2020;25:657‒68.

[9]
Zheng B, Yu K, Liu S, Zhao R. Interval model updating using universal grey mathematics and Gaussian process regression model. Mech Syst Signal Process 2020;141:106455. . 10.1016/j.ymssp.2019.106455

[10]
Smith MJ, Hutton SG. Frequency modification using newton method and inverse iteration eigenvector updating. AIAA J 1992;30(7):1886‒91. . 10.2514/3.11151

[11]
Zárate BA, Caicedo JM. Finite element model updating: multiple alternatives. Eng Struct 2008;30(12):3724‒30. . 10.1016/j.engstruct.2008.06.012

[12]
Li XY, Law SS. Adaptive Tikhonov regularization for damage detection based on nonlinear model updating. Mech Syst Signal Process 2010;24(6):1646‒64. . 10.1016/j.ymssp.2010.02.006

[13]
Zhang CW, Chun Q, Leng JW, Lin YJ, Qian YC, Cao G, et al. Optimal placement method of multi-objective and multi-type sensors for courtyard-style timber historical buildings based on meta-genetic algorithm. Struct Health Monit 2024;23(3):1468‒97. . 10.1177/14759217231181724

[14]
Rezaiee-Pajand M, Entezami A, Sarmadi H. A sensitivity-based finite element model updating based on unconstrained optimization problem and regularized solution methods. Struct Contr Health Monit 2020;27(5):e2481. . 10.1002/stc.2481

[15]
Cao Z, Fei Q, Jiang D, Kapania RK, Wu S, Jin H. A sensitivity-based nonlinear finite element model updating method for nonlinear engineering structures. Appl Math Model 2021;100:632‒55. . 10.1016/j.apm.2021.07.034

[16]
Cao Z, Wei H, Liang D, Jia Z, Yao J, Jiang D. A non-intrusive dynamic sensitivity-based substructure model updating method for nonlinear systems. Int J Mech Sci 2023;248:108218. . 10.1016/j.ijmecsci.2023.108218

[17]
Esfandiari A, Sanayei M. More insight on function-weighted frequency response function sensitivity method for analytical model updating. J Sound Vibrat 2021;509:116143. . 10.1016/j.jsv.2021.116143

[18]
Zhu H, Li J, Tian W, Weng S, Peng Y, Zhang Z, et al. An enhanced substructure-based response sensitivity method for finite element model updating of large-scale structures. Mech Syst Signal Process 2021;154:107359. . 10.1016/j.ymssp.2020.107359

[19]
Şimşek S, Kahya V, Adıyaman G, Toğan V. Damage detection in anisotropic-laminated composite beams based on incomplete modal data and teaching‒learning-based optimization. Struct Multidiscipl Optim 2022;65 (11):332. . 10.1007/s00158-022-03421-8

[20]
Mousavi Z, Varahram S, Ettefagh MM, Sadeghi MH, Razavi SN. Deep neural networks-based damage detection using vibration signals of finite element model and real intact state: an evaluation via a lab-scale offshore jacket structure. Struct Health Monit 2021;20(1):379‒405. . 10.1177/1475921720932614

[21]
Zhao Y, Peng Z. Frequency response function-based finite element model updating using extreme learning machine model. Shock Vib 2020;2020:1‒10. . 10.1155/2020/8526933

[22]
Bai Y, Peng Z, Wang Z. A finite element model updating method based on the trust region and adaptive surrogate model. J Sound Vibrat 2023;555:117701. . 10.1016/j.jsv.2023.117701

[23]
Sarmadi H, Yuen KV. Early damage detection by an innovative unsupervised learning method based on kernel null space and peak-over-threshold. Comput Aided Civ Infrastruct Eng 2021;36(9):1150‒67. . 10.1111/mice.12635

[24]
Levin RI, Lieven NAJ. Dynamic finite element model updating using neural networks. J Sound Vibrat 1998;210(5):593‒607. . 10.1006/jsvi.1997.1364

[25]
Yang N, Zhang Y. Finite element model updating of Tibetan structure based on artificial neural network. J Vibrat Shock 2013;32:125‒9.

[26]
Deng Z, Zhang X, Zhao Y. Transfer learning based method for frequency response model updating with insufficient data. Sensors 2020;20(19):5615. . 10.3390/s20195615

[27]
Zhang Y, Li Z, Hao R, Lin W, Li L, Su D. High-fidelity time-series data synthesis based on finite element simulation and data space mapping. Mech Syst Signal Process 2023;200:110630. . 10.1016/j.ymssp.2023.110630

[28]
Hua H, Sol H, Wilde DWP. On a statistical optimization method used in finite element model updating. J Sound Vibrat 2000;231(4):1071‒8. . 10.1006/jsvi.1999.2721

[29]
Bartilson DT, Jang J, Smyth AW. Sensitivity-based singular value decomposition parametrization and optimal regularization in finite element model updating. Struct Contr Health Monit 2020;27(6):e2539. . 10.1002/stc.2539

[30]
Vega MA, Todd MD. A variational Bayesian neural network for structural health monitoring and cost-informed decision-making in miter gates. Struct Health Monit 2022;21(1):4‒18. . 10.1177/1475921720904543

[31]
Wang Z, Liang D, Ding S, Zhang W, He H. A feature map of frequency response functions based model updating method using the Bayesian convolutional neural network. Mech Syst Signal Process 2023;204:110818. . 10.1016/j.ymssp.2023.110818

[32]
Seventekidis P, Giagopoulos D. A combined finite element and hierarchical deep learning approach for structural health monitoring: test on a pin-joint composite truss structure. Mech Syst Signal Process 2021;157:107735. . 10.1016/j.ymssp.2021.107735

[33]
Seventekidis P, Giagopoulos D, Arailopoulos A, Markogiannaki O. Structural health monitoring using deep learning with optimal finite element model generated data. Mech Syst Signal Process 2020;145:106972. . 10.1016/j.ymssp.2020.106972

[34]
Zhang Z, Sun C, Guo B. Transfer-learning guided Bayesian model updating for damage identification considering modeling uncertainty. Mech Syst Signal Process 2022;166:108426. . 10.1016/j.ymssp.2021.108426

[35]
Wang QA, Dai Y, Ma ZG, Ni YQ, Tang JQ, Xu XQ, et al. Towards probabilistic data-driven damage detection in SHM using sparse Bayesian learning scheme. Struct Contr Health Monit 2022;29(11):e3070. . 10.1002/stc.3070

[36]
Xiang Y, Pan B, Luo L. A new model updating strategy with physics-based and data-driven models. Struct Multidiscipl Optim 2021;64(1):163‒76. . 10.1007/s00158-021-02868-5

[37]
Sedehi O, Kosikova AM, Papadimitriou C, Katafygiotis LS. On the integration of physics-based machine learning with hierarchical Bayesian modeling techniques. Mech Syst Signal Process 2024;208:111021. . 10.1016/j.ymssp.2023.111021

[38]
Di Lorenzo D, Champaney V, Marzin JY, Farhat C, Chinesta F. Physics informed and data-based augmented learning in structural health diagnosis. Comput Methods Appl Mech Eng 2023;414:116186. . 10.1016/j.cma.2023.116186

[39]
Yamaguchi T, Mizutani T. A physics-informed neural network for the nonlinear damage identification in a reinforced concrete bridge pier using seismic responses. Struct Contr Health Monit 2024;2024(1):5532909. . 10.1155/2024/5532909

[40]
Zhang Z, Sun C. Structural damage identification via physics-guided machine learning: a methodology integrating pattern recognition with finite element model updating. Struct Health Monit 2021;20(4):1675‒88. . 10.1177/1475921720927488

[41]
Zhou W, Xu YF. Damage identification for plate structures using physics-informed neural networks. Mech Syst Signal Process 2024;209:111111. . 10.1016/j.ymssp.2024.111111

[42]
Yu Y, Liu Y. Physics-guided generative adversarial network for probabilistic structural system identification. Expert Syst Appl 2024;239:122339. . 10.1016/j.eswa.2023.122339

[43]
Xu S, Noh HY. PhyMDAN: physics-informed knowledge transfer between buildings for seismic damage diagnosis through adversarial learning. Mech Syst Signal Process 2021;151:107374. . 10.1016/j.ymssp.2020.107374

[44]
Sutton RS, McAllester D, Singh S, Mansour Y. Policy gradient methods for reinforcement learning with function approximation. Adv Neur In 2000;12:1057‒63.

[45]
Fujimoto S, van Hoof H, Meger D. Addressing function approximation error in actor-critic methods. PMLR 2018;80:1587‒96.

[46]
Lowe R, Wu Y, Tamar A, Harb J, Abbeel P, Mordatch I. Multi-agent actor-critic for mixed cooperative‒competitive environments. In: Proceedings of the 31st International Conference on Neural Information Processing Systems; 2017 Dec 4‒9; Long Beach, CA, USA. Red Hook: Curran Associates Inc.; 2017. p. 6382‒93.

[47]
Mnih V, Kavukcuoglu K, Silver D, Rusu AA, Veness J, Bellemare MG, et al. Human-level control through deep reinforcement learning. Nature 2015;518(7540):529‒33. . 10.1038/nature14236

[48]
Lin YJ, Chun Q, Zhang CW, Han YD, Fu H. Research on seismic performance of traditional Chinese hall-style timber buildings in the Song and Yuan dynasties (960‒1368 AD): a case study of the main hall of Baoguo Temple. J Wood Sci 2022;68:1. . 10.1186/s10086-021-02009-y

[49]
Sohn H, Dzwonczyk M, Straser EG, Kiremidjian AS, Law KH, Meng T. An experimental study of temperature effect on modal parameters of the Alamosa Canyon Bridge. Earthquake Eng Struct Dynam 1999;28(8):879‒97. . 10.1002/(sici)1096-9845(199908)28:8<879::aid-eqe845>3.0.co;2-v

[50]
Xia Y, Hao H, Zanardo G, Deeks A. Long term vibration monitoring of an RC slab: temperature and humidity effect. Eng Struct 2006;28(3):441‒52. . 10.1016/j.engstruct.2005.09.001

[51]
Moser P, Moaveni B. Environmental effects on the identified natural frequencies of the Dowling Hall Footbridge. Mech Syst Signal Process 2011;25(7):2336‒57. . 10.1016/j.ymssp.2011.03.005

[52]
Han QH, Ma Q, Liu M, Xu J. Damage diagnosis of space grid structure based on natural frequency clustering analysis under varying temperature effects. J East China Jiaotong Univ 2021;38:9‒17. Chinese.

[53]
Anastasopoulos D, Reynders EPB. Modal strain monitoring of the old Nieuwebrugstraat Bridge: local damage versus temperature effects. Eng Struct 2023;296:116854. . 10.1016/j.engstruct.2023.116854

[54]
Lei Ba J, Kiros JR, Hinton GE. Layer normalization. 2016. arXiv:

[55]
Gotmare A, Shirish Keskar N, Xiong C, Socher R. A closer look at deep learning heuristics: learning rate restarts, warmup and distillation. 2018. arXiv:

[56]
Co-Reyes JD, Miao Y, Peng D, Real E, Levine S, Le QV, et al. Evolving reinforcement learning algorithms. 2021. arXiv:

[57]
Mnih V, Kavukcuoglu K, Silver D, Graves A, Antonoglou I, Wierstra D, et al. Playing Atari with deep reinforcement learning. 2013. arXiv:

[58]
Bhatt A, Palenicek D, Belousov B, Argus M, Amiranashvili A, Brox T, et al. CrossQ: batch normalization in deep reinforcement learning for greater sample efficiency and simplicity. 2019. arXiv:

[59]
Zhang C, Chun Q, Lin Y, Han Y, Jia X. Quantitative assessment method of structural safety for complex timber structures with decay diseases. J Build Eng 2021;44:103355. . 10.1016/j.jobe.2021.103355

[60]
Zhang C, Chun Q, Sun A, Lin Y, Wang H. Improved meta-learning neural network for the prediction of the historical reinforced concrete bond‒slip model using few test specimens. Int J Concr Struct Mater 2022;16(1):41. . 10.1186/s40069-022-00530-y

[61]
Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks. PMLR 2017;70:1126‒35.

[62]
Ministry of Housing and Urban‒Rural Development of the People’s Republic of China, State Administration for Market Regulation. GB/T 50165‒2020: Technical standard for maintenance and strengthening of historic timber building. Chinese standard. Beijing: China Architecture & Building Press; 2020. Chinese.

AI Summary ^{中
Eng} ×
说明：请注意，以下内容是人工智能生成的。本网站不对与使用此内容相关的任何后果承担责任。

AI Summary AI Mindmap

Share on WeChat

PDF (11838KB)

专题

Supplementary files

AnAutomaticDamageDetectionMethodBasedonAdaptiveTheory-AssistedReinforcementLearning

6676

访问

0

被引

详细

导航

相关文章

Received	Accepted	Published
2024-06-27	2025-03-30	2025-07-01
Issue Date
2025-04-22

在线期刊

作者中心

关于期刊

摘要

Abstract

关键词

Key words

引用本文

1 引言

2 基于TA2-MATD3的实时损伤检测方法

2.1 算法架构——基于TA2-MATD3的损伤检测

2.2 算法实施——理论辅助机制

2.3 自适应性经验回放机制

3 结果

3.1 研究案例

3.2 监测结果

3.3 算法超参数和数据集划分

3.4 训练损失和评估指标

4 讨论

4.1 计算误差

4.2 计算效率

4.3 虚拟任务的损伤检测

4.4 现场表观损伤的检测

5 结论

参考文献

AI思维导图