《1. 引言》

1. 引言

激光焊接——尤其是大功率激光焊接——已广泛应用于汽车制造、航天制造、造船等行业[1–3]。崩裂、驼峰和咬边等典型焊接缺陷大大降低了接头的强度，限制了焊接效率。如何全面地描述大功率激光焊接状态对焊接缺陷检测和焊接状态的在线监测至关重要，至今仍然是激光焊接领域的一个重大挑战。

在激光焊接过程中，由于激光束能量密度较高，可使焊接材料迅速升温并汽化[4]。熔池由于受到母材汽化而引起的反冲压力、马朗戈尼力、液体材料的重力和浮力等的综合作用会在激光束下方形成匙孔[5]。匙孔会导致激光束在小孔中形成多次反射[6]，从而提高了材料对激光能量的吸收效率。同时，高能激光束致金属蒸气也出现在匙孔内部及其上方[7]，金属蒸气会散射和反射激光束能量，从而进一步影响匙孔的动态特性[8]。激光焊接过程中的飞溅是由于焊接母材的剧烈汽化引起产生的反冲压力而引起的[9,10]。金属飞溅从熔池中带走一定动能，从而也将扰乱熔池和匙孔的动态平衡。上述研究表明，匙孔、金属蒸气和飞溅是焊接过程中最重要的现象，它们的实时特征可以用来描述激光焊接状态。

到现在为止，已有大量研究采用视觉传感方法对激光焊接过程中的飞溅、匙孔和金属蒸气进行观测以揭示其中的激光焊接机理[11–13]。由于光电二极管传感器和光谱仪的设备成本较低，且易于安装，也已被应用于工业制造过程的监测[14,15]。然而，当前已有研究要么只使用单一的某一传感器来观察焊接过程，要么没有建立捕获的信号与焊接状态确定的量化关系。近年来，许多机器学习方法，如多元线性回归（MLR）[16,17]、支持向量机（SVM）[18]、神经网络（NN）[19,20]等，已被广泛应用于建模和模式识别问题中，如统计参数化语音合成、语音情感识别、产品制造过程监控等[21,22]。然而，由于MLR本身是线性回归，其在拟合具有高度非线性特性的焊接过程方面存在一定的局限性，而支持向量机模型的映射能力依赖于其预定义的核函数，在表达激光焊接过程的多传感器信号方面稍显不足。同时，神经网络方法容易陷入局部最优解，难以找到问题的全局最优解。此外，这些方法采用的都是浅层神经网络，即一般只有一个或没有隐藏层，因此难以用于有效提取焊接过程中高度相关的多光传感器信号的抽象表示。因此，本研究提出了一种基于深度信念网络（DBN）模型的深度学习方法来解决这一难题。

本研究旨在建立一个多光敏传感器系统以获得对高功率激光焊接过程的全面描述。本文建立了基于DBN的焊接状态深度学习模型，利用光学多传感系统采集的信号对焊接状态进行实时监测。本文的剩余部分内容组织如下：第二节介绍了研究中使用的试验装置；第三节描述了光学多传感系统的信号特征提取；第四部分介绍了DBN模型的体系结构和训练，并将所建立的DBN模型与传统的反向传播神经网络（BPNN）模型进行了性能比较；第五节通过三个采用不同焊接参数的焊接试验验证了所建立的DBN模型的泛化能力和有效性；第六部分是本文的结论。

《2. 试验设置》

2. 试验设置

本文的试验设置如图1所示，采用辅助照明视觉传感器系统、紫外/可见（UVV）波段视觉传感器系统、光谱仪和光电二极管等光学传感器系统来捕捉焊接过程的信号。本文采用的焊接母材为304不锈钢，工件的尺寸为150 mm长、10 mm宽、50 mm厚。

《图1》

图1. 试验装置示意图。

焊接区光学信号通过激光头内预装的分束器由光纤传输到光电传感器，光电二极管接收这些信号，并通过二分镜将其分为两部分信号，一部分传输到采集反射激光光信号（波长为1030 nm）的光电二级管，一部分传输到采集可见光光信号的光电二极管。为了获得焊接过程中焊接区的高分辨率光学信号，两种信号光电传感器的采样率均设置为500 kHz。

采用光谱仪采集激光焊接过程中焊接区域的光谱信号（波长为186~1100 nm）。如图1所示，光谱信号首先由准直仪准直，然后通过光纤传输到光谱仪并进行采集。已有研究表明，波长为400~900 nm的光谱信号包含了固体激光焊接过程中的最重要光学信息。因此，本文选择该波长范围内的信号，提取焊接状态在线监测的光谱特征。光谱仪的采样率设定为500 Hz。

试验设置中还包括两个高速视觉成像系统，即UVV波段视觉传感器系统和辅助照明视觉传感器系统，以获得匙孔、金属蒸气和飞溅的特征。UVV波段视觉传感器系统由一个UVV滤波器和一个高速摄像机组成，可利用采集到的图像结合数字图像处理方法提取出金属蒸气和飞溅的视觉特征。在辅助光视觉传感系统中，采用40 W LED激光光源产生激光（波长976 nm）照亮焊接区域，在高速摄像机前预置滤波片，只允许波长为976 nm的激光通过，从而可提取匙孔的视觉特征。这两个视觉成像系统的采样率都设置为5000帧·s–1 。

《3. 从多传感系统的信号中提取焊接过程特征》

3. 从多传感系统的信号中提取焊接过程特征

《3.1. 提取辅助光视觉传感系统信号特征》

3.1. 提取辅助光视觉传感系统信号特征

辅助照明视觉传感器系统采集的图像如图2所示。利用数字图像处理中的裁剪和二值化操作提取并量化匙孔特征，包括匙孔大小和位置。图2显示了3个连续时刻匙孔大小和位置的波动情况。特征向量表达了从辅助照明视觉传感器系统中采集的特征，如式（1）所示。其中，keyholeposition 表示匙孔位置，keyholesize 表示匙孔大小。

《图2》

图2. 辅助光成像系统获取的三个连续时间序列图像及特征提取。（a）原始图像；（b）感兴趣区域；（c）二值化处理；（d）匙孔。

《3.2. 提取紫外 / 可见光视觉传感系统信号特征》

3.2. 提取紫外 / 可见光视觉传感系统信号特征

UVV波段视觉传感器系统采集的两幅图像如图3所示。从UVV波段视觉传感器采集的图像中提取金属蒸气的特征。其中，金属蒸气的体积为金属蒸气在图像中所占像素的个数，如图3所示；金属蒸气的偏转角度定义为金属蒸气图像质心与图像坐标系中垂直轴的夹角，这一特征可以被定义为是金属蒸气的偏转方向，即匙孔开口的方向。同时，对图像中飞溅的飞行方向进行统计并量化，可以计算出激光焊接过程中前向飞溅和后向飞溅的个数，作为本文研究中的飞溅特征。

由图3所示，从紫外/可见光视觉传感系统获取的信号中共提取了4个特征组成了特征向量 ，由式（2）表示。其中，spatterfront 表示前向飞溅，spatterback 表示后向飞溅，plumevolume 表示金属蒸气体积，plumedegree 表示金属蒸气偏转角度。

《图3》

图3. UVV波段视觉传感系统采集的图像及其特征提取过程。

《3.3. 提取光电传感器信号特征》

3.3. 提取光电传感器信号特征

本文采用小波包分解（WPD）方法对光电二极管捕获的可见光和反射激光光信号进行分析。小波包分解通过对信号分别进行低通滤波和高通滤波，计算出信号估计值和变换系数。小波包分解的方程由式（3）表示，其中，j表示尺度坐标，k表示位置坐标，n表示分解层次坐标，t表示离散信号序号，Z表示整数集。本文采用Daubechies小波（db10）进行小波分解。

通过小波包分解后的第一层信号可由式（4）表示。

文中所采用的高通滤波器和低通滤波器可分别由式（5）表示。

当n>1时，小波包分解后的信号可由式（6）和式（7）表示。

对于采集到的光电传感器信号 ，其小波包分解系数可以通过式（8）计算得到。

通过对获取的小波包分解系数进行计算，可以通过式（9）~（18）提取小波包分解后信号的统计特征，其中，K表示小波包分解后系数的总个数，E代表求相应变量的数学期望，i为虚部标记，ω为角度矢量。

在式（16）和式（17）中，是小波包分解后系数的傅里叶变换形式。

本文中通过小波包分解将采集的可见光光电传感器信号分解为16个子频道进行分析，并通过式（9）~（18）分别提取每个子频道的10组特征。提取的特征向量可以由式（19）表示，其中，表示从可见光光电传感器信号中提取的特征。

同样的，表示从反射激光光电传感器信号中提取的小波包分解后的特征向量，可由式（20）表示，其中，表示从反射激光光电传感器中提取的特征。

《3.4. 提取光谱传感器信号特征》

3.4. 提取光谱传感器信号特征

光谱仪采集光谱从400 nm到900 nm之间的信号，该波段信号被分为25子波段，每个子频带覆盖波长为20 nm。通过式（21）计算每个子频带强度的平均值作为各子频带的特征值，其中，N表示子频带个数，表示第N个子频带的开始波长，表示第N个子频带的结束波长，xs 表示光谱强度，spectrumN 表示计算得到的第N个子频带的强度平均值。

从光谱仪获取的每个取样样本通过上述方法可以提取相应的25个子频带上的强度的平均值作为其光谱特征，组成光谱特征向量，如式（22）所示。

《4. DBN 架构及应用》

4. DBN 架构及应用

《4.1. DBN 的框架》

4.1. DBN 的框架

DBN模型的隐含层的数量由目标问题所决定。每个隐藏层由一个受限的玻尔兹曼机（RBM）组成。DBN不仅拥有传统神经网络的优点，而且由于其包含较多隐含层而形成深度架构，因此对多传感器信号具有较强的融合能力[23–26]。DBN模型的全局最优参数可通过两步训练算法——预训练和参数微调而获得。近年来，DBN模型在语音检测[27]、声学建模[28]、人脸识别[29]等信号处理和机器学习等领域得到了广泛的应用。

典型的RBM模型包含两层，底层称为可见层，顶层称为隐藏层，如图4所示。RBM模型是一种特殊的马尔可夫随机模型。可见层所有神经元与隐含层所有神经元进行全连接，为可见层与隐含层之间双向连接的权重，q代表可见层神经元，p代表隐藏层神经元。

《图4》

图4. 具有f个隐含层神经元和m个可见层神经元的限制玻尔兹曼机。

RBM模型的能量函数可根据式（23）计算得到，其中，θ = (w, b, c)为RBM模型的参数集合， 分别对应可见层和隐含层的偏置。可见层和隐藏层中每个神经元的概率可以通过式（24）和式（25）计算得到。

在式（24）和式（25）中，Z（θ）为概率归一化因子，其计算过程由式（26）所示。

RBM的每一层内部的神经元之间不存在任何连接，因此条件概率P(v|h)和P(h|v)可通过对式（27）和式（28）所描述的伯努利分布分别求乘积得到，其中，是Sigmoid型激活函数，u是神经元的输入。通过采用对比散度取样方法对式（27）和式（28）中的Wpq , bq 和cp 进行更新。

隐含层神经元的输出值可通过可见层的输入计算得到；同时隐含层的输出又作为下一个RBM的输入，这样层层叠加形成DBN模型。

在DBN的最顶层是一个分类器，其目的是将上一层传过来的数据进行分类。本文DBN模型的最后一层采用的是可以执行Q类分类的Softmax分类器，该分类器的概率计算公式由式（29）所示，其中，D代表分类概率，d代表分类类别编号。Softmax分类器可以看做是多个逻辑回归模型的堆叠，以实现多分类目标。

通过逐层堆叠多个限制玻尔兹曼机可以构造相应的DBN模型。本文建立的DBN模型包括一个可见层和三个层隐含层，其架构如图5所示。DBN模型的训练过程包括预训练和参数微调两大步骤。

《图5》

图5. 本文所建立的DBN模型的架构。

（1）预训练。获取的传感数据直接传输到可见层神经元，计算出限制玻尔兹曼机1的输出。在这个过程中，所有训练样本都被传输到限制玻尔兹曼机1中，并通过最小化其能量函数或限制对比散度取样算法的迭代次数作为终止条件，获得该限制玻尔兹曼机1的参数。然后，固定限制玻尔兹曼机1的参数，并计算所有样本的输出值作为限制玻尔兹曼机2的输入，采用相同的训练方法可以获得限制玻尔兹曼机2的参数。同理，可以获得限制玻尔兹曼机3的参数。预训练过程是一个无监督过程，一旦所有的限制玻尔兹曼机训练完毕，预训练过程也就结束了。

（2）参数微调。为了降低训练样本的总体误差，提高DBN模型的分类精度，采用反向传播算法对所有的限制玻尔兹曼机中的参数进行更新和优化。DBN层每一层都进行同步微调，微调的依据是最小化通过将分类目标与DBN模型的输出进行比较获得总体训练误差。因此参数微调过程是有监督的迭代过程，直到满足DBN模型的终止条件。

《4.2. 数据准备》

4.2. 数据准备

在本研究中，通过将光谱仪获取的光谱信息按波长分为25个子带，并计算各光谱子带的均值作为每个子带的特征，因此可对每一个光谱样本提取25个特征。利用小波包分解方法将光电二极管捕获的可见光光信号和反射激光光信号进行四层分解。如3.3节所述，由于光电传感器信号被分解为16个子频带的信号，且对每个子频带的分解信号提取10个不同的统计特征，因此对可见光光信号和反射激光光信号共提取320个特征。通过从UVV波段视觉传感器系统采集的图像中提取出金属蒸气体积、偏转角度，以及前后飞溅的数量特征，以及从辅助照明视觉传感器系统采集的图像中获取匙孔大小和位置特征，将这些特征合并组成对激光焊接过程焊接状态的综合表达。

同时，将光电二极管采集的原始数据中每1000个数据特征取平均值合并为一个光电传感样本数据，以便与来自其他传感器的样本同步。将通过辅助照明视觉传感系统和UVV波段视觉传感系统获取的特征中每10个序列特征值的平均值作为一个样本特征，达到将其采样频率从5000帧·s–1 降为500帧·s–1 的目的。因此，本研究中所有传感器的采样速率均同步在500 Hz，这个频率是光谱仪的最高采样速率。最后，将各个传感器获取的特征合并可组成351维的焊接状态的特征向量。为了保证每个维度在模型中的权重一致，首先将该特征向量中的每个特征的样本值归一化到0~1之间，以提高DBN模型的准确性和鲁棒性。归一化过程由式（30）表示，其中，xnorm 为归一化特征值，x为原始特征值，xmin 为所有样本的最小特征值，xmax 为所有样本的最大特征值。

本研究进行了21组焊接试验，这些焊接试验均采用不同焊接参数，共采集到10 500个焊接过程信号样本。在该数据集中，随机选择其中的7500个样本作为训练数据，剩下的3000个样本作为测试数据。

《4.3. 焊接状态定义》

4.3. 焊接状态定义

本文的焊接状态定义是根据国际标准EN ISO 13919-1-1996确定的[30]。焊接状态中包括焊接良好和三个典型的缺陷状态——崩裂、驼峰和咬边。本研究对数据集中的10 500个焊接状态样本进行人工标注，第一类为焊接良好，第二类为崩裂，第三类为驼峰，第四类为咬边，每一类的焊缝外观可由图6所示。

《图6》

图6. 四种焊接状态定义。（a）焊接良好；（b）崩裂；（c）驼峰；（d）咬边。

《4.4. DBN 模型验证及与 BP 神经网络模型性能对比》

4.4. DBN 模型验证及与 BP 神经网络模型性能对比

本文中描述焊接状态的一个样本特征向量中包含351个特征分量，该特征向量被直接传输到DBN的可见层。通过后续的三个隐含层来逐级压缩原始输入特征的维数，最终得到原始输入特征的最优表示。第一、第二、第三隐含层的神经元个数分别为200、100、10。在DBN的softmax层预置四个神经元来进行四个焊接状态的分类。

遗传算法通过自然选择过程模拟现实世界中的生物进化过程获取最优解，因此特别适用于求解有约束或无约束优化问题[20]。本文采用遗传算法对DBN模型训练过程中的学习速度、学习动量和批量大小进行优化，以获取DBN模型的最优训练参数从而加快训练过程。通过遗传算法优化确定的DBN训练时的学习速率、学习动量和批量大小的最优值分别为0.05、0.80和50。

同时，本文建立了一个输入层有351个节点、隐含层有200个节点、输出层有4个节点的BPNN模型，并与所建立的DBN模型进行了性能比较。BPNN和DBN模型对焊接状态的监测结果如表1所示。

《表1》

表1 DBN模型和BP模型的性能对比

通过比较可以看出，本文所建立的DBN模型比BPNN模型在焊接状态监测方面具有更高的平均精度。此外，DBN模型在每个类别的准确性也比BPNN模型更加平均，如表1所示。结果清晰表明，本文提出的DBN模型的分类精度和鲁棒性均优于BPNN模型。

《5. 结果讨论》

5. 结果讨论

性能和泛化能力是深度学习模型非常重要的性能指标。为了验证所建立的DBN模型的泛化能力和有效性，本文实施了另外三组焊接试验，其焊接参数完全不同于训练集和验证集中的焊接试验参数，如表2所示。图7 （a）~（c）分别绘制了三组激光焊接试验后焊件实物图、焊接过程中采集的多传感器信号和通过DBN模型取得的在线监测结果。在图7（a）的试验中，焊接过程可分为两部分，左侧部分焊接过程稳定，焊缝外观良好；右侧部分发生了爆裂，可观察到其焊缝外观不太规则。在传感信号部分，可见光光电二极管信号、反射激光光电二极管信号、匙孔大小、金属蒸气体积、金属蒸气偏转角度的变化与焊缝质量显示出较强的相关性，表现为在左边部分中可见光光电二极管信号、反射激光光电二极管信号、匙孔大小、匙孔位置等特征相对稳定，但金属蒸气体积和偏转角度的波动较大。在右侧部分中上述特征呈现相反的变化趋势，即与左侧部分相比，金属蒸气体积和偏转角度变得稳定，而可见光光电信号、反射激光光电信号、匙孔大小和匙孔位置的波动却变大。

《表2》

表2 三组焊接试验参数

《图7》

图7. 本文所建立的模型在三个实际焊接试验中的状态监测结果。（a）试验1，包含良好焊缝和崩裂； （b）试验2，包含驼峰和焊接良好； （c）试验3，包含咬边和崩裂。（i）焊缝外观； （ii）焊接过程中提取的多传感信号； （iii）监控结果。监测结果中，1表示焊接状态良好，2表示崩裂，3表示驼峰，4表示咬边。

图7（b）为第二组焊接试验，其焊接过程中部分位置呈现出驼峰状态。从图7（b）中可见，可见光光电信号、匙孔大小、金属蒸气体积、金属蒸气偏转角度、前向飞溅与焊接过程中的驼峰状态密切相关。通过观察可发现，试验中驼峰部位对应的光谱信号强度（及光谱信号图中红色部分）明显强于其他部分。图7（c）为第三组焊接试验的结果，其左侧为咬边状态，右侧为崩裂状态。在咬边部分，只有后向飞溅信号和频谱信号是稳定的，而在崩裂部分，反射激光二极管信号和正向飞溅信号变得稳定，而其他信号的波动与咬边部分相比变得剧烈。上述分析表明，焊接状态与本文所采集的多传感信号之间存在复杂的非线性关系。

本文所提出的DBN模型的在线焊接状态监测结果如表3所示，对三组试验的平均监测准确率分别为96.00%、98.85%和96.75%，第一类、第二类、第三类、第四类的平均监测准确率分别为96.85%、98.65%、98.40%、93.80%。对三组试验结果的分析表明，所建立的DBN模型在激光焊接状态监测方面具有良好的泛化能力和鲁棒性。

《表3》

表3 三组焊接试验的分类结果

《6. 结论》

6. 结论

本研究提出了一种新颖的大功率激光焊接状态的在线监测方法。该方法通过建立多光学传感器系统采集焊接过程中的实时信号，并对采集到的信号进行预处理并提取特征向量，构建DBN模型来建立激光焊接状态与所提取的特征向量之间的关系，并采用遗传算法对DBN模型的训练参数进行优化。本文的结论如下：

（1）所设计的多光学传感器系统能够对大功率激光焊接过程进行详细描述；

（2）所采集的信号特征向量与焊接状态之间具有复杂、非线性的关系；

（3）与传统的BPNN模型相比，所建立的DBN模型具有更高的精度和鲁棒性；

（4）通过三个实际焊接试验验证了所建立的DBN模型的泛化能力和鲁棒性。

《致谢》

致谢

本研究得到国家自然科学基金（51675104、61703110）、广州市科技计划（201707010197）、广东省教育厅创新团队项目（2017KCXTD010）、广东省自然科学基金项目（2017A030310494、2016A030310347）、广东工业大学青年基金项目（16ZK0010）的资助。

《Compliance with ethics guidelines》

Compliance with ethics guidelines

Yanxi Zhang, Deyong You, Xiangdong Gao, and Seiji Katayama declare that they have no conflict of interest or financial conflicts to disclose.