《1. 化工厂管道泄漏检测》

1. 化工厂管道泄漏检测

大型化工厂的状态监测是维护和预防重大事故发生的重要环节,能够防止大型化工厂遭受间接损害或出现重大故障。在化工厂内,用于输送介质的管道是最为重要的结构部件之一。化工厂通常利用管道输送危险或有毒的液体或气体,因此其泄漏对操作人员和环境安全均构成威胁[1]。一项研究表明,由危险品泄漏引起中毒事故的风险程度极高[2]。不仅如此,管道受损会影响工厂的正常运行,降低工厂设备的利用率和工厂的生产效率,进而造成经济损失[3]。Chen等[4]对石油工业管道泄漏造成的后果进行了综合评价,指明泄漏的成本及损失包括生产损失、资产损失、人员及环境损失。在这些不同的损失中,Chen等[4]仅估算了一个案例的生产损失,结果显示生产损失超过27万美元。

在传统状态监测中,常用的做法是由专业人员通过人工方式检测管道故障。该方法的效果在很大程度上取决于检测人员的专业能力以及检测频率。这是一项非常耗费人力且需较高成本的工作。此外,检测人员需要亲自在工厂进行现场检查,但在危险的情况下,要做到这一点几乎是不可能的。因此,需要远程检测的帮助,以避免人员直接暴露在工厂现场[5]。远程操作要求在工厂进行远程数据的采集,随后采用合适的数据分析方法来完成远程监控。为了在大型化工厂内实现远程、安全、快速且准确的泄漏检测与定位,一种智能且自动的泄漏检测机制是必需的,从而对从工厂中获取的数据进行分析。

在最近的研究中,已研发出多种管道泄漏检测方法 [6]。现有的泄漏检测方法大多根据管道中液体的物理性质,如管道内液体的密度、工艺参数(诸如管道内液体的压力、速度和温度)以及管道的尺寸和形状等生成管道泄漏的数学模型[7]。这些方法在应用到其他情况时通常存在局限性。此外,相关人员需要对工艺过程进行深入的了解(以提供精确的模型)并精确掌握化工厂的基本情况(这几乎是不可行的)。除泄漏检测外,管道泄漏定位是另一个重要方面。现有的方法大多无法精准地找出泄漏位置。在某些方法中,泄漏定位取决于工厂的地理信息(诸如工厂的规模和位置,管道长度,管道内液体的速度、压力和其他物理性质)[8–11]。因此,很难将这些方法应用于其他环境和其他类型的液体。此外,这些方法通常需要在管道的不同位置采用不同的传感器,而传感器数据的同步差将极大影响这些方法的精度[12]

尽管人们在管道泄漏检测领域已进行了大量的研究,但仍然需要找到一种智能的泄漏检测与定位方法,尤其能适用于不同类型的液体以及不同类型、形状和尺寸的管道。不仅如此,还需要找到快速准确的泄漏检测方法,特别是当泄漏液滴非常小时。在造成重大损坏之前,微小液滴泄漏(简称微漏)更难被检测到,因此,如果在早期能够快速发现微漏,就可避免出现严重且危险的故障。目前,管道泄漏检测与定位所面临的挑战推动了视觉检测及机器视觉技术在该领域中的应用。

机器视觉技术与人工智能(AI)相结合,可为了解工厂状况、识别工厂运行状态及决策提供架构[13]。视觉检测是一种很有前景的方法,可实现制造系统全自动状态监测及在线检测[14,15]。自动视觉检测的一个主要优点在于,其可快速准确地检测出工厂特定部位的故障[16],并提高制造环境中的安全性。但在实际工业环境和大型工厂中实现基于视觉技术的检测系统仍然面临挑战。一种解决方案是采用具备视觉能力的无人机平台 [17]。尽管如此,由于无人机具有姿态变化和快速运动的特点,大多数机器视觉算法在处理其拍摄的图像时并不能实现最优化[17]。此外,在防爆区内无人机不属于安全型设备,原因是无人机起火的风险较高[18,19]。另一种方法是在大型工厂的不同位置部署多个固定式相机,针对不同部位抓取影像。每一个相机能够捕捉到工厂特定部位的图像,并实施视觉检测。

本文主要提供了一种与人工能力和人工检测无关的自动视觉泄漏检测方法。为实现这一目标,所用的试验台包括一套工厂演示装置以及一台红外(IR)相机。利用从工厂实验装置中采集的视频数据,开发出一种基于机器视觉技术的智能泄漏检测方法。通过试验台获得的结果表明,所提出的方法可高度精确地对泄漏部位进行检测、定位和分类。本文最后讨论了这种视觉检测系统在大型工厂进行实际应用的可能性及局限性。

本文剩余部分的结构如下:第2节讨论了高效泄漏检测方法的要求以及假设;第3节对泄漏监测领域的最新文献进行了回顾、分类和比较;第4节介绍了利用机器视觉和图像处理技术进行视觉泄漏检测的基本方法和步骤;第5节对得出的结果进行了研究和评价;第6节为讨论和展望。

《2. 高效泄漏检测与定位的要求和假设》

2. 高效泄漏检测与定位的要求和假设

在泄漏监测领域,研究的范围从训练有素的专业人员手动检测到利用复杂的传感器进行检测[6]。为提供一种可靠、合适的泄漏检测机制,本文提出的方法应满足特定的要求。这些要求源于泄漏检测的现状。第一项重要的要求是具备安全的远程泄漏检测能力(要求R1),以避免人员直接暴露在工厂内进行检测。红外相机作为一种远程检测方法已被用于多种工业应用[20]。在中毒泄漏或易燃物泄漏易导致火灾或爆炸的防爆区,这一要求尤为重要[2]。为实现自动状态监测,另一项重要的要求是提供与操作人员能力和人工检测无关的泄漏自动检测(要求R2)机制[21]。自动检测机制具有更低的劳动强度,且可以永久使用。泄漏检测机制的下一项重要的要求是所提出的方法的准确性(要求R3),尤其要保证在危险情况下该方法的可靠性。但是,由于工业环境中包含不同类型的噪声,泄漏检测方法的准确性和精度会不可避免地受到影响。鉴于此,提出的方法还应对环境噪声具有鲁棒性(要求R4)。此外,在嘈杂的工业环境中,检测微小泄漏液滴变得更加困难。所以,检测微小泄漏液滴的能力(要求R5)非常重要,以避免因微小液滴长期无法被检测出而造成严重的破坏。由于工厂内可能存在多处泄漏且在不同部位存在同时泄漏的可能性,因此泄漏检测机制应能够检测多处同时泄漏的情况(要求R6)。在检测到泄漏后,还应考虑泄漏的具体位置(要求R7)。由于从管道泄漏出的物质可能属于危险液体,除能够定位泄漏位置外,检测出泄漏的轨迹和路径也是非常重要的(要求R8)。泄漏轨迹可提供有关泄漏液滴路径的附加信息,以监测可能受到泄漏影响的工厂的不同部位。此外,应在合理的时间内(要求R9)检测出泄漏,以用于实际应用,并尽可能快速地采取措施避免造成严重破坏。最后,检验方法应与管道内液体的物理性质和管道本身的材质无关。换言之,检测方法应适用于管道中不同类型的液体(要求R10)。其他要求,诸如固定泄漏位置或量化泄漏液体量,可在泄漏检测与定位完成后由操作人员手动调查和处理。泄漏量可通过参考文献[22]中提到的不同测量技术进行量化,如泄漏前后管道中液体量的差异;但是这不属于图像处理技术的重点。这些都是泄漏检测与定位之后才完成的步骤。

泄漏检测机制应满足上述要求,以实现自动、可靠的检测,并最大程度地降低对环境的危害和破坏。为总结本文的研究目的,特提出了以下假设。本文将在第5 节中根据要求R1~R10对这些假设(H1、H2、H3)进行评价。

(1)H1:利用红外相机和图像处理技术进行泄漏自动检测。

(2)H2:利用数据分析、机器学习和图像处理技术可提供可靠的检测:

• H2.1:图像处理技术将提供一种对环境噪声具有鲁棒性的检测系统。

• H2.2:机器学习和图像分析可为在合理时间内实现准确的泄漏检测提供基础框架。

• H2.3:利用图像处理技术可准确地检测出泄漏液滴的位置和运动轨迹。

(3)H3:通过在大型工厂的固定位置设置红外相机,可将提出的方法应用到实际生产中。

在下一节中,我们根据本节提出的要求对泄漏检测领域的最新文献研究进行了梳理。

《3. 泄漏监测与定位技术的现状》

3. 泄漏监测与定位技术的现状

在管道泄漏检测领域的相关文献中,涉及多项研究。研究手段可归为三类:第一类是采用过程和物理模型进行泄漏检测。主要考虑液体在管道中的速度、密度、压力和温度等物理性质,并建立管道内液体流动的数学及物理模型。其泄漏检测的原理是基于管道内液体的物理行为与模型之间的不一致性。第二类是现有泄漏检测方法,主要是将物理模型和传感器数据结合进行泄漏检测。利用数学和物理过程模型对泄漏进行建模,随后将传感器的测量数据与导出的模型进行比较并分类。在该类方法中,分类步骤通常由数据驱动的方法实现。最后一类方法仅利用传感器的数据(诸如压力和流量)和数据分析方法来推导过程模型。该过程模型被用于化工厂状况分类及异常检测。与物理模型驱动方法相比,数据驱动方法的优势在于无需对过程和所输送介质信息进行深入了解和提前掌握[22]。泄漏检测的另一项挑战是微漏的检测。对于微漏,现有文献中未给出非常明确的定义,且泄漏量大小的衡量指标也不尽相同。一般而言,微漏通常是指由泄漏引起的压力变化相对于噪声水平以及整个压力范围非常小的情况[23]。在不同的文献中,存在不同的度量标准来衡量泄漏的大小。Ostapkowicz [23]将微漏定义为相对于管道中总流量的百分比; Liu等[9]将微漏定义为泄漏孔相对于管径的比例;He 等[24]将微漏定义为一定的泄漏量(从孔口流出的液体量)。本文将微漏定义为在图像中形成泄漏液滴的最低像素数。在下面的小节中,将详细介绍现有的泄漏检测方法。

《3.1. 物理模型驱动的泄漏检测方法》

3.1. 物理模型驱动的泄漏检测方法

现有的泄漏检测方法是基于测量管道中液体流入量和流出量之间的差值以及负压波(NPW)实现的。如果沿管道不同位置分布的压差传感器测得的压力具有显著差异,则表明存在泄漏的迹象[25]。He等[24]提出了结合泄漏稳态条件下的负压波进行泄漏检测,并分析了泄漏量的敏感因素(如孔口尺寸和上下游压力)。但一般而言,基于负压波的方法对噪声敏感,并很大程度上取决于传感器的精度[6],因此不适合短距离输送管道 [6]。Liu等[9]提出了一种基于压力波振幅衰减模型的动态检测模式用于较大泄漏量的检测,以及基于压降模型的静态检测模式用于较小泄漏量的检测。如果压力的振幅衰减低于由数学模型计算得到的值,则检测到泄漏。同时,该方法将工厂划分成多个部分,并对每一部分利用压降模型来检测微漏。Abhulimen和Susu [10]针对泄漏检测,提出了另一种利用流量及压力的Lyapunov稳定性及平衡点概念的物理模型驱动方法。将泄漏作为平衡方程中的一个因子进行建模,当模型偏离平衡点,导致流量模型不稳定时,会检测到泄漏。对于泄漏定位,该方法利用声音在液体中的传播速度,首先计算出声波信号传播的时滞,随后计算出泄漏位置与传感器之间的距离。由于其假设系统对于任何足够小的扰动均保持稳定状态,所以用这种方法很难检测到微漏。

利用声发射(AE)传感器是另一种对管道泄漏特性建模的方法[26,27]。声发射方法的主要原理是管道泄漏会引起湍流,从而导致弹性波在管道材料中传播。该方法与管道材料的性质有关,因此很难应用于不同材质的复杂管道[6]

《3.2. 物理模型驱动及数据驱动的泄漏检测方法》

3.2. 物理模型驱动及数据驱动的泄漏检测方法

泄漏检测领域的其他研究运用了数据驱动方法,并结合分析模型和物理模型。Zhang等[28]提出了一种用于泄漏检测的水力和热力瞬态变化分析法以及优化的粒子群优化(PSO)算法。首先,利用流量和压力建立水力和热力瞬态模型,随后从管道起点和终点的传感器中获取泄漏检测所要求的数据。最后利用计算数据与实验数据的偏差判断是否出现泄漏。Delgado-Aguiñaga 等[29]利用管道末端的压力和流量传感器以及非线性模型,通过Water-Hammer方程和卡尔曼滤波器算法估计泄漏系数,但该方法无法同时检测管道上不同位置的多处泄漏。

Ostapkowicz [23]采用负压波方法和梯度法进行泄漏检测。在压力梯度法中,假设压力沿管道呈线性变化。但是,该假设无法模拟所有的流体动力学[9]。Sun与 Chang [7]针对泄漏检测,通过信号处理以及流量、压力信号的组合拓展了负压波方法。当整体压力信号的衰减大于单个压力信号的变化时,可检测到泄漏及其位置。然而,该方法的精度很大程度上取决于安装在管道两端的流量计的类型及动力学性能。此外,该方法不适用于噪声环境和管道距离较短的情况[6]

《3.3. 纯数据驱动的泄漏检测方法》

3.3. 纯数据驱动的泄漏检测方法

在各种泄漏检测方法中,有几种方法仅通过数据驱动就可以检测泄漏。Qu等[30]采用了与管道平行的光纤传感器来感应管道的振动。该方法运用支持向量机分类器对管道泄漏引起的正常振动和异常振动进行分类,通过分布式光纤传感器检测泄漏位置;但其不适用于短距离管道。Da Silva 等[31]利用模糊分类器对管道运行状态和过程瞬态进行分类,根据流量偏差与运行瞬态之间的相关分析进行泄漏检测。Wachla等[32]采用神经模糊分类器进行泄漏检测,该方法将管道区域划分为若干个子区域,利用一组神经模糊分类器确定泄漏位置。为检测并定位泄漏,该方法需要考虑测量流量与预计流量之间的残留量,如果残留量超出特定水平,将会检测到泄漏。但是,该方法无法检测到微漏,因为在此情况下,残留量无法代表流量的变化。

在数据驱动方法的研究领域,有一些方法利用泄漏液体的图像数据和图像处理来检测泄漏。这些方法使用红外相机作为外部视觉检测系统对管道进行检测。 Nellis [33]首次提出了这一概念,并用于监测水渠。对该方法的评估表明这是一种经济可行的泄漏检测模型。但其未在自动泄漏检测中应用图像处理方法。Adefila等 [34]也利用了红外相机进行泄漏检测。该研究考虑了管道泄漏的气体,并评估了红外相机在获取泄漏气体温度变化方面的灵敏度,但未提出任何与检测气体泄漏相关的图像处理方法。Atef等[35]提出了一种基于图像分析的输水管道自动泄漏检测机制。研究人员应用聚类分析方法检测图像中的泄漏。对于泄漏定位,该研究提出了一种基于区域生长法的分割方法。Dai等[36]提出了一种基于红外相机和图像处理技术的气体泄漏检测方法。经自适应维纳滤波器降噪后,应用改进的Surendra 算法找到变化区域,利用边缘检测方法来定位泄漏区域。Kroll等[37]利用典型气体泄漏的温度廓线的二维高斯分布模拟热成像图像中的泄漏区域。研究人员通过图像与温度廓线的相关性检测泄漏。该方法需要事先掌握有关泄漏的温度廓线的信息。Wang等[38]采用卷积神经网络(CNN)对红外图像进行气体泄漏检测,并根据不同的泄漏率对图像进行分类。为降低噪声水平,研究人员对背景图像进行减影处理以降低环境影响。参考文献[35–38]假设泄漏区域不会随时间发生变化。这一假设主要适用于气体泄漏,或当图像中的泄漏为区域生长模式时的情况。当泄漏中包含液滴时,这种假设不成立,因为泄漏液滴不仅会出现在图像的固定区域内,其在后续图像中也会以运动物体图案的形式出现。Araujo 等[39]提出了一种利用热像仪和红-绿-蓝(RGB)三基色相机进行泄漏检测的图像分析技术。研究人员将得到的图像合成为一幅图像,作为CNN分类器识别泄漏的输入。图像分析需要获得更多的参数,诸如相机与管道之间的距离以及相机的视角。在利用热成像视频数据进行泄漏检测方面,Fahimipirehgalin等[40]提出了一种基于主成分分析(PCA)和k-最近邻(KNN)分类的方法,来获得帧内泄漏液滴的特征,并对正常和异常(包括泄漏)视频进行分类,但该方法无法检测出泄漏液滴的位置。表1根据定义的要求总结了不同检测方法的特点[7,9,10,23–40]。

《表1》

表1 符合要求的泄漏检测方法分类表

+: the requirement is met (pros); −: the requirement is not met (cons); o: the requirement is partially considered but not clearly discussed.

尽管研究人员在泄漏检测领域已进行了多项研究,但在不考虑所输送介质类型的前提下,找出针对化工厂管道的自动、准确泄漏检测与定位机制(尤其是微漏或同时存在多处泄漏的情况)还存在一定挑战。本文引入了一种针对泄漏检测的分块PCA图像处理方法。PCA是一种广泛应用的使图像数据降维的方法[41]。此外,由于该方法能够保持图像中最大的对比度和方差,因此也可用于后续图像中的变化检测[42]。PCA可在后续图像中保留由泄漏液滴引起的变化,其可将高维图像降到低维,从而降低图像分类的计算复杂性。此外,将图像进行分块处理,利用分块PCA可得到每一分块中泄漏液滴的详细信息,并对其进行定位。本文采用KNN [43]作为分类器,将图像(图像中的分块)分为正常(无泄漏)和异常(泄漏)两类。KNN是简单的分类器,特别是当类别无法进行线性分离,输入数据的维数较低时,其性能极高。将PCA作为降维方法,通过降低输入数据的大小,使KNN具备良好的分类性能。在接下来的章节,我们将更详细地讨论所提出方法的具体实施步骤。

《4. 基于机器视觉技术的泄漏自动检测》

4. 基于机器视觉技术的泄漏自动检测

本节中,为了更好地说明机器视觉系统,首先对图像采集、图像预处理、图像分割和特征提取方法予以介绍。然后,利用提取的特征对工厂(管道泄漏)状态的正常和异常行为进行分类。在接下来的小节中,将更详细地描述这些步骤。

《4.1. 图像采集与试验台说明》

4.1. 图像采集与试验台说明

为利用机器视觉技术进行泄漏检测,我们团队为本研究设计了一个特定试验台。该试验台配备了实验室工厂演示装置,其中包括一台恒温器,采用集成泵实现水在管道中的循环,还包括多支Swagelok接头、附加管线、堵头和取样阀,以从不同位置形成泄漏。此外,通过移除管道上的一些接头也可形成泄漏。管道主要采用不锈钢材质,管道连接处采用柔性橡胶管。为确保操作演示装置人员的人身安全,将高温开关调整为50 ℃。该试验台的制作得到了专业人员的帮助,与实际工业过程十分相似,确保了该实验台对实际生产的指导意义。

该试验台安装了一台红外相机,用来获取来自工厂演示设备的视频数据。所用的红外相机为TIM640 (Micro-Epsilon,德国),能够拍摄像素为640×480或 320×240的照片,温度分辨率为75 mK,其他红外相机的空间分辨率仅为320×240像素。因此,该相机的空间分辨率相对较高,并能够捕捉到微漏的情况。此外,该相机还具备原始数据导出功能,以及直接处理实时数据的接口。该相机输出的原始数据会显示每一像素对应的温度值,因此可用于在线状态监测。该相机的最大帧率为每秒25帧。

本试验台提供了两种数据集,已验证所提出方法在不同数据集类型下的泄漏检测能力。本研究所使用的相机是Micro-Epsilon TIM640,可提供动态图像专家组(MP4)和热成像视频文件(RAVI)两种不同格式的视频。鉴于两种格式具备不同的帧大小,因此其能够评价所提出方法在这方面的效果。第一种数据集类型为帧大小为 320×240像素的MP4视频,第二种数据集类型为RAVI 格式、大小为640×480像素的相机中导出的原始数据。在MP4格式的数据集中,每一像素值为对应像素温度的灰度颜色信息,而在RAVI格式中,每一像素值为对应像素的温度值。采用两种不同类型数据集的主要目的是针对不同质量、不同大小以及不同格式的视频,对所提出的方法进行评价。如图1所示,这两种数据集具有不同的噪声等级和不同的帧大小。因此,我们可对MP4 格式的高噪声视频和RAVI格式的低噪声视频进行评价。为提供这两种数据集,我们在工厂演示装置中进行不同泄漏速度和位置以及不同液体的泄漏试验。此外,为提出一种与摄像机位置和角度无关的泄漏检测方法,我们在工厂演示装置上从不同的角度和距离拍摄了不同的视频。在本试验台中,我们拍摄了一些工厂在正常运行、无任何泄漏情况下的视频。此外,还拍摄了一些工厂在不同位置出现泄漏时的视频。不同的泄漏位置和速度通过随机方式产生。这种设置的主要目的是验证所提出方法能够在泄漏位置及速度均为随机的情况下,检测出泄漏。每一个数据集都分为训练数据集和测试数据集。选取训练和测试数据时,应确保在两组中均包含正常视频和异常视频。尽管存在这一条件(在训练和测试数据中均包含正常和异常视频),选择过程仍然遵循随机原则。

图1(a)为由红外相机从实验室演示装置中获取的不同位置泄漏的帧样本。为显示帧中的泄漏效果并去除背景,对每一视频中的后续帧进行减影处理。当背景中的固定像素被去除后,就可在后续帧中观察到由泄漏引起的变化。减影后的帧样本如图1(b)中所示。为更好地显示出减影帧,本文将其背景设为白色,泄漏目标(泄漏液滴)设定为灰色像素。如图1所示,每一减影帧都含大量噪声[更多细节参见图1(c)],必须去除这些噪声以得到泄漏的效果并提升数据质量,从而进行下一步的数据分析[44]。由于原数据的压缩,MP4格式中噪声的影响更强[图1(d)]。在这两种情况下,均要求进行适当的数据预处理,以降低噪声的影响,并提高帧的质量。

《图1》

图1.(a)采用RAVI格式的存在泄漏的帧样品(来自工厂演示装置);(b)采用RAVI格式的减影帧样本;(c)采用RAVI格式减影帧的放大区域;(d)采用MP4格式减影帧的放大区域。泄漏液滴采用实线圆圈标记。

《4.2. 图像预处理》

4.2. 图像预处理

在视频预处理第一步需将获得的每一视频分为不同的帧,并对后续帧进行减影处理,具体如下:

式中, 分别是n帧序列的第和(f−1)个原始帧; 为减影帧;指数f = 2, …, n。在减影处理后,需对减影帧进行噪声消除。

本文使用参考文献[40]中提出的噪声去除机制对减影帧进行噪声消除。第一步,设定剪影帧的阈值为t a ,并将小于该阈值的像素设置为零以去除背景噪声。由于泄漏液体的温度与周围环境温度存在差异,使得泄漏液滴在减影帧中引起的变化大于背景噪声。因此,经过阈值滤波后,泄漏液滴的影响依然保留在减影帧中。去除背景噪声后,再进行一次噪声滤波,该过程称为单像素噪声去除。该噪声去除步骤的基本假设是泄漏液滴中含有一些相邻像素,其泄漏液滴不是单像素。在减影帧中,存在一些具有非零值的单像素,而这些像素的所有相邻像素均为零值。上述单像素通常具有很高的值,不能通过背景噪声消除,因而会影响图像处理的效果。因此,如果某一像素的所有相邻像素均为零值,则该像素的值也应被设置为零。

为阐明连续帧中泄漏的影响及液滴运动的效果,还需对图像进行时间运算预处理。时间运算通常被应用于连续帧,以获得这些帧中液滴运动的具体效果(如泄漏目标的运动)[14]。本文采用的时间运算是对k个减影和滤波后的连续帧取平均值,其中k为时间帧的个数,所得到的帧被称为时间平均帧,在该帧中可观察到泄漏液滴运动对k个连续帧的影响。在完成该步骤后,可将视频数据转换为一组时间平均帧,并可在这些帧中将泄漏液滴视为条纹线。对k个序列帧进行平均会增加时间平均帧中的噪声,原因是该步骤也对k个序列帧中的剩余噪声进行了平均。因此,为从时间平均帧的剩余噪声中分辨出泄漏液滴的条纹线,我们进行了图像预处理的最后一步,即垂直邻域滤波器。引入这一预处理步骤的原因是,在大多数情况下,管道泄漏随时间的推移会发生垂直运动。在该步骤中,每一像素周围具有非零值的垂直带,假设v是对应像素在水平轴上的位置,则在垂直带的宽度内考虑水平方向上{vα, …, v+α}范围内的像素,其中α是对应像素右侧和左侧的邻域像素的数目。如果在图像的垂直方向上有q个像素,则垂直带的大小为q × (2α + 1)。假设泄漏液滴中的某个像素在垂直带中至少有q2个相邻像素,否则应被视为噪声像素。图2为 MP4格式减影帧样本放大区域中的图像预处理的过程结果。可以看出,在背景噪声去除后,剩余的某些单像素不属于泄漏液滴[图2(a)],移除这些像素后可以得到泄漏液滴[图2(b)]。对k帧取平均值可得到一帧中的几个泄漏液滴,但这也增加了时间平均帧中的噪声[图2 (c)]。因此,要采用垂直邻域滤波器来区分泄漏液滴和剩余噪声[图2(d)]。

《图2》

图2. 减影帧样本中放大区域内噪声去除机制的步骤。(a)背景噪声去除后的剩余噪声,虚线圆圈表示单像素。(b)去除单像素的效果。(c)时间平均帧。泄漏液滴形成条纹线,但噪声也会相应增加;环绕像素的虚线表示垂直带;泄漏液滴在垂直带中具有更多的邻域像素。(d)垂直噪声去除的效果,在垂直带中有足够非零邻域的像素将被设置为零。

《4.3. 图像分割与特征提取》

4.3. 图像分割与特征提取

经过图像预处理后,每一视频可作为一组图像(时间平均帧)进行图像分割和特征提取。每一图像可表示为一像素矩阵,如下所示:

式中,x 2D表示二维图像;q表示垂直方向上的像素数;r是水平方向上的像素数;xqr为第q行和第r列位置的像素值,且 R为实数集。由于像素(特征)的数量大,且在图像分析中若使用所有像素则会增加计算复杂度,因此需要一种精确的特征提取机制。通过特征提取,在去除不必要像素的同时,保留了最相关的像素(表示泄漏)及其效果。但在特征提取之前,需要将图像适当分割成有意义的区域。该方法不仅有助于泄漏检测,也有利于泄漏定位和泄漏液滴轨迹检测。在完成区域分割后,对每一部分进行特征提取。

在图像分割过程中,需将时间平均帧划分为若干个分块。每一分块的大小为L × L像素,其中L表示分块在水平和垂直方向上的像素数。时间平均帧样本中的分块为图3中的网格线。在该图中可以观察到三个不同位置的泄漏(标记为1、2和3)。如果B1表示垂直方向上的分块数,B2表示水平方向上的分块数,则将图像分块后,式(2)中的每一图像矩阵可表示为以下矩阵:

每一分块都可在图像矩阵方程式(3)中的特定区域(图3)进行表示。该方程式表明,图像矩阵可被划分为多个分块区域,每一分块可被视为大小为L × L的单独图像矩阵(时间平均帧右侧的最后一个分块除外,因其尺寸可能较小)。这种分割有助于只考虑包含泄漏液滴的分块,并可从图像中对其进行提取。为提供合适的分块集合,需要使用训练数据。由于训练视频中的泄漏位置已知,可从中选择并提取异常分块(存在泄漏的分块)。因此,训练数据可表示为一组异常分块和一个正常分块的组合(图4)。异常分块指包含泄漏的分块,可从不同的异常视频(存在泄漏的视频)中提取。正常分块可从没有任何泄漏的正常视频中选取。应注意,从特定训练视频中提取的每一分块在相应视频中必须包括相同数量的时间平均帧。

《图3》

图3. 具有三处不同泄漏的时间平均帧样本。分割(分块)用实线表示。每一分块代表图像矩阵中的特定范围。图像矩阵(右侧)可被划分为不同分块区域,每一分块均可被视为单独图像和大小为L × L的图像矩阵。B1表示垂直方向上的分块数,B2表示水平方向上的分块数。

《图4》

图4. 提取特定分块后的训练数据。(a)训练数据可被简化为一组包含泄漏液滴的异常分块。这些分块来自不同的异常视频,且在相应的视频中包含相同数量的时间平均帧。(b)无任何泄漏的正常分块。每一分块在相应的视频中包含相同数量的帧。

在将训练数据转换为异常分块和正常分块后,要对其进行适当的特征提取,需从所选分块中提取与泄漏最相关的信息,然后将分块集转换为特征集。在这一过程中,可利用PCA进行特征选择。PCA是从高维数据集到低维数据集的线性坐标变换。训练视频的时间平均帧中的异常分块可表示为以下矩阵:

式中, 表示分块的二维图像;b1b2分别表示在水平轴和垂直轴上的分块数。为计算该分块的PCA,首先需要将式(4)中的二维图像矩阵转换为一行向量(序列化),方法是将所有L行放在一行中,如下所示:

式中, 表示图像矩阵的一维行向量。由于每一视频包括N个时间平均帧,所以每一分块也包括N个时间平均帧。分块中的每一时间平均帧是式(5)中表示的数据样本,所以分块中包含N个数据样本。综上,训练视频中某一分块的数据矩阵可以写为:

式中,Xblock表示分块; 表示分块Xblock中的第N个时间平均帧。图4中的每一分块可用具有L × L个特征(像素)的式(6)表示。

在将分块转换成一组数据样本和一个数据矩阵后,利用PCA对每一矩阵进行特征提取。通过PCA计算并完成从系统Xblock到新系统Zblock的线性坐标变换:

式中,Pblock表示转换矩阵,其列是新系统的基向量。在PCA 中,根据数据矩阵的协方差矩阵,可以得到构成转换矩阵的基向量。假设是数据矩阵Xblock 的协方差矩阵。利用协方差矩阵的特征向量分解得到转换矩阵Pblock [44]。如果Pblock_iPblock是协方差矩阵 的第i个特征向量,则对应的特征值λblock_i表示将数据矩阵Xblock转换到Pblock_i 方向后数据中的方差。

上述过程说明具有较大特征值的特征向量在转换后可保持较大的方差和协方差。按降序λblock_i > … > λblock_(L×L) 排列特征值并对特征向量进行排序后,通过转换为第一特征向量来获得主要数据变化。这种情况下,第一个H特征向量(其中H是所选特征向量的数量)可形成转换矩阵,,其中H << (L×L)。因此,每一分块可被转换成新的低维数据矩阵,如下所示:

在这一转换中,分块内的所有帧都被转换成新方向。利用式(8)可对图4中的所有训练分块进行转换。如果训练视频中存在个分块,则会有个转换矩阵和个被转换矩阵(包括一组泄漏分块和一个正常分块)。图5为某分块内的帧样本转换的结果。我们将转换矩阵可视化为条形图(图5)。

《图5》

图5. 利用PCA将样本分块中的帧样本转换(映射)到低维H(如H = 10)。

由于每一分块都显示出不同的形状和像素强度,因此应计算每一分块的不同主成分。这一概念在本文中被称为“分块PCA”(block-PCA)(图6),训练分块中的分块被表示为  ,相应的转换矩阵和被转换矩阵分别为

在将一组分块定义为训练集后,需定义转换矩阵 S [图6(b)]。每一分块中的所有帧都应被转换(映射)成相应分块已计算的主成分方向。图6(c)为每一分块已转换(映射)帧样本的集合。集合和集合映射(包括已转换帧)是进行后续分析和分类的基础。

对于正常分块,由于其所有像素均为零,因此无转换矩阵和被转换矩阵。但为保证一致性,所有分块都使用转换矩阵,且在文中任何需要区分正常分块运算的地方,都将指明。在得到用于测试视频中泄漏检测与定位的训练数据后,需对测试数据进行分类。

《图6》

图6. 针对训练数据使用分块PCA。(a)分块集合及每一分块的帧样本;(b)与每一分块(转换矩阵)对应的主成分集合;(c)利用相应的主成分在每一分块中转换(映射)的帧样本的集合。已转换帧(1)是在P′ block(l′)_train下从训练分块(1)等计算出的某一帧转换的结果。

《4.4. 分类、检测、定位和解释》

4.4. 分类、检测、定位和解释

本文采用一种包含正常类和异常类的二元分类法对测试数据中的每一分块进行分类。分类的原则是,如果测试视频中的分块包含泄漏,则应将其归类为异常类,否则应为正常类。

为检测与定位测试视频中的泄漏,首先将测试视频转换成帧,并对测试帧进行图像预处理和除噪处理。由此得到的时间平均帧被分成块,每一分块中的每一帧将单独进行分类。最后,将相应的分块分类为其大部分帧所属的类别。通过该分类,可以在测试视频中检测出异常分块和正常分块。检测到异常分块后,可在这些分块中定位泄漏。图7简述了在测试数据中进行泄漏检测与定位的过程。在此过程中,分块被逐个处理,直至测试视频中不含未处理的分块。此外,在每一分块中,时间平均帧将被逐个处理。当帧被集合中的所有转换矩阵转换,且集合中无未处理的转换矩阵时,对每一帧进行分类。最后,当所有的帧都进行了分类且分块中不含未处理的帧时,再对分块进行分类。如果分块被归为异常类,则在相应分块中进行泄漏定位。

通过采用集合和由训练分块生成的映射集,对每一测试分块中的每一帧进行分类。在这种情况下,使用集合中的PCA转换每一测试分块中的每一帧。假设对测试视频中的分块b进行分类,该分块用式(6)表示为Xblock(b)_test的数据矩阵。在第一步,该数据矩阵通过集合S中的P′ block(l′)_train进行转换。这种转换的结果是得到维数据矩阵 。将该数据矩阵中的每一数据样本(转换帧),,i = 1, ..., N与转换后训练分块中的每一数据样本j = 1, ..., N, = 1, ..., 进行比较。计算每一个转换后的测试帧与所有转换后的训练帧之间的欧氏距离。在利用P′ block(2)_trainP′ block(3)_train等转换测试分块后,执行相同的步骤。然后通过应用KNN [43] 将测试分块中的每一帧划分在与之距离最近的训练帧类别中。最终,将分块b划分在其大部分帧所属的类别中。由于KNN算法是一种非参数机器学习方法,PCA作为一种特征选择过程可得到直接分类。这说明测试视频中包含泄漏的异常分块可被划分到具有相似泄漏且与之距离最近的训练分块的类别中。

对于训练集合中的正常分块,在集合S中无转换矩阵,因此需将大小为H的零向量作为该分块的被转换矩阵。测试视频中的所有分块都应与该零向量进行比较,并在集合S中的所有其他转换矩阵完成转换后进行比较。如果测试分块中的大多数帧只有零值像素,则在任何转换之后,其将被转换为零;因此,其与零向量的距离最小。如果测试分块在大多数转换后与零向量的距离最小,则该分块被归类为正常。最终,如果在该视频中检测到异常分块,则将测试视频归类为异常视频,否则将其归类为正常视频。

将一个分块划分为异常分块后,需计算该分块内的泄漏位置。为此,计算每一个异常分块的质心,以确定其内部的泄漏位置。由于漏液液滴中的像素是分块中最密集的像素,因此具有特定半径的质心可高亮显示出泄漏区域。假设r′ q′ 分别是分块中垂直轴和水平轴上的像素索引;mr′q′ 代表像素的强度。则分块的质心可由式(9)、(10)进行计算:

式中,R(block(b)_test)i代表测试视频帧i中分块b内质心的行(水平轴和垂直轴上的位置)。

式中,C(block(b)_test)i代表测试视频帧i中分块b内质心的列(水平轴和垂直轴上的位置)。如果b1b2分别为垂直轴和水平轴上分块b的索引,则可将第i帧中泄漏的全局位置计算为:

《图7》

图7. 图示为一种基于分块PCA的测试视频分块分类方法。橙色区域表示每一测试帧的转换,绿色区域表示每一测试帧的分类,蓝色区域表示每一测试分块的分类。

《5. 泄漏检测与定位方法的评估》

5. 泄漏检测与定位方法的评估

为评估本文所提出的基于红外相机和机器视觉技术的泄漏检测方法,本节对测试视频中泄漏检测与定位的结果进行了讨论。为了更好地进行评估,我们提供了两种不同的数据集。第一种数据集中的数据以MP4格式存储,第二种数据集中的数据则以RAVI的原始格式进行存储。在下面的小节中,我们将讨论针对这两种数据集所提出的方法的结果。最后,根据两种数据集的结果,评估泄漏检测的要求。

《5.1. 泄漏检测方法在 MP4 格式视频数据中的性能分析》

5.1. 泄漏检测方法在 MP4 格式视频数据中的性能分析

该数据集包括25个视频,每一个视频的时长为60 s,分别通过实验室工厂演示装置在正常条件下(9个视频)和异常条件(包括在工厂演示装置不同位置的液体管道泄漏,16个视频)下获取。在工厂演示装置拍摄完成每一个视频后,整个数据集由专业人员进行标注。所使用的红外相机的帧速率为每秒25帧,因此,每一个视频包括1500帧。帧的大小为320 × 240像素,需对300 × 240 = 72 000个像素区域进行图像处理。训练数据包括5段正常视频和9段异常视频,测试数据包括4段正常视频和7 段异常视频。根据所提出的方法的第一步,将训练数据分解为帧,然后计算减影帧的数量。在图像预处理过程中,将灰度值小于0.5(ta < 0.5)的像素设置为零,从而去除背景噪声。在利用单像素除噪后,计算所有视频的平均时间帧(k = 5),然后利用垂直邻域滤波器进行滤波(α = 2和q2 = 10),将每一训练视频分为若干个分块。将分块大小设置为L × L = 40 × 40。

为形成图6中的分块集合,需从每一训练视频中选择一组异常分块和一个正常分块。然后,计算每一分块的PCA,从而形成集合S。为得到一个合适的H作为每一分块中转换矩阵主成分的个数,需计算每一分块中主成分的相应特征值。由于从主成分的相应特征值可以得出转换后数据中的方差量,因此所选的主成分个数H应使数据的方差最大化。图8为训练数据中4个选定的异常分块的前50个主成分的特征值。通过在每一分块中选择H = 10,可保留每一分块中95%以上的方差。将H增加到10以上会增加转换空间的计算复杂性和维数,且不会显著改变数据的方差。因此,本文选择将每一分块的前十个主成分作为其转换矩阵。最后,根据转换矩阵对每一分块中的所有帧进行转换。因此,分块内每个帧的大小从1600(40 × 40)减小到10,同时每帧中95%的信息得以保留。

《图8》

图8. 输入格式为MP4的训练数据中4个异常分块的前50个主成分的特征值。每一特征向量(主成分)的特征值为数据在该方向上转换后的方差量。(a)第一个异常分块样本的特征值;前十个主成分占整个方差的95%。(b)第二个异常分块样本的特征值;前十个主成分占整个方差的96%。(c)第三个异常分块样本的特征值;前十个主成分占整个方差的98%。(d)第四个异常分块样本的特征值;前十个主成分占整个方差的99%。

测试视频的分类过程与训练视频处理方式相同。每一测试视频被划分为若干分块,利用集合S中的转换矩阵将分块内的帧进行转换。每次转换完成后,采用k = 3 的KNN算法对测试视频每一分块中的帧进行分类。我们用试值法在区间[1,5]确定k的值,结果显示k = 3时最优。此外,将已转换帧之间的欧氏距离作为分类的依据。基于欧氏距离将每一帧分别划分在与训练数据中距离最近的帧的类别中。经过所有转换后,如果某一分块内的大多数帧(超过50%)属于异常分块,则该分块被视为异常分块,否则将被视为正常分块。图9(a)为某一测试视频的分块分类结果。在检测到异常分块后,可根据其质心在每一个异常分块中进行泄漏定位[图9(b) ~(e)],并在每一帧中标记泄漏的位置。在图9(b)~(e)中,我们用红色实心圆圈出异常分块的质心。为评估所提出方法对测试视频的准确性,本文利用混淆矩阵对视频进行分析。每一分块的实际类别表示该分块是否存在泄漏,而每一视频分块的预测类别表示其分类结果。表 2总结了该方法应用于每一个视频的精度结果。在每一段测试视频中,有42个大小为40 × 40的分块,表2展示了视频中分块的分类精度。采用MP4格式的每一段测试视频中的正常和异常分块的实际分类、预测分类及分类精度= (TP + TN)/(Total blocks),以及F1 = (2TP)/(2TP + FP + FN);其中TP、FP、TN和FN分别代表正常判断为正常、异常判断为正常、异常判断为异常和正常判断为异常的样本。

《图9》

图9. 采用MP4输入格式的测试视频的泄漏检测与定位。(a)测试帧中每一分块的分类结果;视频中的每一分块均被标记为异常分块(如果包含泄漏)或正常分块(无泄漏);在检测到异常分块后,突出显示每一分块的质心从而确定泄漏位置。(b)~(e)时间平均帧样本与泄漏定位;在每一异常分块的质心周围绘制实心红色圆,圆半径为10个像素。

结果表明,在每个视频中,泄漏检测的准确率都在 90%以上。在正常视频中,只有一个被检测为异常视频(视频3),该视频中的4个正常分块被归类为异常分块,造成这种错误分类的原因可能是受到视频中的高噪声的影响(特别是沿管道的噪声),将管道当成了泄漏管线。此外,在显示为泄漏的异常视频中,存在一些分块,这些分块按照预期应该被检测为异常分块,但其被归类为正常分块(如视频8)。这些分块通常位于帧的底部,而泄漏液滴从帧的顶部位置开始。当泄漏液滴到达帧的底部时,会出现失温的现象,导致衰退并很难被观察到,尤其是在液滴很小的时候。在这种情况下,在视频底部分块内的大多数帧中无法观察到液滴,且被当作噪声消除,因此,这些分块被归类为正常(图 10)。但在泄漏的起始位置可检测到所有液滴,即便是非常小的液滴。图像中可检测到的最小液滴为3 × 5像素,且灰度值大于0.5。

《表2》

表2 采用MP4格式的每一测试视频中正常或异常分块的实际分类、预测分类和分类精度

《图10》

图10. 帧底部异常分块的衰退效应。(a)在视频8的左侧无法检测到两个泄漏分块;这两个分块中液滴的强度不高,在大多数帧中作为噪声被消除。(b)由于衰褪效应,视频11中无法检测到底部的异常分块;该分块中液滴的强度不高,在大多数帧中作为噪声被去除。

在MP4视频中,利用所提出的算法能够在最小为 310帧的条件下检测并定位泄漏。这是去除噪声和正确分类每一分块所要求的最低帧数。在2.90 GHz中央处理器(CPU)和64 GB随机存储器(RAM)环境下,使用 MATLAB 2018a(MathWorks,美国)对310帧中的泄漏进行检测,分析时间为15 s(包括图像预处理时间)。 MP4视频的检测结果见表3。

《表3》

表3 对MP4格式的测试视频进行分类的结果

《5.2. 泄漏检测方法对 RAVI 格式视频数据的性能分析》

5.2. 泄漏检测方法对 RAVI 格式视频数据的性能分析

第二种用于评估检测方法的数据集为20个RAVI格式视频,其中有4个正常视频,16个异常视频。每一视频时长为30 s,帧率为每秒25帧。在该数据集中,帧的大小是640 × 480=307 200像素,且每一像素值正好是该像素对应的温度值。将数据分为训练数据和测试数据,其中12个视频(包括10个异常视频和2个正常视频)作为训练数据,8个视频(包括6个异常视频和2个正常视频)作为测试数据。将该数据集的分块大小设定为 L × L = 60 × 60像素。对于该数据集,采用与MP4格式视频相同的处理步骤。将训练数据分成若干个分块,分别选取异常分块和正常分块。对这些分块计算相应的 PCA并形成集合S,然后将训练分块转换至更低的维数。与MP4格式相比,该格式的主要优点在于不存在由于视频压缩而产生的额外噪声。因此,提出的泄漏检测机制在这种格式下更为准确。在图像预处理步骤中,将小于 0.1(t a < 0.1)的像素设置为零,以去除背景噪声。在应用单像素除噪后,计算所有视频的平均时间帧(k = 5),然后利用垂直邻域滤波器进行滤波,其参数设定为α = 2 和q2 = 10。此外,在该格式中,所选择的主成分数H为 10,可使每一分块的方差保持在95%以上。对于测试视频中的泄漏检测,使用与图7所述的相同方法。将每一测试视频划分为若干分块,利用集合S中的转换矩阵转换分块内的帧。每次转换完成后,采用k = 3的KNN算法对测试视频的每一分块中的帧进行分类。我们利用试错法在[1,5]的区间内选取k值,结果表明,k = 3时最优。此外,将已转换帧之间的欧氏距离作为分类的标准,将每一帧单独划分在训练数据中与之距离最近的帧的类别中。对分块内的帧进行转换和分类后,如果大多数帧(50%以上)在转换下属于异常类,则将该分块归为异常分块,否则将其归为正常分块。

为评估所提出方法对RAVI格式测试视频的准确性,本文利用混淆矩阵对视频进行了分析。每一分块的实际类别表示该分块是否存在泄漏,而每一视频分块的预测类别则为所提出的方法对视频分块分类的结果。每一视频的精度结果见表4。

《表4》

表4 采用RAVI格式的每一测试视频中正常或异常分块的实际分类、预测分类和分类精度

在每一测试视频中,有80个大小为60 × 60的分块。结果表明,在每个视频中,该检测方法能够以合理的精度检测泄漏。由于RAVI格式的噪声小于MP4格式,该方法在RAVI视频数据检测中的精度更高,且正常视频和正常分块不会由于噪声而被归类为异常。此外,RAVI格式的数据在衰退效应中更具可持续性,当液滴到达帧的底部时更容易被检测到,且不会被作为噪声消除。因此,采用这种格式的数据,可更精确地检测泄漏的轨迹。泄漏的轨迹如图11中的6个帧所示。从图中可以看到,相机的角度发生了变化,相机不在工厂演示装置的正前方。这表明,通过分割和分块的操作,泄漏检测与相机的角度无关。此外,利用该方法可同时检测出多个泄漏。在本实验中,可检测到的最小液滴为 3 × 5像素,像素强度大于0.1 ℃,是帧(640 × 480)大小的1/20 000。在RAVI视频中,该算法能以最少120帧的帧数检测与定位泄漏,这是为去除噪声和正确分类每一帧所要求的最低帧数。在2.90 GHz中央处理器和 64 GB随机存取存储器环境下,使用MATLAB 2018a,分析时间为9 s(包括图像预处理时间)。由于RAVI格式的视频噪声较小,泄漏检测所需的最小帧数和处理时间均小于MP4格式的视频。表5为 RAVI格式测试视频的结果。

《表5》

表5 对RAVI格式的测试视频进行分类的结果

《图11》

图11. 采用RAVI格式的6个连续帧中泄漏的轨迹。红色圆圈为泄漏液滴的位置,并显示出泄漏路径。视频包含两处泄漏位置:第一处位于工厂左侧,从帧的中部到底部;第二处位于工厂右侧,在帧的底部。(a~f)连续帧(帧1~6)。

本文针对两种不同格式、不同噪声水平和不同帧大小的数据集,对提出的检测方法进行了评估,以说明该方法在上述条件下的适用性。结果表明,不同格式或大小不会影响所提出方法的主要检测步骤(图7),因此该方法也可应用于其他格式。如果新格式的视频含有更多的噪声,则会降低该方法的准确性。图像的大小也不会改变该方法的主要步骤,但分块的大小可根据图像的大小进行调整。本文中,RAVI格式比MP4格式的图像大,因此RAVI的分块也更大。

《5.3. 根据已定义的要求评估结果和假设》

5.3. 根据已定义的要求评估结果和假设

如第2节所述,适用且可靠的泄漏检测机制应满足特定要求。由于本文提出的方法基于视觉检测技术,因此可通过在工厂所在地安装相机执行远程视频检测,实现安全、远程的检测目标(要求R1)。本方法可通过图像分析自动完成检测,无需人工干预(要求R2)。对两种不同格式数据集的评价结果表明,所提出的自动泄漏视觉检测方法具有合理的检测精度,能够准确地检测出图像中的泄漏位置(要求R3)。所提出的图像预处理步骤和噪声去除机制对环境噪声具有鲁棒性;对MP4格式的数据的实验结果表明,该方法对附加噪声(如视频压缩产生的噪声)也具有鲁棒性(要求R4)。该方法也适用于微小液滴的检测;与整个图像的大小相比,本方法可以检测到以像素为单位的微小液滴(要求R5)。由于该方法利用了图像分割过程,因此可同时检测多处泄漏,且不受泄漏位置数量的限制;针对更多的漏点,也无需安装更多的相机(要求R6)。如评估中所述,该方法还能够检测出泄漏的位置和轨迹(要求R7、要求 R8);特别是在环境噪声较小、输入数据格式为RAVI的情况下,该方法能在合理的时间内检测到泄漏(要求 R9)。经行业专家评估,该方法的准确度和检测时间均令人满意,因此本文认为该方法是一种实用的检测方法,可在化工厂中得到实际应用。最后,基于机器视觉技术的泄漏检测无需了解管道中液体的具体特性(如液体密度)。因此,其适用于输送任何类型液体的管道(只要液体温度与环境温度不同)(要求R10)。

基于已取得的结果以及行业合作伙伴的评价,利用红外相机和机器视觉技术可为化工厂泄漏自动检测(H1)提供一种有潜力的方法,该方法不需要人工直接检测,适合远程操作。与现有的基于人工检测的泄漏检测方法相比,该方法节省了检测时间,降低了检测成本,同时该方法可协助操作人员进行泄漏检测,操作简便,适用于远程检测。此外,该方法可以提供可靠的检测(H2),具体表现在对噪声的鲁棒性(H2.1)、检测精度和合理的检测时间(H2.2)以及准确的位置和轨迹检测(H2.3)。满足第2节中所设定的各种要求。

《5.4. 在大型化工厂应用的优势、有效性及局限性》

5.4. 在大型化工厂应用的优势、有效性及局限性

本文利用一套工厂示范装置和一台红外相机,对提出的针对化工厂自动视觉检测的方法进行了实施和评价。目前的主要挑战是将该方法应用到真正的大型工厂。如H3所述,通过在大型工厂不同位置安装多个固定式相机,该方法可以被推广到实际应用中。为评估这一假设,下文讨论了该方法在工厂实际应用中的局限性以及有效性。

• 针对红外相机在泄漏检测中的应用,目前主要的问题是其不适合对户外工厂设备的检测,原因是其可能受到多种因素的影响,诸如气象条件、太阳、风力等 [16]。如文中提到的关于管道泄漏在垂直方向受到室外设备强风的影响,或在强烈阳光下由不同表面反射引起的其他意外噪声的影响。因此,该方法更适用于室内工厂。

• 在室内大型工厂的实际应用中,可在工厂前方设置多个固定相机,然后使用本文提出的视觉检测方法。每台相机负责观察工厂的特定部分,并针对所观察到的工厂特定部分实施基于视觉的算法程序。如果厂房过大,可能需要安装大量相机以观察厂房内各个部位。在实际应用中实现基于视觉技术系统的另一种方法是配备红外相机的无人机,但无人机的运动会影响检测算法的精度,且对其在高风险地区能否应用仍然存在疑问 [18,19]。此外,参考文献[45]中的一项研究表明,移动泄漏检测装置可作为补充但不能替代原装置,因此,确定此类装置的应用对于大规模部署非常关键。

• 红外相机可捕捉到0.05~0.10 ℃范围内的最小温差 [16]。在所提出的方法中,假设泄漏液体与周围环境的温差在红外相机可捕捉温差的范围内。因此,如果在工厂中该假设不成立,则泄漏液体就无法被红外相机检测到,所提出的方法也就不再适用。此外,考虑第5.1节中描述的衰退问题,泄漏液滴在失温时将无法被观察到,只能在液体的起始泄漏位置观察到泄漏。

上述方法的局限性违背了H3中的有效性及确定性。实际工业应用中,如果能够克服这些局限性,本文所提出的方法将适用于实际工厂。

《6. 结论与展望》

6. 结论与展望

本文提出了一种基于机器视觉技术的化工厂管道泄漏检测与定位方法。工厂演示装置提供了两种不同格式(MP4和RAVI)的视频数据集。这些视频是在演示装置正常运行和出现泄漏的异常情况下由红外相机拍摄获得的,该相机是普通的红外相机,无需任何特殊的软件或额外的硬件。本文中实施的方法在分析所提供的视频数据集时具有合理的精度和检测时间。图像预处理步骤和噪声滤波器可显著提高图像质量。此外,合理的分块有助于检测和定位泄漏。基于PCA的图像特征提取方法在以高比例保留减影帧中有效信息的同时,显著降低了图像的大小。本文还提出了一种基于分块PCA的泄漏轨迹检测方法。结果表明,对于所提供的数据集,该方法能高精度地检测泄漏及其轨迹。此外,根据企业合作伙伴的评价意见,该方法的准确度和检测时间令人满意,并认为其可用于工厂的实际生产。在今后的工作中,还将采用光流图像预处理和深度学习分类等技术来提高该方法的精度和减低检测时间。此外,工业应用中所面临的一个挑战是,对于大型工厂,如何找出有效部署该方法的最佳方式。这一问题可通过在不同位置安装相机以观察工厂各个区域进行解决,也可通过使用具有机器视觉能力的无人机进行解决。

该领域的进一步研究将集中于将这种基于视觉系统的检测方法应用于实际工业环境。该方法还可在检测时间方面得到改进,使其更适合于实时应用。此外,对于具有不同噪声特性的新数据集,图像预处理步骤和滤波算法需要进行修正。在不只是垂直方向的泄漏的情况下,应通过设定合适的邻域模式来检测任意方向的泄漏,增强图像预处理步骤。通过不同的泄漏模式(如液体在地面的扩散),这种基于视觉技术的泄漏检测可以检测更多不同的泄漏状态。

《Acknowledgements》

Acknowledgements

This research is part of the project Scalable Integration Concept for Data Aggregation, Analysis and Preparation of Big Data Volumes in Process Industry (SIDAP), funded by the German Federal Ministry for Economic Affairs and Energy (BMWi) (01MD15009F). The Institute of Automation and Information Systems thanks its industrial partners for supporting this research.

《Compliance with ethics guidelines》

Compliance with ethics guidelines

Mina Fahimipirehgalin, Emanuel Trunzer, Matthias Odenweller, and Birgit Vogel-Heuser declare that they have no conflict of interest or financial conflicts to disclose.