一种人防门锈蚀状态检测系统及方法与流程

1.本发明涉及人工智能技术领域，具体涉及一种人防门锈蚀状态检测系统及方法。


背景技术：

2.目前，人防门的材料主要有不锈钢材质制成，表面涂有防锈漆。人防门锈蚀的原因主要是由于外力因素或劣质材料造成防锈漆表面发生损伤，或环境因素造成人防门损伤处发生腐蚀，最终形成锈蚀。现有技术通过采集人防门的实时表面图像，将实时表面图像与原始图像进行差异分析得到差异图像，通过将差异图像与训练样本库中的训练样本进行对比，从而确认人防门的锈蚀状态异常情况。
3.本领域技术人员发现现有技术中存在以下问题：由于人防门的锈蚀过程主要由于环境因素和使用的过程中防锈漆的损坏引起的锈蚀，因此仅通过图像颜色特征进行锈蚀检测，会受到精度和环境因素多变的影响，造成锈蚀检测存在误检或漏检。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种人防门锈蚀状态检测系统及方法，所采用的技术方案具体如下：本发明实施例提供了一种人防门锈蚀状态检测方法，该方法包括：分别采集人防门在开启状态下连轴处的第一rgb图像和对应的第一红外图像，以及关闭状态下人防门表面的第二rgb图像和对应的第二红外图像；分别对所述第一rgb图像和所述第二rgb图像进行灰度化处理得到第一灰度图像和第二灰度图像，将所述第一灰度图像和所述第一红外图像输入锈蚀区域检测网络中得到所述连轴处的第一锈蚀识别图像、将所述第二灰度图像和所述第二红外图像输入所述锈蚀区域检测网络中得到所述人防门表面的第二锈蚀识别图像；根据所述第一锈蚀识别图像和所述第二锈蚀识别图像获取人防门的整体锈蚀区域面积以及整体锈蚀区域对应的灰度均值；基于连续的时间序列，获取多个历史时间下人防门所处的环境参数，分别将每个所述环境参数和其对应环境下人防门的所述整体锈蚀区域面积、
‘
所述灰度均值构成一个训练样本，得到多个所述训练样本；利用所述训练样本对tcn预测网络进行训练；获取下一时间人防门所处的实时环境参数，将其输入训练好的所述tcn预测网络得到所述下一时间人防门的整体锈蚀区域的面积预测值和灰度均值预测值，由所述面积预测值和所述灰度均值预测值对人防门进行锈蚀程度的计量。
5.进一步地，所述锈蚀区域检测网络为：所述锈蚀区域检测网络分为两个网络分支，两个网络分支的输入分别为红外图像和灰度图像，红外图线所对应的网络分支的分支结构为编码器-解码器，灰度图像所对应的网络分支的分支结构为编码器；将两个网络分支的输出通过cam算法进行特征图的合成，对合成特征图经过解码器进行上采样获取与原图等大的锈蚀识别图像；所述锈蚀区域检测网络的损失函数为交叉熵损失函数和均方差损失函数。
6.进一步地，所述第一锈蚀识别图像的获取方法，包括：将所述第一红外图像输入所述锈蚀区域检测网络的一个网络分支得到特征灰度图像，且所述特征灰度图像中每个像素点的像素值作为其像素点的置信度，置信度是指像素点属于锈蚀像素点的概率；将所述第一灰度图像输入所述锈蚀区域检测网络的另一个网络分支，其通过编码器得到多个特征图；结合所述特征灰度图像中每个像素点的置信度获取每个特征图所对应的权重，通过对特征图和其对应的权重进行加权求和得到所述合成特征图 ；将所述合成特征图通过解码器进行上采样，所述锈蚀区域检测网络输出与原图等大的所述第一锈蚀识别图像。
7.进一步地，所述第二锈蚀识别图像的获取方法，包括：将所述第二红外图像输入所述锈蚀区域检测网络的一个网络分支得到特征灰度图像，且所述特征灰度图像中每个像素点的像素值作为其像素点的置信度，置信度是指像素点属于锈蚀像素点的概率；将所述第二灰度图像输入所述锈蚀区域检测网络的另一个网络分支，其通过编码器得到多个特征图；结合所述特征灰度图像中每个像素点的置信度获取每个特征图所对应的权重，通过对特征图和其对应的权重进行加权求和得到所述合成特征图 ；将所述合成特征图通过解码器进行上采样，所述锈蚀区域检测网络输出与原图等大的所述第二锈蚀识别图像。
8.进一步地，所述人防门的整体锈蚀区域面积的获取方法，包括：由所述第一锈蚀识别图像得到所述连轴处的锈蚀区域所对应的第一面积；由所述第二锈蚀识别图像得到所述人防门表面的锈蚀区域所对应的第二面积；将所述第一面积和所述第二面积进行相加得到人防门的所述整体锈蚀区域面积。
9.进一步地，所述整体锈蚀区域对应的灰度均值的方法，包括：由所述第一锈蚀识别图像得到所述连轴处的锈蚀区域，根据锈蚀区域对应像素点的像素值获取所述连轴处的锈蚀区域所对应的第一灰度均值；由所述第二锈蚀识别图像得到所述人防门表面的锈蚀区域，根据锈蚀区域对应像素点的像素值获取所述人防门表面的锈蚀区域所对应的第二灰度均值；计算所述第一灰度均值和所述第二灰度均值之间的平均值，将所述平均值作为整体锈蚀区域的所述灰度均值。
10.进一步地，所述锈蚀程度的计量方法，包括：将所述面积预测值和所述灰度均值预测值进行相加得到所述锈蚀程度。
11.进一步地，一种人防门锈蚀状态检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
12.本发明实施例至少具有如下有益效果：利用光学手段来测试或分析材料，具体是利用红外镜头采集红外图像，根据红外图像反映的能量辐射大小为对应rgb图像中的像素点分配权重，进而能够得到人防门的锈蚀识别图像，以准确得到锈蚀区域的面积和对应像素点的灰度均值，同时结合对应人防门的环境参数将其构成训练样本，通过历史时间的所采集的多个训练样本进行预测网络的训练，以预测人防门锈蚀状态，使得后续预测的锈蚀
区域的面积和对应像素点的灰度值更加准确，从而提高了锈蚀程度的计量结果的严谨性，以达到准确实时预警目的，实现新材料检测。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
14.图1为本发明一个实施例提供的一种人防门锈蚀状态检测方法的步骤流程图；图2为本发明实施例提供了一种锈蚀区域检测网络的网络构架示意图。
具体实施方式
15.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种人防门锈蚀状态检测系统及方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
16.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
17.下面结合附图具体的说明本发明所提供的一种人防门锈蚀状态检测系统及方法的具体方案。
18.本发明实施例所针对的具体场景为：人防门锈蚀检测场景，通过人防门处监控摄像头采集人防门关闭和开启状态下的图像，摄像头携带红外镜头，可获取人防门rgb图像和红外图像。布置环境感知传感器，获取人防门所处环境参数的湿度、温度、ph值等数据，对人防门锈蚀状态进行检测并预测。
19.请参阅图1，其示出了本发明一个实施例提供的一种人防门锈蚀状态检测方法的步骤流程图，该方法包括以下步骤：步骤s001，分别采集人防门在开启状态下连轴处的第一rgb图像和对应的第一红外图像，以及关闭状态下人防门表面的第二rgb图像和对应的第二红外图像；分别对第一rgb图像和第二rgb图像进行灰度化处理得到第一灰度图像和第二灰度图像，将第一灰度图像和第一红外图像输入锈蚀区域检测网络中得到连轴处的第一锈蚀识别图像、将第二灰度图像和第二红外图像输入锈蚀区域检测网络中得到人防门表面的第二锈蚀识别图像；根据第一锈蚀识别图像和第二锈蚀识别图像获取人防门的整体锈蚀区域面积以及整体锈蚀区域对应的灰度均值。
20.具体的，当人防门使用年限较长、开闭频繁的情况下，连轴处容易受外力作用造成防锈漆损失，也即容易形成锈蚀，因此对连轴处的锈蚀图像检测极为重要，但连轴处的图像拍摄容易受到遮挡和视角的影响，故本发明实施例利用带红外镜头的监控摄像头获取人防门在开启状态下的rgb图像和对应的红外图像，且获取人防门在关闭状态下的rgb图像和对应的红外图像。
21.由于人防门的连轴处位置固定，所以通过对人防门开启状态下的图像区域标注的方式获取人防门在开启状态下连轴处的第一rgb图像和对应的第一红外图像。具体的，将rgb图像中连轴区域对应的像素点标记为1，其他区域的像素点标记为0，得到连轴区域mask图像，将连轴区域mask图像与原rgb图像相乘，得到人防门开启状态下连轴处的第一rgb图像。同理对红外图像进行相同的处理得到开启状态下连轴处的第一红外图像。
22.利用上述同样的处理方法，对人防门在关闭状态下的rgb图像进行背景过滤，即将rgb图像中人防门区域对应的像素点标记为1，其他区域的像素点标记为0，得到人防门mask图像，将人防门mask图像与原rgb图像相乘，得到关闭状态下人防门表面的第二rgb图像。同理对红外图像进行相同的处理得到关闭状态下人防门表面的第二红外图像。
23.分别对第一rgb图像和第二rgb图像进行灰度化处理得到第一灰度图像和第二灰度图像，灰度化处理的方法为：通过颜色空间转换将rgb图像转化为hsv图像，保留hsv图像所对应的h通道图像，其他两个通道的值都置为0，即可得到灰度图像。
24.进一步地，参照附图2，本发明实施例提供了一种锈蚀区域检测网络的网络构架示意图。锈蚀区域检测网络分为两个网络分支，两个网络分支的输入分别为红外图像和灰度图像，红外图线所对应的网络分支的分支结构为编码器-解码器，灰度图像所对应的网络分支的分支结构为编码器，其中这两个网络分支的编码器是相同的，将两个网络分支的输出通过cam算法进行特征图的合成，对合成特征图经过解码器进行上采样获取与原图等大的锈蚀识别图像；该网络的损失函数为交叉熵损失函数和均方差损失函数。
25.将第一灰度图像和对应的第一红外图像输入锈蚀区域检测网络，得到人防门的连轴处的锈蚀区域，则具体过程为：（1）将第一红外图像输入锈蚀区域检测网络的一个网络分支，红外图像通过编码器获取其特征图，让特征图通过解码器进行上采样处理输出特征灰度图像，将特征灰度图像中每个像素点的像素值作为其像素点的置信度，置信度是指像素点属于锈蚀像素点的概率。
26.需要说明的是，红外图像中包含较少的颜色纹理信息，只能反映表面红外能量辐射大小，所以，通过红外能量辐射大小能够准确的得到第一灰度图像中像素点之间存在的特征差异。
27.（2）将第一灰度图像输入锈蚀区域检测网络的另一个网络分支，其通过编码器得到多个特征图。将特征图和特征灰度图像通过cam算法进行特征图的合成，得到合成特征图。
28.具体的，结合特征灰度图像中每个像素点的置信度获取每个特征图所对应的权重，即获取特征图对应在特征灰度图像中的所有像素点，根据每个像素点的置信度计算该特征图对应的权重，则权重的计算公式为：其中，为第个特征图所对应的权重，为特征图中像素点的数量，为第个特征图在特征灰度图像中对应区域的第个像素点的置信度。
29.将第一灰度图像对应的每个特征图中像素点的像素值和其对应的权重进行加权
求和得到合成特征图，即，其中，为第个特征图。
30.（3）将合成特征图通过解码器进行上采样，最终锈蚀区域检测网络输出与原图等大的第一锈蚀识别图像。对第一锈蚀识别图像进行阈值分割得到连轴处的锈蚀区域，进而能够得到连轴处的锈蚀区域所对应的第一面积，同时根据锈蚀区域对应像素点的像素值获取连轴处的锈蚀区域所对应的第一灰度均值。
31.相同的，利用人防门的连轴处的锈蚀区域检测方法，通过将第二rgb图像和对应第二红外图像输入锈蚀区域检测网络得到人防门表面的锈蚀区域，进而能够得到人防门表面的锈蚀区域所对应的第二面积，同时根据锈蚀区域对应像素点的像素值获取人防门表面的锈蚀区域所对应的第二灰度均值。
32.进一步地，结合人防门表面的锈蚀区域和连轴处的锈蚀区域计算人防门的整体锈蚀区域面积和整体锈蚀区域的灰度均值，则整体锈蚀区域面积的获取方法为：将连轴处的锈蚀区域所对应的第一面积和人防门表面的锈蚀区域所对应的第二面积进行相加得到整体锈蚀区域面积。整体锈蚀区域的灰度均值的获取方法为：计算连轴处的锈蚀区域所对应的第一灰度均值和人防门表面的锈蚀区域所对应的第二灰度均值之间的平均值，将平均值作为整体锈蚀区域的灰度均值。
33.步骤s002，基于连续的时间序列，获取多个历史时间下人防门所处的环境参数，分别将每个环境参数和其对应环境下人防门的整体锈蚀区域面积、
‘
灰度均值构成一个训练样本，得到多个训练样本；利用训练样本对tcn预测网络进行训练。
34.具体的，通过环境传感器获取历史时间下人防门所处的环境参数，所述环境参数包括：温度、湿度、ph值，其中ph值可通过专业ph检测仪获取。同时通过步骤s001的方法能够获取每个环境参数对应环境状态下人防门的整体锈蚀区域面积和其整体锈蚀区域对应的灰度均值，将环境参数、整体锈蚀区域面积和灰度均值构成一个训练样本，基于连续的时间序列，获取多个历史时间下人防门所对应的训练样本，利用多个训练样本对tcn预测网络进行训练，其训练过程为：（1）tcn预测网络的输入为：连续时间序列中的环境参数，网络的输出为：未来时间内的人防门的整体锈蚀区域面积和整体锈蚀区域对应的灰度均值。
35.（2）tcn预测网络的结构为：编码器-全连接，tcn预测网络的卷积核的形状大小为：[1,5]，也即是滑窗的大小；通过编码器卷积获取一维时间序列数据的相关特征向量，利用全连接网络输出未来时间内的人防门的整体锈蚀区域面积和整体锈蚀区域对应的灰度均值。
[0036]
（3）tcn预测网络的损失函数为：，其中，表示均方差损失函数，，其中，表示超参数，表示与时间序列相关的函数模型，也即为到第k个滑窗时的卷积长度，表示第k个滑窗对应的整体锈蚀区域面积，表示第k个滑窗所对应的整体锈蚀区域的灰度均值，步骤s003，获取下一时间人防门所处的实时环境参数，将其输入训练好的tcn预测网络得到下一时间人防门的整体锈蚀区域的面积预测值和灰度均值预测值，由面积预测值和灰度均值预测值对人防门进行锈蚀程度的计量。
[0037]
具体的，获取下一时间人防门所处的实时环境参数，将其输入训练好的tcn预测网络中得到下一时间人防门的整体锈蚀区域的面积预测值和整体锈蚀区域的灰度均值预测值，结合面积预测值和灰度均值预测值计算下一时间人防门的锈蚀程度，即，其中为锈蚀程度，为面积预测值，为灰度均值预测值。设置锈蚀程度阈值，当锈蚀程度大于锈蚀程度阈值时，进行预警，以提醒工作人员对人防门进行及时维护。
[0038]
综上所述，本发明实施例提供了一种人防门锈蚀状态检测方法，该方法通过采集传感器获取不同环境状态的环境参数以及该环境下人防门的锈蚀区域面积和锈蚀区域所对应的灰度均值；将环境参数、锈蚀区域面积和灰度均值作为训练样本，以对tcn预测网络进行训练，将采集的实时环境参数通过训练好的tcn预测网络预测得到锈蚀区域面积的预测值和灰度均值预测值，以计量人防门的锈蚀程度。利用光学手段来测试或分析材料，具体是利用红外镜头采集红外图像，以根据红外图像反映的能量辐射大小为对应rgb图像中的像素点分配权重，使得预测的锈蚀区域的面积和对应像素点的灰度值更准确，从而提高了锈蚀程度的计量结果的严谨性，实现新材料检测。
[0039]
基于与上述方法相同的发明构思，本发明实施例还提供了一种人防门锈蚀状态检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述一种人防门锈蚀状态检测方法中任意一项所述方法的步骤。
[0040]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0041]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。