一种冷却塔结冰检测识别系统、方法和存储介质与流程

1.本发明属于目标检测的技术领域，具体涉及一种冷却塔结冰检测识别系统、方法和存储介质。


背景技术：

2.随着国家对经济的大力发展，人民生活水平得到了提高。电力是经济发展不能缺少的重要支撑，经济的迅猛发展需要依赖电力的供给，所以电力的产出是与经济发展和国民生活息息相关的。冷却塔用于排出废弃的热量，是发电厂降温的主要设施。当冬季来临时，外界温度降低易使冷却塔结冰，导致冷却塔冷却效果大大降低，而且多次冻融会减少冷却塔的使用寿命，增加人工成本，所以如何及时发现冷却塔结冰现象的产生是目前发电厂急需解决的问题之一。
3.冷却塔结冰检测识别方法主要可分为传统方法和人工智能方法。传统方法可分为两种，一种是由工作人员定期巡查，然后每个星期进行人工除冰，这种操作不仅仅是增加了工作人员的工作量，而且人工除冰会造成管道、浮球阀等零件的损坏；另外一种是使用除冰设备长时间对冷却塔进行工作，如喷淋泵、格栅加热设备等等，这样会增加电耗，而且长时间工作会使除冰设备耗损成本增加，从而增加经济成本。人工智能方法是指基于深度学习的检测识别方法，利用深度神经网络强大的表征能力对目标进行抽象描述，实现非接触式地精确检测，具有较强的泛化性，能及时发现结冰的地方，并将结果可视化地展示给相关工作人员，益于后续的工作开展。
4.目前，大多数冷却塔结冰检测识别方法采用通用目标的检测技术，对冰块不规则的形态没有针对性，而且自然结冰产生的冰块尺度大小不一，通用方法无法做到全方面的覆盖，从而导致漏检和定位不准等情况。因此，急需一种强泛化、跨尺度的冷却塔结冰检测识别方案，适应目标形态多变的场景，能精确的处理无人机设备采集的视频数据，及时向工作人员预警，防止结冰带来的经济损失和产能影响。


技术实现要素：

5.本发明的目的在于提供一种冷却塔结冰检测识别系统、方法和存储介质，旨在解决上述问题。本发明聚焦类内特征，使特征信息从全局和局部角度更为集中，并且使用跨尺度交叉融合方式解决复杂的目标尺度变化，从而提高模型对结冰情况的检测精度。
6.本发明主要通过以下技术方案实现：一种冷却塔结冰检测识别系统，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集不同外界因素条件下冬季冷却塔的图像数据，并标注出冰的定位框核类别标签，形成训练集；所述训练模块用于采用训练集训练网络模型，所述检测模块用于将待检测图片输入训练后的网络模型并输出冷却塔结冰的检测识别结果；所述网络模型包括从前至后依次设置的主干网络部分、类内特征增强模块、跨尺度交叉融合模块以及检测器，所述主干网络部分用于提取样本具有层次性的特征信息；所
述类内特征增强模块用于提高全局特征的区分能力及增强局部类内特征的集中性；所述跨尺度交叉融合模块分别与主干网络部分、类内特征增强模块连接，用于融合多尺度特征；所述检测器用于有监督地对目标定位识别；所述类内特征增强模块包括第一卷积组合模块、第二卷积组合模块、若干个变形自注意力模块以及类内特征聚集模块、特征相乘层、特征相加层、特征拼接层，所述类内特征聚集模块包括从前至后依次设置的目标中心定位、k-means聚类以及掩码图生成层；所述第一卷积组合模块与特征拼接层之间设置有两个分支，其中一个分支上设置有若干个变形自注意力模块，另一个分支上从前至后依次设置有类内特征聚集模块、特征相乘层、特征相加层、第二卷积组合模块；所述类内特征聚集模块用于得到样本特征块的聚类掩码图，样本的特征块通过特征相乘层与掩码图生成层连接，所述特征相乘层的输出端与样本的特征块通过特征相加层连接。
7.所述卷积组合模块包括从前至后依次设置的卷积层c、批归一化层bn、修正线性单元层r。本发明中描述的若干个是指大于等于1个。
8.为了更好地实现本发明，进一步地，所述主干网络部分包括若干组从前之后依次设置的卷积组合块、最大值池化层，所述网络模型包括3个从前至后依次设置的跨尺度交叉融合模块；所述主干网络部分尾端的卷积组合块与前端的跨尺度交叉融合模块连接，用于输出语义丰富的特征信息至跨尺度交叉融合模块；所述主干网络部分尾端的最大值池化层与类内特征增强模块连接，所述类内特征增强模块分别与3个跨尺度交叉融合模块连接。相邻的跨尺度交叉融合模块之间相互传递层次性特征。
9.为了更好地实现本发明，进一步地，3个从前至后依次设置的跨尺度交叉融合模块的上采样倍数分别是2倍、4倍、2倍。
10.为了更好地实现本发明，进一步地，所述跨尺度交叉融合模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、特征上采样层、柔性最大值层、特征拼接层以及若干个卷积组合块；所述类内特征增强模块的输出通过第一卷积层与特征上采样层连接，所述主干网络部分的输出与第二卷积层连接，所述特征上采样层、第二卷积层分别与特征拼接层连接；所述第二卷积层分别与第三卷积层、第四卷积层连接，所述第三卷积层、第四卷积层分别通过特征相乘层与柔性最大值层连接；所述柔性最大值层与特征拼接层通过特征相乘层连接，且特征相乘层通过特征相加层与特征拼接层连接，所述特征相加层的输出端设置有若干个卷积组合块。
11.为了更好地实现本发明，进一步地，所述网络模型的损失函数包括类内特征聚集模块内的目标中心定位损失函数以及主任务损失函数，所述主任务损失函数包括类别分类损失函数和位置回归损失函数。
12.为了更好地实现本发明，进一步地，所述目标中心定位损失函数采用l1损失函数，所述类别分类损失函数采用焦点损失函数，所述位置回归损失函数采用smooth l1损失函数。
13.本发明主要通过以下技术方案实现：一种冷却塔结冰检测识别方法，采用上述的系统进行，包括以下步骤：步骤s100：采集不同外界因素条件下冬季冷却塔的视频数据，获取样本图片，并人工标注出冰的定位框核类别标签，并形成训练集、测试集；
步骤s200：搭建网络模型，采用主干网络部分提取出样本的深层特征信息，其次，利用类内特征增强模块从目标中心出发增强全局特征和局部特征，然后，使用跨尺度交叉融合模块提高网络模型的尺度不变性，最后，有监督地得到类别概率值和回归出目标的中心点坐标及定位框的高宽值；步骤s300：随机初始化网络模型的相关权重参数，预先设置学习率、最大迭代次数，使用训练集训练网络模型，迭代优化计算，直至达到最大迭代次数中止训练，最后采用测试集测试网络模型，从保存的模型中测试择优，得到训练后的网络模型；步骤s400：将待检测图片输入到训练后的网络模型，并检测输出冷却塔结冰的识别结果。
14.为了更好地实现本发明，进一步地，在步骤s200中，所述类内特征增强模块首先利用第一卷积组合模块降低特征信息的维度，减少参数量；其次分两个分支处理，一分支用串联的若干个变形自注意力模块处理特征信息，增强特征信息的全局感知能力；另一分支利用类内特征聚集模块得到聚类掩码图，再通过特征相乘层使输入特征块内部的局部特征之间的距离拉近，使类内特征更为集中，然后利用特征相加层将输入特征块与处理后的特征块叠加，防止特征退化；最后使用特征拼接层将两分支的特征信息拼接融合，得到表达能力更强的特征信息。
15.为了更好地实现本发明，进一步地，所述目标中心定位通过回归的方式找到目标定位框的中心点坐标；然后使用k-means算法将特征信息以中心点为簇进行聚类，并剔除离散点；最后由掩码图生成层按聚类结果生成聚类掩码图。
16.一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时实现上述的方法。
17.本发明的有益效果如下：（1）本发明利用k-means算法聚类特征信息，将目标内部的局部特征之间的距离拉近，高效地加工语义最为丰富的深层信息，使类内视觉特征信息更为集中，利于调整后续融合的特征信息；（2）本发明的跨尺度交叉融合模块利用交叉注意力机制融合不同特性的特征信息，在多个尺度的感知区域交叉交互，以解决模型的尺度敏感性；（3）本发明是基于单阶段有监督学习的冷却塔结冰检测识别方法，聚焦类内特征，使特征信息从全局和局部角度更为集中，并且使用跨尺度交叉融合方式解决复杂的目标尺度变化，从而提高模型对结冰情况的检测精度。
附图说明
18.图1为本发明网络模型的整体结构示意图；图2为类内特征增强模块的结构示意图；图3为跨尺度交叉融合模块的结构示意图。
具体实施方式
19.实施例1：一种冷却塔结冰检测识别系统，包括数据采集模块、训练模块、检测模块，所述数
据采集模块用于收集不同外界因素条件下冬季冷却塔的图像数据，并标注出冰的定位框核类别标签，形成训练集；所述训练模块用于采用训练集训练网络模型，所述检测模块用于将待检测图片输入训练后的网络模型并输出冷却塔结冰的检测识别结果。
20.如图1所示，所述网络模型包括从前至后依次设置的主干网络部分、类内特征增强模块、跨尺度交叉融合模块以及检测器，所述主干网络部分用于提取样本具有层次性的特征信息；所述类内特征增强模块用于提高全局特征的区分能力及增强局部类内特征的集中性；所述跨尺度交叉融合模块分别与主干网络部分、类内特征增强模块连接，用于融合多尺度特征；所述检测器用于有监督地对目标定位识别。
21.如图2所示，所述类内特征增强模块包括第一卷积组合模块c1-bn1-r1、第二卷积组合模块c2-bn2-r2、若干个变形自注意力模块以及类内特征聚集模块、特征相乘层、特征相加层、特征拼接层，所述类内特征聚集模块包括从前至后依次设置的目标中心定位、k-means聚类以及掩码图生成层；所述第一卷积组合模块与特征拼接层之间设置有两个分支，其中一个分支上设置有若干个变形自注意力模块，另一个分支上从前至后依次设置有类内特征聚集模块、特征相乘层、特征相加层、第二卷积组合模块；所述类内特征聚集模块用于得到样本特征块的聚类掩码图，样本的特征块通过特征相乘层与掩码图生成层连接，所述特征相乘层的输出端与样本的特征块通过特征相加层连接。所述卷积组合模块包括从前至后依次设置的卷积层c、批归一化层bn、修正线性单元层r。
22.优选地，如图3所示，所述跨尺度交叉融合模块包括第一卷积层c1、第二卷积层c2、第三卷积层c3、第四卷积层c4、特征上采样层、柔性最大值层、特征拼接层以及若干个卷积组合块；所述类内特征增强模块的输出通过第一卷积层c1与特征上采样层连接，所述主干网络部分的输出与第二卷积层c2连接，所述特征上采样层、第二卷积层c2分别与特征拼接层连接；所述第二卷积层c1分别与第三卷积层c3、第四卷积层c4连接，所述第三卷积层c3、第四卷积层c4分别通过特征相乘层与柔性最大值层连接；所述柔性最大值层与特征拼接层通过特征相乘层连接，且特征相乘层通过特征相加层与特征拼接层连接，所述特征相加层的输出端设置有若干个卷积组合块c-bn-r。如图3所示，跨尺度交叉融合模块的输入分别为f1、f2。f1指类内特征增强模块输出的特征信息，f2指主干网络部分输出的特征信息。
23.优选地，如图1所示，所述主干网络部分包括若干组从前之后依次设置的卷积组合块、最大值池化层，所述网络模型包括3个从前至后依次设置的跨尺度交叉融合模块cscfm1-cscfm3；所述主干网络部分尾端的卷积组合块与前端的跨尺度交叉融合模块连接，用于输出语义丰富的特征信息至跨尺度交叉融合模块cscfm1；所述主干网络部分尾端的最大值池化层与类内特征增强模块连接，所述类内特征增强模块分别与3个跨尺度交叉融合模块cscfm1-cscfm3连接。相邻的跨尺度交叉融合模块之间相互传递层次性特征。如图3所示，前端的跨尺度交叉融合模块cscfm1的输入分别为f1、f2。
24.优选地，3个从前至后依次设置的跨尺度交叉融合模块cscfm1-cscfm3的上采样倍数分别是2倍、4倍、2倍。优选地，如图1所示，所述网络模型还设置有损失函数，所述网络模型的损失函数包括类内特征聚集模块内的目标中心定位损失函数以及主任务损失函数，所述主任务损失函数包括类别分类损失函数和位置回归损失函数。
25.优选地，所述目标中心定位损失函数采用l1损失函数，所述类别分类损失函数采用焦点损失函数，所述位置回归损失函数采用smooth l1损失函数。
26.本发明利用k-means算法聚类特征信息，将目标内部的局部特征之间的距离拉近，高效地加工语义最为丰富的深层信息，使类内视觉特征信息更为集中，利于调整后续融合的特征信息。本发明聚焦类内特征，使特征信息从全局和局部角度更为集中，并且使用跨尺度交叉融合方式解决复杂的目标尺度变化，从而提高了网络模型对结冰情况的检测精度。
27.实施例2：一种冷却塔结冰检测识别方法，采用上述的系统进行，包括以下步骤：步骤s100：采集不同外界因素条件下冬季冷却塔的视频数据，获取样本图片，并人工标注出冰的定位框核类别标签，并形成训练集、测试集；步骤s200：搭建网络模型，采用主干网络部分提取出样本的深层特征信息，其次，利用类内特征增强模块从目标中心出发增强全局特征和局部特征，然后，使用跨尺度交叉融合模块提高网络模型的尺度不变性，最后，有监督地得到类别概率值和回归出目标的中心点坐标及定位框的高宽值；步骤s300：随机初始化网络模型的相关权重参数，预先设置学习率、最大迭代次数，使用训练集训练网络模型，迭代优化计算，直至达到最大迭代次数中止训练，最后采用测试集测试网络模型，从保存的模型中测试择优，得到训练后的网络模型；步骤s400：将待检测图片输入到训练后的网络模型，并检测输出冷却塔结冰的识别结果。
28.优先地，在步骤s200中，所述类内特征增强模块首先利用第一卷积组合模块降低特征信息的维度，减少参数量；其次分两个分支处理，一分支用串联的若干个变形自注意力模块处理特征信息，增强特征信息的全局感知能力；另一分支利用类内特征聚集模块得到聚类掩码图，再通过特征相乘层使输入特征块内部的局部特征之间的距离拉近，使类内特征更为集中，然后利用特征相加层将输入特征块与处理后的特征块叠加，防止特征退化；最后使用特征拼接层将两分支的特征信息拼接融合，得到表达能力更强的特征信息。
29.优先地，所述目标中心定位通过回归的方式找到目标定位框的中心点坐标；然后使用k-means算法将特征信息以中心点为簇进行聚类，并剔除离散点；最后由掩码图生成层按聚类结果生成聚类掩码图。
30.本发明是基于单阶段有监督学习的冷却塔结冰检测识别方法，聚焦类内特征，使特征信息从全局和局部角度更为集中，并且使用跨尺度交叉融合方式解决复杂的目标尺度变化，从而提高模型对结冰情况的检测精度。
31.实施例3：一种冷却塔结冰检测识别方法，包括以下步骤：利用无人设备采集不同外界因素条件下冬季冷却塔的视频数据，并人工标注出冰的定位框核类别标签；根据目标具有不规则形态的特性，设计出单阶段的网络模型，所述网络模型包括主干网络部分、类内特征增强模块、跨尺度交叉融合模块以及检测器。首先利用主干网络部分提取出样本的深层特征信息，其次利用类内特征增强模块从目标中心出发增强全局特征和局部特征，然后使用跨尺度交叉融合模块提高模型的尺度不变性，最后有监督地得到类别概率值和回归出目标的中心点坐标及定位框的高宽值。
32.如图1所示，所述网络模型还设置有损失函数，网络模型的损失函数分为类别分类
损失函数和位置回归损失函数，用于计算预测类别与真实类别的差值，以及预测的定位框和真实定位框的损失值；随机初始化模型相关权重参数，预先设置学习率、最大迭代次数等超参数，使用训练集训练网络模型，迭代优化计算，直至达到最大迭代次数中止训练，最后从保存的模型中测试择优。
33.进一步地，所述主干网络部分采用通用的vgg16结构，用于提取出具有层次性的特征信息。
34.进一步地，所述类内特征增强模块从前至后依次包括卷积组合模块、变形自注意力模块、类内特征聚集模块、特征相乘层、特征相加层以及特征拼接层，用于对特征信息进一步加工，提高全局特征的区分能力，及增强局部类内特征的集中性。
35.进一步地，所述类内特征聚集模块包括目标中心定位、k-means聚类以及掩码图生成层。首先利用目标中心定位粗略地找到目标中心，然后使用k-means算法将特征信息以目标中心点为簇进行聚类，并剔除离散点，最后生成聚类掩码图。类内特征聚集模块用于将目标内部的局部特征之间的距离拉近，使类内特征更为集中，利于后续的定位和识别。
36.进一步地，如图3所示，所述跨尺度交叉融合模块从前至后依次包括若干个卷积层、特征上采样层、特征拼接层、注意力模块、特征相加层及若干个卷积组合模块。如图1所示，设置有3个跨尺度交叉融合模块，且3个跨尺度交叉融合模块的上采样倍数分别是2倍、4倍、2倍，主要用于融合网络学习过程中的多尺度特征，在多个尺度的感知区域交叉交互，以解决模型的尺度敏感性。
37.进一步地，所述网络模型的损失函数分成2部分，一个是类内特征聚集模块内包含一个目标中心定位损失函数，采用l1损失函数，另一个是主任务损失函数，分为类别分类损失函数和位置回归损失函数，类别分类损失函数采用焦点损失函数，位置回归损失函数采用smooth l1损失函数。
38.本发明利用k-means算法聚类特征信息，将目标内部的局部特征之间的距离拉近，高效地加工语义最为丰富的深层信息，使类内视觉特征信息更为集中，利于调整后续融合的特征信息。本发明聚焦类内特征，使特征信息从全局和局部角度更为集中，并且使用跨尺度交叉融合方式解决复杂的目标尺度变化，从而提高了网络模型对结冰情况的检测精度。
39.实施例4：一种冷却塔结冰检测识别方法，整个网络模型包括主干网络部分、类内特征增强模块、跨尺度交叉融合模块以及检测器，所述主干网络部分采用通用的vgg16结构，用于提取出具有层次性的特征信息。如图1所示，主干网络部分包括若干个卷积组合块与最大值池化层；网络模型中从前至后依次设置了3个跨尺度交叉融合模块cscfm1-cscfm3，所述前端的跨尺度交叉融合模块cscfm1与主干网络部分末端的卷积组合块连接，且主干网络部分末端的最大值池化层与类内特征增强模块连接，所述类内特征增强模块的输出端分别与跨尺度交叉融合模块cscfm1-cscfm3连接。跨尺度交叉融合模块cscfm2与跨尺度交叉融合模块cscfm3之间，以及跨尺度交叉融合模块cscfm3的尾端分别设置有卷积组合块。
40.整体网络核心处理流程是：首先利用主干网络部分提取出不同层次的特征信息，其次利用类内特征增强模块聚类局部特征，丰富全局特征，益于调整后续融合特征的表达能力和定位能力，然后利用跨尺度交叉融合模块将类内特征增强模块处理之后的特征信息
和不同尺度的特征信息进行融合，增加特征的多尺度性，而且为了保持最后输出的特征信息的尺度合适，网络结构中利用两个步长为2的卷积组合模块在跨尺度交叉融合模块之间进行下采样，最后利用检测器有监督地对目标定位识别。所述卷积组合模块包括从前至后依次设置的卷积层c、批归一化层bn、修正线性单元层r。
41.如图2所示，类内特征增强模块包括若干个卷积组合模块以及变形自注意力模块、类内特征聚集模块、特征相乘层、特征相加层、特征拼接层，用于对特征信息进一步加工，提高全局特征的区分能力，及增强局部类内特征的集中性。卷积组合模块c1-bn1-r1与特征拼接层之间设置有两个分支，其中一个分支上设置有若干个变形自注意力模块，另一个分支上设置有类内特征聚集模块、特征相乘层、特征相加层、卷积组合块c2-bn2-r2。所述特征拼接层之后设置有卷积组合块c3-bn3-r3。如图2所示，所述类内特征聚集模块包括目标中心定位、k-means聚类以及掩码图生成层等三部分，目标中心定位是通过回归的方式找到目标定位框的中心点坐标，然后使用k-means算法将特征信息以中心点为簇进行聚类，并剔除离散点，最后由掩码图生成层按聚类结果生成聚类掩码图。
42.类内特征增强模块的主要核心思路是：首先利用卷积组合模块降低特征信息的维度，减少参数量，其次分两路处理，一路用串联变形自注意力模块处理特征信息，增强特征信息的全局感知能力，丰富特征信息包含的上下文信息，另一路利用类内特征聚集模块得到聚类掩码图，再通过特征相乘层使输入特征块内部的局部特征之间的距离拉近，使类内特征更为集中，益于检测器区分前景背景，从而提高检测精度，然后利用特征相加层将输入特征块与处理后的特征块叠加，防止特征退化，最后使用特征拼接层将两路特性的特征信息拼接融合，得到表达能力更强的特征信息。
43.如图3所示，跨尺度交叉融合模块包括若干个卷积层以及特征上采样层、特征拼接层、注意力模块、特征相加层、若干个卷积组合模块。图1中3个跨尺度交叉融合模块cscfm1-cscfm3的上采样倍数分别是2倍、4倍、2倍，主要用于融合网络学习过程中的多尺度特征，在多个尺度的感知区域交叉交互，以解决模型的尺度敏感性。如图3所示，前端的跨尺度交叉融合模块cscfm1的输入分别为f1、f2。f1指类内特征增强模块输出的特征信息，f2指主干网络部分输出的特征信息，首先利用特征上采样层将f1的尺度和f2的尺度统一，其次使用特征拼接层将f1和f2拼接融合，作为查询特征信息，然后利用交叉注意力机制提高特征信息中点与点之间的相关性，特征映射公式如下：公式中：fr指代交叉注意力机制处理后的特征信息，fc指f1和f2特征经特征拼接层处理之后的特征信息，add表示特征相加层，sm表示柔性最大值层，conv3、conv4分别表示第三卷积层c3、第四卷积层c4。
44.最后利用若干个卷积组合模块增强语义性，再输出到下一部分网络。
45.网络模型搭建完成后，随机初始化模型相关权重参数，预先设置学习率、最大迭代次数等超参数，使用训练集训练网络模型，迭代优化计算，直至达到最大迭代次数中止训练，最后从保存的模型中测试择优，得到训练后的网络模型，可以用于检测待测图片中冷却
塔结冰情况。
46.综上所述，本发明通过分析目标特性，从尺度和局部两方面来增强模型对目标的检测识别能力，大大提高了冰块的检测精度。由实验可得，本发明提出的方法与已有的方法相比较，能更好的应对冰块复杂的形态变化，泛化性更强，能准确的定位冰块的位置，及时的可视化给工作人员，方便后续的除冰工作。
47.以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。