基于深度学习预测热成像图中目标区域温度的系统及方法

1.本发明涉及图像识别技术领域，具体涉及基于深度学习预测热成像图中目标区域温度的系统及方法。


背景技术：

2.随着工业领域对于生产环境监控，安全防护等需求的不断增加，以及工业智能化的飞速发展，采用先进的红外热成像检测技术快速、准确、方便、直观地显示被测物体表面温度场的分布，测量出物体的表面温度，已为当下工业领域普遍采用。由于通过红外热成像检测技术获取的是整个检测环境的温度，所以红外热成像图上直接反应的温度值为整体环境最高最低温度和平均温度，而在实际生产生活中，往往是需要关注目标区域的温度，所述目标包括但不仅限于具体生产设备或设备上具体部件，因此需要进一步从红外热成像图中提取目标区域并计算出目标区域的温度。
3.从红外热成像图中预测目标区域温度的过程主要包括从红外热成像图上提取表示温度数值的数字字符的步骤和提取目标区域的步骤。而采用传统的ocr(optical character recognition，光学字符识别)技术从红外热成像图中提取表示温度数值的数字字符时，存在对图像要求高与识别不够准确的缺点。ocr识别过程需对原始图像先进行二值化处理(将图像上像素点的灰度值设置为0或者255)，将整个图像呈现出明显的黑白效果的过程。因此当原始图像的分辨率不够高时，就会导致二值化处理过程误差较大，数字字符轮廓不完整，不清晰，进而导致识别结果的不准确，而若想通过改进图像预处理方式来提高识别的准确度，是十分困难且收效甚微的；
4.对于提取目标区域，常采用模板匹配和目标检测的方式。其中模板匹配是图像识别中最具代表性的方法之一，模板匹配通常需事先建立好标准模板库。因此提取目标区域的准确度很大程度上取决于模板的质量。而且现实场景中，影响成像效果的因素又有很多，比如光照对于模板匹配的影响就很大，不同的光照条件会导致待识别物体和模板相差较大，从而难以使用单一模板对其进行精确识别；其次模板匹配的另一大问题就是难以灵活适应不同的场景，由于其依赖于模板的特性，目标很小的变化就需要用新的模板来进行匹配计算，否则就难以保证较高的准确率；目标检测，也叫目标提取，是通过深度学习网络对目标进行提取，虽然它有着较强的泛化性，但是由于使用矩形框对目标区域进行选取比较笼统，对于不规则目标，选取出的目标区域会涵盖较多的无关区域，因此对于温度检测而言，预测目标区域的温度就很容易受影响。


技术实现要素：

5.针对上述现有技术存在的不足，本发明提供了基于深度学习预测热成像图中目标区域温度的系统及方法，旨在提供一种通用性更强，准确度更高的预测热成像图中目标区域温度的系统及方法。
6.为实现上述目的，本发明提供以下的技术方案：
7.本发明第一方面提供一种基于深度学习预测热成像图中目标区域温度的系统，该系统包括：
8.温度数字字符提取模块，用于接收输入的热成像图并提取所述热成像图上显示的表达最高最低温度的数字字符；
9.目标区域提取模块，用于接收输入的热成像图并从所述热成像图上提取所需的目标区域；
10.目标区域温度预测模块，用于根据温度数字字符提取模块输出的最高最低温度的数字字符，计算出图像上温度数值和像素灰度值的对应关系，再根据目标区域提取模块输出的目标区域范围，对目标区域的像素灰度值进行统计，从而根据根据图像上像素灰度值与温度值的线性关系以及目标区域的像素灰度值统计量计算出目标区域的温度信息。
11.进一步地，根据所述的基于深度学习预测热成像图中目标区域温度的系统，所述温度数字字符提取模块利用crnn网络提取所述热成像图上显示的表达最高最低温度的数字字符。
12.进一步地，根据所述的基于深度学习预测热成像图中目标区域温度的系统，所述目标区域提取模块利用改进的unet分割网络从所述热成像图上提取所需的目标区域。
13.进一步地，根据所述的基于深度学习预测热成像图中目标区域温度的系统，所述目标区域温度预测模块利用线性回归的方式计算出图像上温度数值和像素灰度值的对应关系。
14.进一步地，根据所述的基于深度学习预测热成像图中目标区域温度的系统，所述像素灰度值统计量包括像素灰度值的平均值、最高值和/或最低值，对应地，所述目标区域的温度信息包括目标区域的平均温度、最高温度和/或最低温度。
15.进一步地，根据所述的基于深度学习预测热成像图中目标区域温度的系统，所述改进的unet分割网络，是对现有的unet分割网络进行如下改进：将编码器中第一个卷积模块的输出经空洞卷积后和编码器中第二个卷积模块的输出拼接作为第一个增强特征图集f1，再将第一个增强特征图集f1经空洞卷积后和编码器中第三个卷积模块的输出拼接作为第二个增强特征图集f2，再将第二个增强特征图集f2经空洞卷积后和编码器中第四个卷积模块的输出拼接作为第三个增强特征图集f3，然后将第三个增强特征图集f3依次经过卷积和上采样操作完成特征压缩、尺寸扩大后获得第四个增强特征图集f4；将第四个增强特征图集f4、解码器中第三个卷积模块经上采样层后的输出与编码器中第一个卷积模块输出拼接后输入到解码器中的第四个卷积模块中进行尺度还原，获得目标区域范围。
16.本发明第二方面提供一种基于深度学习预测热成像图中目标区域温度的方法，该方法包括：
17.步骤1：将待检测的红外热成像图同时输入到crnn网络和改进的unet分割网络中；
18.步骤2：由crnn网络提取所述热成像图上显示的表达最高最低温度的数字字符；同时，由改进的unet分割网络从所述热成像图上提取所需的目标区域；
19.步骤3：根据提取的所述热成像图上显示的表达最高最低温度的数字字符，构建热成像图上像素灰度值与温度值的对应关系；
20.步骤4：统计由改进的unet区域分割网络提取的目标区域的像素值信息，包括平均值、最高值和/或最低值；
21.步骤5：根据图像上像素灰度值与温度值的对应关系以及目标区域的像素灰度值统计量计算目标区域的温度信息，包括平均温度、最高温度和/或最低温度。
22.进一步地，根据所述的基于深度学习预测热成像图中目标区域温度的方法，其特征在于，所述改进的unet分割网络，是对现有的unet分割网络进行如下改进：将编码器中第一个卷积模块的输出经空洞卷积后和编码器中第二个卷积模块的输出拼接作为第一个增强特征图集f1，再将第一个增强特征图集f1经空洞卷积后和编码器中第三个卷积模块的输出拼接作为第二个增强特征图集f2，再将第二个增强特征图集f2经空洞卷积后和编码器中第四个卷积模块的输出拼接作为第三个增强特征图集f3，然后将第三个增强特征图集f3依次经过卷积和上采样操作完成特征压缩、尺寸扩大后获得第四个增强特征图集f4；将第四个增强特征图集f4、解码器中第三个卷积模块经上采样层后的输出与编码器中第一个卷积模块输出拼接后输入到解码器中的第四个卷积模块中进行尺度还原，获得目标区域范围。
23.总体而言，通过本发明所构思的以上技术方案较现有技术具有以下有益效果：
24.(1)本发明使用crnn(convolutional recurrent neural network，卷积循环神经网络)网络提取热成像图上所显示的最高最低温度数值的数字字符，crnn网络对于识别图像有较强的泛化能力，而且还可以通过补充数据集进一步地提高识别精度，能够有效适应不同类型热成像图上不同字体的数字字符识别任务。
25.(2)本发明使用改进的unet分割网络作为提取目标区域的网络模型，能够精确关注目标区域，去除非目标区域对预测结果的影响，相比较模板匹配难以灵活适应不同场景的缺点，使用改进的unet分割网络能够在不同场景下依旧保持较高的识别精度，且易于通过网络训练的方式进一步提高识别精度；
26.(3)本发明使用改进的unet分割网络作为目标区域提取的网络模型，相比于目标检测仅通过矩形框预测目标区域的范围大不够精确的缺点，使用改进的unet分割网络能够精确地预测目标轮廓，能够有效过滤掉背景信息，只关注目标本身，因此对于后续计算目标区域温度的准确性有很大的帮助；
27.(4)本发明使用改进的unet分割网络作为目标区域提取的网络模型，将编码器每一层的特征图与经过空洞卷积处理的特征图拼接生成特征图集，再将该特征图集输入到解码器中，这样提高了对图像空间捕获能力，扩大了感受野，加强了模型提取目标区域的精度。
28.(5)本发明使用线性回归的方式计算出图像上温度数值和像素灰度值的对应关系，再统计所提取的目标区域的像素灰度值，从而计算出目标区域的温度，有效利用了热成像图所反应的所有信息，使得计算结果具有较高参考价值。
附图说明
29.图1为本实施方式基于深度学习预测热成像图中目标区域温度的系统的结构示意图；
30.图2为本发明实施例的热成像图；
31.图3为本实施方式改进的unet分割网络的结构示意图；
32.图4为本实施方式对温度数字字符提取模块进行训练的流程示意图；
33.图5为本实施方式crnn网络的结构示意图；
34.图6为本实施方式提取目标区域方法的流程示意图；
35.图7为本实施方式基于深度学习预测热成像图中目标区域温度的方法的流程示意图。
具体实施方式
36.为了使本发明的目的、技术方案及优势更加清晰，下面结合附图和具体实施例对本发明做进一步详细说明。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
37.图1是本实施方式基于深度学习预测热成像图中目标区域温度的系统的结构示意图，如图1所示，所述基于深度学习预测热成像图中目标区域温度的系统包括：
38.温度数字字符提取模块，用于接收输入的热成像图并利用crnn网络提取所述热成像图上显示的表达最高最低温度的数字字符；所述热成像图上显示的表达最高最低温度的数字字符如图2上显示的表达最高温度的数字字符27.2和表达最低温度的数字字符14.9。
39.目标区域提取模块，用于接收输入的热成像图并利用改进的unet分割网络从所述热成像图上提取所需的目标区域；
40.目标区域温度预测模块，用于根据温度数字字符提取模块输出的最高最低温度的数字字符，利用线性回归的方式计算出图像上温度数值和像素灰度值的对应关系，再根据目标区域提取模块输出的目标区域范围，对目标区域的像素灰度值进行统计例如平均值、最高值和/或最低值，从而根据根据图像上像素灰度值与温度值的线性关系以及目标区域的像素灰度值统计量计算出目标区域的温度信息，例如目标区域的平均温度、最高温度和/或最低温度。
41.所述改进的unet分割网络，如图3所示，是对现有的unet分割网络进行了如下改进：将编码器中第一个卷积模块的输出经空洞卷积后和编码器中第二个卷积模块的输出拼接作为第一个增强特征图集f1，再将第一个增强特征图集f1经空洞卷积后和编码器中第三个卷积模块的输出拼接作为第二个增强特征图集f2，再将第二个增强特征图集f2经空洞卷积后和编码器中第四个卷积模块的输出拼接作为第三个增强特征图集f3，然后将第三个增强特征图集f3依次经过卷积和上采样操作完成特征压缩、尺寸扩大后获得第四个增强特征图集f4；将第四个增强特征图集f4、解码器中第三个卷积模块经上采样层后的输出与编码器中第一个卷积模块输出拼接后输入到解码器中的第四个卷积模块中进行尺度还原，获得目标区域范围。
42.图4是本实施方式对温度数字字符提取模块进行训练的流程示意图，如图4所示，所述训练过程包括如下步骤：
43.步骤100：获取热成像图，并截取每张热成像图上表达温度的数字字符所在区域的图像，并将所有的区域图像与其他公开数据集和/或自己扩充的数据集组合为一个集合，并对集合中的每幅图像进行相应的标注，由标注信息和图像构成数字识别数据集，且将该数字识别数据集按照一定比例划分为训练集和测试集；
44.在本实施方式中，通过巡检机器人挂载的红外摄像头定点拍摄或者通过固定的红外摄像头拍摄的方式获取现场指定位置的红外成像图；然后编写脚本代码剪切出每张热成像图上表达温度的数字字符所在区域的图像，并将所有的区域图像与其他公开数据集例如
数字验证码数据集或者自己扩充的数据集例如通过pygame生成的数据集组合为一个集合，并对集合中的每幅图像形成的文件进行命名且将对应的数字字符标注在文件名称上，由标注信息和图像构成数字识别数据集；最后按照7:3的比例将本实施方式的数字识别数据集划分为训练集和测试集。
45.步骤101：对训练集中的图像样本进行数据增强；
46.如本领域技术人员所公知的数据增强的方法有很多，例如添加高斯噪声、旋转角度与调整亮度和对比度。其中高斯噪声的概率密度函数服从高斯分布(也即正态分布)，是常见的图像噪声的一种，通过向数据集中的每一幅图像添加高斯噪声来增加图像的复杂度，更加有利于训练过程；旋转角度指的是对给定图像进行一定角度的旋转，在本实施方式中具体是首先通过python-opencv中提供的cv2.getrotationmatrix2d函数得到旋转矩阵，然后用cv2.wrapaffine函数进行仿射变换，得到旋转变换后的图形；在本实施方式中调整亮度和对比度是采用线性变换对图像进行亮度和对比度的调整，具体是利用python-opencv中提供的函数cv2.addweighted进行实现。
47.步骤102：将增强后的图像样本输入温度数字字符提取模块中对crnn网络进行训练；
48.在所述crnn网络中，如图5所示首先通过卷积层对输入的单通道灰度图像进行特征提取。在本实施方式中卷积层采取的所有单个卷积核尺寸均为3*3大小。对比单个5*5卷积核和2个3*3的卷积核串联结构，他们拥有相同的感受野，但是2个3*3的卷积核串联结构拥有更少的参数和更多的非线性函数，增加了非线性表达。由于图像中的相邻像素更倾向于具有相似的值，所以卷积层输出的相邻像素也具有相似的值，也即卷积层输出中包含了大量的冗余信息，本实施方式采用最大池化方法减少冗余信息。在本实施方式中，每个卷积层之后都加入一个bn(batch normalization，批量归一化层)层和激活函数，所述激活函数采用的是relu，其函数表达式为f(x)＝max(0,x)。在神经网络中，对于来自上一层的输入x而言，使用relu激活函数将输出max(0,w
t
x b)，其中w表示权重矩阵，b表示偏置值。
49.然后将crnn网络卷积层的输出结果输入到循环层。对于crnn网络的循环层，相较于传统循环神经网络(recurrent neural network,rnn)而言，crnn网络使用长短期记忆网络(lstm，long short-term memory)结构，有利于更好地捕获过去的信息作为上下文信息。但是仅通过正向的lstm进行序列识别只能获取该序列片左侧的上下文信息，仅通过逆向的lstm只能获取该序列片右侧的上下文信息。两个方向的上下文信息对于序列预测都是有用的，且可以互补以更好地实现序列预测，使用双向的lstm可以综合利用左右两侧的信息，对于本文的序列数字识别更加合适，所以本实施方式中选取双向的lstm即blstm来实现循环层。
50.再然后将crnn网络循环层的输出结果输入到转录层。转录层主要作用是将循环层的输出转化为标签序列的过程，所述标签序列即转录层输出的数字字符串序列，例如“00212”。
51.最后采取ctc(connectionist temporal classification联合时序分类)损失函数实现对cnn和rnn进行端到端的联合训练。通过循环层做时序分类时，很有可能出现一个数字被连续识别两次的现象，因而需要去冗余机制。为了删除识别序列中的冗余，同时又防止遗漏原本的重复数字，因而在转录层引入ctc损失函数机制。本实施方式中的ctc损失主
要借助深度学习库keras中封装好的ctc损失函数进行实现，本实施方式ctc损失函数的参数主要包括四个，一是标签的真实值，二是标签的预测值，三是预测标签的长度，四是真实标签的长度。
52.步骤103：将实时训练的crnn网络在测试集上进行测试，对crnn网络中的相关参数进行相应调整后再按照步骤102的方法对crnn网络进行训练，这样经过反复训练和测试后获得所需的最优crnn网络。
53.图6是本实施方式对目标区域提取模块进行训练的流程示意图，如图6所示，包括如下步骤：
54.步骤200：获取热成像图，对每幅图像标注目标区域范围，由带标注标签的图像构成目标区域分割数据集；
55.本实施方式使用标注工具labelme制作图像分割的标签，得到的为json文件，进一步提取json文件，将json文件转换为png格式的标签文件，其中背景区域的像素值被标记为0，目标区域的像素值被标记为1，将标签文件提取出来，由带标签的图像构成目标区域分割数据集。需要说明的是，由于热成像图的图像特征不明显，因此在有条件的情况下，获取相同位置的普通图像辅助目标分割并映射到热成像图上有助于提高分割的准确度。
56.步骤201：将所述目标区域分割数据集按照一定比例划分为训练集和测试集；
57.在本实施方式中，按照8:2的比例将所述目标区域分割数据集划分为训练集和测试集；
58.步骤202：对训练集中的图像样本进行数据增强；
59.所述数据增强包括但不仅限于对图像旋转、裁剪、翻转。具体地，在对原图像进行旋转剪裁和反转的同时，也要对png格式的标签文件进行相同的操作，以保证标注的准确性。
60.步骤203：将增强后的图像样本输入目标区域提取模块中对改进的unet分割网络进行训练，并利用测试集对实时训练的改进的unet分割网络性能进行测试，直到完成预设的训练次数，获得最终的改进的unet分割网络；
61.现有的unet分割网络包括编码器模块和解码器模块，所述编码器模块使用卷积和池化对输入图像进行特征提取，解码器模块即上采样过程，图3示出的改进的unet分割网络是在解码器模块加入空洞卷积结构以提高网络性能，最终的得到区域分割结果。所述上采样包括三种方法：插值法、反池化、转置卷积，本实施方式采用双线性插值法进行上采样，双线性插值，又称为双线性内插。在数学上，双线性插值是对线性插值在二维直角网格上的扩展，用于对双变量函数(例如x和y)进行插值。其核心思想是在两个方向分别进行一次线性插值。并使用每层上采样产生的特征图与左侧编码器对应层卷积产生的特征图进行拼接作为下一层上采样的输入，最终得到预测结果。
62.在本实施方式中，将训练集中的样本逐批次投入到改进的unet分割网络中进行迭代，每迭代3000次，采用测试集测试实时训练得到的网络性能；且当迭代次数达到预先设定迭代次数阈值时，停止训练，取出在测试集中损失最小对应的网络；每个批次训练完成后，通过平衡交叉熵损失函数计算损失值，做反向传播从而更新梯度信息，反复调整训练得到最终的网络。
63.图7是本实施方式基于深度学习预测热成像图中目标区域温度的方法的流程示意
图，如图7所示，所述基于深度学习预测热成像图中目标区域温度的方法包括：
64.步骤1：将待检测的红外热成像图同时输入到crnn网络和改进的unet分割网络中；
65.步骤2：由crnn网络提取所述热成像图上显示的表达最高最低温度的数字字符；同时，由改进的unet分割网络从所述热成像图上提取所需的目标区域；
66.步骤3：根据提取的所述热成像图上显示的表达最高最低温度的数字字符，构建热成像图上像素灰度值与温度值的对应关系；
67.由于热成像图上温度值与像素灰度值的变化范围均是固定的，所以二者的关系为线性关系，可直接构造线性回归函数对其模拟，在本实施方式中，是利用线性回归的方式计算出图像上温度数值和像素灰度值的对应关系。
68.步骤4：统计由改进的unet区域分割网络提取的目标区域的像素值信息，包含但不仅限于平均值、最高值和/或最低值。
69.步骤5：根据图像上像素灰度值与温度值的线性关系以及目标区域的像素灰度值统计量计算目标区域的温度信息，包括但不仅限于平均温度、最高温度和/或最低温度并输出。
70.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；因而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。