一种障碍物智能监测方法及系统与流程

1.本发明涉及一种障碍物的智能监测方法及系统，具体涉及一种基于红外热成像的障碍物的智能监测方法及系统，属于障碍物监测和识别技术领域。


背景技术：

2.现有障碍物的监测和识别主要以可见光成像方案作为障碍物监测的主要手段。可见光设备的清晰度能够得到保障，可见光图像的灰度层次要比红外热图像更加分明，另外可见光图像的纹理特征要比红外热图像更多，从而导致了红外热图像在反映物体表面纹理信息的缺陷，但是在实际应用中中，大面积的使用可见光设备监控区域内的障碍物，作用单一，且大部分监控设备的主要功能往往是能够同时满足测温和排查障碍物两个功能，使用可见光大面积覆盖的做法并不实际。
3.现有的障碍物预警主要依赖于人工巡检和无人机巡检，主要存在以下缺点：人工巡检肉眼排查效率低下，无法全面的巡检目标区域内是否有障碍物积挂等现象，故障容易漏检，无法及时进行监测及预警，成本过高；无人机巡检也需要配置相关的人员对巡检的目标区域进行操作，并且无法做到全天候巡检，拍摄的视频数据量大，后期无法智能处理信息数据，对数据平台的要求高。
4.综上所述，现有的可见光设备作用单一，且障碍物监测方法既需要依赖人工作业进行巡检，又无法实现实时监测。


技术实现要素：

5.本发明为了解决现有的可见光设备作用单一，且障碍物监测方法既需要依赖人工作业进行巡检，又无法实现实时监测的问题，进而提出了一种障碍物智能监测方法及系统。
6.本发明采取的技术方案是：
7.一种障碍物智能监测方法，它包括以下步骤：
8.s1、在需要障碍物监测的部位设置红外热成像装置；
9.s2、获取红外热成像装置对应区域的图像或图像序列，作为原图；
10.s3、对原图进行非均匀性校正；
11.s4、对非均匀性校正后的原图进行图像细节增强处理；
12.s5、提取细节增强处理后的原图中的目标区域；
13.s6、对目标区域进行伪彩色增强处理；
14.s7、检测伪彩色增强处理后的目标区域中是否存在障碍物；
15.s8、基于s7识别的障碍物进行障碍物监测或预警。
16.进一步地，所述s3中，对原图采用两点定标校正算法进行非均匀性校正。
17.进一步地，对原图采用两点定标校正算法进行非均匀性校正的方法包括：
18.s31、在红外焦平面阵列内选取辐射度定标点φ
l
和φ
h
，记录所有的n
×
m探测器单元的响应输出值；
19.s32、获取各探测器单元的校正参数；
[0020][0021]
s
i,j
(φ
l
)表示φ
l
所涉及范围内的探测器单元的响应输出值；
[0022]
s
i,j
(φ
h
)表示φ
h
所涉及范围内的探测器单元的响应输出值；
[0023]
s
l
表示所有响应输出值s
i,j
(φ
l
)的平均值；
[0024]
s
h
表示所有响应输出值s
i,j
(φ
h
)的平均值；
[0025]
i表示红外焦平面阵列中探测器单元的行数；
[0026]
j表示红外焦平面阵列中探测器单元的列数；
[0027]
s33、对原图进行非均匀性校正；
[0028][0029]
φ表示入射到探测器单元的辐照度；
[0030]
表示第(i,j)个探测器单元的响应输出值的校正值；
[0031]
s
i,j
(φ)表示第(i,j)个探测器单元的响应输出值。
[0032]
进一步地，所述s4中，对非均匀性校正后的原图进行图像细节增强处理的方法包括：
[0033]
s41、对非均匀性校正后的原图进行滤波，获取滤波结果h(x)：
[0034][0035]
k(x)表示归一化因子，k(x)＝∫∫c(ε,x)s(f(ε),f(x))dε；
[0036]
c(ε,x)表示当前像素x与领域像素ε之间的空间距离所产生的权值；
[0037]
s(f(ε),f(x))表示当前像素的灰度值与领域像素灰度值之差产生的权值；
[0038]
f(ε)表示当前像素的灰度值；
[0039]
f(x)表示非均匀性校正后的原图；
[0040]
ε表示领域像；
[0041]
s42、将原图与滤波结果相减获取细节图像；
[0042]
s43、对细节图像进行最值归一化处理：
[0043][0044]
f
out
(x,y)表示最值归一化的结果图像；
[0045]
f
in
(x,y)表示细节图像；
[0046]
min表示像素的最小值，max表示像素的最大值，0＜min＜max＜l，l表示图像的灰度级数目。
[0047]
进一步地，所述s5中，提取细节增强处理后的原图中的目标区域的方法包括：
[0048]
s51、提取细节增强处理后的原图中的特征图像，所述特征图像包括对比度特征、熵特征和梯度特征；
[0049]
s52、利用特征图像生成多模态融合特征图像；
[0050]
s53、对多模态融合特征图像依次进行预浸没与区域填充；
[0051]
s54、提取浸没与区域填充后的多模态融合特征图像内的目标区域。
[0052]
进一步地，所述s6中，对目标区域采用空间域灰度级
‑
彩色变换进行伪彩色增强处理。
[0053]
进一步地，所述s7中，采用orb特征匹配算法检测伪彩色增强处理后的目标区域中是否存在障碍物。
[0054]
进一步地，所述s7中，检测伪彩色增强处理后的目标区域中是否存在障碍物的结果包括：
[0055]
(a)未检测到障碍物；
[0056]
(b)检测到障碍物：
[0057]
(b1)检测到障碍物，但障碍物并未引起监测的部位温度过高；
[0058]
(b2)检测到障碍物，且障碍物引起了监测的部位温度过高。
[0059]
进一步地，所述s8中，当s7检测到障碍物，但障碍物并未引起监测的部位温度过高时，则利用红外热成像装置对障碍物进行实时监测；当s7检测到障碍物，且障碍物引起了监测的部位温度过高时，则将监测的部位立即进行预警。
[0060]
一种障碍物智能监测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如一种障碍物智能监测方法的任一步骤。
[0061]
有益效果：
[0062]
1、本发明通过采用红外热成像系统，将温度监测与障碍物监测合为一体，定点采集监测部位或目标区域的实时图像，不仅能够监测温度变化，还能够监测是否存在障碍物，解决了可见光设备作用单一的问题，本发明结合图像校正、图像细节增强、目标提取的图像算法、伪彩色处理技术以及orb特征匹配算法实现了智能化的障碍物监测或预警功能。并结合拍摄设备状态，记录预警时刻的gps坐标位置、相机姿态角度、相机视场角及拍摄参数等信息，通过物联网通信技术上传至云服务器、存储器传输预警信息至管理调度中心，实现人机交互，并将红外图像中的监测部位障碍物表现在显示界面，进行监测跟踪，将数据存储便于技术人员在线分析障碍物的实际性质或干扰温度变化等实际因素是否由于障碍物的存在而及时对障碍物进行排除，并且当障碍物引起检测点高温时，实时传送信息到客户端，起到预警的作用，实用性更强。
[0063]
2、本发明能够应用于各个领域的障碍物监测中，并将实时视频流与图像上传至云服务器，通过云服务器地址端将信号源地址和图像信息发送到指定的运维联系人，警告维护人员该位置存在障碍物，根据红外图像帮助维护人员判断是否需要维修或忽略该位置的
障碍物预警，可以预警障碍物目标引起的高温或无障碍物时监测点的各项温度数据信息，提高安全性，降低维修人员的维护成本。
[0064]
3、本发明使用红外热成像技术和云服务器结合的方法替代障碍物巡检的传统方法，实现了障碍物的监测智能化，减少人力投入，保证监测障碍物的实时性，同时实现了障碍物预警功能。
附图说明
[0065]
图1是生成可视化红外热感图的流程图；
[0066]
图2是s6的流程图像；
具体实施方式
[0067]
具体实施方式一：结合图1和图2说明本实施方式，本实施方式所述一种配电线的路障碍物智能监测方法，它包括以下步骤：
[0068]
s1、在需要障碍物监测的部位设置红外热成像装置；
[0069]
在需要障碍物监测的部位或目标区域安装红外热成像系统，红外热成像系统包含供电设备、集成物联网通讯模块的红外热成像装置以及云服务器，红外热成像装置包括红外热成像仪，其中供电设备可以在各个环境区域内使用，例如街道，户外等地点，为了提高红外热成像系统的实用性，采用太阳能电池板和蓄电池作为系统的电源。数据信息传输需要数据通讯，本发明用物联网通讯模块，使用物联网卡为系统提供数据流量，可以解决户外不存在专网的问题。红外热成像仪可调分辨率，监测的点位可以根据实际工况调整适当的距离，实时监测的点位进入摄像头的视野中。云服务器的使用可以存储上传的大量数据，防止数据丢失，实现云数据的边缘计算能力，而且可以定期删除过期数据，在线处理快捷，另外的作用则是发送信息到客户端，客户端用户可以查看信息。需要监测的部位，包含但不限于架空线(包括轨道交通接触网)线夹、金属接线端子、母排连接点、变压器出线等导体连接点及变压器表面等电力、石化和新能源领域等可能产生高温的仪器部位。
[0070]
s2、获取红外热成像装置对应区域的图像或图像序列，作为原图，即原图像；
[0071]
使用相机设备采集需要检测的图像，装置及设备可以是手持终端云台相机设备、固定式枪机或球机摄像机、地面移动机器人平台、飞行无人机平台等挂载有可移动云台相机的设备及存储器，获取相机镜头采集的需要进行温度预警识别的场景的红外光图像或图像序列视频。
[0072]
s3、对原图进行非均匀性校正；
[0073]
红外成像设备广泛，由于材料和工艺的原因，焦平面探测单元的响应率很难做到一致，这就会造成对着均匀辐射目标最后探测器给出的响应电压不一样，带来的直接后果就是irfpa成像的效果。因此必须对焦平面的像元响应进行校正。
[0074]
在红外焦平面阵列中，每一个单元探测器的响应函数是一个非线性函数，但是在较小的范围内，探测器的响应曲线可以近似的看作直线，且假定探测器的响应具有时间上的稳定性，则红外焦平面阵列中单个探测器的响应输出值可以用线性方程表示：
[0075]
s
i,j
(φ)＝g
i,j
(φ)φ o
i,j
(φ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0076]
其中，g
i,j
(φ)表示照度φ下的增益系数(相应率)；
[0077]
o
i,j
(φ)表示照度φ下的偏置(暗电流)；
[0078]
φ表示入射到探测器单元的辐照度；
[0079]
i表示红外焦平面阵列中探测器单元的行数；
[0080]
j表示红外焦平面阵列中探测器单元的列数；
[0081]
红外焦平面阵列的非均匀性表现在各探测器单元之间g
i,j
(φ)和o
i,j
(φ)的差异。
[0082]
校正的基本思想如下：
[0083]
(1)利用参考辐射源给红外焦平面阵列提供均匀的辐照度，对每个探测器单元的响应输出值进行测量；
[0084]
(2)由此计算得出各探测器单元的校正参数；
[0085]
(3)当红外焦平面阵列接收到实际场景辐照度时，用各探测器单元的相应校正参数对其输出进行实际的校正。
[0086]
按参考辐射源定标点的个数，采用两点定标校正算法，通过测量阵列中各探测器单元对两个不同辐射度的均匀黑体辐射的响应，计算出校正值，从而实现非均匀性校正。
[0087]
算法实现：
[0088]
在红外焦平面阵列内选取两个辐射度定标点φ
l
和φ
h
，分别记录红外焦平面阵列中所有的n
×
m探测器单元的响应输出值；
[0089]
对这些所有的响应输出值s
i,j
(φ
l
)和s
i,j
(φ
h
)分别作平均，得
[0090][0091]
其中，s
i,j
(φ
l
)表示φ
l
所涉及范围内的探测器单元的响应输出值；
[0092]
s
i,j
(φ
h
)表示φ
h
所涉及范围内的探测器单元的响应输出值；
[0093]
s
l
表示所有响应输出值s
i,j
(φ
l
)的平均值；
[0094]
s
h
表示所有响应输出值s
i,j
(φ
h
)的平均值；
[0095]
通过和所确定的直线用作校正直线，其中表示对红外焦平面阵列所有探测器单元的输出信号s
l
求平均，，表示对红外焦平面阵列所有探测器单元的输出信号求s
h
平均；
[0096]
在一定照度φ下，第(i,j)个探测器单元的响应输出值值s
i,j
(φ)与其探测器单元的响应输出值的校正值s
·
i,j
(φ)之间存在以下比例关系：
[0097][0098]
可以得到：
[0099]
[0100]
令和则可以简化公式得到
[0101]
s
·
i,j
(φ)＝g
i,j
s
i,j
(φ) o
i,j
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0102]
s4、对非均匀性校正后的原图进行图像细节增强处理；
[0103]
由于红外图像动态范围较大，在将其转换为适合人眼观察的模拟图像过程中，容易造成图像细节的缺失，影响人眼的观察效果。如何获取具有良好对比度且信息丰富的图像，是红外图像处理中的一项重要技术。目前红外图像的原始数据一般为14bit，而适合人眼观察的模拟图像为8位，通过采用图像变换算法将红外原始数据映射到模拟图像，即可完成对红外图像的处理。
[0104]
为增强细节部分,需要先将细节信息从原始图中提取出来，然后对整体大背景图像进行压缩，保留或者增强细节部分。图像的细节对应图像的高频部分，而整体轮廓对应图像的低频部分。因此，使用原始图与其低通滤波图像相减的方法可以得到细节图。
[0105]
本方案拟采用双域滤波，它是空间域波与灰度域滤波的结合，本质是一个带权平均滤波，与普通的低通滤波不同的双域滤波的权值不仅取决当前像素与邻域内各素的空间距离还与邻域内各像素与当前像素的灰距离有关。
[0106]
设待滤波图像(非均匀性校正后的原图)为f(x)，则双域滤波结果h(x)可表示为：
[0107][0108]
其中，k(x)表示归一化因子，k(x)＝∫∫c(ε,x)s(f(ε),f(x))dε；
[0109]
c(ε,x)计算当前像素x与领域像素ε之间的空间距离所产生的权值；
[0110]
s(f(ε),f(x))则为当前像素的灰度值与领域像素灰度值之差产生的权值；
[0111]
f(ε)表示当前像素的灰度值；
[0112]
f(x)表示待滤波图像，即非均匀性校正后的原图；
[0113]
ε表示领域像。
[0114]
因此双域滤波是一个特殊的低通滤波，其结果h(x)为图像的基本部分，用原始图像减去滤波结果(低通滤波图像)可得到图像细节部分(细节图)。
[0115]
对细节图像进行最值归一化处理的过程如下：
[0116]
统计待增强图像(非均匀性校正后的原图)的直方图h(k)，k＝0...l
‑
1,l表示图像的灰度级数目。
[0117]
从直方图左右两端向中间逐个统计像素的数目，即
[0118]
s1＝h(1) h(2)
…
h(min)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0119]
s2＝h(l
‑
1) h(l
‑
2)
…
h(max)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0120]
其中，s1表示从1至min统计是像素总数目；
[0121]
s2表示从(l
‑
1)至max统计的像素总数目；
[0122]
min表示像素的最小值，max表示像素的最大值，0＜min＜max＜l。
[0123]
判断s1，s2的值，当s1＞t时，停止累加并保存当前值min；当s2＞t时，停止累加并保存当前max的值，t为预设值。
[0124]
使用min作为最小值，max为最大值进行最值归一化。即：
(x,y)为进行交叉融合的输入图像，f1(x,y)为全黑图像，用画面交叉融合的效果，减小亮度因子的影响，将图像的亮度降低，降低亮度后的图像为f2(x,y)，将图像由rgb模式转换到hsi模式，并求f2(x,y)的i分量图像i2(x,y),如式所示：
[0145]
i2＝0.299r
f2
0.587g
f2
0.114b
f2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0146]
g(x,y)＝|i2(x,y)
‑
i2(x 1,y)| |i2(x,y)
‑
i2(x,y 1)|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0147]
i2(x,y)表示f2(x,y)中的一个像素点，r
f2
、g
f2
、b
f2
为rgb分量，g(x,y)表示梯度图像.求取梯度的方法使用的是水平与垂直分量差分方法，i2(x,y)通过水平垂直差分法后得到梯度图像g(x,y)。
[0148]
选取种子点进行填充，种子点可以通过人工手动选择，或者由对比度特征图通过形态学方法模拟出最大内接多边形的中心为种子点。完成区域填充后，由于正差值的范围有限，内部仍将出现小的孔洞，通过孔洞填充，使得整个区域提取图像更加完整。
[0149]
s6、对目标区域进行伪彩色增强处理；
[0150]
红外热图像与可见光成像原理不同决定了图像本质上的区别，红外热图像反映了目标与背景自身发射的红外辐射的能量差异，而可见光图像反映的是目标与背景反射来自阳光与其它光源光线的强弱，因此同一场景下两者的灰度差异较大。可见光图像的灰度层次要比红外热图像更加分明，另外可见光图像的纹理特征要比红外热图像更多，从而导致了红外热图像在反映物体表面纹理信息的缺陷，所以当障碍物停靠在监测点时，满足监测温度的灰度图像无法直接体现障碍物纹理信息，分辨率过低，需要进一步实现数据增强，通过伪彩色处理方法增加观察人员视觉敏感度，提高彩色差异的分辨能力。
[0151]
伪彩色处理是指将灰度图像转化为彩色图像，或者是将单色图像变换成给定彩色分布的图像，使图像分层效果更明显，从而使目标区域更加突出。红外热图像伪彩色数据增强主要方法如灰度级
‑
彩色变换的原理：
[0152]
(1)将原图像f(x,y)的灰度范围分段，对任何输入像素的灰度级执行3个独立变换；
[0153]
(2)经过红、绿、蓝三种不同变换tr(
·
)、tg(
·
)和tb(
·
)之后，将结果送入彩色监视器的三通道，变成三基色分量r(x,y)、g(x,y)、b(x,y)；
[0154]
(3)然后合成一幅彩色图像。
[0155]
伪彩色处理数据增强技术包括但不限于强度分层、灰度级
‑
彩色变换和频域变换法，在空间域内对构成图像的灰度值进行数据增强运算处理，得到如白热、黑热、铁红、高对比彩虹、彩虹以及铁灰等多种红外伪彩色图像，使图像的细节更容易辨认，源图像或视频更加清晰。
[0156]
s7、检测伪彩色增强处理后的目标区域中是否存在障碍物；
[0157]
采用orb特征匹配算法来检测视频或图像序列中是否存在障碍物，主要的步骤如下：
[0158]
(1)特征点检测；
[0159]
(2)计算特征点描述子；
[0160]
(3)图像特征点匹配。
[0161]
在特征点检测部分，orb采用fast算法查找图像中的关键点，给与一个像素点p，fast比较目标p圆圈范围中的16个像素，每个像素按高于p，小于p，或者与p相似分为三类。
比较是带有阈值h的。对于给定的阈值h，更亮的像素将是亮度超过ip h的像素，更暗的像素将是亮度低于ip
‑
h的像素，相似像素将是亮度在这两个值之间的像素。在对像素分类后，如果圆圈上有8个以上的相连像素，暗于或亮于p，则将像素p选作关键点。
[0162]
brief算法提取得到的特征点描述符是一个二进制的字符串，建立当前的一个特征点的邻域空间patch，设为p，那么对该面片p定义的一个二进制测试：
[0163][0164]
其中，p(x)表示在x点的图像灰度值；
[0165]
p(y)表示在y点的图像灰度值；
[0166]
p表示图像灰度值；
[0167]
τ表示对比操作；
[0168]
由此得到n位的二进制串：
[0169][0170]
对于x和y的坐标分布在本方案中使用的是以特征点为中心的高斯分布。想要让brief算法具有旋转不变性，那么我们需要使特征点的邻域旋转一个角度，该角度就是我们上面求得的特征点的方向角θ。但是这样整体旋转一个邻域的开销是比较大的，一个更加高效的做法就是旋转我们前面得到的那些邻域中的匹配点x
i
,y
i
。
[0171]
设生成特征点描述符的n个测试点对为x
i
,y
i
定义一个2
×
n的矩阵:
[0172][0173]
利用角度θ形成的旋转矩阵为r
θ
，那么旋转后匹配点的坐标为
[0174]
s
θ
＝r
θ
s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0175]
rbrief算法通过改变描述子的计算方法，进一步减弱同一图像中特征点的描述子的相关性，具体如下：
[0176]
对每个角点，考虑其31
×
31的邻域，使用领域中每个点周围的5
×
5的邻域的像素值平均值作为该点的像素值，进而比较点对的大小。上面计算可得到(31
‑
5 1)
×
(31
‑
5 1)＝729个子窗口，提取点对的方法有729
×
728＝265356种，通过在这265356中方法中选取256种取法，形成描述子。下面是具体选择步骤：
[0177]
(1)在300k特征点的每个31
×
31邻域内，m＝265356种方法取点对，比较点对大小，形成一个矩阵q。矩阵中的每一列代表一种提取方法得到的二进制数。
[0178]
(2)对q矩阵的每一列求取平均值，按照平均值到0.5的距离大小，重新对q进行列向量的排序形成矩阵t。
[0179]
(3)将t的第一列向量放到r中。
[0180]
(4)将t的下一列向量和r中的所有列向量计算相关性，如果相关系数小于设定的阈值，则将t中的该列向量移入r中。
[0181]
(5)重复步骤(4)的操作，直至r中列向量数目为256。
[0182]
对于orb使用的二元描述符，通常使用汉明指标，汉明指标通过计算二元描述符之间的不同位数量判断两个关键点之间的匹配质量。在比较训练图像和查询图像的关键点时，差异数最少的关键点对被视为最佳匹配。匹配函数对比完训练图像和查询图像中的所有关键点后，返回最匹配的关键点对。
[0183]
模板匹配完成后，可以判断源图像与实时采集图像的匹配质量，障碍物出现在图像中，红外热成像系统发出警告并上传包含但不限于预警图像、gps坐标、相机姿态、视场角、拍摄内参、拍摄时间等信息。
[0184]
s8、基于识别的障碍物进行障碍物监测或预警。
[0185]
在监测部位拍摄视频或图像序列时实时跟踪温度变化，并实时监测线路上是否存在障碍物。若不存在障碍物，上传包含但不限于预警图像、gps坐标、相机姿态、视场角、拍摄内参、拍摄时间等信息记录，不向客户端发出预警提示，运维人员可以在线观看存储的有效期内的图像或视频等信息记录；若存在障碍物，上传包含但不限于预警图像、gps坐标、相机姿态、视场角、拍摄内参、拍摄时间等信息记录，实时跟踪障碍物，利用红外热成像装置实时监测温度是否由于障碍物的存在温度上升，对障碍物进行实时监测。如果实时拍摄的图像或图像序列中存在障碍物且导致监测部位高温，则在存储器保存此图像，并进行温度预警和障碍物预警，向管理中心预警，上传包含但不限于预警图像、gps坐标、相机姿态、视场角、拍摄内参、拍摄时间等信息。
[0186]
具体实施方式二：结合图1和图2说明本实施方式，本实施方式所述一种障碍物智能监测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如一种障碍物智能监测方法的任一步骤。