基于雷达红外可见光图像融合的高压线检测方法与流程

1.本发明涉及雷达技术领域，具体涉及一种基于雷达红外可见光图像融合的高压线检测方法。


背景技术：

2.高压线等低空障碍物因其体积小、特征不明显等特性，是造成直升机飞行事故的重要原因之一，也是直升机防撞规避领域实时检测和告警的重点对象。受限于传感器的单一性和局限性，传统的基于毫米波雷达的高压线检测方法仍然存在地表杂波干扰的问题，遇到信噪比不足的探测场景时难以得到高分辨率的检测结果。可见光摄像机和红外成像仪由于价格低廉、图像分辨率和更新率高，已成为直升机普遍搭载的防撞传感器设备，也是高压线多信息源融合检测的重要组成部分。由于出色的特征提取与学习能力，语义分割模型已经在人脸识别追踪、汽车自动驾驶等领域取得了突破性的成果，是目前图像处理领域最流行的方法之一。
3.基于可见光图像、红外图像以及毫米波雷达回波图像的特征，本发明将深度学习语义分割技术和多源图像时空配准技术应用到高压线检测中，提出了一种基于雷达红外可见光图像融合的高压线智能检测方法，相比现有发明和公开文献的高压线识别方法，该发明具有以下特点：
4.传统的基于毫米波雷达的高压线检测技术受限于传感器的单一性和局限性，存在着地表杂波干扰的问题，遇到信噪比不足的探测场景时难以得到高分辨率的检测结果。本发明提出一种基于雷达红外可见光图像融合的高压线智能检测方法，通过深度学习的语义分割模型实现高压线的快速检测识别，通过时空配准技术实现可见光红外图像以及毫米波雷达数据检测结果的融合，处理结果综合了可见光红外图像的高分辨率高刷新率以及毫米波雷达回波的丰富距离方位信息的优点，检测识别正确率高，场景适应性强，虚警率低，有效弥补了单一毫米波雷达高压线检测技术的不足。
5.传统基于特征提取的低空障碍物检测方法，大多依赖于图像的成像质量和特征提取算法的有效性，在图像质量较差时，难以有效提取特征，特定的特征提取算法难以保证通用的效果，场景适应性不强，而且容易产生信息丢失问题。此外，这类方法只能实现较为粗略的分类，难以对高压塔、高压线、孤立障碍物等不同类型的低空障碍物进行精细地区分。本发明在可见光图像、红外图像和毫米波雷达回波图像数据的处理过程中均采用了深度学习语义分割模型的方法，通过预先输入人工标注样本的方式训练语义分割模型，以数据驱动模型，自动提取和学习图像中高压线的抽象特征，避免了传统特征提取方法的信息丢失，训练后的网络模型能够自动识别不同场景图像中的高压线目标，有效减少了图像成像质量和成像场景变化造成的负面影响，识别正确率高，且能够对高压线、高压塔等不同障碍物进行分类和分割，实现了精细化检测和识别。


技术实现要素：

6.有鉴于此，本说明书实施例提供一种基于雷达红外可见光图像融合的高压线检测方法，以达到有效增强直升机低空飞行时对高压线的综合感知能力的目的。
7.本说明书实施例提供以下技术方案：一种基于雷达红外可见光图像融合的高压线检测方法，包括以下步骤：步骤一、对红外图像和可见光图像分别进行图像预处理得到处理后的红外图像和处理后的可见光图像；步骤二、对毫米波图像、处理后的红外图像和可见光图像进行语义分割，并分别检测毫米波图像、处理后的红外图像和可见光图像中的高压线和高压塔；步骤三、对步骤二中毫米波图像的检测结果、处理后的红外图像的检测结果和可见光图像的检测结果进行时空配准操作并获得融合结果；步骤四、对融合结果进行图像后处理操作以获得处理后的融合图像；步骤五、将处理后的融合图像及相应的检测结果输出。
8.进一步地，步骤一具体为基于暗通道先验模型对红外图像和可见光图像分别进行去雾操作，以得到处理后的红外图像和处理后的可见光图像。
9.进一步地，步骤二具体为：建立语义分割模型，使语义分割模型包括一个初始模块、五个阶段和一个全卷积层，通过语义分割模型分别检测毫米波图像、处理后的红外图像和处理后的可见光图像中的高压线和高压塔。
10.进一步地，步骤三包括：步骤3.1、对处理后的红外图像的检测结果和可见光图像的检测结果通过定标信息进行粗配准，形成粗配准结果，然后对粗配准结果基于梯度相关法进行精配准，以形成第一配准结果；步骤3.2、对毫米波图像的检测结果通过坐标系变换方法和载机惯导信息的外推方法获得第二配准结果；步骤3.3、基于第一配准结果和第二配准结果的变化关系，对步骤二中毫米波图像、处理后的红外图像和处理后的可见光图像中的高压线及高压塔进行融合，并获得融合检测结果。
11.进一步地，步骤三还包括：步骤3.4、对处理后的红外图像和处理后的可见光图像采用像素级的融合方法进行图像背景融合，并与步骤3.3中融合检测结果进行合并，得到融合结果。
12.进一步地，步骤四包括：步骤4.1、对融合结果中的高压线做形态学处理，以实现高压线的边缘平滑和断线续连，并根据链码跟踪的直线检测方法去除融合结果中高压线检测部分的虚警；步骤4.2、对融合结果中的高压塔做形态学处理，以去除高压塔边缘的毛刺和孤立点，然后以步骤4.1中的结果为基准，去除融合结果中高压塔检测部分的虚警；步骤4.3、分别对融合结果中的高压线和高压塔进行不同颜色标记。
13.进一步地，步骤五具体为：输出融合结果、高压线和高压塔的方位、距离和高度信息。
14.与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：实现了高压线的智能化检测，完成了红外/可见光图像像素级融合以及与毫米波雷达高压线检测结果的决策级融合，有效增强了直升机低空飞行时对高压线的综合感知能力。
附图说明
15.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域
普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
16.图1是本发明实施例的流程结构示意图；
17.图2是本发明实施例的语义分割模型结构示意图。
具体实施方式
18.下面结合附图对本技术实施例进行详细描述。
19.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
20.如图1和图2所示，一种基于雷达红外可见光图像融合的高压线检测方法，包括以下步骤：
21.步骤一、对红外图像和可见光图像分别进行图像预处理得到处理后的红外图像和处理后的可见光图像；
22.步骤二、对毫米波图像、处理后的红外图像和可见光图像进行语义分割，并分别检测毫米波图像、处理后的红外图像和可见光图像中的高压线和高压塔；
23.步骤三、对步骤二中毫米波图像的检测结果、处理后的红外图像的检测结果和可见光图像的检测结果进行时空配准操作并获得融合结果；
24.步骤四、对融合结果进行图像后处理操作以获得处理后的融合图像；
25.步骤五、将处理后的融合图像及相应的检测结果输出。
26.本发明实施例实现了高压线的智能化检测，完成了红外/可见光图像像素级融合以及与毫米波雷达高压线检测结果的决策级融合，有效增强了直升机低空飞行时对高压线的综合感知能力。
27.步骤一具体为基于暗通道先验模型对红外图像和可见光图像分别进行去雾操作，以得到处理后的红外图像和处理后的可见光图像。
28.步骤二具体为：建立语义分割模型，使语义分割模型包括一个初始模块、五个阶段和一个全卷积层，通过语义分割模型分别检测毫米波图像、处理后的红外图像和处理后的可见光图像中的高压线和高压塔。
29.步骤三包括：
30.步骤3.1、对处理后的红外图像的检测结果和可见光图像的检测结果通过定标信息进行粗配准，形成粗配准结果，然后对粗配准结果基于梯度相关法进行精配准，以形成第一配准结果；
31.步骤3.2、对毫米波图像的检测结果通过坐标系变换方法和载机惯导信息的外推方法获得第二配准结果；
32.步骤3.3、基于第一配准结果和第二配准结果的变化关系，对步骤二中毫米波图像、处理后的红外图像和处理后的可见光图像中的高压线及高压塔进行融合，并获得融合检测结果。
33.步骤3.4、对处理后的红外图像和处理后的可见光图像采用像素级的融合方法进行图像背景融合，并与步骤3.3中融合检测结果进行合并，得到融合结果。
34.步骤四包括：
35.步骤4.1、对融合结果中的高压线做形态学处理，以实现高压线的边缘平滑和断线
续连，并根据链码跟踪的直线检测方法去除融合结果中高压线检测部分的虚警；
36.步骤4.2、对融合结果中的高压塔做形态学处理，以去除高压塔边缘的毛刺和孤立点，然后以步骤4.1中的结果为基准，去除融合结果中高压塔检测部分的虚警；
37.步骤4.3、分别对融合结果中的高压线和高压塔进行不同颜色标记。
38.步骤五具体为：输出融合结果、高压线和高压塔的方位、距离和高度信息。
39.本发明实施例针对直升机低空飞行中对高压线的探测规避需求，基于红外/可见光/毫米波雷达图像，发明了一种基于雷达红外可见光图像融合的高压线智能检测方法，通过图像去雾、图像融合、深度学习语义分割、时空配准等先进技术实现了红外/可见光/毫米波雷达多源数据的高压线融合检测识别，能够同时提供高分辨率场景、像素级别的高压线检测结果和高精度的高压线方位、距离、高度信息，识别正确率高、计算效率高、场景适应性强。
40.本发明实施例的具体应用实例如下：
41.步骤1：对红外图像和可见光图像分别进行图像预处理。
42.对红外图像和可见光图像进行去雾操作，主要基于暗通道先验模型，该模型认为雾霾是一种半透明介质，相机接收到的图像，一部分属于清晰图像的衰减，另一部分来源于大气所发出的光。通过卷积神经网络(cnn)对清晰图像的衰减系数和大气光的系数进行监督学习，得到这两个系数在二维图像中关于像素坐标的分布函数，然后利用暗通道先验模型反推得到原始清晰图像；
43.步骤2：对处理后的红外图像、可见光图像以及回波数据量化得到的毫米波图像分别进行语义分割计算。
44.网络模型结构整体分为1个初始模块(initial block)、5个阶段(stage)模块和1个全卷积层(fullconv)。其中，初始模块由1个最大池化层和13个卷积层组成，阶段模块由数个瓶颈结构(bottleneck)组成，瓶颈结构如图2所示，主要结构由两个分支合并而成，分支1为最大池化层/最大反池化层和补零层，分支2为1
×
1维投影卷积层/2
×
2维卷积层、主卷积层、1
×
1维扩展卷积层和正则化层。另外，干支上是否添加最大池化层或者最大反池化层取决于该瓶颈处理是否需要进行下采样或者上采样。
45.步骤3：对红外图像、可见光图像和毫米波图像的检测结果进行时空配准；3.1、红外图像和可见光图像先通过定标信息进行粗配准，然后基于梯度相关法进行精配准，由于红外图像和可见光图像已经有定标信息作参考，计算量不大，因此精配准时采用了穷尽搜索的方法。另外，由于红外图像和可见光图像的成像频率相同，所以无需进行时间维的配准。
46.3.2、由于雷达和成像仪的安装位置关系已知，毫米波雷达图像检测结果的空间维配准直接通过坐标系变换得到，时间维配准采用了基于载机惯导信息的外推技术，利用实时更新的载机惯导信息对上一个扫描行的毫米波雷达检测结果进行坐标推算，以匹配红外/可见光图像高压线检测结果的更新速率；
47.3.3、将红外/可将光和毫米波雷达图像的检测结果进行决策级融合，考虑到检测信息的完整性，红外图像和可见光图像之间采用“或”逻辑，然后将处理结果作为参考对毫米波雷达图像的检测结果进行虚警判断，若毫米波图像检测结果不能在可见光红外图像检测结果的对应坐标找到高压线等障碍物，则认为是虚警；
48.3.4、图像背景融合采用像素级的融合方法，主要采用了基于方向可调的不可分离小波框架变换图像融合方法(snwft)，该方法先通过一个低通滤波器和一个高通滤波器实现对图像的分解，然后在不同频率上对红外图像和可见光图像进行融合，最后通过相应的重构滤波器得到一副融合结果图像。该方法同时具备不可离小波变换和方向金字塔变换的优点，能够有效保存分解后高频因子的方向选择特性，提取出不同方向上的图像细节信息，并与步骤3.3的融合检测结果合并，得到融合结果图像；
49.步骤4：对处理结果做图像后处理
50.4.1、对融合结果图像中的高压线部分做形态学处理，先后进行开运算、闭运算和细化运算，实现高压线的边缘平滑和断线续连，然后采用基于链码跟踪的直线检测方法去除高压线检测结果中的虚警，链码模型采用了freeman链码；
51.4.2、对融合结果图像中的高压塔部分做形态学处理，先后进行开运算、闭运算和区域生长处理，去除了高压塔检测结果边缘的毛刺和孤立点，然后根据高压线和高压塔互相连接的特征，以步骤4.1的高压线检测结果为标准进行辅助判断，去除高压塔检测结果中的虚警；
52.4.3、分别对高压线和高压塔检测结果赋予不同的颜色值，高压线为绿色，高压塔为红色。
53.步骤5：输出检测结果，具体包含高分辨率、实时更新的背景画面，像素级别的高压线检测结果和对应的高压线方位、距离和高度信息，并显示在同一界面下。
54.以上所述，仅为本发明的具体实施例，不能以其限定发明实施的范围，所以其等同组件的置换，或依本发明专利保护范围所作的等同变化与修饰，都应仍属于本专利涵盖的范畴。另外，本发明中的技术特征与技术特征之间、技术特征与技术方案之间、技术方案与技术方案之间均可以自由组合使用。