一种双光融合无人机的图像采集系统的制作方法

1.本发明涉及无人机系统技术领域，特别是指一种双光融合无人机的图像采集系统。


背景技术：

2.近年来，随着无人机技术的不断发展，各种类型的无人机已经广泛应用于行业中，提高了行业生产和发展的效率，并且节省了人力、物力的消耗。林业消防无人机的应用重点解决了在地面巡护无法顾及的偏远地区发生林火的早期发现，以及对重大森林火灾现场的各种动态信息的准确把握和及时了解，也可以解决飞机巡护无法夜航、烟雾造成能见度降低无法飞行等问题。作为现有林业监测手段的有力补充，无人机显示出其它手段无法比拟的优越性，在林业火灾的监测、预防、扑救、灾后评估等方面必将得到广泛的应用。
3.现有的无人机监测方式，普遍采用相对比较粗放的工作方式，无人机在图像和视频采集过程中只能显示单一的可见光图像或者红外光图像，不能很好的将二者结合。尤其是在森林火点找寻、人员搜救等环节，经常会出现遗漏，对灭火工作和救援工作有一定的影响。为了保证无人机的巡检质量，需要对无人机的图像采集系统进行进一步的优化。
4.现有技术中也有相关专利公开了基于可见光和红外光双光融合的图像采集系统，均是采用不同的方法对图像进行处理，然后进行图像融合，但是数据处理方法较为复杂，还可能存在误判等现象。


技术实现要素：

5.为解决现有技术中存在的问题，本发明提供一种双光融合无人机的图像采集系统，本发明利用特定的算法处理图像，然后进行可见光和红外光图像融合，具有实时显示、低延时快速传输等优点，可以有效解决森林火点不易找寻、人员搜救容易遗漏等的问题，可以更加精准的相应作业。
6.为解决上述技术问题，本发明提供技术方案如下：
7.本发明提供一种双光融合无人机的图像采集系统，包括：数据采集模块、智能数据处理模块和实时数据传输模块。
8.所述数据采集模块用于可见光图像和红外光图像的采集，并将采集的图像传输至所述智能数据处理模块；
9.所述智能数据处理模块用于存储并处理采集到的可见光图像和红外光图像，包括存储单元、数据解析单元、智能算法单元和数据融合单元；
10.所述存储单元用于接收所述数据采集模块传输的数据并存储；所述数据解析单元用于对接收到的图像进行数据解析，并将解析的数据传输至智能算法单元；所述智能算法单元用于对解析后的数据进行拓扑自适应snake算法模型处理；所述数据融合单元用于将处理过的可见光和红外光图像经过配准融合，并将融合后的图像传输至所述实时数据传输模块；
11.所述实时数据传输模块包括图传天空端、通讯链路和图传地面端，用于接收所述智能数据处理模块融合后的图像，并实时由机载的图传天空端经过特定频段的通讯链路发送至地面端。
12.进一步的，所述数据采集模块包括数据采集卡、双镜头增稳云台以及安装在所述双镜头增稳云台上的可见光镜头和红外光镜头；所述可见光镜头和红外光镜头拍摄图像后传输至所述数据采集卡进行存储，所述数据采集卡将接收的数据同步传输至所述智能数据处理模块。
13.进一步的，所述智能算法单元用于对解析后的数据进行拓扑自适应snake算法模型处理，包括：
14.步骤1：基于拓扑自适应snake模型获取所述可见光图像中的初始感兴趣区域；
15.步骤2：通过气球拓扑自适应snake外力模型来对所述初始感兴趣区域进行膨胀处理，得到感兴趣区域；
16.步骤3：在所述红外光图像中提取出与所述感兴趣区域相对应的红外光信号子图像i
s
；
17.步骤4：对于所述红外光信号子图像i
s
进行有效数据提取，得到有效数据子图像i
t
；
18.步骤5：对于有效数据子图像i
t
进行小面积信号滤除，得到过滤子图像i
p
。
19.进一步的，所述步骤1具体为：通过人机交互界面设定红外图像热量阈值，并进行阈值范围内人工神经网络标定自动选定初始感兴趣区域。
20.进一步的，所述步骤2中，气球拓扑自适应snake外力模型为：
[0021][0022]
其中，k1，k2表示常数，k1，k2均为实数，表示单位外法向量，eext＝
‑
|δi(x,y)|2，i(x,y)表示位于(x,y)坐标处的信号强度。
[0023]
进一步的，所述步骤4具体为：
[0024]
利用预定阈值对红外光信号子图像i
s
进行杂乱信号滤除得到有效数据子图像i
t
，
[0025]
预先设定两个阈值i0和i1，i0<i1，利用这两个阈值滤除红外光信号子图像i
s
中红外光信号强度小于i0或者大于i1的信号，即：
[0026]
在红外光信号子图像i
s
中，如果位于(x,y)坐标处的信号强度i(x,y)满足i(x,y)<i0，或者i(x,y)>i1，则令i(x,y)＝0，进行信号滤除。
[0027]
优选的，所述信号滤除过程中，某个像素点δ领域范围内有5个或以上的坐标没有信号，则将该像素点上的信号滤除。
[0028]
进一步的，所述步骤5具体为：
[0029]
首先设定阈值s0，在所述有效数据子图像i
t
中，对于某个信号聚集的区域而言，该区域的面积小于s0，则将该区域内所有点的信号滤除。
[0030]
进一步的，所述数据融合单元将所述过滤子图像i
p
叠加到可见光图像上得到契伦科夫配准图像并输出，得到双光融合图像。
[0031]
优选的，所述将所述过滤子图像i
p
叠加到可见光图像的过程中，过滤子图像i
p
均匀固定在[l,i
max
]的色阶上进行着色，其中，l＝256，i
max
是光学图像的最大信号值。
[0032]
snakes模型的基本思想很简单，它以构成一定形状的一些控制点为模板(轮廓线)，通过模板自身的弹性形变，与图像局部特征相匹配达到调和，即某种能量函数极小化，完成对图像的分割。再通过对模板的进一步分析而实现图像的理解和识别。简单的来讲，snake模型就是一条可变形的参数曲线及相应的能量函数，以最小化能量目标函数为目标，控制参数曲线变形，具有最小能量的闭合曲线就是目标轮廓。构造snakes模型的目的是为了调和上层知识和底层图像特征这一对矛盾。无论是亮度、梯度、角点、纹理还是光流，所有的图像特征都是局部的。所谓局部性就是指图像上某一点的特征只取决于这一点所在的邻域，而与物体的形状无关。但是人们对物体的认识主要是来自于其外形轮廓。如何将两者有效地融合在一起正是snakes模型的长处。
[0033]
与现有技术相比，本发明具有以下有益效果：
[0034]
本发明提供的双光融合无人机的图像采集系统，无人机抵达指定作业位置后的数据采集阶段，确定好拍摄位置后同时采集可见光图像和红外光图像。可见光镜头采集可见光图像，红外光镜头采集红外光图像，通过双镜头增稳云台固定两个镜头，既可以固定镜头的位置方便图像的处理，又可以提高镜头的稳定性，提升采集图像的质量。根据不同作业需求，将飞机飞行至相应的位置并进行图像采集，采集后经数据采集卡将采集到的图像传输至智能数据处理模块。存储单元来存储待处理图像；处理采集到的可见光图像和红外光图像；解析两种图像，进行特征点提取；通过智能算法模型处理，进行图像的匹配；最后在进行图像融合并且把融合后图像发送至实时数据传输模块。将处理好的融合后图像迅速实时传输，由机载的低延时高清晰度图传天空端经过特定频段的通讯链路发送至地面端，地面端接收到处理后的图像可进行实时的显示，以便开展后续的火灾抢救和人员搜救的工作。
[0035]
本发明的利用拓扑自适应snake算法模型对可见光图像进行感兴趣区域选取，然后再对红外光图像进行相应位置的提取，并对其进行杂乱信号滤除和小面积信号滤除，得到过滤子图像与可见光图像融合后，进行图像传输，实现双光图像快速融合。本发明利用特定的算法处理图像，然后进行可见光和红外光图像融合，具有实时显示、低延时快速传输等优点，可以有效解决森林火点不易找寻、人员搜救容易遗漏等的问题，可以更加精准的相应作业。
附图说明
[0036]
图1为本发明中双光融合无人机的图像采集系统示意图；
[0037]
图2为本发明双光融合无人机的图像采集系统中智能配药模块示意图；
[0038]
图3为本发明双光融合无人机的图像采集系统中精准喷洒模块示意图；
[0039]
图4为本发明双光融合无人机的图像采集系统中智能监测模块示意图；
[0040]
图中箭头方向表示信号传递方向。
具体实施方式
[0041]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合具体实施例进行详细描述。
[0042]
本发明中，所使用的材料及试剂未有特殊说明的，均可从商业途径得到。
[0043]
本发明提供一种双光融合无人机的图像采集系统，见图1
‑
4，包括：数据采集模块、
智能数据处理模块和实时数据传输模块。
[0044]
数据采集模块用于可见光图像和红外光图像的采集，并将采集的图像传输至智能数据处理模块；
[0045]
智能数据处理模块用于存储并处理采集到的可见光图像和红外光图像，包括存储单元、数据解析单元、智能算法单元和数据融合单元；
[0046]
存储单元用于接收数据采集模块传输的数据并存储；数据解析单元用于对接收到的图像进行数据解析，并将解析的数据传输至智能算法单元；智能算法单元用于对解析后的数据进行拓扑自适应snake算法模型处理；数据融合单元用于将处理过的可见光和红外光图像经过配准融合，并将融合后的图像传输至实时数据传输模块；
[0047]
实时数据传输模块包括图传天空端、通讯链路和图传地面端，用于接收智能数据处理模块融合后的图像，并实时由机载的图传天空端经过特定频段的通讯链路发送至地面端。
[0048]
在本发明的一个实施例中，数据采集模块和智能数据处理模块用通信线连接，智能数据处理模块和实时数据传输模块用杜邦线连接。实时数据传输模块和智能数据处理模块都安装在飞控板上，数据采集模块为得利可拆卸外置设备。
[0049]
进一步的，数据采集模块包括数据采集卡、双镜头增稳云台以及安装在双镜头增稳云台上的可见光镜头和红外光镜头；可见光镜头和红外光镜头拍摄图像后传输至数据采集卡进行存储，数据采集卡将接收的数据同步传输至智能数据处理模块。
[0050]
本发明中，无人机抵达指定作业位置后的数据采集阶段，确定好拍摄位置后同时采集可见光图像和红外光图像。可见光镜头采集可见光图像，红外光镜头采集红外光图像，通过双镜头增稳云台固定两个镜头，既可以固定镜头的位置方便图像的处理，又可以提高镜头的稳定性，提升采集图像的质量。根据不同作业需求，将飞机飞行至相应的位置并进行图像采集，采集后经数据采集卡将采集到的图像传输至智能数据处理模块。存储单元来存储待处理图像；处理采集到的可见光图像和红外光图像；解析两种图像，进行特征点提取；通过智能算法模型处理，进行图像的匹配；最后在进行图像融合并且把融合后图像发送至实时数据传输模块。将处理好的融合后图像迅速实时传输，由机载的低延时高清晰度图传天空端经过特定频段的通讯链路发送至地面端，地面端接收到处理后的图像可进行实时的显示，以便开展后续的火灾抢救和人员搜救的工作。
[0051]
进一步的，所述智能算法单元用于对解析后的数据进行拓扑自适应snake算法模型处理，包括：
[0052]
步骤1：基于拓扑自适应snake模型获取所述可见光图像中的初始感兴趣区域：通过人机交互界面设定红外图像热量阈值，并进行阈值范围内人工神经网络标定自动选定初始感兴趣区域；
[0053]
步骤2：通过气球拓扑自适应snake外力模型来对所述初始感兴趣区域进行膨胀处理，得到感兴趣区域；气球拓扑自适应snake外力模型为：
[0054][0055]
其中，k1，k2表示常数，k1，k2均为实数，表示单位外法向量，eext＝
‑
|δi(x,y)
|2，i(x,y)表示位于(x,y)坐标处的信号强度；
[0056]
步骤3：在所述红外光图像中提取出与所述感兴趣区域相对应的红外光信号子图像i
s
；
[0057]
步骤4：对于所述红外光信号子图像i
s
进行有效数据提取，得到有效数据子图像i
t
；
[0058]
利用预定阈值对红外光信号子图像i
s
进行过滤得到有效数据子图像i
t
，比如，可预先设定两个阈值i0和i1，i0<i1，利用这两个阈值滤除红外光信号子图像i
s
中红外光信号强度小于i0或者大于i1的信号，即：
[0059]
在红外光信号子图像is中，如果位于(x,y)坐标处的信号强度i(x,y)满足i(x,y)<i0，或者i(x,y)>i1，则令i(x,y)＝0。
[0060]
对于所述有效数据子图像i
t
进行杂乱信号滤除；
[0061]
该步骤中，如果某个像素点δ领域范围内有5个或以上的像素没有信号，则将该像素点上的信号滤除；
[0062]
步骤5：对于有效数据子图像i
t
进行小面积信号滤除，得到过滤子图像i
p
：首先设定阈值s0，在所述有效数据子图像i
t
中，对于某个信号聚集的区域而言，如果该区域的面积小于s0，则将该区域内所有点的信号滤除。
[0063]
进一步的，数据融合单元将过滤子图像i
p
叠加到可见光图像上得到契伦科夫配准图像并输出，得到双光融合图像。
[0064]
优选的，将过滤子图像i
p
叠加到可见光图像的过程中，过滤子图像i
p
均匀固定在[l,i
max
]的色阶上进行着色，其中，l＝256，i
max
是光学图像的最大信号值。
[0065]
综上可知，本发明的利用拓扑自适应snake算法模型对可见光和红外光图像进行处理，并能够实现双光图像快速融合、实时显示、低延时快速传输等，可以有效解决森林火点不易找寻、人员搜救容易遗漏等的问题，可以更加精准的相应作业。
[0066]
以上所述是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，作出若干改进和润饰也应视为本发明的保护范围。