基于分辨率重建的无人机巡线影像辅助采集方法及系统与流程

1.本发明涉及一种基于分辨率重建的无人机巡线影像辅助采集方法及系统，属于无人机输电线路巡检技术领域。


背景技术：

2.目前在电力巡检中，无人机巡检图像大多是离线采集，将无人机摄像头拍摄到的视频图像数据储存起来并传输回地面站再进行识别诊断。
3.现有技术的技术方案为：摄像头通过云台安装在无人机上，通过遥控器控制摄像头拍摄图像，将无人机摄像头拍摄到的视频和图像数据储存在sd卡里，等待无人机停止作业并返回地面站后，将sd卡取出，并通过读卡器读取数据，再在服务器上进行目标检测和缺陷识别。该方案缺乏实时性，导致会采集到很多质量不高的图像，产生大量的冗余数据，降低巡检效率。
4.为了解决上述技术问题，专利号为“cn109961460a”的发明专利公开了一种基于改进yolov3模型的多目标巡检方法，设计一种适应电力无人机巡检目标视觉特性的yolov3网络结构目标检测模型，烧制在fpga芯片上，并搭载在无人机上进行实时的目标检测，用于输电线线路无人机实时巡检，实时性高、结果准确，比起目前采用的人工巡检，大大降低了成本。
5.以上现有技术存在的问题是：由于硬件条件的限制，无人机在飞行过程中，拍摄的视频或图片容易出现图像模糊、或未拍摄到输电线路上的部件如绝缘子、防震锤等情况，导致无法进行有效、准确地识别，容易出现误检、漏检等问题，缺乏智能辅助拍摄手段，很大程度上影响了巡检结果的有效性。


技术实现要素：

6.为了解决上述现有技术中存在的问题，本发明提出了一种基于分辨率重建的无人机巡线影像辅助采集方法，在无人机上设置计算设备，计算设备中搭载有分辨率重建模型和目标检测模型，实现在线识别巡检目标，具备实时性特点，提高了巡检效率。
7.本发明的技术方案如下：
8.一方面，本发明提供一种基于分辨率重建的无人机巡线影像辅助采集方法，通过无人机机载摄像头进行图像采集，并将采集的图像输入至机载计算设备，所述机载计算设备执行以下步骤：
9.对图像进行预处理，并通过清晰度评价算法评价输入图像的清晰度，若输入图像的清晰度不满足设定的阈值，则判定为低清晰度图像并输入至基于rr-cnn网络的分辨率重建模型；
10.通过所述分辨率重建模型对所述低清晰度图像进行重构，转换为高清晰度图像；
11.将清晰度满足设定的阈值的输入图像以及分辨率重建模型输出的高清晰度图像输入至基于cd-cnn网络的目标检测模型进行巡检目标检测。
12.作为优选实施方式，所述分辨率重建模型包括四层结构；
13.第一层为预处理层，对输入的图像采用双三次差值法提高图像的尺寸；
14.第二层为特征提取层，包括一卷积操作和relu激活函数，对经过插值操作的图像进行卷积操作，输出n1维的特征图；
15.第三层为非线性映射层，包括一卷积操作和relu激活函数，对第二层输出的n1维的特征图进行非线性映射，输出n2维的特征图；
16.第四层为分辨率重建层，包括一卷积操作，对第三层输出的特征图进行平均操作，输出一张特征图，即为最终重建的高分辨率图像。
17.作为优选实施方式，所述分辨率重建模型在训练过程中，构建以下损失函数来度量输出图像与真实图像的相似性：
[0018][0019]
其中，n为训练样本个数，x为输入图像，y为输出图像；
[0020]
在分辨率重建模型训练过程中通过标准反向传播的随机梯度下降法最小化损失。
[0021]
作为优选实施方式，所述cd-cnn网络包括特征筛选网络和检测网络；
[0022]
所述特征筛选网络有主干卷积网络和rpn候选框提取网络组；
[0023]
所述检测网络由多个级联的检测器组成。
[0024]
作为优选实施方式，所述对图像进行预处理的步骤具体为：通过高斯滤波器对图像进行降噪处理。
[0025]
作为优选实施方式，所述清晰度评价算法具体为tenengrad梯度函数。
[0026]
另一方面，本发明还提供一种基于分辨率重建的无人机巡线影像辅助采集系统，包括：
[0027]
无人机，用于通过机载摄像头进行图像采集；
[0028]
计算设备，所述计算设备与机载摄像头连接，计算设备包括预处理单元、清晰度评价单元、分辨率重建单元和目标检测单元；
[0029]
所述预处理单元，用于对机载摄像头采集到的图像进行预处理后输出值清晰度评价单元；
[0030]
所述清晰度评价单元，用于通过清晰度评价算法对输入的图像进行清晰度评价，并将清晰度不满足设定阈值的图像输出至分辨率重建单元，将满足设定阈值的图像输出至目标检测单元；
[0031]
所述分辨率重建单元，利用基于rr-cnn网络的分辨率重建模型对输入的图像进行重构，转换为高清晰度图像，再将高清晰度图像输出至目标检测单元；
[0032]
所述目标检测单元，利用基于cd-cnn网络的目标检测模型对输入图像进行巡检目标检测，并在图像中对检测到的巡检目标添加标签和目标位置框；
[0033]
存储设备，与所述计算设备连接，用于接收所述目标检测单元输出的图像并进行存储。
[0034]
再一方面，本发明还提供一种基于分辨率重建的无人机巡线影像辅助采集设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的辅助采集方法。
[0035]
再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的辅助采集方法。
[0036]
本发明具有如下有益效果：
[0037]
1、本发明一种基于分辨率重建的无人机巡线影像辅助采集方法，在无人机上设置计算设备，计算设备中搭载有分辨率重建模型和目标检测模型，实现在线识别巡检目标，具备实时性特点，提高了巡检效率。
[0038]
2、本发明一种基于分辨率重建的无人机巡线影像辅助采集方法，设计有基于rr-cnn网络结构的分辨率重建模型，对采集图片的质量进行了提高，提升了采集质量和有效性，减少了冗余数据的产生。
[0039]
3、本发明一种基于分辨率重建的无人机巡线影像辅助采集方法，构建了基于cdcnn网络的目标检测模型，识别准确率高。
附图说明
[0040]
图1为本发明实施例一的流程图；
[0041]
图2为本发明实施例中分辨率重建模型的网络结构示例图；
[0042]
图3为本发明实施例中目标检测模型的网络结构示例图。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
[0045]
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0046]
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0047]
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0048]
实施例一：
[0049]
参见图1，一方面，本发明提供一种基于分辨率重建的无人机巡线影像辅助采集方法，通过无人机机载摄像头对指定巡检区域进行图像采集，并将采集的图像输入至机载计算设备，本实施例中，无人机采用大疆无人机，机载计算设备采用妙算微型计算机；摄像头采集到的图像与视频数据实时传输到妙算上；
[0050]
妙算中搭载用清晰度评价算法、预训练好的分辨率重建模型和目标检测模型；
[0051]
妙算首先对图像进行预处理，并通过清晰度评价算法评价输入图像的清晰度，若输入图像的清晰度不满足设定的阈值，则判定为低清晰度图像并输入至基于rr-cnn
(resolution reconstruction-convolutional neural network)网络的分辨率重建模型；
[0052]
通过所述分辨率重建模型对所述低清晰度图像进行重构，转换为高清晰度图像；
[0053]
将清晰度满足设定的阈值的输入图像以及分辨率重建模型输出的高清晰度图像输入至基于cd-cnn(cascading detection-convolutional neural network级联检测神经网络，即cascade_r-cnn级联神经网络)网络的目标检测模型进行巡检目标检测，输出图像中巡检目标的标签以及目标位置框的坐标，巡检目标为输电线路上的不同种类的电力设备、污秽等等。
[0054]
输出的检测结果和数据保存在sd卡和妙算中；无人机停止作业并返回地面站后，工作人员将数据传入服务器终端，检查采集图像的质量以及目标检测模型识别的准确率，对其进行分析，可根据分析结果对目标检测模型进行优化更新。最后将采集到的高质量数据传入服务器上的数据库里。
[0055]
作为本实施例的优选实施方式，所述分辨率重建模型的结构如图2所示，包括四层结构；
[0056]
第一层为预处理层，采用双三次插值法提高图像的尺寸至2-3倍，将经过插值操作的图像表示为y，此时y仍被视作低分辨率图像，将ground truth，即真实的高分辨率图像设为x；
[0057]
第二层为特征提取层，对第一层y的patch图块进行提取与表示，用一组64个滤波器对图像进行卷积，该操作f1用公式表示为：
[0058]
f1(y)＝max(0,w1*y b1)
ꢀꢀꢀꢀꢀꢀ
(1)
[0059]
式(1)中w1和b1分别表示卷积核的权重和偏差。w1对图像进行n1＝64次卷积，卷积核大小为f1×
f1＝9
×
9，输出64维的特征图。b1是n1维向量，最后经过一个relu激活函数max(0,x)。
[0060]
第三层为非线性映射层，是对第二层n1维特征的非线性映射。用公式表示为：
[0061]
f2(y)＝max(0,w2*f1(y) b2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0062]
式(2)中w2滤波器的大小为n1×1×1×
n2，卷积核数目n2＝32。输出32维特征图，用于下一层的分辨率重建。最后添加一个relu激活函数max(0,x)。原理上可以通过提高该卷积层的层数来提高分辨率提升的效果，但考虑微型计算机的条件限制了模型的复杂度，且添加一层就已经有了很好的效果，因此本实施例中不再添加其他卷积层。
[0063]
第四层为分辨率重建层，对第三层输出的高分辨率patch进行平均操作，输出1张特征图，即为最终重建的高分辨率图像。其用公式表示为：
[0064]
f(y)＝w3*f2(y) b3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0065]
式(3)中的w3尺寸为n2×
f3×
f3×
c，卷积核尺寸f3×
f3＝5
×
5，卷积核数目c为3，与通道数相等。对重叠的高分辨率patch图块进行平均取值，输出的图像与x相似；
[0066]
作为本实施例的优选方式，所述分辨率重建模型在训练过程中，构建以下损失函数来度量输出图像与真实图像的相似性：
[0067][0068]
式(4)为mse损失函数，其中，n为训练样本个数，x为真实的高分辨率的图像数据，y为分辨率重建模型输出的图像数据；
[0069]
在分辨率重建模型训练过程中通过标准反向传播的随机梯度下降法最小化损失；该操作有利于获得较高的psnr指标。
[0070]
作为本实施例的优选实施方式，所述基于cd-cnn网络的目标检测模型结构如图3所示，包括特征筛选网络和检测网络；
[0071]
所述特征筛选网络有主干卷积网络和rpn候选框提取网络组；
[0072]
所述检测网络由多个级联的检测器组成，经实验证明设置3个检测器时效果最好，设置少于3个会降低map，设置大于3个不仅会影响精度还会增加网络结构的复杂度。
[0073]
特征筛选网络中主干卷积网络选择的是resnet50，对resnet50网络进行预训练，将原始图像输入resnet50网络，提取出特征图；对rpn候选框提取网络进行预训练，将特征图输入rpn候选框提取网络产生前景候选框框和前景框的位置偏移。rpn网络结构由3
×
3的卷积层 两个1
×
1的卷积网络组成。通过3
×
3的卷积操作后得到channel＝256的特征图，再经过两个1
×
1的卷积，得到2
×
9＝18个分类分数的特征图和4
×
9＝36个坐标信息的特征图；提取特征图后，经rpn网络提取的候选框，以下称proposals，输入三个级联的检测器后得到最终的类别和位置框坐标。
[0074]
检测网络中三个级联的检测器将检测部分分成了三个阶段，每个阶段的检测器结构相同，且每个检测器输入的bound box是上一个阶段输出的bound box，三个阶段的iou阈值分别设置0.5、0.6、0.7，通过提高阈值来获得置信度更高的proposals。
[0075]
设置边界框的损失函数公式为：
[0076][0077]
式(5)中l
loc
是fast-cnn中l1loss函数，l
loc
作用于距离向量δ＝(δ
x
,δy,δw,δh)，边界框b包含patch图像的四个坐标b
x
,by,bw,bh。使用回归器f(x,b)将候选边界框b回归到目标边界框g，这是从训练样本中学习的，以最小化边界框偏差。
[0078]
定义为：
[0079]
δ
x
＝(g
x-b
x
)/b
w δy＝(g
y-by)/bh[0080]
δw＝log(gw/bw)δh＝log(gh/bh)
ꢀꢀꢀ
(6)
[0081]
设置分类和检测的级联损失函数：
[0082]
分类器是一个函数h(x)，它将patch图块x分配给m 1类中的一类，其中类0包含背景和其他要检测的物体，h(x)是m 1个类的后验分布估计，即：
[0083]hk
(x)＝p(y＝k|x)
ꢀꢀꢀ
(7)
[0084]
其中y为类标签。给定一个训练集(xi,yi)，通过最小化分类风险来学习它，损失函数公式为：
[0085][0086]
式(8)中l
cls
是经典的交叉熵损失，为解决单个分类器单一的阈值u在所有iou各个等级上有更好地适应性，本发明提出一种集成式的分类器，从而优化了针对不同质量级别的损失，公式如下：
[0087][0088][0089]
式(10)的gy是ground truth物体g的类别标签。这个iou的阈值u定义了检测器的质量。
[0090]
作为本实施例的优选实施方式，所述对图像进行预处理的步骤具体为：通过高斯滤波器对图像进行降噪处理。高斯滤波器是一种线性滤波器，能够有效的抑制噪声，平滑图像，且相比于均值滤波器对图像模糊程度较小，因此使用高斯滤波对图像进行去噪
[0091]
作为本实施例的优选实施方式，所述清晰度评价算法具体为tenengrad梯度函数；tenengrad梯度函数采用sobel算子提取水平和垂直方向的梯度值，求其平方和作为评价函数，以预处理后的图像作为输入，清晰值作为输出，一一对图片或视频帧进行清晰度评价。
[0092]
实施例二：
[0093]
本实施例提供一种基于分辨率重建的无人机巡线影像辅助采集系统，包括：
[0094]
无人机，用于通过机载摄像头进行图像采集；
[0095]
计算设备，所述计算设备与机载摄像头连接，计算设备包括预处理单元、清晰度评价单元、分辨率重建单元和目标检测单元；
[0096]
所述预处理单元，用于对机载摄像头采集到的图像进行预处理后输出值清晰度评价单元；
[0097]
所述清晰度评价单元，用于通过清晰度评价算法对输入的图像进行清晰度评价，并将清晰度不满足设定阈值的图像输出至分辨率重建单元，将满足设定阈值的图像输出至目标检测单元；
[0098]
所述分辨率重建单元，利用基于rr-cnn网络的分辨率重建模型对输入的图像进行重构，转换为高清晰度图像，再将高清晰度图像输出至目标检测单元；
[0099]
所述目标检测单元，利用基于cd-cnn网络的目标检测模型对输入图像进行巡检目标检测，并在图像中对检测到的巡检目标添加标签和目标位置框；
[0100]
存储设备，与所述计算设备连接，用于接收所述目标检测单元输出的图像并进行存储。
[0101]
实施例三：
[0102]
本实施例提供一种基于分辨率重建的无人机巡线影像辅助采集设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的辅助采集方法。
[0103]
实施例四：
[0104]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的辅助采集方法。
[0105]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。