一种基于无人机的高精度实时裂缝检测平台

1.本发明属于建筑物损伤检测领域，具体涉及一种基于无人机的高精度实时裂缝检测平台。


背景技术：

2.在建筑业的发展过程中，混凝土因为低成本的材料、良好的抗压性能和较高的耐久性在土木工程施工中占据了主导地位，在工程项目中广泛应用。近代科学对混凝土的细观研究和大量的工程实践经验表明：钢筋混凝土结构中的裂缝不可避免。但当钢筋混凝土结构中的裂缝发展程度过大时，一方面，裂缝的存在会影响整个结构的美观性，另一方面，裂缝的出现会降低结构的整体性和刚度，进而影响到整个结构的安全性，有可能造成巨大的生命财产损失。因此，测量裂缝的状态用于检查裂缝的形态变化发展及稳定性，据此来分析判断裂缝对结构的影响程度，对建筑物的正常使用和避免人民生命财产损失有着十分重要的意义。
3.为了实现裂缝检测的自动化，有必要在硬件设备上部署裂缝检测算法。此外，由于难以手动收集高层结构和桥梁等基础设施的图像信息，因此使用大型检查设备进行图像采集在效率和安全性方面更为有利。由于其良好的机动性和较宽的检测范围，无人机已成为裂缝检测问题的良好硬件设备。
4.由于模型参数的限制和巨大的计算成本，多数裂缝检测算法虽然精度较高，但不适合部署在无人机上进行实时裂缝检测。此外，在对建筑物进行结构健康监测中，裂缝宽度测量需要达到毫米级。因此，使用远离建筑物的无人机摄像头进行裂缝几何信息提取时，很难达到毫米级检测精度。此外，基于无人机的自动化裂缝检测未将无人机路径规划与裂缝检测结果相结合。因此，无人机无法实现自动接近建筑物的表面裂缝，这使得机载相机无法靠近裂缝以实现高精度的毫米级裂缝检测。


技术实现要素：

5.本发明的目的是为了解决上述现有技术存在的缺陷而提供一种基于无人机的高精度实时裂缝检测平台，使用轻量级裂缝分类模块和轻量级裂缝分割模块检测提取出相机采集的图像中的裂缝位置信息，使用裂缝位置信息提取模块通过双目相机或雷达采集的数据结合图像中裂缝的位置信息计算出裂缝与无人机的相对位置信息，通过裂缝信息辅助的无人机飞行控制模块使无人机平稳飞行至裂缝表面附近，使用高精度裂缝分割模块和裂缝几何信息提取模块实现高精度的裂缝几何信息提取。由于相机拍摄时相机与裂缝之间的距离较小，因此实现更高精度且实时的自动化裂缝检测。
6.为了实现上述目标，本发明提供了如下技术方案：
7.一种基于无人机的高精度实时裂缝检测平台，所述无人机上搭载有单目或双目相机、惯性测量单元imu、机载电脑和机载雷达；所述单目相机用于获取不带深度信息的图像；所述双目相机用于获取深度图像；所述机载雷达用于获取目标的点云数据；所述惯性测量
单元imu
8.所述单目或双目相机、惯性测量单元imu和机载雷达的输出与机载电脑连接。
9.所述机载电脑运行软件，包括：轻量化的裂缝分类模块、轻量化的裂缝分割模块、裂缝位置信息计算模块、高精度的裂缝分割模块、裂缝几何信息提取模块和无人机飞行控制模块；
10.所述轻量化的裂缝分类模块用于判断单目或双目相机拍摄的图像中是否存在裂缝；所述轻量化的裂缝分割模块用于识别存在裂缝的图像中裂缝在图像坐标系下的坐标；所述裂缝位置信息计算模块利用双目相机计算得到的深度图或雷达的点云数据计算出图像坐标系与相机坐标系的映射关系并求解出裂缝和无人机在世界坐标系下的相对位置信息；所述无人机飞行控制模块利用裂缝和无人机的相对位置信息和imu数据，控制无人机平稳飞行到所检测的裂缝表面附近；高精度的裂缝分割模块和裂缝几何信息提取模块实现高精度的裂缝几何信息提取；
11.设于无人机上的单目或双目相机获取图像信息，并将采集的图像发送到轻量级裂缝分类模块、轻量级裂缝分割模块进行处理实时得到裂缝的位置信息，将裂缝的位置信息和雷达或双目相机采集的信息输入裂缝位置信息计算模块中得到裂缝与无人机的相对位置信息并输入到裂缝信息辅助的无人机飞行控制模块中，逐步使无人机接近裂缝附近；
12.趋近过程至接近裂缝期间，无人机飞行平台将单目或双目相机采集的原始图像输入高精度裂缝分割模块提取裂缝的几何边缘信息，再通过裂缝几何信息提取模块联合裂缝位置信息计算模块实现裂缝几何信息的提取。
13.进一步的，所述轻量化裂缝分类模块的输入为降采样后的由单目或双目相机采集的原始图像，输出结果为图像中是否存在裂缝。若识别结果为存在裂缝，则将降采样的原始图像输入到轻量化裂缝分割模块中。
14.所述轻量化裂缝分类模块利用卷积神经网络算法，并通过在神经网络中加入通道洗牌、逐点分组卷积和深度可分离卷积实现计算量的大幅降低，从而实现实时的裂缝检测。
15.所述轻量化裂缝分割模块的输入为降采样后的由单目或双目相机采集的原始图像，输出结果为一张二值化的图像，用以表示图像中裂缝所在的区域。
16.所述轻量化裂缝分割模块利用卷积神经网络算法，具有一个细节分支和一个语义分支，其中细节分支具有较多的通道数和较少的网络层数，用于捕获低层细节并生成高分辨率的特征图，语义分支具有较少的通道数和较多的网络层数，获取高层次语义信息。此外，在细节分支和语义分支后具有一个特征融合模块以融合两个分支的特征图。通过这种方式建立的轻量化裂缝检测模型可以在保证精度的情况下实现高速的裂缝几何边缘提取，从而结合裂缝位置信息计算模块为裂缝信息辅助的无人机飞行控制模块实时地提供裂缝位置信息。
17.所述的裂缝位置信息计算模块的输入为双目相机的双目图像或雷达的点云数据以及轻量级裂缝分割模块的识别结果。通过双目立体匹配算法计算得到深度图并与原始图像进行图像匹配，结合轻量级裂缝分割模块的识别结果可以计算出裂缝与无人机在世界坐标系下的相对位置关系。此外，也可以通过雷达获得的点云数据与原始图像进行匹配，并结合轻量级裂缝分割模块的识别结果计算出裂缝与无人机在世界坐标系下的相对位置关系。
18.所述的裂缝信息辅助的无人机飞行控制模块的输入为每一时刻裂缝和无人机的
相对位置信息。通过限制无人机的最大飞行速度并在每两个关键帧之间结合imu传感器的数据和无人机与裂缝的相对位置信息对预期移动目标位置进行修正。可以使无人机平稳移动至裂缝位置附近。
19.所述的高精度裂缝分割模块包括：前处理模块、高精度裂缝几何边缘检测算法和后处理模块。前处理模块将相机拍摄的原始图像分割成固定大小的图像块，并结合轻量级裂缝分割算法识别出的像素级的裂缝区域，将含有裂缝的图像块输入到高精度裂缝几何边缘检测算法中，算法输出的结果为具有更精细裂缝几何边缘的识别结果；通过后处理模块，将图像块拼接还原为原始图像大小，并通过形态学处理等算法去除识别结果中的异常点，最终得到高精度的裂缝识别结果。
20.所述的高精度裂缝几何边缘检测算法利用卷积神经网络算法，并加入空间自注意力机制和通道自注意力机制，将输入的原始图像经过多次降采样和上采样操作，并在采样得到的特征图之间进行跨层的通道连接，实现多层次的语义信息融合。通过上采样和特征映射最终得到与原始图像大小相同的像素级高精度裂缝识别结果。
21.所述的裂缝几何信息提取模块通过双目图像计算得到的深度图或雷达采集的点云信息获得裂缝与相机之间的距离信息，由于使用局部的像素点进行像素解析度的计算误差较大，因此在图像中选取部分像素点并计算所选取像素点上的平均像素解析度，即可求出图像中的单个像素对应于现实世界中的长度。之后通过骨架线提取算法对高精度裂缝分割模块的识别结果进行处理，实现裂缝骨架线提取，并利用裂缝骨架线、裂缝几何边缘和像素解析度计算出裂缝的最大宽度。
22.与现有技术相比，本发明具有以下有益效果：
23.本发明通过轻量级裂缝分类模块和轻量级裂缝分割模块，实现了对所拍摄的图像进行高效且实时的裂缝检测，并结合裂缝位置信息计算模块为裂缝信息辅助的无人机飞行控制模块提供了关键的决策信息，实现了无人机移动至裂缝表面这一过程的自动化，可以降低人工操作无人机的复杂度，实现自动化的裂缝检测。相比于人工检测大幅度提升检测的效率并降低检测人员的风险。当无人机移动至裂缝附近时，通过高精度裂缝分割模块结合裂缝几何信息提取模块可以实现高精度的裂缝几何信息提取，因此本发明所提出的平台可以实时提供裂缝检测的分析结果，并大幅度提升裂缝几何信息提取的精度，在建筑物的日常安全维护和灾后的损伤快速评估方面具有更高的效率和精度。
附图说明
24.图1是本发明一种基于无人机的高精度实时裂缝检测平台模块关系图；
25.图2是本发明一种基于无人机的高精度实时裂缝检测模块构造图；
26.图3是本发明轻量级裂缝分类模块的示意图；
27.图4是本发明轻量级裂缝分割模块的示意图；
28.图5是本发明高精度裂缝分割模块中高精度裂缝几何边缘检测算法的示意图；
29.图6为本发明应用场景的示意图。
具体实施方式
30.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案
为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
31.实施例
32.图6为本发明应用场景的示意图。
33.如图1所示，一种基于无人机的高精度实时裂缝检测平台，其特征在于，所述无人机上搭载有单目或双目相机、imu、机载电脑和机载雷达；设于无人机上的单目或双目相机获取图像信息，并将采集的图像发送到轻量级裂缝分类模块、轻量级裂缝分割模块进行处理实时得到裂缝的位置信息，将裂缝的位置信息和雷达或双目相机采集的信息输入裂缝位置信息计算模块中得到裂缝与无人机的相对位置信息并输入到裂缝信息辅助的无人机飞行控制模块中，逐步使无人机接近裂缝附近；
34.趋近过程至接近裂缝期间，无人机飞行平台将单目或双目相机采集的原始图像输入高精度裂缝分割模块提取裂缝的几何边缘信息，再通过裂缝几何信息提取模块联合裂缝位置信息计算模块实现裂缝几何信息的提取。
35.轻量级裂缝分类模块的网络结构示意图如图3所示。输入的图像经过多层包含通道洗牌、逐点分组卷积和深度可分离卷积构成的基本模块以及普通的卷积层、池化层等结构进行处理，最终输出结果为一个维度为1
×1×
2的张量，用以表示图像中是否存在裂缝。通过大量被标注的裂缝图像结合梯度下降法对神经网络进行训练。其中，训练时所使用的损失函数如下式所示：
[0036][0037]
其中，n为图像总数；ti为真实值，其取值范围为0或1；pi为神经网络输出的数值，即图像中包含裂缝的概率值。在实际使用过程中，冻结网络参数直接输出结果即可得到裂缝分类的结果。
[0038]
轻量级裂缝分割模块的网络整体结构示意图如图4所示。输入的图像分别经过一个细节分支和一个语义分支，其中细节分支较多的通道数和较少的网络层数，语义分支具有较少的通道数和较多的网络层数。在细节分支和语义分支后具有一个特征融合模块用以融合两个分支的特征图，在网络的最后加入一个特征映射模块将特征图降至二维。在网络的训练阶段，针对语义分支中每一个子结构的输出结果利用特征映射模块进行特征映射，并将输出的结果与实际值进行损失函数的计算，用于增强算法的训练效果，损失函数的表达式如下式所示：
[0039][0040]
式中，y为图像中某一像素处的真实值；y
′
为神经网络在该像素处的输出值。通过大量被像素级标注的裂缝图像结合梯度下降法对神经网络进行训练，得到最优的网络参数。在实际使用过程中，冻结网络参数直接输出结果即可得到像素级的裂缝分割结果。
[0041]
通过将裂缝分割结果和深度图进行数据融合，可以获得裂缝相对于无人机在相机坐标系下的坐标t，如下式所示：
[0042][0043][0044][0045]
其中，d
t
为无人机与裂缝之间的安全距离，p为深度图中被分割为裂缝的像素在相机坐标系下的坐标。
[0046]
裂缝信息辅助的无人机飞行控制模块的流程如下：首先获得目标位置t1。然后使用gps记录此时无人机的位置p1，并计算出无人机的预期飞行位移d1。在无人机到达目标位置前，循环进行如下操作：通过imu传感器数据计算无人机前一关键帧时的位置p
i-1
和当前位置pi之间的距离，即i
i-1
。通过双目相机的深度图计算出此时裂缝与无人机之间的距离di。其中关键帧表示利用轻量级裂缝分割模块结合双目相机的深度图成功计算出裂缝与无人机相对位置关系的视频帧。由于利用双目相机的图像通过双目立体匹配算法计算出的深度图存在较大误差，因此在控制无人机移动方向时需对距离di进行修正得到di′
。通过滑动时间窗口的方式融合n帧的测量结果实现误差的降低。由于imu的误差远小于双目相机测距的误差，因此随着n的增加，di′
的方差会减小。
[0047]
此外，由于距离越远时，双目相机测距误差越大，因此引入遗忘因子α，用以减小总体的误差。之后通过下式计算出修正后的相对距离di′
：
[0048][0049]
式中n为滑动窗口的大小，n的取值小于i，且在无人机飞行过程中可动态改变n的具体数值。之后控制无人机沿向量di′
的方向进行移动，循环进行以上操作即可使无人机接近裂缝表面。
[0050]
如果di′
小于固定阈值th1，则将c
in
增加1；否则，如果c
in
不是0，则将c
out
增加1。在进程开始时，c
in
和c
out
的值都设置为0。如果c
out
大于特定的固定值c
outmax
，将c
in
和c
out
设置为0。如果c
in
大于特定的固定值c
inmax
，循环结束，程序终止。上述操作可用于判断无人机是否已到达目标位置附近，并确保无人机飞行的稳定性。之后可以通过gps的坐标信息使无人机返回到p1处，从而结束对此处的裂缝检测。
[0051]
高精度裂缝分割模块将原始图像进行分块并结合轻量级裂缝分割的预测结果筛选出包含裂缝的图像子块，并将图像子块输入到高精度裂缝几何边缘检测模块的算法中得到高精度的裂缝几何边缘信息，并将图像子块拼接为原始图像大小。通过孤立点消除算法实现识别结果中离群点的剔除，最后通过裂缝几何信息提取模块实现裂缝长度和最大宽度的提取。
[0052]
如图2所示，包括前处理模块、高精度裂缝几何边缘检测模块、后处理模块；
[0053]
高精度裂缝几何边缘检测模块，其算法：将输入的图像利用加入了空间自注意力机制和通道自注意力机制的卷积层进行四次降采样，并通过上采样将特征图映射回原始图像的大小。在特征图大小相等的网络层之间进行特征通道拼接，实现跨网络层的多尺度数
据融合，并在网络的最后加入特征映射模块将特征图降至二维。在网络的训练阶段，针对完成特征通道拼接的特征图进行特征映射和上采样后，将输出的结果与实际值进行损失函数的计算，用于增强网络的训练效果，损失函数的表达式如下式所示：
[0054][0055]
式中，y为图像中某一像素处的真实值；y
′
为神经网络在该像素处的输出值。通过大量被像素级标注的裂缝图像结合梯度下降法实现对神经网络的训练。在实际使用过程中，冻结网络参数直接输出结果即可得到像素级的裂缝分割结果。由于网络的层数较多且参数量较大、使用了空间自注意力机制和通道自注意力机制并加入了多尺度语义信息的跨层融合，因此可以实现更高精度的裂缝几何边缘提取。
[0056]
裂缝几何信息提取模块的流程如下：首先通过连通域标算法将同一图像中的多条裂缝分别提取到单独的图像中。通过骨架线提取算法提取每条裂缝的骨架线。计算骨架线上所有相邻像素之间的距离，并叠加以获得每条裂缝在图像坐标系下的长度。利用双目相机采集的图像通过双目立体匹配算法计算得到的深度图求解出像素解析度，由于使用局部的像素点进行像素解析度的计算误差较大，因此在图像中选取n条线段并计算线段上的平均像素解析度，即可求出图像中的单个像素对应于现实世界中的长度，如下式所示：
[0057][0058]
式中，n为在图像中选取的线段数，l
wi
通过双目相机得到的深度图或雷达的点云数据计算得到的图像中线段在世界坐标系下的长度，l
pi
为图像坐标系下线段的长度。
[0059]
通过像素解析度和裂缝骨架线计算出每条裂缝的实际长度。分别计算裂缝骨架线上的每个像素点与裂缝几何边缘上所有点之间的欧氏距离之间的最小值，然后计算出所有最小值中的最大值并乘以二即为裂缝的最大宽度计算值。
[0060]
此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所作的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均属于本发明的保护范围。