起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法与流程

1.本发明属于起重机无损检测技术领域，具体涉及一种起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法。


背景技术：

2.大型起重机结构尺寸达几十米甚至上百米，有些部位例如门式起重机主梁下盖板、门座式起重机象鼻梁等人员不易到达进行结构检测，传统人工检测方法存在检测盲区、高空作业危险、劳动强度大、效率低等问题。利用无人机搭载高分辨率视觉传感器，实时采集显示起重机待检测部位的图像进行缺陷识别，具有非接触、高精度和远程可视化等特点，尤其适合起重机高空金属结构远程检测。
3.目前，基于机器视觉的金属结构表面缺陷检测方法主要分为三类：传统图像分割检测方法、机器学习检测方法和深度学习检测方法。其中深度学习检测方法利用深层神经网络，自动从大数据样本中学习目标深层次特征，代替人工构造特征，对复杂缺陷特征描述更贴近真实情况，并且可以检测出传统机器视觉算法检测不到的微弱缺陷，在起重机检测领域中具有工程应用的潜力。
4.在起重机检测的工业环境中，数据样本集小，类不平衡，可能包含裂纹、腐蚀、磨损、变形、结构连接件（螺栓、开口销等）松动和丢失等多种缺陷，涉及到不同尺寸、不同形状、不同颜色、不同纹理的复杂特征。大型起重机结构形状复杂，包括箱型梁（门式起重机、门座式起重机等）、工字梁（桥式起重机）、桁架梁（塔式起重机、缆索式起重机等）等多种形式，结构的不同表面之间光照差异大，对比度低，背景复杂，存在许多伪裂纹缺陷，如焊接纹理、划痕、水渍、漆膜裂纹等，可能包含一些与腐蚀缺陷颜色相近的背景区域的误判。
5.现有基于无人机的起重机检测系统大多仅完成图像采集、传输以及一些预处理，而缺陷识别仍依赖检验员肉眼浏览图片来完成，或由人工识别辅以计算机图像自动识别的人机结合方式实现，受人的经验、思维以及照明等主客观因素影响而具有很大的不稳定性，存在对微小缺陷和色差不明显缺陷不敏感、易漏检微弱缺陷以及长时间检测疲劳等问题，导致缺陷检测效率仍然较低且精度不高。
6.因此，如何全方位无死角获取起重机复杂钢结构的高质量图像，特别是难以到达部位，以及如何在复杂背景下对多尺度、多类型缺陷进行自动识别、分类和定位，是目前亟需解决的技术问题。


技术实现要素：

7.本发明提出一种起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，解决现有技术中在利用无人机对起重机检测过程中，如何全方位无死角获取起重机复杂钢结构的高质量图像，特别是难以到达部位，以及如何在复杂背景下对多尺度、多类型缺陷进行自动识别、分类和定位的技术问题。
8.为了解决上述技术问题，本发明采用如下技术方案实现：
起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，包括如下步骤：步骤一、构建起重机缺陷检测图库：获取起重机金属结构表面缺陷图像，利用数据快速重塑映射管理方法，筛选出包含裂纹、腐蚀、磨损、变形、螺栓丢失、开口销丢失等各种缺陷的图片，得到起重机缺陷检测图像样本，该样本中包括裂纹、腐蚀、磨损、变形、螺栓丢失和开口销丢失对应的多个子样本；步骤二、构建模型：通过图库管理和标注软件，进行图像样本的信息标注，得到训练样本集和测试样本集；提取缺陷特征，通过多次学习的方式构建深度学习或机器学习模型，使用训练样本集进行训练，利用测试样本集验证模型效果，最终得到合适的起重机缺陷识别模型；步骤三、基于无人机对起重机进行检测：无人机采用牛耕式全覆盖巡检路径对待检测起重机进行图像采集，并传递给地面控制终端，首先采用预处理模块对采集的图像进行模糊复原和畸变校正，然后调用缺陷识别模型对预处理后的图像进行缺陷识别，当检测到存在缺陷时，生成锚框的尺寸，标出缺陷目标框区域，以及缺陷的类型和概率；步骤四、当缺陷识别模型识别出缺陷为裂纹、腐蚀、磨损或变形这四种类型中的任一种时，控制终端对检测出的缺陷目标框区域进行分割提取连通域，建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，通过像素点法统计与查表获取该缺陷的长度、宽度和面积三个尺寸参数。
9.本发明针对大型起重机高空非受限场景复杂钢结构检测的应用特殊性，设计了起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，有效地改善了相机拍摄主梁下盖板等人员难以到达部位的视角问题。通过牛耕式巡检路径全方位采集箱型梁、工字梁、桁架梁等复杂钢结构高分辨率图像，在小样本数据集及图像背景存在大量相似伪缺陷干扰条件下，建立融合支持向量机、深度卷积网络和生成式对抗网络的分类算法，对裂纹、腐蚀和螺栓缺失等多尺度多种类缺陷进行检测分类，并提出基于多点激光测距与图像分割的裂纹、腐蚀与磨损测量与评估方法，对缺陷长度、宽度、面积等物理尺寸进行量化识别，实现了高空、高温等危险恶劣环境下结构典型缺陷的高精度智能可视化检测，提高了检测效率，有效地降低事故隐患，减少了人力成本和安全风险，提高了结构检测的智能化和自动化水平，对在役大型金属结构检测与安全评估具有重要意义。
10.进一步优化，相机云台设置在无人机本体上方，无人机搭载的相机支持机载端4k高清视频存储和1080p高清视频无线传输到地面显示。
11.进一步优化，所述步骤一中，图像样本获取方法如下：利用图像翻转、随机抠取、尺度变换、图像旋转、fancy pca等数据扩充方法扩充训练样本数量，通过对不同场景中目标区域的切换，设计合成样本生成器，通过图像合成和引导技术扩充缺陷样本数量来平衡不平衡类，增加训练样本的多样性，避免过拟合，提升模型性能。
12.进一步优化，所述步骤二中，样本标注方法如下：利用基于主动学习的样本优选方法，代替模型训练中人工标注标签方法，在训练过程中优选出信息量大，多样性丰富的样本，使用较少的训练样本达到分类器精度的最大值，在兼顾分类器精确度的同时，降低人工标注成本。拟利用嵌入朴素贝叶斯分类器的密集连接条件随机场模型(conditional random fields，crf)对图像进行自动标注，提供包含正确语义标签和准确类边界的注释，建立具有语义分割标注的起重机钢结构表面缺陷样本集。
13.进一步优化，所述步骤三中，通过模糊复原和畸变校正得到清晰度高，几何精度高，信噪比高，对比度高，整体亮度适中的高质量图像，为后续裂纹、变形、腐蚀等缺陷检测奠定了基础。所述模糊复原方法，通过建立飞行姿态变化、机身振动、镜头离焦、相对运动、气流波动等图像多重像移模糊模型，提出多重运动模糊情况下点扩散函数的估计方法，利用维纳滤波进行图像恢复，所述畸变校正方法，通过利用基于单参数除式模型标定的变焦距镜头畸变校正方法，将镜头畸变率控制在1%以下。
14.进一步优化，所述步骤二、三中，构建融合支持向量机、深度卷积网络和生成式对抗网络的分类算法，实现多尺度多种类缺陷的快速检测，以缺陷最小外接矩形框标记其位置，算法具体包括如下步骤：1）基于线性支持向量机模型的roi区域提取：提取图像缺陷特征数据库的灰度、纹理、hu矩等关键特征，训练一个低复杂度的线性支持向量机（support vector machine，svm）模型，快速识别出包含高可信度缺陷目标的感兴趣（region of interest，roi）区域，作为基于窗口滑动/区域建议的深度卷积神经网络检测算法模型输入，以节省每个卷积层的计算。
15.2）基于深度卷积神经网络模型的多尺度多种类缺陷分类：利用深度卷积神经网络的不同输出层分层设计不同尺度的缺陷检测器，构建一种基于区域建议网的缺陷检测及分类于一体的模型，在有限标记样本的数据集上使用跨网络知识投影方法来训练模型，实现裂纹、腐蚀、磨损、结构局部变形、螺栓丢失、开口销丢失等缺陷端到端的检测和分类，以缺陷的最小外接矩形框直观地标记缺陷位置和尺寸信息。
16.3）基于深度卷积生成式对抗网络模型的伪裂纹缺陷去除：利用基于多因子复杂度的结构误检区域排除算法和非极大值抑制方法去除误检目标框；利用基于深度卷积生成式对抗网络的伪缺陷鉴别算法，识别并去除焊接纹理、划痕、磨痕、刻痕、雨痕、水渍、漆膜开裂等伪裂纹缺陷，这些伪裂纹缺陷比较复杂并且容易错误识别为真裂纹，容易造成干扰。
17.具体方法如下：将真、伪裂纹缺陷图像作为训练样本输入鉴别器，将上一步检测得到的缺陷目标框区域图像输入发生器，提取缺陷连通域面积、矩形度、圆形度和长宽比特征信号，通过训练鉴别器与发生器输出信号的最小差分置信度值作为阈值，识别输入的缺陷图像归为真裂纹或伪裂纹。
18.鉴于真裂纹一般表现为非常细的黑线，长宽比很大，在局部范围内方向具有一致性，而伪裂纹一般不具有这些特征，通常表现为孤立的相对较小的点或小块，可以通过矩形度、圆形度和长宽比等特征识别真裂纹，其它缺陷无法通过矩形度、圆形度和长宽比来识别真伪。其它类型的缺陷与正常部位区别较明显，可以通过深度神经网络算法较容易地正确检测识别。
19.进一步优化，所述步骤三中，标记出缺陷的类型和概率；其中，在目标框左上角用英文字母“neg”来标记裂纹，用英文字母“rust”来标记腐蚀，用英文字母“wear”来标记磨损，用英文字母“def”来标记结构变形，用英文字母“bolt”来标记螺栓缺失，用英文字母“pin”来标记开口销丢失。
20.进一步优化，所述步骤四中，提出一种基于边缘检测与解析几何特征的结构变形
量识别方法，通过canny边缘检测方法提取结构边缘变形曲线，计算边缘曲率、斜率、长度等解析几何特征，识别结构弯曲变形量（例如主梁上拱度、杆件直线度）和角度变形量（例如塔身垂直度）的像素尺寸。建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，查表统计得到各变形量的实际物理尺寸。
21.进一步优化，所述步骤四中，建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，通过像素点法统计与查表获取裂纹、腐蚀和磨损缺陷的长度、宽度和面积三个尺寸参数，具体包括如下步骤：1）根据除式畸变模型标定的相机内参数矩阵和畸变系数；2）采用多点激光测距方法获取任意倾斜角度的起重机结构表面上3点与相机光心的距离，通过空间几何建模方法求解出相机与所拍摄结构表面的相对位置、姿态和角度，获得相机的外参数矩阵；3）结合相机内参数矩阵，根据针孔成像模型，计算镜头畸变校正后图像每个像素代表的实际物理尺寸，建立与图像尺寸相同的像素当量分布表；4）实际测量中通过像素点法统计目标区域的像素个数，通过查找表方法获取目标区域各像素点的像素当量，从而对目标长度、宽度和面积进行测量。
22.进一步优化，建立像素当量标定模型包括如下步骤：1）、定义模型中涉及的五个坐标系：图像像素坐标系：u轴表示图像的列， v轴表示图像的行，单位为pixel；图像物理坐标系o
‑
xy：该坐标系的原点位于摄像机光轴与图像平面的交点即主点位置，x轴、y轴分别与u轴、v轴平行且方向一致，该坐标系以m或mm为单位；摄像机坐标系f
c
：原点为摄像机投影中心g，z
c
轴正向指向摄像机光轴，x
c
轴与u轴平行，y
c
轴与v轴平行；地理坐标系f
v
：原点位于无人机航姿测量系统质心，为ned(north east down)坐标系；地图坐标系m：与地理坐标系仅存在一个平移量，设拍摄第1幅图像时摄像机投影中心g在地平面的投影点o
m
为地图坐标系原点；2）、在摄像机坐标系f
c
下，根据3个激光测距传感器发出的光线方向向量和测距值d1，d2，d3，得到：式中，p
1，
p
2，
p3为3个激光测距传感器发出的光线与起重机钢结构表面的交点，根据激光测距传感器的安装角度计算得到；（x1，y1，z1）、（x2，y2，z2）和（x3，y3，z3）分别表示3个激光测距传感器光线方向的单位向量；d1，d2，d3分别表示p
1，
p
2，
p3与投影中心g的激光测距距离；
得出：令：令：，求得投影平面（即起重机钢结构表面）p1p2p3的法向量如下：3）令摄像机坐标系f
c
的3个单位向量为： 计算与的夹角l，与的夹角，与的夹角：设定 t0为t '在图像平面的理想成像点，t为受镜头畸变影响后的实际成像点，t '为起重机结构表面的点，设t '在地图坐标系m下的坐标为，根据针孔成像模型有：其中，
上式中，s为任意尺度比例因子， (u0,v0) 为畸变中心坐标，d
x
，d
y
表示单个像素的物理尺寸，f为摄像机镜头焦距，(u1,v1)为根据除式畸变模型标定的相机内参数矩阵和畸变系数校正后理想像点t0的像素坐标。
23.进一步优化，计算(u1 1,v1)地图坐标，以及(u1,v1 1)的地图坐标，则 (u1,v1)像素投影到地图坐标系的实际物理尺寸，即该像素位置的像素当量为（，），进一步计算畸变校正后图像中每个像素代表的实际物理尺寸，建立与图像尺寸相同的像素当量分布表，实际测量中通过查找表方法获取目标区域的像素当量，从而对目标长度、宽度和面积三个参数进行测量。
24.与现有技术相比，本发明具有如下有益效果：1、本发明针对大型起重机高空非受限场景复杂钢结构检测的应用特殊性，设计了起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，有效地改善了相机拍摄主梁下盖板等人员难以到达部位的视角问题，通过牛耕式巡检路径全方位采集箱型梁、工字梁、桁架梁等复杂钢结构高分辨率图像，在小样本数据集及图像背景存在大量相似伪缺陷干扰条件下，建立融合支持向量机、深度卷积网络和生成式对抗网络的分类模型，对裂纹、腐蚀和螺栓缺失等多尺度多种类缺陷进行检测分类，并提出基于多点激光测距与图像分割的裂纹、腐蚀与磨损测量与评估方法，对缺陷长度、宽度、面积等物理尺寸进行量化识别，实现了高空、高温等危险恶劣环境下结构典型缺陷的高精度智能可视化检测，提高了检测效率，有效地降低事故隐患，减少了人力成本和安全风险，提高了结构检测的智能化和自动化水平，对在役大型金属结构检测与安全评估具有重要意义。
25.2、其成果可推广至风电设备、塔架、船舶、桥梁、大型游乐设施、锅炉、储罐、多层框架钢结构等室外复杂环境下在役大型结构表面缺陷检测，具有重大的理论研究价值和广阔的应用前景。
附图说明
26.图1为起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法的流程图；图2为倒置式无人机平台结构示意图；图3（a）为原始模糊图像一，图3（b）为恢复后的清晰图像一，图3（c）为原始模糊图像二，图3（d）为恢复后的清晰图像二；图4为起重机复杂钢结构表面缺陷检测与识别算法流程图；图5为基于多点激光测距的像素当量标定模型；图6（a）为第一裂纹检测结果图；图6（b）为第二裂纹检测结果图；图6（c）为第三裂纹检测结果；图6（d）为第一腐蚀检测结果；图6（e）为第二腐蚀检测结果；图6（f）为第三腐蚀检测结果；图6（g）为螺栓缺失检测结果。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
28.如图1所示，起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，包括如下步骤：s1、构建起重机缺陷检测图库：获取起重机金属结构表面缺陷图像，利用数据快速重塑映射管理方法，筛选出包含裂纹、腐蚀、磨损、变形、螺栓丢失、开口销丢失等各种缺陷的图片，得到起重机缺陷检测图像样本，该样本中包括裂纹、腐蚀、磨损、变形、螺栓丢失和开口销丢失对应的多个子样本；s2、构建模型：通过图库管理和标注软件，进行图像样本的信息标注，得到训练样本集和测试样本集；提取缺陷特征，通过多次学习的方式构建深度学习或机器学习模型，使用训练样本集进行训练，利用测试样本集验证模型效果，最终得到合适的起重机缺陷识别模型；s3、基于无人机对起重机进行检测：无人机采用牛耕式全覆盖巡检路径对待检测起重机进行图像采集，并传递给地面控制终端，首先采用预处理模块对采集的图像进行模糊复原和畸变校正，然后调用缺陷识别模型对预处理后的图像进行缺陷识别，当检测到存在缺陷时，生成锚框的尺寸，标出缺陷目标框区域，以及缺陷的类型和概率；s4、当缺陷识别模型识别出缺陷为裂纹、腐蚀、磨损或变形这四种类型中的任一种时，控制终端对检测出的缺陷目标框区域进行分割提取连通域，建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，通过像素点法统计与查表获取该缺陷的长度、宽度和面积三个尺寸参数。
29.在本实施例中，为了改善门式起重机箱型主梁下盖板等人员难以到达部位的拍摄视角，将通常安装在无人机正下方的相机云台设置在无人机本体上方，如图2所示，命名为倒置式无人机。这样云台垂直方向俯仰角范围达到
±
90
°
，既能向下俯视成像，又能向上仰视成像，能够对门式起重机主梁和支腿、门座式起重机象鼻梁和主臂架、塔式起重机塔帽和起重臂等各种关键受力部位进行多方位拍摄无视场死角，获取被检测结构表面图像。
30.无人机搭载的相机支持机载端4k高清视频存储和1080p高清视频无线传输到地面显示，当相机距离目标3m时，能分辨出宽度为0.1mm的微裂纹，满足无人机在安全距离外检测结构表面裂纹的要求。
31.在本实施例中，为全方位获取大型起重机箱型梁、工字梁、桁架结构等复杂钢结构表面图像，不遗漏任何可能有缺陷的结构细节，无人机采用牛耕式全覆盖巡检路径进行图像采集。
32.在本实施例中，所述步骤s3中，通过建立飞行姿态变化、机身振动、镜头离焦、相对运动、气流波动等图像多重像移模糊模型，提出多重运动模糊情况下点扩散函数的估计方法，通过维纳滤波进行图像恢复，如图3（a）
‑ꢀ
3（d）所示。
33.在本实施例中，所述步骤s3中，通过利用基于单参数除式模型标定的变焦距镜头畸变校正方法，将镜头畸变率控制在1%以下，具体如下：步骤1：采集摄像机在若干离散焦距值下拍摄的平面模板图像，在地面离线标定出变焦距镜头的畸变系数k1和畸变中心坐标(u0,v0)。
34.步骤1
‑
1：确定畸变系数k1和畸变中心坐标(u0,v0)的范围，设图像大小为w
×
h pixels，d为图像对角线长度，，畸变系数k1一般位于 [
‑
1/d2,1/d2]范围内，畸变中心一般位于图像中心附近0.1w
×
0.1h大小的矩形区域内，得到u0∈[0.45w,0.55w]，v0∈[0.45h, 0.55h]。
[0035]
步骤1
‑
2：采用canny边缘检测器检测原始畸变图像中的边缘像素点，得到相应的边缘图像，其中canny算子的阈值根据图像梯度值的一定百分比确定。
[0036]
步骤1
‑
3：根据上述畸变参数k1，u0，v0的取值范围，分别选择相应的步长δk1，δu0，δv0，得到畸变参数组合(k
1i
, u
0j
, v
0t
)如下：其中i=1,2,
…
,n1，j=1,2,
…
,n2，t=1,2,
…
,n3，δk1=2/( n1d2)，δu0=0.1w/n2，δv0=0.1h/n3。
[0037]
步骤1
‑
4：对上述每种系数组合(k
1i
, u
0j
, v
0t
)计算边缘图像的校正图像，并计算校正后边缘像素点的梯度，得到各边缘点的坐标(u
n
,v
n
)和梯度方向 α(u
n
,v
n
)。
[0038]
步骤1
‑
5：计算校正图像的hough变换，求得前n个hough变换单元峰值对应的nl条直线段边缘，及其与原点的距离dist(q)和方向 (q)，q=1,2,
…
,n。
[0039]
步骤1
‑
6：对校正图像中的每个边缘像素点计算投票：如果该像素点的梯度方向α(u
n
,v
n
)与第q条直线的方向 (q)相差小于某一阈值δ
α
，例如δ
α
=2
°
，计算该点与第q条直线的距离d
q
，如果d
q
小于某一阈值δ
d
，例如δ
d
=2 pixels，计算该点的投票值votes=1/(1 d
q
)，计算所有边缘像素点的投票之和，求得投票之和最大值对应的畸变参数k
1(0)
, u
0(0)
, v
0(0)
为最佳值。
[0040]
步骤1
‑
7：为了对畸变系数k1和畸变中心u0，v0进行更精确的估计，分别在[k
1(0)
‑
δk1, k
1(0)
δk1]，[u
0(0)
‑
δu0, u
0(0)
δu0]，[v
0(0)
‑
δv0, v
0(0)
δv0]范围内，选择搜索步长为步骤1
‑
3中的1/n1，1/n2，1/n3，重复步骤1
‑
2至步骤1
‑
7，直到k1的搜索范围小于10
‑
10
，算法结束，此时对应的参数k1，u0，v0为优化后的最佳值。
[0041]
步骤2：对各焦距对应的畸变参数进行曲线拟合或建立畸变参数查找表。
[0042]
步骤3：实际在线校正时，根据摄像机调焦机构上相应传感器测量得到摄像机实际工作焦距值，通过查表方法或根据畸变参数与焦距之间的拟合公式计算得到该焦距值对应的镜头畸变参数，并根据如下公式计算校正后各边缘像素点的坐标(u1,v1)，得到畸变校正后的图像。
[0043]
式中d
x
，d
y
表示单个像素的物理尺寸，单位为μm，(u
d
,v
d
)，(x
d
,y
d
)分别为畸变像点的像素坐标和物理坐标，(u1,v1)为校正后像点的像素坐标。
[0044]
在本实施例中，所述步骤s3中，构建融合支持向量机、深度卷积网络和生成式对抗网络的分类算法，实现多尺度多种类缺陷的快速检测，以缺陷最小外接矩形框标记其位置，如图4所示，算法具体包括如下步骤：（1）基于线性支持向量机模型的roi区域提取：提取图像缺陷特征数据库的灰度、纹理、hu矩等关键特征，训练一个低复杂度的线性支持向量机（support vector machine，svm）模型，快速识别出包含高可信度缺陷目标的感兴趣（region of interest，roi）区域，作为基于窗口滑动/区域建议的深度卷积神经网络检测算法模型输入，以节省每个卷积层的计算。
[0045]
（2）基于深度卷积神经网络模型的多尺度多种类缺陷分类：利用深度卷积神经网络的不同输出层分层设计不同尺度的缺陷检测器，构建一种基于区域建议网的缺陷检测及分类于一体的模型，在有限标记样本的数据集上使用跨网络知识投影方法来训练模型，实现裂纹、腐蚀、磨损、结构局部变形、螺栓丢失、开口销丢失等缺陷端到端的检测和分类，以缺陷的最小外接矩形框直观地标记缺陷位置和尺寸信息。
[0046]
（3）基于深度卷积生成式对抗网络模型的伪裂纹缺陷去除：利用基于多因子复杂度的结构误检区域排除算法和非极大值抑制(nonmaximum suppression，nms) 方法去除误检目标框。利用基于深度卷积生成式对抗网络(deep convolutional generative adversarial networks，dcgans)的伪裂纹鉴别算法，识别并去除焊接纹理、划痕、磨痕、刻痕、雨痕、水渍、漆膜开裂等伪裂纹缺陷，具体方法如下：将真、伪裂纹图像作为训练样本输入鉴别器，将上一步检测得到的裂纹目标框区域图像输入发生器，提取缺陷连通域面积、矩形度、圆形度和长宽比等特征信号，通过训练鉴别器与发生器输出信号的最小差分置信度值作为阈值，检测输入的裂纹图像归为真裂纹或伪裂纹。
[0047]
在本实施例中，所述步骤s3中，标记出缺陷的类型和概率；其中，在目标框左上角用英文字母“neg”来标记裂纹，用英文字母“rust”来标记腐蚀，用英文字母“wear”来标记磨损，用英文字母“def”来标记结构变形，用英文字母“bolt”来标记螺栓缺失，用英文字母“pin”来标记开口销丢失。
[0048]
在本实施例中，所述步骤s4中，提出一种基于边缘检测与解析几何特征的结构变形量识别方法，通过canny边缘检测方法提取结构边缘变形曲线，计算边缘曲率、斜率、长度等解析几何特征，识别结构弯曲变形量（例如主梁上拱度、杆件直线度）和角度变形量（例如塔身垂直度）的像素尺寸。建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，查表统计得到各变形量的实际物理尺寸。
[0049]
在本实施例中，所述步骤s4中，提出一种基于多点激光测距与图像分割的裂纹、腐蚀与磨损测量与评估方法，构建基于多点激光测距的像素当量精确标定模型，如图5所示，t0为t '在图像平面的理想成像点，t为受镜头畸变影响后的实际成像点。
[0050]
1）根据除式畸变模型标定的相机内参数矩阵和畸变系数，获取校正镜头畸变后的理想成像点t0像素坐标。
[0051]
2）采用多点激光测距方法获取任意倾斜角度的结构表面上3点与相机光心的距离，通过空间几何建模方法求解出相机与所拍摄结构表面的相对位置、姿态和角度，即相机的外参数矩阵；
3）结合相机内参数矩阵，根据针孔成像模型，计算镜头畸变校正后图像每个像素代表的实际物理尺寸，建立与图像尺寸相同的像素当量分布表；4）实际测量中通过查找表方法获取目标区域的像素当量，从而对目标长度、宽度和面积进行测量。
[0052]
建立标定模型包括如下步骤：1）定义模型中涉及的五个坐标系：图像像素坐标系：u轴表示图像的列， v轴表示图像的行，单位为pixel；图像物理坐标系o
‑
xy：该坐标系的原点位于摄像机光轴与图像平面的交点即主点位置，x轴、y轴分别与u轴、v轴平行且方向一致，该坐标系以m或mm为单位；摄像机坐标系f
c
：原点为摄像机投影中心g，z
c
轴正向指向摄像机光轴，x
c
轴与u轴平行，y
c
轴与v轴平行；地理坐标系f
v
：原点位于无人机航姿测量系统质心，为ned(north east down)坐标系；地图坐标系m：与地理坐标系仅存在一个平移量，设拍摄第1幅图像时摄像机投影中心g在地平面的投影点o
m
为地图坐标系原点；2）在摄像机坐标系f
c
下，根据3个激光测距传感器发出的光线方向向量 和测距值d1，d2，d3，得到：式中，p
1，
p
2，
p3为3个激光测距传感器发出的光线与起重机钢结构表面的交点，根据激光测距传感器的安装角度计算得到；（x1，y1，z1）、（x2，y2，z2）和（x3，y3，z3）分别表示3个激光测距传感器光线方向的单位向量；d1，d2，d3分别表示p
1，
p
2，
p3与投影中心g的激光测距距离；根据图5可得：令：令：，求得投影平面（即起重机钢结构表面）p1p2p3的法向量如下：
3）令摄像机坐标系f
c
的3个单位向量为： 计算与的夹角l，与的夹角，与的夹角：设定 t0为t '在图像平面的理想成像点，t为受镜头畸变影响后的实际成像点，t '为起重机结构表面的点，设t '在地图坐标系m下的坐标为，根据针孔成像模型有：其中，上式中，s为任意尺度比例因子， (u0,v0) 为畸变中心坐标，d
x
，d
y
表示单个像素的物理尺寸，f为摄像机镜头焦距，(u1,v1)为根据除式畸变模型标定的相机内参数矩阵和畸变系数校正后理想像点t0的像素坐标。
[0053]
同理，计算(u1 1,v1)地图坐标，以及(u1,v1 1)的地图坐标，则 (u1,
v1)像素投影到地图坐标系的实际物理尺寸，即该像素位置的像素当量为（，），进一步计算畸变校正后图像中每个像素代表的实际物理尺寸，建立与图像尺寸相同的像素当量分布表，实际测量中通过查找表方法获取目标区域的像素当量，从而对目标长度、宽度和面积三个参数进行测量。在本实施例中，采用300张起重机金属结构图片作为测试集，通过步骤s3中的缺陷检测识别算法进行处理，图6（a）为第一裂纹检测结果图；图6（b）为第二裂纹检测结果图；图6（c）为第三裂纹检测结果；图6（d）为第一腐蚀检测结果；图6（e）为第二腐蚀检测结果；图6（f）为第三腐蚀检测结果；图6（g）为螺栓缺失检测结果。在目标框左上角用英文字母neg来标记裂纹，用英文字母rust来标记锈蚀，用英文字母bolt来标记螺栓缺失，英文字母后面的数字表示算法判定该区域为对应缺陷的概率。
[0054]
概率计算过程如下：假设缺陷类别分类任务共有n个训练样本，针对网络最后分类层第i个样本的输入特征为x
i
，其对应的真实标记为y
i
∈{1,2，
…
，c},令h =（h1，h2,
…
，h
c
）
t
为网络的最终输出，即样本i的预测结果，其中c为分类任务类别数，应用交叉熵损失函数，i、j均为正整数，通过指数变换计算预测为某类别缺陷的概率，如下式所示：从图6（a）
‑
图6（g）可以看出，该缺陷检测识别算法能准确地检测出图像中裂纹、腐蚀和螺栓缺失等缺陷，并对缺陷区域进行精确定位，说明本文所提出的起重机结构缺陷检测方法是正确和有效的。
[0055]
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。