基于双目视觉的立面作业效果与表面缺陷检测方法与流程

1.本发明涉及船舶、储罐的表面缺陷检测技术领域，具体而言，涉及一种基于双目视觉的立面作业效果与表面缺陷检测方法。


背景技术：

2.船舶、储罐的立面需要进行除锈、喷漆和检测。船舶在海水中受到海水、大气以及海生物侵蚀的影响，采取防锈、喷漆措施能极大延长船舶使用寿命。船体防锈主要依靠油漆。由于铁锈是一种疏松、多孔、不断发展膨胀着的物质，如果不除净，在其上面涂漆，会因铁锈的发展膨胀，使涂装面发生变形，进而产生微小破裂而加速水、氧、腐蚀离子的进入，从而极大地影响漆膜防腐效果，导致船舶使用寿命大大缩减。
3.船舶除锈质量验收要求中规定大型船舶除锈要达到gb 8923中sa2.5等级，即非常彻底的喷射或抛射除锈，钢材表面无可见的油脂、污垢、氧化皮、铁锈、油漆涂层等附着物，任何残留的痕迹仅是点状或条状的轻微色斑。
4.除锈后喷漆作业时产生有毒气体会危害人体健康，采用爬壁机器人进行喷漆在一定程度上改善了人工作业的风险。但是爬壁机器人的喷漆作业效果无法评估，现有的爬壁机器人可以参考申请公开号为cn112389559a的发明专利申请以及专利号为202021430043.0的实用新型专利，也可以参考德国falch公司生产的cleaning爬壁机器人。由于环境温度湿度高、船舶表面不平整、喷漆工艺差等原因，船舶油漆表面可能存在波纹和针孔。船舶喷漆检测内容包括：是否漏喷，喷漆表面是否存在波纹和针孔，目前这种检测依靠人工完成，存在劳动强度大、人工成本高、检测不准确的问题。


技术实现要素：

5.本发明就是为了解决现有爬壁机器人对船舶、储罐的立面除锈、喷漆后无法检测作业效果的技术问题，提供一种将机器视觉与除锈喷涂相结合，使爬壁机器人实现自主化作业、最后对作业效果进行检测的基于双目视觉的立面作业效果与表面缺陷检测方法。
6.本发明提供一种基于双目视觉的立面作业效果与表面缺陷检测方法，包括以下步骤：
7.第一步，将双目相机安装到爬壁机器人上；
8.第二步，对双目相机进行标定；
9.第三步，爬壁机器人在船舶的立面进行除锈作业，双目相机对除锈作业后立面进行实时图像采集；控制器对采集到的图像进行校正；
10.第四步，控制器将校正后的图像与事先准备好的除锈效果合格的样板照片进行对比，相似度达到一定值时认为除锈作业合格；
11.第五步，爬壁机器人对船舶的立面除锈后的部分进行喷漆，双目相机对喷漆后的立面进行实时图像采集；
12.第六步，控制器将双目相机采集到的喷漆后图像与事先准备好的完全喷涂的样板
照片进行对比，相似度达到一定程度时认为喷漆作业合格。
13.优选地，当检测到除锈不合格，调整爬壁机器人除锈作业参数；
14.当检测到喷漆作业不合格，则控制爬壁机器人向漏喷区域偏移一定距离，调整作业路线；
15.优选地，当检测到油漆面存在波纹缺陷，则减小爬壁机器人的枪口出漆量；当检测到油漆面存在针孔缺陷，系统报警提示操作人员调整油漆配比
16.优选地：第四步中，控制器将校正后的图像与事先准备好的除锈效果合格的样板照片进行对比，具体基于直方图对比的方法，图像直方图是用以表示数字图像中亮度分布的直方图，统计每一个强度值所具有的像素个数，根据除锈效果合格的样板照片计算得到直方图h1，再根据双目相机采集到的图像计算得到图像直方图hi，设定一个衡量直方图相似度的阈值，将h1与hi进行对比，相似度达到设定的阈值时认为除锈作业合格，否则认定为不合格；
17.第六步中，对比的具体过程是，漏喷检测采用基于直方图对比的方法，根据完全喷涂的样板照片计算出直方图h2，实时采集实际喷漆作业后的图像直方图hj，设定对比标准，将h2与hj对比，满足标准的认为无漏喷现象。
18.优选地，在第四步除锈过程之后，在第五步喷漆作业之前，对船舶立面的表面进行缺陷检测；具体过程是，首先利用模拟缺陷数据集训练yolov3的模型，经过多次迭代，得到检测权重模型，在彩色图中识别出缺陷的类别和位置；然后采用遍历像素的方法求出各缺陷的深度信息，具体过程为：将彩色图与深度图配准，在深度图中，以彩色图的检测框区域作为感兴趣区域，遍历感兴趣区域内所有像素点并记录对应的深度值，将对应的深度最大值和最小值求差，以此作为该处缺陷的深度信息；最后将目标检测结果与深度信息结合起来判断此处缺陷是否达到设定的缺陷标准，如果达到设定的缺陷标准则认为是缺陷。
19.本发明的有益效果是：对船舶、储罐的立面除锈、喷漆效果自动检测，取代人工检测，提高效率，降低人工成本，提高检测准确性。使爬壁机器人根据检测结果调整作业动作，实现爬壁机器人的自主化作业，智能化程度高。
20.本发明进一步的特征和方面，将在以下参考附图的具体实施方式的描述中，得以清楚地记载。
附图说明
21.图1是基于双目视觉的立面作业效果与表面缺陷检测方法的流程图；
22.图2是除锈工艺规划流程图；
23.图3是喷漆工艺规划流程图。
24.图4是坐标系之间的转换关系；
25.图5是畸变矫正前后图像，图(a)表示未畸变矫正图像，图(b)是畸变矫正后图像；
26.图6是校正后双目图像；
27.图7是表面缺陷检测流程图。
具体实施方式
28.以下参照附图，以具体实施例对本发明作进一步详细说明。
29.参考图1，基于双目视觉的立面作业效果与表面缺陷检测方法包括以下步骤：
30.第一步，选择小觅双目相机，将小觅双目相机安装到爬壁机器人上。
31.第二步，对小觅双目相机进行标定。
32.三维空间坐标投影到二维像素坐标之间的关系可以由坐标系的平移、旋转得到。世界坐标系到像素坐标系的转化关系如图4所示，假设o
‑
xwywzw为世界坐标系，oc
‑
xcycwc为相机坐标系，o
‑
xy为图像坐标系，uv为像素坐标系；f为oc到o的距离(相机焦距)，世界坐标系下的q点坐标为(xw,yw,zw)，单位mm，对应像素坐标系下的q(x,y)，单位pixel。
33.可以得到世界坐标系下q点到像素坐标系q点的映射关系如公式(1)：
[0034][0035]
公式(1)中，称为内参矩阵，称为外参矩阵，通过双目相机标可以求得相关的参数。
[0036]
在现实世界中真实的相机成像过程，由于光线透过相机前的镜头时会产生方向偏差，从而使得目标物体在相机平面上的成像会与理想的位置产生偏移，造成了畸变现象。一般而言，图像畸变可以再细分为径向图像畸变和切向图像畸变。
[0037]
(1)径向畸变主要是由于摄像机在制造过程中发生的几何外观制作误差而导致的，随着成像点与中心的距离的增加而增加，径向畸变的数学矫正模型如公式2所示。
[0038][0039]
公式(2)中(x
correct
,y
correct
)是被测物体经过校正后的像素点坐标；(x
dietort
,y
distort
)是被测物体原始像素点坐标；r为该点到成像仪中心的距离，k1，k2，k3为径向畸变系数，如果径向畸变不是特别大，一般取k1，k2即可。
[0040]
(2)切向畸变形成的主要原因是相机成像的时候切向透镜的整体安装面和位置高度误差较大所致，即安装偏差，成像透镜平面和切向透镜之间的不完全平行就可能会直接形成切向透镜畸变。使用如下公式进行矫正。
[0041][0042]
式中，p1、p2为切向畸变系数。
[0043]
相机标定即获取相机内外参数。内参是由相机制造时决定的，内参矩阵是用来图像畸变矫正。外参描述的是世界与相机坐标系的位置转换关系，由参数r和t表示，获得的外参矩阵可用于立体匹配和测距。
[0044]
张正友棋盘标定法是目前较为实用和高效的相机标定方法。张氏标定法使用平整的棋盘标定板的不同视角图像来计算相机参数。张正友标定技术原理的基本过程分为四步：1、计算单应性矩阵h；2、计算内外参矩阵；3、最大似然估计；4、径向畸变估计。实验选用的棋盘格规格为6*7，其中每个小方格的大小为70*70mm，按照张正友标定法的要求拍摄了40组图像。标定实验时对于每张标定用图像，要求重投影误差低于0.25。标定后得到的双目相机内外参数及畸变参数如表2所示。
[0045]
表2双目相机内外参数及畸变参数
[0046][0047]
双目视觉立体矫正包括畸变矫正和立体校正两个部分。在上文中已经提到畸变可分为径向和切向两种，可以用(k1,k2,p1,p2,k3)来表示，利用张正友标定法已经得到了五个畸变系数的数值。通过opencv提供的两个函数initundistorrectifymap和remap配合实现了畸变矫正过程，其中initundistorrectifymap函数是用来得到矫正过程中的畸变映射，remap函数是可以将映射在双目图像中使用。畸变矫正结果如图5所示。由图5可知畸变主要为桶形畸变，越靠近边缘位置的畸变越大，越靠近边缘位置的像素点越往内侧移动。而在进行完畸变矫正后，像素点都往外侧移动即被矫正到了正确的位置。
[0048]
立体校正是基于bouguet算法实现的，其思想是减少重投影畸变，使得其数值最小化，同时增大公共视野。其具体的校正过程如下：
[0049]
(1)利用相机标定得到的旋转矩阵r使左右两个相机坐标系进行旋转，从而让左右图像共面，得到共面的两个坐标系，但是此时两坐标系的x轴并不共线，仍存在偏移即行不
对准。
[0050]
(2)利用相机标定得到的平移矩阵t构造r
rect
矩阵，利用此矩阵旋转左右相机使得两坐标系的x轴共线，即实现行对准。
[0051]
令平移矩阵t＝[t
x t
y 0],构造r
rect
矩阵如公式4所示：
[0052][0053]
最后左右照相机坐标系中的原点之间的连接与图像平面要保持一定的平行距离，故可得
[0054][0055]
e2和e1正交，令e1与主光轴方向叉乘并归一化得
[0056][0057]
e3同时与e1和e2正交，可得：
[0058]
e3＝e1×
e2ꢀꢀꢀ
(7)
[0059]
将r
rect
左乘r即为最终的立体校正矩阵，分解后可得旋转矩阵r
l
和r
r
，分别是左右图像所需的旋转矩阵，如公式8所示：
[0060][0061]
在ubuntu16.04 clion opencv环境下验证该校正效果，选取室内标定板进行该实验，实验结果如图6所示。通过一束平行的绿色线条可知，左右目图像基本实现行对准。
[0062]
第三步，爬壁机器人在船舶的立面进行除锈作业，小觅双目相机对除锈作业后立面进行实时图像采集。控制器对采集到的图像进行校正，校正的具体过程可以是：首先根据畸变系数利用opencv进行畸变校正，再由旋转矩阵和平移矩阵参数进行立体校正，最终实现图像校正。
[0063]
第四步，控制器将校正后的图像与事先准备好的除锈效果合格的样板照片进行对比，具体基于直方图对比的方法，图像直方图是用以表示数字图像中亮度分布的直方图，可以统计每一个强度值所具有的像素个数。根据除锈效果合格的样板照片计算得到直方图h1，再根据小觅双目相机采集到的图像计算得到图像直方图hi。设定一个衡量直方图相似度的阈值，将h1与hi进行对比，相似度达到设定的阈值时认为除锈作业合格，否则认定为不合格。对于不合格的情况可以设定等级，针对不同等级采取不同的除锈措施，例如对于不合
格严重等级高的，采用多次除锈或加大除锈力度的措施。
[0064]
第五步，爬壁机器人对船舶的立面除锈后的部分进行喷漆，小觅双目相机对喷漆后的立面进行实时图像采集。
[0065]
第六步，控制器将小觅双目相机采集到的喷漆后图像与事先准备好的完全喷涂的样板照片进行对比，漏喷检测采用基于直方图对比的方法，根据完全喷涂的样板照片计算出直方图h2，实时采集实际喷漆作业后的图像直方图hj，设定对比标准，将h2与hj对比，满足标准的认为无漏喷现象。采用基于目标检测的方法对油漆表面的波纹、针孔进行检测，采用yolo v3目标检测算法，实地采集数据集，训练得到检测模型；该检测模型可移植到机器人ros软件中的darknet
‑
ros功能包内，对波纹、针孔缺陷实时检测分类。
[0066]
前述检测结果可以优化爬壁机器人除锈作业工艺规划，如图2所示。如果检测到除锈不合格，则增大水枪压力，加大除锈力度。机器人将按照新的作业参数继续工作，并根据效果检测信息动态调整新的作业参数。
[0067]
前述检测结果可以优化爬壁机器人喷漆作业工艺规划，如图3所示，如果检测到漏喷信息，则控制爬壁机器人向漏喷区域偏移一定距离，调整作业路线；如果检测到油漆面存在波纹缺陷，则减小枪口出漆量；如果检测到油漆面存在针孔缺陷，系统报警提示操作人员调整油漆配比。最后机器人将按照新的作业参数继续工作，并根据喷漆效果检测信息动态调整新的作业参数。
[0068]
需要说明的是，在第四步除锈过程之后，在第五步喷漆作业之前，可以对船舶立面的表面进行缺陷检测。如图7所示，具体过程是，首先利用模拟缺陷数据集训练yolov3的模型(本发明识别缺陷的三种类别，分别为凸起，凹陷和裂缝)，经过多次迭代，得到了精度较高且稳定的检测权重模型，可以在彩色图中识别出三种缺陷的类别和位置(画出检测框)。然后采用遍历像素的方法求出各缺陷的深度信息，具体过程为：将彩色图与深度图配准，保证深度图中对应位置的像素坐标与彩色图中的像素坐标相同。深度图的每个像素点都对应着一个深度信息，像素值就是物体到相机的距离。在深度图中，以彩色图的检测框区域作为感兴趣区域，遍历感兴趣区域内所有像素点并记录对应的深度值，将对应的深度最大值和最小值求差，以此作为该处缺陷的深度信息。最后将目标检测结果与深度信息结合起来判断此处缺陷是否达到中国造船质量标准规定的缺陷标准，即缺陷深度为船舶钢板厚度的20％或缺陷深度为25mm以上，则认为是缺陷。对达到缺陷标准的将进行系统报警，提示人工进行修复。
[0069]
以上所述仅对本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。