基于双目视觉的立面特征检测及立面特征处理方法与流程

技术特征：
1.一种基于双目视觉的立面特征检测及立面特征处理方法，其特征在于，包括以下步骤：第一步，建立一个包含凸起特征的类别和三维形状信息的立面凸起特征数据库；第二步，基于双目视觉的三维重建系统搭建；步骤1，双目相机选型；步骤2，标定双目相机；步骤3，图像立体矫正预处理；步骤4，立体匹配；步骤5，获得视差图；步骤6，获得点云三维重建，实时测距；步骤7，获得立面特征的尺寸信息和深度信息；第三步，识别立面上的凸起特征；步骤1，构建立面特征数据集；步骤2，基于yolov4目标检测算法训练特征识别模型；步骤3，优化特征识别模型；步骤4，双目相机实时采集待处理物体的立面图像，控制器将实时采集的立面图像输入特征识别模型，从而识别出立面上的凸起特征。2.根据权利要求1所述的基于双目视觉的立面特征检测及立面特征处理方法，其特征在于，所述第三步中：步骤1，构建立面特征数据集，制作的数据集格式为voc2007数据集，通过手动创建出包含整个特征的最小边界框，然后指定标注框内特征的名称；创建完成后会自动生成相应的xml文件，该文件中以固定格式存储着图像的尺寸、物体类别名称以及在图像中的位置等信息；步骤2，基于yolov4目标检测算法训练特征识别模型，模型训练采用的基本学习率是0.0004，变化比率gamma设置为0.1，具体的训练参数见表3
‑
2：表3
‑
2训练参数设置汇总采用训练得到的yolov4模型对测试集中立面特征样张进行检测。3.根据权利要求2所述的基于双目视觉的立面特征检测及立面特征处理方法，其特征在于，所述第一步中：步骤3，图像立体矫正预处理的具体过程是通过bouguet算法进行立体矫正：步骤4，通过sgbm(semi
‑
global block matching)算法进行立体匹配：(1)sgbm的图像预处理过程是通过水平sobel算法实现的，采用公式为(3
‑
2)：
接着利用一个映射函数，能够把预处理图像上的所有像素点转换到另一张新的图像中，将经过水平sobel算子处理后的图像上的每个像素点映射成一个新的图像，p代表通过水平sobel算子处理得到的像素值，p
new
表示新图像上的像素值，所采用的映射函数为式(3
‑
3)所示：公式(3
‑
3)中，prefiltercap为常值；预处理得到的图像梯度信息，保存供后面进行代价计算；(2)代价计算：sgbm的代价由两部分组成：在之前进行的图像预处理获得的梯度信息按照采样的方式计算代价值以及直接对原图像进行采样获取sad代价值，sad代价计算公式如式(3
‑
4)：式(3
‑
4)中，i
r
(u d,v)表示右图像像素点；i
l
(u,v)表示左视图像素点；p(u,v,d)表示左右视图像素点之间的匹配代价；(3)动态规划：sgbm在不同方向上受到不同程度的一维约束，进而构建出一个马尔科夫能量函数，每一个像素最终的匹配代价都是所有路径上信息的叠加；针对不同方向遵从动态规划算法完成能量聚集，再把这些方向上所聚集的匹配代价进行求和，如式(3
‑
5)所示：式(3
‑
5)中，l表示当前路径积累的代价函数；p1、p2表示像素点与相邻点视差的较小和较大值的平滑惩罚，p1<p2；总匹配代价的计算通过求和所有r方向的匹配代价所得，如式(3
‑
6)所示：默认的四条路径，其中p1、p2的设定方式如式(3
‑
7)所示：式(3
‑
7)中，sadwindowsize表示sad窗口的大小，奇数；cn表示图像的通道数；当确定了
图像的通道数和sad窗口的大小，可得到p1和p2两个常数；(4)后处理视差精细化，sgbm的后处理包含了三个过程，包括唯一性检测、左右一致性检测和亚像素插值，左右一致性检测可以对图像中遮挡的位置进行优化，然后再通过亚像素插值进行处理；步骤5，获得视差图，在ubuntu18.04系统下配置clion编译软件及opencv3.4.5计算机视觉库完成的；步骤6，获得点云三维重建，实时测距；通过双目立体匹配获取视差图后，根据双目视觉测距原理，使用深度计算公式(2
‑
16)，公式(2
‑
16)中，u
l
，u
r
)表示像素平面的坐标；d表示左右像素横坐标之差；f表示焦距；焦距f和基线b已知；带入标定得到的焦距f、基线b及视差信息d从而能够求解目标点的深度信息。4.根据权利要求1所述的基于双目视觉的立面特征检测及立面特征处理方法，其特征在于，控制器在立面凸起特征数据库进行类别检索，检索到特征类别后，匹配爬壁机器人相应的作业参数，爬壁机器人进行相应的作业。

技术总结
本发明涉及一种基于双目视觉的立面特征检测及立面特征处理方法，其解决了现有爬壁机器人只能应对规则的平面或曲面，对凸起部位不能作业的技术问题，其通过深度学习算法对双目相机采集的图像数据构建立面特征数据集，通过目标检测算法，通过训练立面特征模型让爬壁机器人检测立面特征类别，通过双目视觉获取深度信息使得爬壁机器人实时获取自身到凸起特征的距离，通过双目视觉对凸起特征进行三维重建获取特征三维轮廓信息，从而完成对立面特征的识别。其可广泛应用于船舶、罐体等立面的维修、清洗过程。清洗过程。清洗过程。


技术研发人员：徐彬洋 余大海 钟鸣 刘亚欣
受保护的技术使用者：哈尔滨工业大学（威海）
技术研发日：2021.08.31
技术公布日：2021/12/6