一种基于点云指纹匹配的工业伞具孔阵列多视角三维孔位定位方法和相关设备

本技术涉及工业自动化，尤其涉及一种基于点云指纹匹配的工业伞具孔阵列多视角三维孔位定位方法和相关设备。

背景技术：

1、相关技术中，单相机二维视觉定位只能获得图像平面中的孔洞位置，难以直接获得孔洞深度和局部法向，不能完整支撑镜片放置所需的三维位姿。

2、综上，相关技术中存在的技术问题有待得到改善。

技术实现思路

1、本技术实施例的主要目的在于提出一种基于点云指纹匹配的工业伞具孔阵列多视角三维孔位定位方法和相关设备，能够实现工业伞具孔阵列上各镜片放置孔在三维空间中的高精度定位。

2、为实现上述目的，本技术实施例的一方面提出了一种基于点云指纹匹配的工业伞具孔阵列多视角三维孔位定位方法，所述方法包括以下步骤：

3、采集布置于不同方向的多个相机所输出的多视角图像，并为每幅图像标注相机内参；

4、基于带有所述相机内参的所述多视角图像执行稀疏重建和稠密重建，获得稠密三维点云及各相机外参；

5、对各视角图像中由检测模型输出的候选区域进行边缘提取和椭圆拟合，得到各孔洞的二维中心、椭圆参数及孔洞候选区域；

6、利用所述相机内参和所述相机外参将所述稠密三维点云投影至各视角图像平面，将落入所述孔洞候选区域内的三维点编号记录为所述孔洞的点云指纹；

7、对不同视角下各所述孔洞的所述点云指纹进行比对，统计所述点云指纹间相同三维点编号数量并构建匹配代价矩阵，求解得到跨视角同名孔洞对应关系；

8、根据所述对应关系将同名孔洞的多个所述二维中心结合所述相机外参建立空间视线，求解最小二乘交点得到三维中心初值，并通过重投影残差优化得到孔洞三维中心；

9、根据所述孔洞三维中心在所述稠密三维点云中搜索邻域点云拟合获得单位法向，根据各视角的所述椭圆参数及观察角度加权融合得到孔洞半径，输出所述孔洞三维中心、单位法向、半径及孔洞状态标记。

10、在一些实施例中，所述采集布置于不同方向的多个相机所输出的多视角图像，并为每幅图像标注相机内参，包括：

11、在工业伞具孔阵列件周围布置多方位相机，使用所述多方位相机预先完成标定并存储各自的焦距、主点、径向畸变系数和切向畸变系数作为原始相机内参；所述多方位相机包括中心相机、左侧相机、右侧相机和顶部相机；

12、采集时所述多方位相机同步拍摄获得图像，根据所述图像的文件名或相机编号识别每幅所述图像对应的相机，并将对应的所述原始相机内参写入所述图像的元数据中，得到多视角图像。

13、在一些实施例中，所述基于带有所述相机内参的所述多视角图像执行稀疏重建和稠密重建，获得稠密三维点云及各相机外参，包括：

14、基于带有所述相机内参的所述多视角图像进行特征提取和特征匹配，根据匹配结果执行稀疏重建，得到各相机的相机外参并获得稀疏三维模型；

15、基于所述稀疏三维模型对所述多视角图像进行稠密重建，获得稠密三维点云；所述相机内参和所述相机外参用于将所述稠密三维点云中的各三维点投影至各视角图像平面。

16、在一些实施例中，所述对各视角图像中由检测模型输出的候选区域进行边缘提取和椭圆拟合，得到各孔洞的二维中心、椭圆参数及孔洞候选区域，包括：

17、采用yolo目标检测模型对各视角图像中的孔洞进行检测，输出各孔洞的候选区域或掩膜；

18、对各所述候选区域按各孔洞实际尺寸向外扩展预设像素边界并进行裁剪，对裁剪后区域执行局部直方图均衡化以使金属反光造成的灰度差异减小至预设范围，得到增强后的区域；

19、在所述增强后的区域内提取孔洞边缘点并采用zernike矩进行亚像素边缘定位，得到亚像素级边缘点集；

20、对所述亚像素级边缘点集进行椭圆拟合，得到各孔洞的二维中心、长轴、短轴及旋转角作为椭圆参数；

21、将所述候选区域、掩膜或基于所述椭圆参数构建的椭圆邻域作为孔洞候选区域。

22、在一些实施例中，所述利用所述相机内参和所述相机外参将所述稠密三维点云投影至各视角图像平面，将落入所述孔洞候选区域内的三维点编号记录为所述孔洞的点云指纹，包括：

23、对于所述稠密三维点云中的每一个三维点，根据所述相机内参和所述相机外参将所述三维点投影至各视角图像平面上，判断投影点是否落入预设视角图像中预设孔洞的所述孔洞候选区域内，若落入则将所述三维点的编号添加到所述孔洞对应的三维点编号集合中；

24、遍历所述稠密三维点云中所有所述三维点及所有视角图像的所有所述孔洞后，各所述孔洞对应的所述三维点编号集合作为所述孔洞的点云指纹。

25、在一些实施例中，所述对不同视角下各所述孔洞的所述点云指纹进行比对，统计所述点云指纹间相同三维点编号数量并构建匹配代价矩阵，求解得到跨视角同名孔洞对应关系，包括：

26、以任意两个不同视角下各一个孔洞构成一个孔洞对，将两个孔洞各自对应的三维点编号集合进行交集运算，统计交集内相同三维点编号的数量作为公共点数量；

27、计算所述公共点数量占两个点云指纹总点数最小值的比例；

28、若所述公共点数量超过预设阈值则将所述孔洞对标记为候选同名孔洞对，并将所述公共点数量或所述比例作为所述候选同名孔洞对的匹配代价值；

29、遍历所有视角间所有孔洞组合后，以各孔洞为行、各孔洞为列构建跨视角匹配代价矩阵；所述匹配代价矩阵中每个元素为相应所述孔洞对的所述匹配代价值或空值；

30、采用匈牙利匹配算法对所述匹配代价矩阵进行全局最优求解，获得各视角之间孔洞的一一对应关系作为跨视角同名孔洞对应关系。

31、在一些实施例中，所述根据所述对应关系将同名孔洞的多个所述二维中心结合所述相机外参建立空间视线，求解最小二乘交点得到三维中心初值，并通过重投影残差优化得到孔洞三维中心，包括：

32、对于已匹配为同一真实孔洞的多个视角的所述二维中心，根据各视角的所述相机外参和所述相机内参建立从各相机中心出发穿过所述二维中心的空间视线；

33、求解多条所述空间视线在同一坐标系中的最小二乘交点，作为所述孔洞的三维中心初值；

34、将所述三维中心初值根据各视角的所述相机内参和所述相机外参重投影回各视角图像平面，计算投影点与对应视角所述二维中心之间的重投影残差；

35、若某视角的所述重投影残差超过预设门限则判定所述视角为异常观测，则剔除所述视角，利用剩余视角重新求解最小二乘交点，得到优化后的孔洞三维中心。

36、在一些实施例中，所述根据所述孔洞三维中心在所述稠密三维点云中搜索邻域点云拟合获得单位法向，根据各视角的所述椭圆参数及观察角度加权融合得到孔洞半径，输出所述孔洞三维中心、单位法向、半径及孔洞状态标记，包括：

37、以所述孔洞三维中心为基准，在所述稠密三维点云中搜索预设半径范围内的邻域点云；

38、从所述邻域点云中筛选出距所述孔洞三维中心的距离大于所述孔洞的半径且小于预设外径阈值的点，构成环带状点云；所述环带状点云覆盖孔洞边缘附近的金属表面并避开孔洞内部空洞区域；

39、对所述环带状点云进行平面拟合，将拟合所得平面的法向作为所述孔洞所在局部金属表面的单位法向；

40、对各视角图像中所述孔洞的所述椭圆参数，提取各视角下的像素半径，结合各视角相机的焦距和所述孔洞的三维中心深度将所述像素半径转换为各视角的物理半径估计值；

41、计算各视角相机光心到所述孔洞三维中心的方向向量与所述单位法向之间的夹角作为观察角度；

42、以所述观察角度越小权重越高的方式，对各视角的所述物理半径估计值进行加权融合，得到融合后的孔洞半径；

43、将所述孔洞三维中心、所述单位法向、所述融合后的孔洞半径及所述孔洞是否已放置镜片的孔洞状态标记共同作为三维孔位信息输出。

44、为实现上述目的，本技术实施例的另一方面提出了一种基于点云指纹匹配的工业伞具孔阵列多视角三维孔位定位系统，用于实现如前面所述的方法，所述系统包括：

45、图像获取模块，用于采集布置于不同方向的多个相机所输出的多视角图像，并为每幅图像标注相机内参；

46、三维重建模块，用于基于带有所述相机内参的所述多视角图像执行稀疏重建和稠密重建，获得稠密三维点云及各相机外参；

47、二维检测模块，用于对各视角图像中由检测模型输出的候选区域进行边缘提取和椭圆拟合，得到各孔洞的二维中心、椭圆参数及孔洞候选区域；

48、点云指纹构建模块，用于利用所述相机内参和所述相机外参将所述稠密三维点云投影至各视角图像平面，将落入所述孔洞候选区域内的三维点编号记录为所述孔洞的点云指纹；

49、跨视角匹配模块，用于对不同视角下各所述孔洞的所述点云指纹进行比对，统计所述点云指纹间相同三维点编号数量并构建匹配代价矩阵，求解得到跨视角同名孔洞对应关系；

50、三角化定位模块，用于根据所述对应关系将同名孔洞的多个所述二维中心结合所述相机外参建立空间视线，求解最小二乘交点得到三维中心初值，并通过重投影残差优化得到孔洞三维中心；

51、位姿估计模块，用于根据所述孔洞三维中心在所述稠密三维点云中搜索邻域点云拟合获得单位法向，根据各视角的所述椭圆参数及观察角度加权融合得到孔洞半径；

52、输出模块，用于输出所述孔洞三维中心、单位法向、半径及孔洞状态标记。

53、为实现上述目的，本技术实施例的另一方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前面所述的方法。

54、为实现上述目的，本技术实施例的另一方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前面所述的方法。

55、为实现上述目的，本技术实施例的另一方面提出了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现前面所述的方法。

56、本技术实施例至少包括以下有益效果：本技术提供一种基于点云指纹匹配的工业伞具孔阵列多视角三维孔位定位方法、系统、电子设备、存储介质及程序产品,该方案包括：采集多视角图像，并为每幅图像标注相机内参；获得稠密三维点云及各相机外参；得到各孔洞的二维中心、椭圆参数及孔洞候选区域；利用相机内参和相机外参将稠密三维点云投影至各视角图像平面，将落入孔洞候选区域内的三维点编号记录为孔洞的点云指纹；得到跨视角同名孔洞对应关系；通过重投影残差优化得到孔洞三维中心；根据各视角的椭圆参数及观察角度加权融合得到孔洞半径，输出孔洞三维中心、单位法向、半径及孔洞状态标记。本技术能够实现工业伞具孔阵列上各镜片放置孔在三维空间中的高精度定位。