一种基于AI视觉的多视角点云配准方法与流程

摘要: 本发明涉及三维点云处理,尤其涉及一种基于ai视觉的多视角点云配准方法。背景技术:1、多视角点云配准用于将不同观测位置采集的点云转换至同一坐标系,是三维重建、尺寸...
一种基于AI视觉的多视角点云配准方法与流程

本发明涉及三维点云处理,尤其涉及一种基于ai视觉的多视角点云配准方法。

背景技术:

1、多视角点云配准用于将不同观测位置采集的点云转换至同一坐标系,是三维重建、尺寸检测和目标建模中的基础环节。现有方法通常依据关键点、局部几何描述子或迭代最近点建立对应关系,并据此求解视角间旋转和平移参数。然而,当目标表面存在重复结构、相似平面、弱几何起伏、局部遮挡及点云密度不均时,局部特征容易混淆,正确区域还可能因视角不可见而被误判为异常对应。错误对应关系参与刚体变换求解后,会使配准结果产生偏差。部分方案虽结合视觉图像辅助配准,但多停留于纹理特征匹配或轮廓提取,未能将视觉边界、点云表面区域及相邻空间结构共同用于对应关系判断,也缺少对未获其他视角支持区域的可见性和遮挡状态进行核对的处理,因而仍难以兼顾复杂表面条件下的对应关系可靠性、配准精度和点云完整性。

2、因此,如何提供一种基于ai视觉的多视角点云配准方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于ai视觉的多视角点云配准方法,本发明利用改进pidnet模型确定目标对象表面边界,并将视觉边界映射至点云以划分对象表面区域;结合对象表面区域的三维边界、表面法向、曲率变化及相邻表面空间排列建立跨视角对应关系,求得视角间旋转关系和平移关系;通过核对标记区域的表面朝向、投影位置及遮挡关系识别错误对应关系,并利用剩余对应对象表面区域更新配准关系,从而提高多视角点云配准的准确性、稳定性和完整性。

2、根据本发明实施例的一种基于ai视觉的多视角点云配准方法,包括如下步骤:

3、s1、取得目标对象的多视角点云、对应视觉图像及各视角的观测方向,建立图像像素与点云点的位置对应关系;

4、s2、将各视觉图像输入改进pidnet模型,经比例、积分和微分支路跨层递接及分级融合确定表面边界,将所述表面边界映射至对应点云并划分对象表面区域;

5、s3、依据对象表面区域的三维边界、表面法向、曲率变化及相邻表面的空间排列,确定不同视角中的对应对象表面区域;

6、s4、根据对应对象表面区域的几何位置及相邻表面的相对位置构建单位四元数求解矩阵,求得视角间旋转关系和平移关系;

7、s5、选取一个视角作为配准基准,按照所述旋转关系和平移关系转换除配准基准外的视角点云,核对不同视角中的对象表面区域,标记未获其他视角支持的表面区域及来源视角;

8、s6、将所述标记区域投影至其他视角,依据观测方向、表面朝向及遮挡关系判断所述标记区域的可见性,将应当可见但未获对应表面支持的区域所关联的初始对应关系确定为错误对应关系,并确定关联视角;

9、s7、删除所述错误对应关系,利用所述关联视角与配准基准之间剩余的对应对象表面区域重新构建单位四元数求解矩阵,更新旋转关系和平移关系,输出配准结果。

10、可选的,所述s1包括:

11、s11、在目标对象周围设置多个完成联合标定的图像相机和深度传感器,同步取得各视角的视觉图像和点云,并以图像相机光轴在对应点云坐标系中的方向作为观测方向;

12、s12、调用图像相机与深度传感器之间的标定矩阵,将点云点转换至对应图像相机坐标系,再由图像相机的焦距和主点坐标将点云点投影至视觉图像;

13、s13、取得各点云点落入的图像像素,多个点云点落入同一图像像素时保留距图像相机光心最近的点云点,记录所述图像像素与保留点云点的编号对应关系。

14、可选的,所述改进pidnet模型包括输入层、三支路处理层、跨层递接层、分级融合层和输出层;

15、所述输入层包括依次连接的多个卷积单元,末级卷积单元分别连接三支路处理层中的比例支路、积分支路和微分支路;

16、所述输入层对各视觉图像连续卷积,形成共享图像特征;

17、比例支路、积分支路和微分支路分别逐层处理所述共享图像特征,跨层递接层在相邻处理层级之间传递支路特征,形成三支路末级特征;

18、分级融合层先将比例支路末级特征和微分支路末级特征调整至相同空间尺寸并进行通道映射,拼接后经残差卷积形成第一融合特征;再将积分支路末级特征调整至第一融合特征的空间尺寸并进行通道映射,与第一融合特征拼接后经残差卷积形成第二融合特征;

19、输出层由第二融合特征逐像素形成边界类别响应和非边界类别响应,将边界类别响应大于非边界类别响应的像素标记为边界像素,按照像素邻接关系连接所述边界像素,形成目标对象表面边界;

20、按照图像像素与点云点的位置对应关系,将边界像素对应的点云点标记为点云边界点,连接各点云点与空间邻近点,删除两端对应像素分处目标对象表面边界两侧的连接,以剩余连接形成的连通点集划分对象表面区域。

21、可选的,所述比例支路、积分支路和微分支路分别逐层处理所述共享图像特征,跨层递接层在相邻处理层级之间传递支路特征,形成三支路末级特征,包括:

22、比例支路和微分支路的相邻处理层级之间通过保持特征空间尺寸不变的残差卷积连接,积分支路的相邻处理层级之间通过下采样卷积连接;

23、对于任一相邻处理层级,将当前层级的比例特征进行通道映射,将当前层级的积分特征上采样至微分特征的空间尺寸并进行通道映射,将映射后的比例特征和积分特征与当前层级的微分特征拼接,经残差卷积形成后一层级的微分特征;

24、将当前层级的比例特征经本支路残差卷积形成待融合比例特征,将当前层级的微分特征进行通道映射后与所述待融合比例特征拼接,经残差卷积形成后一层级的比例特征;

25、将当前层级的积分特征经本支路下采样卷积形成待融合积分特征,将当前层级的微分特征下采样后与所述待融合积分特征拼接,经残差卷积形成后一层级的积分特征;

26、比例支路、积分支路和微分支路分别形成比例支路末级特征、积分支路末级特征和微分支路末级特征。

27、可选的,所述s3包括:

28、s31、沿各对象表面区域的点云边界点邻接顺序形成三维边界,记录相邻点云边界点之间的距离,形成边界距离序列;

29、s32、利用对象表面区域内各点及邻域点拟合局部切平面,选择朝向图像相机光心的切平面法向作为点法向,对区域中心邻域内的点法向求向量平均并归一化,得到表面法向;沿点云边界点邻接顺序记录相邻点法向夹角,形成曲率变化序列;

30、s33、将点云边界相接的对象表面区域确定为相邻表面,以当前对象表面区域的区域中心为起点,形成各相邻表面的区域中心相对位置向量,记录各相对位置向量的长度、相对位置向量两两之间的夹角以及当前对象表面区域与各相邻表面的法向夹角;

31、s34、在不同视角之间比较边界距离序列和曲率变化序列,形成候选对应对象表面区域;

32、s35、比较候选对应对象表面区域周围的相邻表面数量、相对位置向量长度、相对位置向量两两之间的夹角以及法向夹角,匹配周围相邻表面,将匹配成立的候选对应对象表面区域确定为对应对象表面区域。

33、可选的,所述s4包括:

34、s41、在两个待配准视角中分别计算各对应对象表面区域的区域中心及相邻表面的区域中心;

35、s42、以各对应对象表面区域的区域中心为基准,将相邻表面的区域中心减去对应基准,形成源视角相对位置向量和目标视角相对位置向量,并按照相邻表面的空间排列对应关系逐一配对;

36、s43、将各对源视角相对位置向量和目标视角相对位置向量的外积累加,形成交叉协方差矩阵,由所述交叉协方差矩阵构建单位四元数求解矩阵;

37、s44、取所述单位四元数求解矩阵最大特征值对应的特征向量并归一化,形成单位四元数,将所述单位四元数转换为旋转矩阵;

38、s45、分别计算两个视角中各对应对象表面区域的区域中心坐标均值,以目标视角坐标均值减去旋转后的源视角坐标均值,得到平移关系。

39、可选的,所述构建单位四元数求解矩阵包括:

40、计算交叉协方差矩阵的迹,并由交叉协方差矩阵中互为转置位置的矩阵元素差值组成反对称向量;

41、将交叉协方差矩阵与转置矩阵相加,再减去所述迹与三阶单位矩阵的乘积,形成三阶对称矩阵;

42、将所述迹写入四阶矩阵的标量分量位置,将所述反对称向量写入标量分量与向量分量之间的对称位置,将所述三阶对称矩阵写入向量分量对应位置,形成单位四元数求解矩阵。

43、可选的,所述s5包括:

44、s51、统计各视角中已形成对应关系的对象表面区域数量,选取对应对象表面区域数量最多的视角作为配准基准;

45、s52、利用各视角相对于配准基准的旋转关系和平移关系转换除配准基准外的视角点云,并同步转换对象表面区域的区域中心和表面法向,记录各对象表面区域的来源视角;

46、s53、对于除配准基准外的视角中具有初始对应关系的对象表面区域,核对转换后的区域中心与配准基准视角中对应对象表面区域的区域中心是否互为最近区域中心,并核对表面法向内积是否为正,均满足时确定对应对象表面区域相互支持;

47、s54、将除配准基准外的视角中具有初始对应关系但未获得配准基准视角对象表面区域支持的对象表面区域标记为标记区域,并记录来源视角。

48、可选的,所述s6包括:

49、s61、调用配准基准视角的标定矩阵和相机参数,将标记区域的三维边界、区域中心及表面法向转换至配准基准视角的图像相机坐标系,将三维边界和区域中心投影至视觉图像,形成投影边界和区域中心投影点;

50、s62、将由区域中心指向图像相机光心的方向确定为视线方向,计算转换后的表面法向与所述视线方向的内积,所述内积为正时确定标记区域表面朝向配准基准视角;

51、s63、核对标记区域的区域中心和三维边界在配准基准视角中的投影位置,并比较各投影位置的投影深度与对应像素处的点云深度;各投影位置均位于视觉图像范围内且对应像素处不存在深度小于投影深度的点云点时,确定标记区域可见;

52、s64、在配准基准视角中查找区域中心投影点对应最近点云点所属的对象表面区域;所述对象表面区域为标记区域在初始对应关系中对应的对象表面区域,且所述对象表面区域的表面法向与标记区域在配准基准坐标系中的表面法向内积为正时,确定对应表面支持;

53、s65、标记区域可见但未获得对应表面支持时,将标记区域来源对象表面区域与配准基准视角中原对应对象表面区域之间的初始对应关系确定为错误对应关系,并将标记区域的来源视角确定为关联视角。

54、可选的,所述s7包括:

55、s71、从关联视角与配准基准之间的初始对应关系中删除所述错误对应关系;

56、s72、以关联视角与配准基准之间剩余对应对象表面区域的区域中心为基准,分别形成相邻表面的相对位置向量,按照对应关系逐一配对并重新构建单位四元数求解矩阵;

57、s73、由重新构建的单位四元数求解矩阵求得更新后的旋转关系,并利用关联视角和配准基准中剩余对应对象表面区域的区域中心坐标均值计算更新后的平移关系;

58、s74、利用更新后的旋转关系和平移关系转换关联视角点云,将转换后的关联视角点云与其他视角点云合并,输出配准结果。

59、本发明的有益效果是:

60、1、通过改进pidnet模型的三支路跨层递接和分级融合确定表面边界,并将表面边界映射至点云划分对象表面区域,提高弱边缘及相似纹理条件下的边界定位和区域划分准确性。

61、2、综合对象表面区域的三维边界、表面法向、曲率变化及相邻表面空间排列建立跨视角对应关系,并构建单位四元数求解矩阵,降低局部特征相似造成的错误匹配,提高初始配准可靠性。

62、3、根据标记区域的观测方向、表面朝向及遮挡关系识别错误对应关系,删除错误对应关系后重新计算旋转关系和平移关系,减少异常匹配干扰,提高多视角点云配准精度和完整性。