一种基于视觉关键特征约束的航空构件CAD模型与点云跨模态配准方法
本发明属于航空制造及计算机视觉测量,尤其涉及一种基于视觉关键特征约束的航空构件cad模型与点云跨模态配准方法。
背景技术:
1、大型航空构件,例如机翼蒙皮、机身壁板、舱段结构件、加强框及连接支架等,通常具有尺寸大、曲面复杂、装配精度要求高等特点。在航空数字化装配过程中,需要将现场三维扫描获得的实测点云与理论cad模型进行空间配准,以确定航空构件相对于设计模型的实际位姿状态。配准结果的准确性直接影响后续装配调整、偏差分析和质量检测的可靠性。
2、现有航空构件cad模型与点云配准方法主要包括基于人工靶标的配准方法、基于几何特征的点云配准方法以及基于图像或点云特征的跨模态配准方法。其中,基于人工靶标的配准方法通常需要在装配现场布设靶标并进行人工标定,操作流程复杂,自动化程度较低,且难以适应柔性化、快速化的航空装配需求。基于几何特征的点云配准方法通常依赖点云中的边缘、孔位、曲面法向或局部描述符等几何信息,当航空构件存在遮挡、反光、局部缺失、低纹理或重复结构时,容易出现候选匹配关系不稳定、误匹配增多以及初始位姿依赖性强等问题。
3、此外,航空装配现场通常同时存在多视角rgb图像、三维扫描点云以及理论cad模型等多源异构数据。rgb图像能够反映孔位、边缘、对接缝等视觉关键特征,三维点云能够反映构件的实际空间几何形态,理论cad模型则描述构件的设计几何基准。由于图像数据、点云数据和cad模型在数据结构、特征表达和空间坐标体系上存在差异,直接建立三者之间的稳定对应关系较为困难。若不能有效利用图像中的高可信视觉关键特征对点云与cad模型之间的候选匹配关系进行约束,则在遮挡、反光或局部残缺场景下容易导致配准结果偏移。
4、同时,航空构件的三维扫描点云通常规模较大,传统基于全局特征匹配或复杂注意力机制的配准方法在处理大尺度点云时计算开销较高,难以满足装配现场对实时性和稳定性的要求。对于具有对称性或近似重复结构的航空构件,仅依靠几何邻域特征进行配准还可能出现位姿多解、局部最优或姿态翻转等问题,影响最终位姿求解精度。
5、因此,如何在航空装配场景下充分利用多视角rgb图像中的视觉关键特征,对cad模型与实测点云之间的跨模态候选匹配关系进行可靠约束,并在大尺度点云、遮挡反光、局部残缺及对称结构条件下实现稳定、高效的位姿配准,是目前航空构件数字化装配中亟需解决的技术问题。
技术实现思路
1、针对现有技术中存在的问题,本发明提出一种基于视觉关键特征约束的航空构件cad模型与点云跨模态配准方法。该方法通过希尔伯特曲线与mamba状态空间模型的高效特征提取、二维图像置信度引导的跨模态加权配准以及生成式点流场姿态精细回归等核心技术手段,旨在提升航空大尺度场景下残缺、对称及海量点云数据的配准精度与效率,使得实现的偏差测量具有高鲁棒性、实时性好及不确定度低等优点,从而在大型航空构件的数字化精准装配中发挥重要作用。
2、为实现上述技术目的,本发明提供如下技术方案:
3、一种基于视觉关键特征约束的航空构件cad模型与点云跨模态配准方法,其具体包括:
4、s1、获取待测航空构件的理论cad模型、多视角rgb图像及原始实测点云;对理论cad模型进行表面离散化采样,生成cad参考点集;并根据标定参数建立多视角rgb图像像素与原始实测点云之间的点图关联关系;
5、s2、利用希尔伯特曲线对原始实测点云进行重排,使用mamba状态空间模型从重排后的原始实测点云中提取待测航空构件的实测点云几何特征;
6、s3、从多视角rgb图像中识别航空构件的视觉关键特征,并计算各视觉关键特征的二维图像置信度;汇总各视角下的二维图像置信度,得到多视角二维图像置信度映射表;
7、s4、基于多视角二维图像置信度映射表,结合实测点云几何特征与cad参考点集的几何邻域特征,建立cad参考点集与实测点云之间的候选匹配关系;根据候选匹配点对的几何特征相似度及二维图像置信度计算配准权重,利用配准权重对候选匹配点对进行可信度约束,剔除低配准置信度的候选匹配点对;基于保留的候选匹配点对及其配准权重进行加权位姿求解,确定初始位姿状态;
8、s5、根据初始位姿状态,构建实测点云向理论点云标准位姿连续演化的生成式点流场匹配模型;在所述生成式点流场匹配模型中,引入航空构件关键接触区域的重叠感知几何特征、二维图像置信度以及候选匹配点对的配准权重,对点流场残差位移方向和刚性位姿增量求解过程进行加权约束,让实测点云沿连续空间向量场由初始位姿状态逐步演化至目标位姿状态,并通过连续位姿优化获得最终位姿参数;所述重叠感知几何特征包括点间距离、法向一致性和局部邻域重叠程度,所述航空构件关键接触区域为参与装配接触或定位的区域;
9、s6、根据最终位姿参数,将实测点云与理论cad模型统一至同一坐标系下,计算实测点云相对于理论cad模型的空间位姿偏差参数,输出跨模态配准结果。
10、进一步地,步骤s1具体包括:
11、利用三维扫描仪对航空构件进行3d扫描,获取原始实测点云;
12、通过布置不同视角的工业相机获取航空构件的多视角rgb图像,并同步调取航空构件的理论cad数字模型,基于理论cad模型的表面几何、装配边界、装配孔位或装配接触区域进行离散化采样,生成用于配准参考的cad参考点集;
13、根据工业相机内参、外参及三维扫描仪与工业相机之间的标定参数,将原始实测点云中的三维点投影至对应视角的rgb图像平面,获得各三维点在图像中的投影位置;基于所述投影位置建立多视角rgb图像像素与原始实测点云中三维点之间的点图关联关系。
14、进一步地,步骤s2具体包括:
15、对原始实测点云进行体素化处理:将各原始实测点按照预设体素分辨率映射至体素坐标;
16、基于希尔伯特曲线映射函数,将体素坐标映射为希尔伯特序号;
17、对原始实测点按照希尔伯特序号进行升序排序,形成保持空间邻域连续性的点云序列;
18、构建基于mamba状态空间架构的点云几何特征编码模型,所述点云几何特征编码模型包括输入嵌入层、选择性状态空间递推单元和输出映射层,其中:所述嵌入层将所述点云序列中的各点编码为点特征向量,所述选择性状态空间递推单元沿所述点云序列递推更新隐藏状态,根据隐藏状态得到输出特征;所述输出映射层将输出特征映射为实测点云几何特征,所述实测点云几何特征是与实测点云中各点一一对应的逐点特征向量,包括各点及局部邻域的几何信息。
19、进一步地,步骤s3具体包括:
20、构建航空装配视觉关键特征识别模型,所述视觉关键特征识别模型包括图像特征编码层、特征解码层和关键特征预测层;将现场rgb图像输入所述视觉关键特征识别模型,识别航空构件中的视觉关键特征,并输出视觉关键特征对应的各视角下的像素级特征图及语义响应评分;
21、针对第v个视角下的像素级特征图中的第l个视觉关键特征像素点,基于多视角rgb图像像素与原始实测点云之间的点图关联关系,确定与对应的原始实测点,根据在第v个视角下的rgb图像平面中的投影位置与间的像素距离,计算与间的投影一致性评分;
22、根据视觉关键特征像素点的语义响应评分和投影一致性评分,计算的二维图像置信度;
23、汇总各视角下各视觉关键特征像素点的二维图像置信度,并按照像素位置写入对应视角的二维图像置信度映射表,最终得到视觉关键特征的多视角二维图像置信度映射表。
24、进一步地,步骤s4具体包括:
25、对于任一原始实测点,获取其实测点云几何特征;
26、在cad参考点集q中提取各cad参考点的几何邻域特征;计算与之间的几何特征相似度;
27、选取特征相似度大于预设阈值或特征相似度排序前k的cad参考点作为候选参考点,并得到候选匹配点对集合;
28、根据原始实测点在对应视角下的rgb图像平面中的投影位置,从多视角二维图像置信度映射表中提取的二维图像置信度,结合候选匹配点对间的几何特征相似度,计算候选匹配点对的配准权重,公式表示为:
29、;
30、其中,表示多视角二维图像置信度映射表的映射函数;
31、基于候选匹配点对及配准权重,构建加权位姿求解目标函数;通过加权奇异值分解求解所述目标函数,得到粗配准旋转矩阵和粗配准平移向量;
32、基于、,计算每一对候选匹配点对之间的配准残差;
33、将配准权重低于预设权重阈值和配准残差大于预设残差阈值的候选匹配点对视为低置信度误匹配点对并剔除;基于保留的候选对应点对及其配准权重,重新构建加权位姿求解目标函数,求解得到初始旋转矩阵和初始平移向量,作为初始位姿状态。
34、进一步地,步骤s5具体包括:
35、将原始实测点云按照初始位姿状态进行位姿变换,得到初始对齐点云;
36、针对中的每个初始对齐点,在cad参考点集中基于重叠感知几何特征,为搜索对应的邻近参考点,并根据点间距离、法向一致性和局部邻域重叠程度计算重叠感知几何权重,公式表示为:
37、;
38、其中,为与所在局部邻域之间的重叠度评分,为的法向量,为邻近参考点的法向量;为距离尺度参数;为的重叠感知几何权重;
39、构建连续演化的生成式点流场匹配模型,所述生成式点流场匹配模型包括点云特征编码模块、跨模态特征融合模块、点流场预测模块和刚性位姿更新模块;
40、将初始对齐点云、理论点云、实测点云几何特征、各点的二维图像置信度以及保留的候选匹配点对的配准权重输入生成式点流场匹配模型;先通过点云特征编码模块提取初始对齐点云与cad参考点集的几何邻域特征;再在跨模态特征融合模块中对初始对齐点云的几何邻域特征、cad参考点集的几何邻域特征、实测点云几何特征、各原始实测点的二维图像置信度以及候选匹配点对的配准权重进行拼接,得到融合特征;
41、随后在点流场预测模块中,根据融合特征预测出各初始对齐点朝向cad参考点集对应位置的残差位移方向;利用重叠感知几何权重对残差位移方向进行加权约束,得到各初始对齐点的受约束残差位移向量;
42、最后在刚性位姿更新模块中,根据受约束残差位移向量,构建用于求解整体刚性位姿增量的加权优化目标函数;通过加权最小二乘或加权奇异值分解求解旋转增量和平移增量并对当前位姿参数进行迭代更新;当相邻两次迭代的位姿变化量小于预设阈值,或达到预设迭代次数时,停止优化,获得最终旋转矩阵和最终平移向量,作为最终位姿参数。
43、进一步地,步骤s6具体包括:
44、根据最终位姿参数,对原始实测点云进行刚性变换,得到统一至理论cad模型设计坐标系下的最终配准点云;
45、针对每一个最终配准点,在cad参考点集q或理论cad模型表面中搜索对应的参考点,计算与间配准残差;再根据处的局部法向量,计算相对于理论cad模型表面的法向形面偏差;
46、统计所有点的最终配准误差评价结果,输出包含最终位姿参数,最终配准点云、各点配准残差和法向形面偏差分布的跨模态配准结果。
47、此外,本技术还公开一种基于视觉关键特征约束的航空构件cad模型与点云跨模态配准系统,该系统用于执行如上所述的方法,其具体包括:
48、数据采集与预处理模块,用于获取待测航空构件的理论cad模型、多视角rgb图像及原始实测点云;对理论cad模型进行表面离散化采样,生成cad参考点集;并根据标定参数建立多视角rgb图像像素与原始实测点云之间的点图关联关系;
49、希尔伯特-mamba编码模块,用于利用希尔伯特曲线对原始实测点云进行重排,并结合mamba状态空间模型提取待测航空构件的实测点云几何特征;
50、视觉关键特征识别模块,用于从多视角rgb图像中识别航空装配视觉关键特征,并计算对应的二维图像置信度,生成多视角二维图像置信度映射表;
51、加权初配准模块,用于基于二维图像置信度映射表,结合实测点云几何特征与cad参考点集几何邻域特征建立候选对应关系,根据候选匹配点对的几何特征相似度及二维图像置信度计算配准权重,利用配准权重剔除低置信度候选匹配点对,使用保留的候选匹配点对及配准权重进行加权位姿求解,获得初始位姿状态;
52、点流场精配准模块,用于根据初始位姿状态,构建实测点云向理论点云标准位姿连续演化的生成式点流场匹配模型,引入航空构件关键接触区域的重叠感知几何特征、二维图像置信度以及候选匹配点对的配准权重,对点流场残差位移方向和刚性位姿增量求解过程进行加权约束,通过连续位姿优化获得最终位姿参数;
53、配准结果输出模块,用于根据最终位姿参数将实测点云与理论cad模型统一至同一坐标系下,计算配准残差和法向形面偏差,输出跨模态配准结果。
54、还公开一种电子设备,其包括存储器和处理器,其中:
55、存储器,用于存储能够在处理器上运行的计算机程序;
56、处理器,用于在运行所述计算机程序时,执行如上所述的一种基于视觉关键特征约束的航空构件cad模型与点云跨模态配准方法。
57、还公开一种计算机可读存储介质,其存储有计算机指令,所述计算机指令用于使处理器执行时实现如上所述的一种基于视觉关键特征约束的航空构件cad模型与点云跨模态配准方法。基于上述技术方案,本发明至少具有以下有益效果:
58、(1)显著提升了复杂环境下配准的鲁棒性与精度。本发明通过建立二维图像置信度映射表,在位姿解算的目标函数中实现了对匹配点对的动态加权约束。相比于传统方法在跨模态配准时存在旋转误差,本发明有效抑制了航空装配现场强反光及残缺区域带来的噪声干扰,在重度遮挡环境下使位姿解算稳定性显著提升,解决了传统方法极易陷入局部最优的问题。
59、(2)大幅降低了海量数据处理的计算开销。本发明创新性地引入了希尔伯特曲线空间重排机制,并结合具备线性复杂度特性的mamba状态空间模型。这使得系统在处理航空级数千万采样点的大尺度点云时,计算复杂度从传统 transformer架构降低至线性级,能够实时响应大部件装配的动态测量需求,克服了现有技术在大规模数据场景下运行缓慢的缺陷。
60、(3)有效消除了对称构件的位姿解算歧义。针对航空构件中广泛存在的管路、支架等对称性结构,本发明利用生成式点流场匹配模型,通过学习连续空间速度场驱动点云向目标位姿“流动”。该机制无需依赖任何人工预设的对称性标签,即可隐式学习构件的几何先验知识,彻底解决了传统特征匹配方案在对称件对齐中常出现的180° 翻转及姿态多解难题。
61、(4)提供了高可信度且面向工程的偏差测量报告。本发明不仅实现了跨模态数据的物理对齐,还能结合测量任务权重输出包含最终位姿参数、配准残差、法向形面偏差及偏差分布在内的跨模态配准评价结果。通过将系统误差补偿与不确定度指标同步输出,测量结果与手工精密测量的吻合度极高,为航空数字化柔性装配提供了具备决策支持价值的调整量建议。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com