面向多源数据融合的数字图像相关数据自适应对齐方法
本发明属于力学测试与数字孪生相关,涉及面向多源数据融合的数字图像相关数据自适应对齐方法。
背景技术:
1、针对航空航天高端装备对高精度结构强度评估的迫切需求,开展精准的全场三维形变与应力监测至关重要。近年来,数字图像相关法凭借非接触、全场测量优势,已成为该领域的主流测量手段。为突破单一监测数据的局限,将数字图像相关力学响应数据与有限元力学响应数据进行多源融合,已成为提升结构强度评估精度的重要途径。然而,由于两类数据在空间位置与数据密度上存在显著差异,如何有效整合这类异构数据是当前多源数据融合面临的关键挑战。
2、传统方法主要包括基于单纯图像特征匹配与相机姿态估计的表面图像融合拼接技术(如中国发明专利cn116710955b)、基于语义映射与决策树机器学习算法的泛化异构数据融合方法(如中国发明专利cn117056867b)以及依靠位移场残差最小化迭代的数字图像相关与有限元模型修正耦合方法(如中国发明专利cn112055871b)。然而,这些方法存在显著局限:纯图像拼接技术仅停留在视觉几何层面的坐标对齐,完全未考虑力学响应场的一致性约束;泛化异构数据融合方法脱离了具体的空间几何与物理属性,无法精准处理力学测试中异构数据密度的空间统一问题;现有的图像与力学模型耦合方法虽然考虑了模型修正,但未能从根本上解决数字图像相关力学响应数据与有限元力学响应数据在空间密度上天然不匹配的核心矛盾,导致在几何特征不明显或局部变形时配准极易出现偏差,难以直接满足复杂结构多源数据融合的高精度要求。
3、现阶段,数字图像相关法在多源数据配准与融合预处理过程中仍存在诸多技术局限,其输出结果无法直接满足多源数据融合的使用要求,其主要存在两方面核心问题:
4、第一,数字图像相关力学响应数据与有限元力学响应数据的空间密度不一致:数字图像相关力学响应数据密度由图像分辨率、子集半径和子集步长决定,有限元力学响应数据密度由网格划分决定,两者天然不匹配,数据融合时易出现对应关系不稳定的问题;
5、第二,现有配准方法多仅考虑几何坐标的对齐,未充分利用力学响应分布的一致性约束,导致在几何特征不明显或存在局部变形时,配准结果易出现偏差,难以满足多源数据融合对空间位置和力学响应场一致性的双重要求,难以实现多源数据坐标统一。
6、因此,基于以上问题,有必要建立一个数字图像相关力学响应数据密度与有限元力学响应数据密度的关联公式,获取基于有限元力学响应数据密度的数字图像相关子集步长和子集半径参数;有必要建立几何坐标贴合度和力学响应场一致性的数字图像相关力学响应数据与有限元力学响应数据的坐标自适应转换方法,实现数字图像相关力学响应数据与有限元力学响应数据在密度、几何坐标贴合度和力学响应层面的统一,解决两类异构数据难以直接融合的问题,满足复杂结构力学测试与多源数据融合的工程需求。
技术实现思路
1、针对现有技术存在的问题,本发明提供面向多源数据融合的数字图像相关数据自适应对齐方法。本发明建立有限元力学响应数据与数字图像相关力学响应数据计算关键参数,子集半径和子集步长的关联公式,实现二者在数据密度上的统一;对于数字图像相关力学响应数据与有限元力学响应数据空间坐标不统一的情况,建立了基于几何坐标贴合度和力学响应场一致性的坐标转换方法,实现数字图像相关力学响应数据与有限元力学响应数据在密度、几何坐标贴合度和力学响应层面的统一,获得可用于多源数据融合的数字图像相关力学响应数据,为航空航天结构力学测试场景提供可靠数据基础。
2、为达到上述目的,本发明采用的技术方案为:
3、面向多源数据融合的数字图像相关数据自适应对齐方法,包括以下步骤:
4、步骤一,建立所测结构的有限元模型并进行计算,得到所测结构的有限元全场力学响应数据,并提取其中数字图像相关计算区域的有限元力学响应数据。具体的:
5、步骤1.1,获取所测结构的几何尺寸、材料属性以及载荷边界,建立有限元模型。
6、步骤1.2,基于步骤1.1建立的有限元模型进行网格划分,得到所测结构的节点坐标,并计算得到所测结构的有限元全场力学响应数据。
7、步骤1.3,基于步骤1.2的有限元全场力学响应数据以及网格划分得到所测结构的节点坐标,提取其中数字图像相关计算区域的有限元力学响应数据。
8、进一步地,所述的数字图像相关计算区域为后续制备散斑的区域,节点坐标包括节点的x、y、z坐标,力学响应数据包括节点的vonmises应力、vonmises应变以及主应变。
9、步骤二,在步骤一得到的数字图像相关计算区域上制备散斑,架设所测结构、双目相机,采集标定图像进行立体标定,得到相机内外参数及双目相机的位置关系。具体的:
10、步骤2.1,基于步骤一得到的数字图像相关计算区域,在所测结构的数字图像相关计算区域制备散斑,并架设所测结构到试验机上,同时架设双目相机。
11、步骤2.2,基于步骤2.1架设的所测结构以及双目相机,采集标定图像,形成标定图像序列。
12、步骤2.3,基于步骤2.2得到的标定图像序列,进行立体标定,得到相机内外参数及双目相机的位置关系。
13、进一步地,所述的标定图像序列包括棋盘格图像、圆点图像;
14、步骤三,基于步骤一得到的数字图像相关计算区域的有限元力学响应数据,通过关联公式确定数字图像相关子集半径以及步长,基于步骤二制备的散斑以及架设的双目相机,通过分级加载采集加载图像,计算得到二维数字图像相关匹配结果。具体的:
15、步骤3.1,基于步骤一得到的数字图像相关计算区域的有限元力学响应数据,为保证得到的数字图像相关力学响应数据与数字图像相关计算区域的有限元力学响应数据对齐,本发明通过提出的关联公式确定数字图像相关子集半径及子集步长。
16、所述的关联公式为:
17、(1)
18、(2)
19、式中,为数字图像相关子集步长,单位为pixel;为双目相机的固定像素值;为数字图像相关计算区域的有限元力学响应数据数量;为实际视野中可用于数字图像相关计算的有效区域;为实际视野总拍摄区域;为在进行数字图像相关计算时有效区域计算时散斑点云匹配成功率,一般取为0.75;为数字图像相关子集半径,单位为pixel;为采集加载图像的图像长度,单位为pixel;为实际拍摄视野长度,单位为mm;r为制备的散斑半径,单位为mm,由于实际设置子集半径时应包络2-3个散斑点,因此在式(2)中采用6r确定子集半径;k为子集半径与子集步长的比例系数,通常为2~4。
20、步骤3.2,采集分级加载的加载图像并形成双目散斑图像序列,基于步骤3.1得到的数字图像相关子集步长、数字图像相关子集半径以及采集的双目散斑图像序列,依托二维数字图像相关计算工具,完成双目散斑图像序列的二维相关匹配,得到二维数字图像相关匹配结果。
21、进一步地,所述的二维数字图像相关计算工具包括ncorr、sun-dic,均为本领域已知方法;所述的二维数字图像相关匹配结果包括左右相机各帧的亚像素级匹配点坐标、相关系数及三角面片拓扑结构,均为本领域已知方法;
22、步骤四,基于步骤三得到的二维数字图像相关匹配结果以及步骤二得到的相机内外参数及双目相机的位置关系,完成三维重构得到三维重构结果数据;依托三维重构结果数据开展三维数字图像相关力学响应计算及数据清洗,得到清洗后相机坐标系下的三维数字图像相关力学响应数据。具体的:
23、步骤4.1,基于步骤三得到的二维数字图像相关匹配结果以及步骤二得到的相机内外参数及双目相机的位置关系,进行三维重构,得到三维重构结果数据并开展数字图像相关力学响应计算与数据清洗,得到三维数字图像相关力学响应数据。
24、进一步地,所述的三维重构结果数据包括重投影误差、融合相关系数、面片质心,以及点云相对首帧的位移向量与幅值,均为本领域已知方法;所述的数据清洗采用的方法选自畸变校正、ransac鲁棒三角化、光束平差法或亚像素2d点迭代优化,均为本领域已知方法。
25、步骤4.2,基于步骤4.1得到的三维数字图像相关力学响应数据,设置阈值参数对三维数字图像相关力学响应数据进行统计学异常诊断,剔除孤立的噪点或应力异常点,避免噪声数据对后续姿态估算的干扰,得到清洗后相机坐标系下的三维数字图像相关力学响应数据。
26、进一步地,所述的统计学异常诊断具体为:基于标准差准则,计算三维数字图像相关力学响应数据均值与方差,识别并剔除偏离正常分布的噪点或应力异常点,均为本领域已知方法。
27、步骤五,基于步骤一得到的数字图像相关计算区域的有限元力学响应数据和步骤四得到的清洗后相机坐标系下的三维数字图像相关力学响应数据,采用几何坐标贴合度与力学响应场一致性共同约束的配准策略,实现清洗后相机坐标系下三维数字图像相关力学响应数据坐标系与数字图像相关计算区域的有限元力学响应数据坐标系的统一。具体的:
28、步骤5.1,基于步骤四得到的清洗后相机坐标系下的三维数字图像相关力学响应数据以及步骤一得到的数字图像相关计算区域的有限元力学响应数据,开展点云初步对齐,分别对清洗后相机坐标系下的三维数字图像相关力学响应数据和数字图像相关计算区域的有限元力学响应数据进行主成分分析,遍历两类数据坐标转换所有可能的轴的排列组合与方向翻转,生成24组候选初始转换姿态,得到三维数字图像相关力学响应数据到数字图像相关计算区域的有限元力学响应数据的旋转矩阵和平移向量,将生成的每个候选初始转换姿态应用于数字图像相关力学响应数据,并计算数字图像相关力学响应数据和数字图像相关计算区域的有限元力学响应数据的几何残差中位数与力学响应场皮尔逊相关系数。结合预设的几何权重和力学响应权重计算综合代价,选取综合代价值最小的候选初始转换姿态作为全局最优的初始变换矩阵。
29、进一步地,所述的主成分分析法为通过主成分分析提取点云主方向,同时生成24组刚体变换候选初始转换姿态,均为本领域已知方法;
30、进一步地,结合预设的几何权重和力学响应权重计算综合代价的计算公式为:
31、(3)
32、式中,为穷举搜索中计算综合代价,该数值越小,说明数字图像相关力学响应数据与有限元力学响应数据在当前空间相对姿态下的综合匹配度越高;为设置“空间几何形态”在整体评价标准中的几何权重占比;为量化当前姿态下两组数据的空间位置偏差,该值越小,说明两组数据在三维空间中贴合得越紧密;为设置“力学响应场一致性”在整体评价标准中的力学响应权重占比;为量化两组点云在对齐后,节点上的力学响应场分布差异;其中和可以根据所测结构对空间几何形态和力学响应场一致性的需求不同设置权重占比。
33、步骤5.2,在截断最近点迭代算法的基础上,融合空间几何与力学响应双特征,并引入双特征联合距离度量公式得到改进后的迭代算法,通过迭代算法对步骤5.1的全局最优的初始变换矩阵进行处理,得到匹配后的数字图像相关力学响应数据;具体的:
34、步骤5.2.1,首先,设置收敛阈值,在每次迭代循环中,以几何位置偏差与力学响应差值的综合距离作为寻找匹配点对的依据;
35、步骤5.2.2,将所有匹配点对按综合距离从小到大排序并进行自适应截断,综合距离越小,匹配质量越好,根据综合距离的大小进行筛选,得到高质量匹配点对,从而有效剔除无重叠区域或局部异常变形带来的匹配干扰;
36、进一步地,所述综合距离采用融合空间几何距离与力学响应差值的双特征联合距离度量公式求得,如以下公式所示:
37、(4)
38、式中,表示综合距离,具体是体现在第k次迭代中,为匹配后的数字图像相关力学响应数据与步骤一得到的数字图像相关计算区域的有限元力学响应数据之间的综合距离,该值越小,代表这两个点在几何和力学响应上越吻合,越倾向于被认定为同一匹配点对;为数字图像相关力学响应数据与数字图像相关计算区域的有限元力学响应数据在三维空间中的欧氏距离平方,代表空间位置偏差;是数字图像相关力学响应数据与数字图像相关计算区域的有限元力学响应数据之差的平方,代表了力学响应场特征的差异。
39、步骤5.2.3,利用筛选出的高质量匹配点对计算当前的刚体变换增量,并更新全局最优的初始变换矩阵,若此时的均方误差的变化量达到设定的收敛阈值,则判定精细化配准完成,否则将带着更新后的全局最优的初始变换矩阵进入下一次迭代,循环往复直至收敛,最后得到匹配后的数字图像相关力学响应数据。
40、步骤5.3,基于步骤5.2得到的匹配后的数字图像相关力学响应数据,通过刚体调整以及平面内的角度旋转进行精细化配准,最后分别量化空间几何特征的对齐精度,以及力学响应场分布的传递一致性,最终完成数字图像相关力学响应数据至数字图像相关计算区域的有限元力学响应数据的坐标转换。
41、进一步地,所述的刚体调整方法包括基于k-d树的最近邻搜索、基于中位数的抗差平移估计,均为本领域已知方法;所述的平面内的角度旋转方法包括主成分分析与降维投影、一维离散网格搜索、局部到全局的刚体变换映射,均为本领域已知方法。
42、进一步地,所述的量化空间几何特征的对齐精度的指标包括几何残差中位数与有限元模型固有网格间距的误差比率,以及力学响应场分布的传递一致性的指标包括力学响应场的皮尔逊相关系数、斯皮尔曼相关系数、最大信息系数,均为本领域已知方法。
43、本发明的有益效果为:
44、(1)本发明通过步骤3.1建立数字图像相关子集半径和子集步长与有限元力学响应数据之间的关联公式,从数据密度上对齐融合所需多源数据,避免单一数据量过大而导致的融合权重失调。
45、(2)本发明通过步骤5.1、5.2建立了采用几何坐标贴合度与力学响应场一致性共同约束的配准策略,在考虑几何对齐的同时,将点云携带的力学响应场一致性纳入配准约束,避免了配准后的两组数据几何上虽对齐,但力学响应场特征可能错位的问题。
46、综上所述,本发明通过建立决定数字图像相关子集半径和子集步长与有限元力学响应数据的关联公式,完成了两组数据在数据密度上的对齐,并在坐标转换阶段建立了采用几何坐标贴合度与力学响应场一致性共同约束的配准策略,实现数字图像相关力学响应数据与数字图像相关计算区域的有限元力学响应数据在密度、几何坐标贴合度和力学响应层面的统一,解决两类异构数据难以直接融合的问题,满足复杂结构力学测试与多源数据融合的工程需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com