一种基于物理信息神经网络的数字图像相关大变形全场测量系统及其使用方法
本发明涉及实验力学与计算机视觉交叉,具体是一种基于物理信息神经网络的数字图像相关大变形全场测量系统及其使用方法。
背景技术:
1、数字图像相关(digital image correlation,dic)技术是一种依托计算机视觉原理实现物体表面全场位移与应变非接触测量的光学技术,已在材料力学性能表征、结构健康监测、地质力学实验及生物组织力学研究等领域得到广泛应用。该技术通过对比物体变形前后散斑图案的灰度分布变化,以子区域相关匹配或全局优化等方式求解位移场,进而通过数值微分计算应变场。
2、然而,传统dic方法在面对大变形测量场景时存在若干固有局限。其一,传统子区域相关方法以初始构型为参考进行匹配,当累积变形量较大时,变形前后对应子区域的灰度分布差异显著增大,导致相关系数下降乃至匹配失效,测量精度随变形程度的增加而显著劣化。其二,传统方法通常将位移场测量与应变场计算割裂为独立步骤,先通过图像匹配获得离散位移数据,再以数值微分方法估算应变,数值微分过程本身会引入误差放大效应,在应变梯度较大的局部区域尤为突出。其三,在实际实验中,压头、夹具、裂纹等物理遮挡会在图像中产生非有效测量区域,传统方法缺乏对这类区域的系统性处理机制,往往导致结果污染或需要繁琐的人工后处理。其四,传统dic方法在处理多帧连续图像序列时,通常独立分析相邻帧之间的位移而缺乏对物质点运动历史的持续追踪,难以准确描述材料点在大变形过程中的运动轨迹。
3、近年来,物理信息神经网络作为一种将力学约束嵌入神经网络训练过程的新型计算框架,为解决力学问题提供了新的思路。将pinn与dic技术相结合,可以在无需大量标注数据的条件下,通过图像灰度一致性约束与连续介质力学约束的协同作用实现位移场与应变场的同步自监督预测。然而,现有的pinn-dic方法大多仍以初始构型为参考进行整体分析,尚未建立有效的增量式大变形分析机制,也缺乏对实验中常见遮挡区域的规范化处理手段,制约了其在大变形工程测量场景中的实际应用。
技术实现思路
1、本发明创造的目的是提供一种基于物理信息神经网络的数字图像相关大变形全场测量系统,包括图像序列加载与预处理单元、感兴趣区域与遮挡掩码处理单元、物理信息神经网络单元和全场结果输出单元。
2、所述图像序列加载与预处理单元用于将读取的彩色图像转换为单通道灰度图像,并对灰度图像中各像素的灰度值进行归一化处理,然后基于灰度图像的尺寸,建立规则化像素坐标网格。
3、所述彩色图像为待测物体表面的多帧连续图像序列。
4、所述感兴趣区域与遮挡掩码处理单元用于对灰度图像进行空间裁剪,生成感兴趣区域,并通过二值掩码对感兴趣区域或灰度图像中的像素进行标识,从而识别感兴趣区域内或灰度图像中的有效区域和遮挡区域。
5、对灰度图像、感兴趣区域、或有效区域内的所有像素点坐标进行线性归一化处理,得到归一化坐标。所述归一化坐标即为物质点初始坐标。
6、所述物理信息神经网络单元集成有物理信息神经网络模型。所述物理信息神经网络模型以物质点坐标为输入,以增量位移场分量、增量应变场分量为输出。
7、所述全场结果输出单元基于物理信息神经网络单元输出的结果,计算累积位移、累计应变和等效应变,并可视化展示增量位移场、增量应变场、等效应变。
8、进一步,所述图像序列加载与预处理单元包括图像读取模块、灰度转换模块、归一化处理模块和像素坐标网格构建模块。
9、所述图像读取模块采用字节流解码方式读取图像文件,支持包含非ascii字符的文件路径。
10、所述灰度转换模块用于将彩色图像转换为单通道灰度图像。
11、所述归一化处理模块用于对灰度图像的灰度值进行标准化处理。
12、所述像素坐标网格构建模块用于生成与图像尺寸对应的二维像素坐标网格,作为物质点的初始空间位置。所述像素坐标网格中x轴的坐标范围为[0,w-1],y轴的坐标范围为[0,h-1],其中w为图像宽度,h为图像高度。
13、进一步,所述感兴趣区域与遮挡掩码处理单元包括交互式区域选择模块和掩码图像加载模块。
14、所述交互式区域选择模块提供可缩放交互界面,支持用户以鼠标拖拽的方式在灰度图像上绘制感兴趣区域,并依据当前缩放级别,将所选区域坐标实时换算为原始图像像素坐标。
15、所述掩码图像加载模块用于对灰度图像或感兴趣区域内的各像素进行阈值二值化处理,并将处理结果转换为布尔张量,存入掩码序列。所述阈值二值化的处理依据为:像素值大于阈值的区域标记为遮挡区域,像素值小于等于阈值的区域标记为有效区域。
16、所述感兴趣区域与遮挡掩码处理单元具备三种工作模式:
17、模式一:单独启用交互式区域选择模块。
18、模式二:单独启用掩码图像加载模块。
19、模式三:同时启用交互式区域选择模块和掩码图像加载模块。
20、当采用模式二时,掩码图像加载模块对灰度图像中像素进行处理。当采用模式三时,掩码图像加载模块对感兴趣区域内的像素进行处理。
21、进一步,所述物理信息神经网络模型采用全连接神经网络结构,包括输入层、输出层和若干隐藏层。
22、所述输入层接收二维归一化坐标。所述输出层输出增量水平位移、增量垂直位移、以及增量水平应变、增量垂直应变、增量剪应变。所述隐藏层采用双曲正切激活函数,网络参数采用xavier均匀初始化方法进行初始化。
23、本发明创造的另一个目的是提供一种基于前述系统的使用方法,包括以下步骤:
24、s1、获取待测物体表面多帧连续图像;所述图像为彩色图像;
25、s2、将彩色图像转换为单通道灰度图像,对灰度图像的灰度值进行归一化处理;然后基于灰度图像的尺寸,建立以图像宽度w为x轴,图像高度h为y轴的规则化像素坐标网格;
26、s3、基于感兴趣区域与遮挡掩码处理单元的工作模式,对灰度图像进行处理;若工作模式为模式一,进入步骤s4;若工作模式为模式二,进入步骤s5;若工作模式为模式三,进入步骤s6;若不采用感兴趣区域与遮挡掩码处理单元,直接进入步骤s7;
27、s4、单独启用交互式区域选择模块,在弹出的交互式选择窗口中绘制感兴趣区域,然后进入步骤s7;
28、s5、单独启用掩码图像加载模块,对灰度图像中的像素进行阈值二值化处理,生成有效区域,然后进入步骤s7;
29、s6、同时启用交互式区域选择模块和掩码图像加载模块,在弹出的交互式选择窗口中绘制感兴趣区域,并对感兴趣区域内的像素进行阈值二值化处理,生成有效区域,然后进入步骤s7;
30、s7、将灰度图像、感兴趣区域、或有效区域内的所有像素点进行归一化处理,得到物质点初始坐标;
31、s8、设定总增量步数量,并初始化增量步序号,令=0;
32、设定第帧图像作为第0步参考图像,第帧图像的物质点初始坐标作为第0步物质点坐标;的初始值为1;
33、s9、将第步物质点坐标输入至物理信息神经网络模型,得到第+1步增量位移场和第+1步增量应变场;的初始值为0;
34、s10、基于第+1步增量位移场(,更新得到第+1步物质点坐标;同时,基于双线性插值法,对第步参考图像的灰度值进行重映射,得到第+1步参考图像的灰度值;
35、s11、将第+1帧图像作为目标图像,基于第+1步物质点坐标、第+1步增量位移场、第+1步增量应变场,计算第+1步参考图像与目标图像的损失值;
36、s12、令=+1,判断是否等于,若是,则输出第步参考图像,作为重建图像,并同步输出预测累积位移场与预测累积应变场,然后进入步骤s13,否则,返回步骤s9;
37、s13、将第+1帧图像作为目标图像,计算重建图像与目标图像的损失值,并判断损失值是否小于阈值,若是,进入步骤s14,否则基于选定的优化策略更新网络参数,得到新的物理信息神经网络模型,并返回步骤s9;
38、s14、令=+1,判断是否等于获取的图像张数,若是,则进入步骤s15,否则,返回步骤s8;
39、s15、计算等效应变,并基于全场结果输出单元,可视化并导出全场测量结果。
40、进一步,在步骤s10中,第+1步物质点坐标()的计算公式为:
41、(1)
42、(2)
43、式中:()为第步物质点坐标;
44、在步骤s11中,所述第+1步增量位移场为(,),其中、分别为第+1步预测的沿x方向、y方向的增量位移。
45、第+1步增量应变场为(,,),其中、分别为第+1步预测的沿x方向、y方向的增量正应变,为第+1步预测的沿xy平面的增量剪应变。
46、在步骤s12中,预测累积位移场为(,),其中、分别为沿x方向、y方向的总增量位移。
47、所述预测累积位移场(,)的计算公式为:(3)
48、(4)
49、式中:为第帧图像最终输出的物质点坐标,为第帧图像初始物质点坐标。
50、预测累积应变场为(,,),其中、分别为个增量步后沿x方向、y方向的总增量正应变,为个增量步后沿xy平面的总增量剪应变。
51、所述预测累积应变场(,,)的计算公式为:
52、(5)
53、(6)
54、(7)
55、式中:为像素点在个增量步后沿x方向的总增量正应变;为像素点在个增量步后沿y方向的总增量正应变;为像素点在个增量步后沿xy平面的总增量剪应变;、、、分别为像素点()、、、处的沿x方向的总增量位移;、、、分别为像素点、、、处的沿y方向的总增量位移。
56、进一步,在步骤s10中,所述双线性插值重建过程为:
57、对第步参考图像域内的任意像素坐标(),施加预测增量位移(,得到采样坐标(-,-)。
58、对采样坐标(-,-)的四邻域像素灰度值进行加权插值,得到第+1步参考图像的各像素灰度值,完成重映射。
59、加权插值过程中,权重由采样坐标的小数部分确定。
60、进一步,所述损失值的复合损失函数为:
61、(8)
62、(9)
63、(10)
64、(11)
65、式中:为图像一致性约束;为物理兼容性约束;、分别为图像一致性约束与物理兼容性约束的权重系数;为由掩码确定的有效像素集合,当未启用掩码图像加载模块时,有效像素集合默认为感兴趣区域内或灰度图像中的所有像素;为第+1步参考图像或重建图像的像素坐标;为目标图像的像素坐标;、分别为第+1步预测的沿x方向、y方向的增量正应变;为第+1步预测的沿xy平面的增量剪应变;、为第+1步预测的沿x方向的增量位移关于图像像素坐标(x,y)的中心差分近似偏导数,其中x为二维像素坐标网格水平方向像素索引,x∈{0,1,…,},y为二维像素坐标网格竖直方向像素索引,y∈{0,1,…,};、为第+1步预测的沿y方向的增量位移关于图像像素坐标(x,y)的中心差分近似偏导数;、分别为沿x方向的总增量位移关于图像像素坐标(x,y)的中心差分近似偏导数;、分别为沿y方向的总增量位移关于图像像素坐标(x,y)的中心差分近似偏导数。
66、当计算第+1步参考图像灰度值与目标图像灰度值的损失值时,选择公式(10)计算物理兼容性约束;此时物理兼容性约束基于神经网络直接预测的增量应变分量(、、)与增量位移场的中心差分估计值之间的差异计算。
67、当计算重建图像灰度值与目标图像灰度值的损失值时,选择公式(11)计算物理兼容性约束;此时物理兼容性约束基于累积应变分量(、、)与累积位移场的中心差分估计值之间的差异计算。
68、当计算重建图像灰度值与目标图像灰度值的损失值时,选择公式(11)计算物理兼容性约束;此时物理兼容性约束基于累积应变分量(、、)与累积位移场的中心差分估计值之间的差异计算。
69、进一步,在步骤s13中,所述物理信息神经网络支持三种优化策略。
70、优化策略一为adam优化策略。
71、优化策略二为l-bfgs优化策略,采用强wolfe条件线搜索方法。
72、优化策略三为adam与l-bfgs两阶段串联优化策略。
73、进一步,在步骤s15中,所述全场结果输出单元包括累积位移场可视化模块、累积应变场可视化模块、增量场可视化模块、等效应变计算模块和数据导出模块。
74、所述累积位移场可视化模块用于可视化展示预测累积位移场为(,)的空间分布。
75、所述累积应变场可视化模块用于可视化展示预测累积应变场为(,,)的空间分布。
76、所述增量场可视化模块用于展示各增量步下的位移场、应变场,并固定色标轴,以对同一图像帧内不同增量步及不同图像帧之间的结果进行横向比较。
77、所述等效应变计算模块用于计算等效应变。
78、等效应变的计算公式为:
79、(12)
80、所述数据导出模块用于将预测累积位移场、预测累积应变场、及等效应变以图像与数值文件形式保存。
81、本发明的技术效果是毋庸置疑的,本发明的有益效果如下:
82、其一,本发明采用基于当前构型的增量式分析框架,将连续大变形过程分解为若干小量级增量步逐步求解,每步以更新后的当前构型为参考,从根本上克服了以初始构型为参考时大变形导致的图像失配问题,显著提升了大变形测量的准确性与鲁棒性。
83、其二,本发明引入物质点坐标持续追踪机制,通过逐步累积增量位移,可精确重建每个物质点在整个变形历史中的运动轨迹,为材料本构行为研究及变形演化分析提供可靠的数据基础。
84、其三,本发明设计了面向有效区域的掩码感知损失函数,能够自动屏蔽压头、夹具等实验装置遮挡区域,使系统在存在物理遮挡的复杂实验环境中仍能稳定工作,无需繁琐的人工后处理。
85、其四,本发明通过物理兼容性约束将位移场与应变场的预测融合为单一网络的输出,避免了传统dic方法中对离散位移数据进行数值微分时产生的误差放大,提高了应变场测量精度。
86、其五,本发明提供adam、l-bfgs及两阶段串联三种优化策略,用户可根据问题规模与精度需求灵活选择,两阶段策略尤其适合需要兼顾收敛速度与求解精度的场合。
87、其六,本发明支持图像序列批量加载、感兴趣区域可视化选取、训练过程实时监控及多格式结果导出,具有较高的工程实用性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com