面向材料力学性能的智能三维位移场及应变场测量方法

1.本发明属于人工智能和光学测量领域，具体属于一种面向材料力学性能测量的三维位移场和应变场计算方法。


背景技术：

2.数字图像相关法(dic)是一种在实验力学领域迅速推广的全场位移应变测量技术。它是一种在通用性、易用性和计量性能之间取得了很好的平衡的光学测量方法。该光学测量方法于上世纪80年代被提出，在过去几十年众多学者对 dic算法的性能、精度、稳定性等进行了改进，拓展了其应用范围和可用性。
3.2d-dic只使用单个相机，限制了它只能测量平面内的形变而不能测量复杂的外形和形变。为了克服2d-dic存在的限制，基于双目立体视觉原理的三维数字图像相关法(3d-dic)得到了发展。3d-dic可以测量复杂物体外形、位移、应变，相机测量前光轴不需要垂直测量物体表面，设备前期调整简单，环境敏感度较低。3d-dic和计算机视觉的不断融合使其得到广泛应用。
4.传统的3d-dic能够在一定程度上计算材料形变的位移场和应变场，但是其计算量巨大，很难做到实时测量。当左右图像视差较大、较小或材料发生大变形时，传统3d-dic算法容易出现无法正确计算或计算结果精度低的问题。光照等外部条件也对3d-dic的计算结果有着很大的影响。总之，计算量大、计算结果不稳定、条件要求严格等问题极大地制约了传统3d-dic技术的应用。
5.基于深度学习的数字图像相关法已经被提出了，它通过将连续变化的两帧图像同时输入到卷积神经网络中，通过一系列卷积、反卷积操作，最后得到两帧图像之间的位移场。基于深度学习的三维重建也取得了较好的重建效果，但是目前还没有可行的针对三维位移场和应变场计算的深度学习模型。材料在外力作用下发生形变是一个连续的过程，并且当前时刻的形变量与过去的形变存在一定的关系。因此，相比于只对某一时刻的图像数据进行处理，结合时间序列处理更多时刻的图像数据能够获得更好的位移场预测精度。卷积lstm神经网络通过将卷积神经网络处理空间问题的能力和lstm解决时间序列问题的能力相结合，在解决时空序列预测问题上表现出强大的性能和理论优势。再进一步结合2d卷积、3d卷积来提取和细化空间特征，并利用转置卷积来补充高频细节和上采样。因此，研究一种面向材料力学性能测量的智能三维位移场和应变场计算方法能够更好的解决传统3d-dic存在的问题。
6.申请公布号为cn112233104a，一种实时位移场和应变场检测方法、系统、装置和存储介质，涉及机器视觉技术，包括以下步骤：获取第一图像和第一配置参数；根据所述第一配置参数对所述第一图像进行分割，得到多个第一子图；提取各所述第一子图的第一特征；获取第二图像和第二配置参数；根据所述第二配置参数对所述第二图像进行分割，得到多个第二子图；根据各所述第一子图的第一特征进行特征搜索，确定各所述第一子图的第一特征在对应的第二子图中的第二位置，根据第二位置得到各所述第一子图的第二中心坐
标；根据各所述第一子图的第一中心坐标和第二中心坐标，得到应变场。本方案可以大大提升应变场的检测效率。该技术采用图像分割的的方式提高了应变场计算的效率，使得该技术能够实时运行。但是该技术仍然是属于传统的二维位移场和应变场测量范围内，针对三维上的位移无法进行准确的检测。本发明利用深度学习来进行三维位移场和应变场计算，采用高性能gpu来加速计算过程，在gpu 算力足够的情况下，同样能够实时计算位移场和应变场。且本发明能够计算三维位移场和应变场，相比二维的位移场和应变场计算方法，本发明能够计算深度方向上的位移和应变，能够准确计算一些外形复杂的物体表面的三维位移场和应变场。


技术实现要素：

7.本发明旨在解决以上现有技术的问题。提出了一种面向材料力学性能的智能三维位移场及应变场测量方法。本发明的技术方案如下：
8.一种面向材料力学性能的智能三维位移场及应变场测量方法，其包括以下步骤：
9.在材料表面喷涂随机喷涂散斑，使用两个相机同时连续采集图像以记录材料在外力作用下发生形变的过程；
10.构造记录材料形变的双目图像作为数据集，材料形变双目图像数据集包括训练集和测试集；
11.结合2d卷积、3d卷积、转置卷积、卷积lstm和多任务神经网络，建立一个通过输入左右相机的图像序列来同时计算材料的三维位移场和应变场的神经网络模型；
12.利用自建的训练集数据以多任务神经网络的训练模式训练三维位移场和应变场计算神经网络模型；通过自建的多任务损失函数计算误差，采用adam算法优化网络参数。
13.利用训练后的三维位移场和应变场计算神经网络模型，输入双目同步采集到的图像序列，计算材料的三维位移场和应变场。
14.进一步的，所述在材料表面喷涂随机喷涂散斑，使用两个相机同时连续采集图像以记录材料在外力作用下发生形变的过程，具体包括：
15.在材料表面随机均匀地喷涂散斑，散斑颜色与材料背景具有较高的对比度，分别采用黑色和白色；
16.左右相机轴心线保持平行，相机与材料之间的距离满足成像清晰的条件，且材料在左右相机中的成像区域均在图像中部；
17.左右相机采用外部触发的方式来保证图像在同一时刻被采集，相机的图像采集频率均保持恒定，采集过程中相机白平衡、曝光时间均保持恒定；
18.左右相机同时连续采集图像以记录材料在外力作用下的形变过程。
19.进一步的，所述构造记录材料形变的双目图像作为数据集，材料形变双目图像数据集包括训练集和测试集，具体包括：
20.材料形变立体图像数据集通过计算机仿真获得，数据集制作前需要首先准确标定左右相机间的相对位置、相机成像模型，并确定材料的位置、大小和形状；
21.计算机仿真方法通过标定获得的相机参数、位置关系在内的数据建立一个仿真模型，该仿真模型中材料表面的散斑通过现有的散斑发生器模拟、公开的图像3d-dic数据集以及实验采集获得；对计算机仿真模型中的材料进行随机的三维形变，根据立体成像模型
计算带有散斑的仿真模型在左右相机中的成像结果；得到真实形变过程图像数据、真实三维形变位移场以及真实三维表面模型；
22.通过仿真连续形变10次以上，获得一个材料三维形变的图像序列；
23.将双目相机采集或仿真得到的图像数据作为原始数据，形变产生的三维位移场和应变场作为形变过程中对应的真实结果，组成材料形变数据集，该数据集包括训练集和测试集。
24.进一步的，所述三维位移场和应变场的神经网络模型通过4个2d卷积层和 3个3d卷积层用于特征提取和细化，卷积lstm层用于结合时空特征，2个分别由4个转置卷积层组成的分支用于不同任务的结果计算；材料三维位移场和应变场计算模型有两个输入，这两个输入分别为左和右相机采集到的图像序列；材料三维位移场和应变场计算模型的2d卷积层分别对双目图像进行特征提取，并将特征提取的结果组合到一起输入3d卷积层中，3d卷积层的输出结果作为卷积lstm层输入，最后通过2个由转置卷积层组成的权重独立的分支来实现三维位移场和应变场的计算。
25.进一步的，所述4个2d卷积层中，前3个2d卷积层的卷积操作的步长均为2，相当于在提取特征的同时进行了3次下采样，其输出的尺寸为输入图像的 1/8，且这3个卷积层后均使用relu函数作为激活函数；第4个2d卷积层的卷积操作步长为1，且其后没有激活函数，该层输出的结果为图像的粗特征。
26.进一步的，将左右图像的粗特征张量组合在一起构成3d卷积层的输入，第 1个3d卷积层的卷积步长为2，相当于对特征进行了一次下采样；第2、3个3d卷积层的卷积步长为1；3个3d卷积层后均有relu函数作为激活函数，该层输出的结果为图像的细特征；
27.将3d卷积层得到的细特征张量输入到卷积lstm层中，卷积lstm层的输出分别送入2个由转置卷积层组成的分支，两个分支的转置卷积层权重相互独立，因此可以用于完成不同的任务，2个分支均由4个转置卷积层组成，相当于能够对细特征张量进行4次上采样，从而得到与原始输入图像尺寸相同的结果；分支1用于材料三维位移场测量，分支2用于材料三维应变场测量。
28.进一步的，所述利用训练集数据训练三维位移场和应变场计算神经网络模型，具体包括：
29.获取用于训练材料三维位移场和应变场计算神经网络的有两个输入数据，分别是左相机和右相机同步采集到的图像序列；材料三维位移场和应变场计算神经网络的输出数据分别为材料形变的三维位移场和应变场；
30.三维位移场和应变场的计算结果均采用平均误差函数用于评估模型估计结果与真实结果之间的误差；
31.通过分别对两个误差进行加权，计算总误差；
32.通过链式法则将总误差反向传播，利用adam梯度下降优化算法对网络进行训练。
33.进一步的，所述三维位移场和应变场的计算结果均采用平均误差函数用于评估模型估计结果与真实结果之间的误差，具体包括：
34.[0035][0036]
其中，(u
e1
,v
e1
,w
e1
)表示水平、竖直、深度方向的计算位移，(u
g1
,v
g1
,w
g1
)表示水平、竖直、深度方向的真实位移，(u
e2
,v
e2
,w
e2
)表示水平、竖直、深度方向的计算应变，(u
g2
,v
g2
,w
g2
)表示水平、竖直、深度方向的真实应变，(i,j)表示像素坐标，k和l表示计算aee值所在的区域；
[0037]
通过分别对两个误差进行加权，计算总误差如下式：
[0038]
error＝k1×
error1 k2×
error
2 (k1 k2＝1)。
[0039]
进一步的，所述通过链式法则将总误差反向传播，利用adam梯度下降优化算法对网络进行训练，具体包括：
[0040]
首先通过计算梯度的一阶矩估计p和二阶矩估计v：
[0041][0042][0043]
其中，l是迭代次数，θ是参数矢量，e(θ)是损失函数，β1和β2分别表示一阶和二阶矩估计的梯度衰减因子。
[0044]
根据计算得到的p和v，结合学习率α，和极小偏差ε得到更新后的值；
[0045][0046]
利用更新的θ进行神经网络参数优化和学习，提高网络的精度。
[0047]
进一步的，所述利用训练后的三维位移场和应变场计算神经网络模型，输入双目同步采集到的图像序列，计算材料的三维位移场和应变场，具体包括：
[0048]
将采集到的图像序列调整为与数据集相同的格式，输入材料三维位移场和应变场计算神经网络模型中；
[0049]
输入图像会先通过4个2d卷积层来提取粗特征，再组合两个输入的粗特征并输入到三个3d卷积层中得到细化后的特征；
[0050]
将细化后的特征输入到卷积lstm层后通过转置卷积层来实现三维位移场和应变场的计算；卷积lstm层能够处理图像序列，因此该神经网络模型能够结合历史数据持续进行三维位移场和应变场计算。
[0051]
本发明的优点及有益效果如下：
[0052]
本发明通过双目相机拍摄记录材料的形变过程，构造材料形变双目图像数据集，结合2d卷积、3d卷积、转置卷积、卷积lstm和多任务神经网络，构建了一个能够同时计算材料三维位移场应变场的神经网络；并利用训练集的数据训练该神经网络模型；最后利用训练后的材料三维位移场和应变场计算神经网络模型对相机采集到的真实条件下的材料形变双目图像进行计算，得到材料的全局三维位移场和应变场。本发明不仅能够准确测量材料的全局三维位移场和应变场，而且得益于卷积lstm神经网络强大的时空特征提取和处理能力，该模型相比传统3d-dic模型能够提升三维位移场和应变场计算的精度和效率。
[0053]
本发明创新点主要有：
[0054]
1、相比于传统的位移场和应变场计算方法，本发明创新性地利用深度学习的方式来实现三维位移场和三维应变场的计算，为材料三维位移场和三维应变场计算提供了全新
的计算思路和方法。本发明能够有效的克服传统方法无法准确计算大视差、大形变下的三维位移场的问题。
[0055]
2、本发明利用计算机模拟产生散斑和形变的方式生成用于深度学习训练的数据集，确保了数据集的准确性和精度，为训练出高精度的神经网络模型提供了可靠的数据。
[0056]
3、材料发生形变的过程其本质是空间特征随着时间的变化而变化，本发明中使用到的卷积lstm神经网络能够很好的结合时间和空间特征来提取和处理特征。本发明中用到的3d卷积层能够很好的提取深度方向的特征，在三维位移场和应变场计算中起到了重要作用。
[0057]
4、本发明用到了多任务神经网络，针对位移场计算和应变场计算定义了 2个对应的损失函数来计算误差，并通过加权的方式得到总误差。相比于传统先计算位移场后计算应变场的方式，本发明的方法能够在gpu上同时计算位移场和应变场，大大提升了计算速度。
附图说明
[0058]
图1是本发明根据一示例性实施例示出的一种面向材料力学性能测量的智能三维位移场和应变场计算方法实施的流程图；
[0059]
图2是利用本发明计算三维位移场和应变场的流程图；
[0060]
图3是根据一示例性实施例示出的一种材料表面散斑的示意图；
[0061]
图4是根据一示例性实施例示出的一种材料发生形变的过程示意图；
[0062]
图5是根据一示例性实施例示出的一种三维位移场和应变场计算神经网络的模型示意图；
[0063]
图6是根据一示例性实施例示出的一种三维位移场和应变场计算的结果图；
具体实施方式
[0064]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0065]
本发明解决上述技术问题的技术方案是：
[0066]
本发明的一种面向材料力学性能测量的智能三维位移场和应变场计算方法实施的流程图如图1所示，具体分为5个步骤：
[0067]
步骤1.在材料表面喷涂随机喷涂散斑，使用两个相机同时连续采集图像以记录材料在外力作用下发生形变的过程。
[0068]
步骤2.构造记录材料形变的双目图像作为数据集，所述的材料形变双目图像数据集包括训练集和测试集。
[0069]
步骤3.结合2d卷积、3d卷积、转置卷积、卷积lstm和多任务神经网络，建立一个通过输入左右相机的图像序列来同时计算材料的三维位移场和应变场的神经网络模型。
[0070]
步骤4.利用训练集数据训练三维位移场和应变场计算神经网络模型。
[0071]
步骤5.利用训练后的三维位移场和应变场计算神经网络模型，输入双目同步采集到的图像序列，计算材料的三维位移场和应变场。
[0072]
通过该模型计算三维位移场和应变场的具体步骤的流程如图2所示。
[0073]
作为本实施例一种可能的实现方式，所述步骤1在材料表面喷涂随机喷涂散斑如图3所示，包括以下步骤：
[0074]
步骤11,在材料表面随机均匀地喷涂散斑，散斑颜色与材料背景具有较高的对比度，一般分别采用黑色和白色。
[0075]
步骤12,左右相机轴心线应保持平行，相机与材料之间的距离应满足成像清晰，且材料在左右相机中的成像区域均应在图像中部。
[0076]
步骤13,左右相机采用外部触发的方式来保证图像在同一时刻被采集，相机的图像采集频率应保持恒定。采集过程中相机白平衡、曝光时间应保持恒定。
[0077]
步骤14,左右相机同时连续采集图像以记录材料在外力作用下的形变过程。作为本实施例一种可能的实现方式，所述步骤2数据集生成的图像如图4所示，包括以下步骤：
[0078]
步骤21,材料形变立体图像数据集通过计算机仿真获得。数据集制作前需要首先准确标定左右相机间的相对位置、相机成像模型，并确定材料的位置、大小和形状。
[0079]
步骤22,计算机仿真方法通过标定获得的相机参数、位置关系等数据用于建立一个仿真模型，该模型中材料表面的散斑可以通过现有的散斑发生器模拟、公开的图像3d-dic数据集以及实验采集获得。对计算机仿真模型中的材料进行随机的三维形变，根据立体成像模型计算其在左右相机中的成像结果。这样就能得到准确的形变过程图像数据、真实的三维形变位移场以及真实的三维表面模型。
[0080]
步骤23,通过仿真连续形变10次以上，获得一个材料三维形变的图像序列。
[0081]
步骤24,将双目相机采集或仿真得到的图像数据作为原始数据，形变产生的三维位移场和应变场作为形变过程中对应的真实结果，组成材料形变数据集，该数据集包括训练集和测试集。
[0082]
作为本实施例一种可能的实现方式，所述步骤3构建的材料三维位移场和应变场计算神经网络模型如图5所示，包括以下步骤：
[0083]
步骤31,结合2d卷积、3d卷积、转置卷积、卷积lstm和多任务神经网络，构建一个能够同时计算材料表面的三维位移场和应变场的神经网络模型。该模型通过4个2d卷积层和3个3d卷积层用于特征提取和细化，卷积lstm层用于结合时空特征，2个分别由4个转置卷积层组成的分支用于不同任务的结果计算。其中2d卷积层和3d卷积层的卷积操作步长可以为1或2。
[0084]
步骤32,材料三维位移场和应变场计算模型有两个输入，这两个输入分别为左和右相机采集到的图像序列。该图像序列是左右相机同步采集到的，它记录了材料在外力作用下的形变过程。
[0085]
步骤33,材料三维位移场和应变场计算模型的2d卷积层分别对双目图像进行特征提取，并将特征提取的结果组合到一起输入3d卷积层中，3d卷积层的输出结果作为卷积lstm层输入，最后通过2个由转置卷积层组成的权重独立的分支来实现三维位移场和应变场的计算。
[0086]
步骤34,前3个2d卷积层的卷积操作的步长均为2，相当于在提取特征的同时进行了3次下采样，其输出的尺寸为输入图像的1/8，且这3个卷积层后均使用 relu函数作为激活函数。第4个2d卷积层的卷积操作步长为1，且其后没有激活函数。该层输出的结果为图像的粗特征。
[0087]
步骤35,将左右图像的粗特征张量组合在一起构成3d卷积层的输入。第1个 3d卷积层的卷积步长为2，相当于对特征进行了一次下采样。第2、3个3d卷积层的卷积步长为1。3个3d卷积层后均有relu函数作为激活函数。该层输出的结果为图像的细特征。
[0088]
步骤36,将3d卷积层得到的细特征张量输入到卷积lstm层中，卷积lstm 层的输出分别送入2个由转置卷积层组成的分支。两个分支的转置卷积层权重相互独立，因此可以用于完成不同的任务。2个分支均由4个转置卷积层组成，相当于能够对细特征张量进行4次上采样，从而得到与原始输入图像尺寸相同的结果。分支1用于材料三维位移场测量，分支2用于材料三维应变场测量。作为本实施例一种可能的实现方式，所述步骤4包括以下步骤：
[0089]
步骤41,用于训练材料三维位移场和应变场计算神经网络的数据输入有两个，分别是左相机和右相机同步采集到的图像序列，其输入数据格式均为[n,h,w,c]，其中n为数据帧数，h为输入图像的高，w为输入图像的宽，c为通道数。因为输入图像为灰度图，所以c＝1。
[0090]
步骤42,材料三维位移场和应变场计算神经网络的输出数据分别为材料形变的三维位移场和应变场。其数据数据格式均为[n,h,w,c]，其中n为数据帧数，h 为输出图像的高，w为输出图像的宽，c为通道数。对于三维位移场和应变场， c＝3。
[0091]
步骤43,三维位移场和应变场的计算结果均采用如下的平均误差函数用于评估模型估计结果与真实结果之间的误差。
[0092][0093][0094]
其中，(u
e1
,v
e1
,w
e1
)表示水平、竖直、深度方向的计算位移，(u
g1
,v
g1
,w
g1
)表示水平、竖直、深度方向的真实位移，(u
e2
,v
e2
,w
e2
)表示水平、竖直、深度方向的计算应变，(u
g2
,v
g2
,w
g2
)表示水平、竖直、深度方向的真实应变，(i,j)表示像素坐标，k和l表示计算aee值所在的区域。
[0095]
步骤44,通过分别对两个误差进行加权，计算总误差如下式：
[0096]
error＝k1×
error1 k2×
error
2 (k1 k2＝1)
[0097]
步骤45,通过链式法则将总误差反向传播，利用adam梯度下降优化算法对网络进行训练：
[0098]
首先通过计算梯度的一阶矩估计p和二阶矩估计v：
[0099][0100][0101]
其中，l是迭代次数，θ是参数矢量，e(θ)是损失函数，β1和β2分别表示一阶和二阶矩估计的梯度衰减因子。
[0102]
根据计算得到的p和v，结合学习率α，和极小偏差ε得到更新后的值θ。
[0103][0104]
利用更新的θ进行神经网络参数优化和学习，提高网络的精度。
[0105]
作为本实施例一种可能的实现方式，所述步骤5的模型输出结果如图6所示包括以
下步骤：
[0106]
步骤51,将步骤2采集到的图像序列调整为与数据集相同的格式，输入材料三维位移场和应变场计算神经网络模型中。
[0107]
步骤52,输入图像会先通过4个2d卷积层来提取粗特征，再组合两个输入的粗特征并输入到三个3d卷积层中得到细化后的特征。
[0108]
步骤53,将细化后的特征输入到卷积lstm层后通过转置卷积层来实现三维位移场和应变场的计算。
[0109]
步骤54,卷积lstm层能够处理图像序列，因此该神经网络模型能够结合历史数据持续进行三维位移场和应变场计算。
[0110]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0111]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。