基于数字图像的Fe-SMA局部激活修复效果评估方法

摘要: 本发明涉及结构修复效果评估,尤其涉及基于数字图像的fe-sma局部激活修复效果评估方法。背景技术:1、fe-sma为铁基形状记忆合金,fe-sma作为一种新型智...
基于数字图像的Fe-SMA局部激活修复效果评估方法

本发明涉及结构修复效果评估,尤其涉及基于数字图像的fe-sma局部激活修复效果评估方法。

背景技术:

1、fe-sma为铁基形状记忆合金,fe-sma作为一种新型智能修复材料,能够通过加热激活产生形状记忆效应,对混凝土或钢结构中的裂缝施加预应力以实现裂缝闭合。在微尺度激光激活修复场景中,通常需要采用光学测量手段实时监测激活过程中修复区域的面内位移场,进而判断修复效果。

2、现有的,dic,也就是数字图像相关法是获取面内位移场的常用方式,其前提是被测表面的光学纹理在变形前后保持物理一致性。然而,激光激活fe-sma所引发的马氏体逆相变会在材料表面产生微米乃至亚微米级的表面浮凸,这些浮凸在光学上表现为局部反射率的不可逆突变,导致参考图像与变形图像中的散斑图案已不再代表同一物理表面。此时,基于灰度的相关匹配算法会因散斑纹理的物理退化产生伪位移,而这种伪位移与真实的材料恢复应变在空间和时间上完全混叠,难以区分,结果会叠加由浮凸伪事件引起的虚假位移分量,导致最终生成的结果无法真实反映fe-sma裂缝闭合引起的实际位移分布,进而造成修复效果评估信息失准。

技术实现思路

1、为解决背景技术中存在的技术问题,本发明提出基于数字图像的fe-sma局部激活修复效果评估方法。

2、本发明提出的基于数字图像的fe-sma局部激活修复效果评估方法,包括以下步骤:

3、s1、在对fe-sma进行激光局部激活修复过程中,通过事件相机采集异步事件流,异步事件流包括多个事件,每个事件包括事件像素坐标、事件发生时间、亮度变化极性;

4、s2、根据异步事件流,生成时空脉冲帧序列;

5、s3、采用脉冲神经网络,构建事件脉冲分离模型;

6、s4、将时空脉冲帧序列输入事件脉冲分离模型,得到多个脉冲事件,获取各脉冲事件的事件发生时间,对多个脉冲事件按照各脉冲事件的事件发生时间的时间先后顺序进行排序,得到运动事件脉冲流;

7、作为说明,生成事件脉冲分离模型目的是,可以在运动事件脉冲流保留fe-sma裂缝闭合运动对应的连续运动事件,并抑制fe-sma激光局部激活过程中马氏体逆相变表面浮凸对应的非连续扰动事件;脉冲神经网络对时空脉冲帧序列中由马氏体逆相变表面浮凸引起的、在时间上呈短促爆发且空间上缺乏一致运动方向的脉冲模式产生衰减输出,从而输出降低浮凸干扰影响的运动事件脉冲流;

8、s5、根据运动事件脉冲流,生成连续面内位移场;

9、s6、根据连续面内位移场,生成fe-sma局部激活修复效果评估信息。

10、优选地,s2中,根据异步事件流,生成时空脉冲帧序列,如下:

11、s21、获取事件相机对应的像素坐标空间,将像素坐标空间进行网格划分,得到多个按行列顺序排列的空间区块;

12、获取异步事件流中各事件的事件发生时间,对各事件的事件发生时间按照时间先后顺序进行排序,得到事件发生时间序列;

13、从事件发生时间序列中提取位于首位的事件发生时间,作为起始事件时间,从事件发生时间序列中提取位于末尾的事件发生时间,作为结束事件时间;由起始事件时间和结束事件时间形成事件时间范围;

14、采用固定时间间隔对事件时间范围进行等时间划分,得到多个连续时间片段;

15、s22、对任一连续时间片段,根据多个按行列顺序排列的空间区块,生成该连续时间片段对应的脉冲帧;

16、s23、获取所有连续时间片段对应的脉冲帧;按照多个连续时间片段的时间先后顺序,对各连续时间片段对应的脉冲帧进行排列,生成时空脉冲帧序列。

17、优选地,s22中,对任一连续时间片段,根据多个按行列顺序排列的空间区块,生成该连续时间片段对应的脉冲帧,如下:

18、对任一连续时间片段,获取事件发生时间落入该连续时间片段中的事件,作为片段事件;获取位于该连续时间片段中的所有片段事件,形成该连续时间片段对应的片段事件集合;

19、获取片段事件集合中各片段事件的事件像素坐标;根据片段事件集合中各片段事件的事件像素坐标,将片段事件集合中各片段事件分配至对应的空间区块;

20、作为说明,根据片段事件集合中各片段事件的事件像素坐标,将片段事件集合中各片段事件分配至对应的空间区块,指的是:由于每个空间区块都拥有各自的像素坐标范围,对任一片段事件的事件像素坐标,当该片段事件的事件像素坐标落入某一空间区块的像素坐标范围,则将该片段事件分配至该空间区块;

21、对任一空间区块,将位于该空间区块内的片段事件作为区域事件,统计位于该空间区块内区域事件的数量,作为事件数量;获取所有区域事件的亮度变化极性,将所有区域事件的亮度变化极性进行累加,得到事件极性累积值;将事件数量和事件极性累积值作为该空间区块对应的事件特征数据;

22、获取所有空间区块对应的事件特征数据;按照多个按行列顺序排列的空间区块的排列顺序,对各空间区块对应的事件特征数据进行组合,生成该连续时间片段对应的脉冲帧。

23、优选地,s3中,采用脉冲神经网络,构建事件脉冲分离模型,如下:

24、s31、采用脉冲神经网络,脉冲神经网络包括输入层、隐藏层和输出层,输入层、隐藏层和输出层均包括多个脉冲神经元;输入层中的脉冲神经元与隐藏层中的脉冲神经元之间、以及隐藏层中的脉冲神经元与输出层中的脉冲神经元之间均通过突触连接;每个突触具有一个突触连接权重;脉冲神经元采用lif神经元模型,lif神经元模型的模型参数包括膜电位衰减时间常数和不应期参数;

25、作为说明,脉冲神经网络中,脉冲神经元之间通过突触连接进行脉冲传递,lif神经元模型指的是现有的泄漏积分-触发神经元模型。

26、s32、获取lif神经元模型的模型参数,将膜电位衰减时间常数与不应期参数之和作为时间关联窗口的窗口长度;

27、作为说明,lif神经元模型的模型参数在网络初始化时是作为全局超参数统一设定的,也就是脉冲神经网络中各个lif神经元模型中的膜电位衰减时间常数取值一致,以及脉冲神经网络中各个lif神经元模型中的不应期参数取值一致,也就是说,时间关联窗口的窗口长度是不变的。

28、s33、采用事件相机的事件输出机制进行模拟生成,得到多个合成脉冲序列;

29、作为说明,事件相机的事件输出机制是事件相机的自带功能,事件相机的事件输出机制为:当像素位置处的亮度变化量超过事件相机中预设的亮度变化阈值时,在该像素位置输出一个携带像素坐标、时间戳和亮度变化极性的脉冲事件。

30、s34、采用多个合成脉冲序列对脉冲神经网络进行迭代更新,得到事件脉冲分离模型。

31、优选地,s33中,采用事件相机的事件输出机制进行模拟生成,得到多个合成脉冲序列,如下:

32、s331、获取fe-sma表面的图像,作为背景图像;

33、采用边缘检测算法在背景图像上提取多个散斑颗粒的边界轮廓,将散斑颗粒的边界轮廓作为闭合轮廓曲线,得到多条闭合轮廓曲线;

34、对多条闭合轮廓曲线,采用区域填充算法,将每条闭合轮廓曲线内部的像素填充为同一连通区域,得到每条闭合轮廓曲线对应的散斑颗粒区域;获取所有闭合轮廓曲线对应的散斑颗粒区域,得到多个散斑颗粒区域;

35、以一固定时间步长作为运动模拟时间间隔,按照运动模拟时间间隔逐次增加时间长度,生成多个运动模拟时刻,多个运动模拟时刻按生成先后顺序排列形成运动时间序列;

36、作为说明,运动时间序列中,从零时刻开始,零时刻指的是模拟时间起点,也就是模拟起始时刻,也就是运动时间序列中的第一个运动模拟时刻;

37、s332、根据多个散斑颗粒区域和运动时间序列,采用事件相机的事件输出机制进行模拟生成,得到第一类脉冲序列;

38、s333、根据背景图像和运动时间序列,采用事件相机的事件输出机制进行模拟生成,得到第二类脉冲序列;

39、s334、将第一类脉冲序列和第二类脉冲序列合并,得到合成脉冲序列;合成脉冲序列中,将第一类脉冲事件和第二类脉冲事件均作为模拟事件;

40、作为说明,将第一类脉冲序列和第二类脉冲序列合并,指的是将第一类脉冲序列中的第一类脉冲事件和第二类脉冲序列中第二类脉冲事件的按各自发生的时间戳合并在一起,也就是说,合成脉冲序列中,同一时刻,可能同时存在第一类脉冲事件和第二类脉冲事件;

41、s335、重复步骤s332-s334,得到多个合成脉冲序列。

42、优选地,s332中,根据多个散斑颗粒区域和运动时间序列,采用事件相机的事件输出机制进行模拟生成,得到第一类脉冲序列,如下:

43、s3321、从多个散斑颗粒区域中随机选取一个散斑颗粒区域作为追踪目标;

44、获取追踪目标在背景图像上的位置,作为追踪目标的像素位置;

45、按照运动时间序列中的多个运动模拟时刻的先后顺序,以追踪目标的像素位置作为第一个运动模拟时刻对应的目标像素位置;针对任意相邻两个运动模拟时刻,将前一运动模拟时刻对应的目标像素位置沿单一方向平移一个固定偏移量,得到后一运动模拟时刻对应的目标像素位置;

46、s3322、运动时间序列中,获取各运动模拟时刻对应的目标像素位置,得到多个目标像素位置;按照运动时间序列中多个运动模拟时刻的排列顺序,对各运动模拟时刻对应的目标像素位置进行连接,生成追踪目标对应的连续运动轨迹;

47、s3323、从背景图像中提取各目标像素位置对应的灰度值,将各目标像素位置对应的灰度值作为各目标像素位置对应的亮度值;运动时间序列中,针对任意相邻两个运动模拟时刻,将后一运动模拟时刻对应的亮度值减去前一运动模拟时刻对应的亮度值,得到后一运动模拟时刻对应的亮度变化量;

48、作为说明,运动模拟时刻对应的亮度值,指的是运动模拟时刻对应的目标像素位置处的亮度值;

49、s3324、获取所有亮度变化量,将各亮度变化量按照对应的运动模拟时刻在运动时间序列中的排列顺序进行排列,得到第一亮度变化量序列;

50、s3325、采用事件相机的事件输出机制遍历第一亮度变化量序列中的每个亮度变化量,得到多个第一类脉冲事件;将遍历过程中生成的所有第一类脉冲事件按照生成先后顺序排列,得到第一类脉冲序列;

51、作为说明,采用事件相机的事件输出机制遍历第一亮度变化量序列中的每个亮度变化量,得到多个第一类脉冲事件,指的是,遍历第一亮度变化量序列中的亮度变化量,对任一亮度变化量,若该亮度变化量达到事件相机的事件输出机制中亮度变化的触发条件时,在该亮度变化量对应的运动模拟时刻所对应的目标像素位置处生成脉冲事件,将该脉冲事件作为第一类脉冲事件;第一类脉冲事件对应的事件发生时间即该亮度变化量对应的运动模拟时刻;第一类脉冲事件对应的事件像素坐标为该第一类脉冲事件产生位置对应的目标像素位置;

52、作为说明,第一类脉冲序列模拟的是fe-sma裂缝闭合运动产生的连续运动事件。

53、优选地,s333中,根据背景图像和运动时间序列,采用事件相机的事件输出机制进行模拟生成,得到第二类脉冲序列,如下:

54、s3331、从运动时间序列中的各运动模拟时刻中,随机选取多个运动模拟时刻作为爆发时刻,相邻爆发时刻之间的时间间隔大于n倍时间关联窗口的窗口长度,且n大于1;

55、作为说明,n大于1的目的是为了满足相邻爆发时刻在时间上足够离散这一技术目的,因为第二类脉冲序列模拟的是马氏体逆相变表面浮凸产生的扰动事件,表面浮凸是相变瞬间发生的局部反射率突变,每个浮凸事件在时间上极其短暂,在空间上随机孤立,相邻两次浮凸事件之间不存在因果关联,互不触发、互不影响,如果相邻爆发时刻的时间间隔小于或等于时间关联窗口的窗口长度,那么一个爆发时刻产生的脉冲事件与下一个爆发时刻产生的脉冲事件就会落在同一个时间关联窗口内,形成事实上的时间因果配对。此时,脉冲时间依赖可塑性规则会将这两个本应无因果关联的扰动事件错误地强化为连续运动模式,导致第二类脉冲序列丧失了其模拟非连续扰动事件的技术意义。

56、s3332、多个爆发时刻中,对任一爆发时刻,从多个散斑颗粒区域中随机选取一个散斑颗粒区域作为该爆发时刻对应的爆发区域,获取该爆发区域在背景图像上的位置,作为该爆发时刻对应的爆发区域像素位置;

57、获取所有爆发时刻对应的爆发区域像素位置,得到多个爆发区域像素位置;

58、s3333、从背景图像中提取各爆发区域像素位置对应的灰度值;

59、获取背景图像的灰度值取值上限,作为灰度上限值;

60、s3334、多个爆发时刻中,对任一爆发时刻,将该爆发时刻对应的爆发区域像素位置所对应的灰度值作为原始灰度值,将该爆发时刻对应的爆发区域像素位置所对应的原始灰度值替换为灰度上限值,在该爆发时刻之后经过一个运动模拟时间间隔的时刻,作为该爆发时刻对应的后继时刻,在该爆发时刻对应的后继时刻,将该爆发时刻对应的爆发区域像素位置所对应的灰度上限值恢复为原始灰度值;将灰度上限值减去原始灰度值,得到该后继时刻对应的灰度变化量;

61、获取所有后继时刻对应的灰度变化量,将各后继时刻对应的灰度变化量作为各后继时刻对应的亮度变化量;

62、作为举例说明,若背景图像的灰度值取值范围为0-255,则255为背景图像的灰度值取值上限;

63、s3335、将各后继时刻对应的亮度变化量按照各后继时刻的时间先后顺序进行排序,得到第二亮度变化量序列;

64、s3336、采用事件相机的事件输出机制遍历第二亮度变化量序列中的每个亮度变化量,得到多个第二类脉冲事件;将遍历过程中生成的所有第二类脉冲事件按照生成先后顺序排列,得到第二类脉冲序列;

65、作为说明,采用事件相机的事件输出机制遍历第二亮度变化量序列中的每个亮度变化量,得到多个第二类脉冲事件,指的是,遍历第二亮度变化量序列中的亮度变化量,对任一后继时刻对应的亮度变化量,若该亮度变化量达到事件相机的事件输出机制中亮度变化的触发条件时,在对应的爆发区域像素位置处生成脉冲事件,将该脉冲事件作为第二类脉冲事件;第二类脉冲事件对应的事件发生时间即该后继时刻;第二类脉冲事件对应的事件像素坐标为该第二类脉冲事件产生位置对应的爆发区域像素位置。

66、优选地,s34中,采用多个合成脉冲序列对脉冲神经网络进行迭代更新,得到事件脉冲分离模型,如下:

67、s341、将多个合成脉冲序列依次输入脉冲神经网络;

68、s342、对任一合成脉冲序列,将该合成脉冲序列输入脉冲神经网络后,遍历脉冲神经网络中的各突触;

69、对任一突触,将通过该突触传递的模拟事件作为突触事件,获取通过该突触传递的所有突触事件,形成该突触对应的突触事件集合;获取该突触事件集合中各突触事件的事件发生时间;

70、将该突触事件集合中的所有突触事件按照各突触事件的事件发生时间的时间先后顺序进行排序,得到该突触对应的突触事件序列;

71、在该突触事件序列中,对任意相邻两个突触事件,将前一模拟事件作为突触前模拟事件,将后一模拟事件作为突触后模拟事件;获取突触前模拟事件的事件发生时间和突触后模拟事件的事件发生时间,将突触后模拟事件的事件发生时间减去突触前模拟事件的事件发生时间,得到突触时间差;

72、获取该突触对应的突触连接权重;

73、当突触时间差为负数且突触时间差的绝对值小于时间关联窗口的窗口长度时,将突触时间差的绝对值除以时间关联窗口的窗口长度,得到衰减比值;将该突触对应的突触连接权重乘以衰减比值得到衰减量,将该突触对应的突触连接权重减去衰减量,得到更新后的突触连接权重;

74、当突触时间差为正数且突触时间差的绝对值小于时间关联窗口的窗口长度时,将突触时间差的绝对值除以时间关联窗口的窗口长度,得到增强比值;将该突触对应的突触连接权重乘以增强比值得到增强量,将该突触对应的突触连接权重与增强量相加,得到更新后的突触连接权重;

75、当突触时间差等于零或突触时间差的绝对值大于等于时间关联窗口的窗口长度时,该突触对应的突触连接权重不变;

76、s343、将完成多个合成脉冲序列输入后的脉冲神经网络,作为事件脉冲分离模型。

77、优选地,s5中,根据运动事件脉冲流,生成连续面内位移场,如下:

78、获取运动事件脉冲流中各脉冲事件的事件像素坐标;

79、采用运动估计法获取各脉冲事件的事件像素坐标对应的运动位移信息;

80、根据运动事件脉冲流中各脉冲事件的事件像素坐标和各脉冲事件的事件像素坐标对应的运动位移信息,采用空间插值法生成覆盖fe-sma表面的连续面内位移场。

81、优选地,s6中,根据连续面内位移场,生成fe-sma局部激活修复效果评估信息,如下:

82、获取背景图像中对应激光局部激活区域的位置,作为激活区域位置;

83、获取激活区域位置内裂缝两侧相对分布的位置对,作为裂缝参考位置对;

84、裂缝参考位置对包括两个位置,将位于裂缝一侧的位置作为第一裂缝位置,将位于裂缝另一侧的位置作为第二裂缝位置;

85、获取所有裂缝参考位置对,对任一裂缝参考位置对,从连续面内位移场中提取第一裂缝位置对应的运动位移信息和第二裂缝位置对应的运动位移信息;对第一裂缝位置对应的运动位移信息和第二裂缝位置对应的运动位移信息进行差值计算,得到该裂缝参考位置对对应的相对位移变化量;

86、获取所有裂缝参考位置对对应的相对位移变化量,将所有裂缝参考位置对对应的相对位移变化量作为fe-sma局部激活修复效果评估信息。

87、本发明中,所提出的基于数字图像的fe-sma局部激活修复效果评估方法,具有如下有益的技术效果:

88、本技术首先根据fe-sma激光局部激活过程中真实裂缝闭合运动产生的连续运动事件特征以及马氏体逆相变表面浮凸产生的非连续扰动事件特征,分别模拟生成第一类脉冲序列和第二类脉冲序列,采用由第一类脉冲序列和第二类脉冲序列组成的合成脉冲序列对脉冲神经网络进行迭代更新,调整突触连接权重,使脉冲神经网络形成针对连续运动脉冲模式和短促爆发脉冲模式的响应差异,从而构建能够降低马氏体逆相变表面浮凸对应的非连续扰动事件影响的事件脉冲分离模型;通过将实际采集的时空脉冲帧序列输入所述事件脉冲分离模型,使输出的运动事件脉冲流更加符合fe-sma裂缝闭合运动对应的连续运动特征,并基于所述运动事件脉冲流生成连续面内位移场以及fe-sma局部激活修复效果评估信息,缓解了现有dic测量方式中由于马氏体逆相变会在材料表面产生微米乃至亚微米级的表面浮凸,导致最终生成的结果无法真实反映fe-sma裂缝闭合引起的实际位移分布的问题。