基于时空点云数据的扫描序列时空对齐重构方法及系统

本发明涉及金属和碳纤维复合材料缺陷的快速检测，具体涉及基于时空点云数据的扫描序列时空对齐重构方法及系统。

背景技术：

1、金属和碳纤维复合材料(cfrp)缺陷的快速检测是重大工程装备及产品制造质量和安全运行的保障；涡流热成像技术作为最具代表性的主动式红外热成像无损检测技术，具有非接触、灵敏度高、检测范围大、响应速度快等优点，是检测导电类材料，如金属及其合金、cfrp材料及含有导电材料的工件，如涂覆在金属基底上的涂层系统缺陷的首选方法。

2、对此，申请人提出一种速度调制联动扫描涡流热成像的缺陷检测方法，申请号为202311488132.9；搭建时空解耦的联动扫描缺陷检测模型，采用位置图信息提取速度特征，实现含有振动等外界干扰的实时速度的精准估计，获得热图序列，建立扫描速度与系统参数的最佳匹配关系，实现快速、高效的缺陷检测；但是，红外热像仪获取的数据是视频格式文件，数量庞大，直接处理非常复杂也影响检测时效性，且存在瞬态视场受限和热激励空间分布不均的问题，如何将原始扫描温度序列转化为时空点云表达的三维数组结构是实现时空对齐重构的关键技术。为此，需研究坐标变换技术，重新建立数据网络能获得对齐后的热图序列，简化时空变换，提高处理后数据的时间和空间上的等效分辨率。

技术实现思路

1、本发明的目的在于，提供基于时空点云数据的扫描序列时空对齐重构方法及系统，实现扫描数据的时空对齐和快速重构，解决瞬时视场大小有限和热激励空间分布不均的问题，为后续缺陷热信号的分析奠定基础。

2、为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

3、基于时空点云数据的扫描序列时空对齐重构方法，使用时空点云数据结构来描述热图序列重新建网络，重构新建网络算法中单元是一个个的cell网格，支持任意速度输入的重构。

4、本发明的另一目的在于，公开具体方法如下：

5、基于时空点云数据的扫描序列时空对齐重构方法，具体包括如下：

6、s1：对时空点云的数据结构预处理，形成用于描述联动扫描热成像序列数据的时空点云(x,y,tt)，即每一个时空位置时空点云(x,y,t)都指向一个温度点t；

7、s2：由图像序列到时空点云：将三维数组mu×v×n转化为时空点云(x,y,tt)，即u对应x,v对应y,v对应t，mu×v×n对应t；

8、s3：使用两个解耦矩阵ts来描述时空对齐变换得到时空变换模型，直接使用ts乘以时空点云(x,y,tt)的位置信息时空点云(x,y,t)；

9、s4：使用三维插值重建时空网络，将对齐的时空点云转换到热图序列。

10、进一步的，所述s3中：

11、首先，将基于空间变换矩阵t逐帧地校准原始热图序列mr＝[ur,vr,nr]t；图像配准后的温度图序列共享相同的热像仪视场，获得空间对齐数据，表示为ms＝[us,vs,ns]t；

12、然后，使用时间变换矩阵s根据激励发生时间对空间对准的数据进行时间对准。在根据激励发生进行时间对准后，热成像序列看起来像脉冲热成像，获得时间对准数据，标记为mt＝[ut,vt,nt]t；

13、通过分别乘以两个变换矩阵t和s，可以简单地实现从原始扫描温度图序列mr中中的点到空间对齐数据mt中其对应坐标的坐标转换。时空变换模型为：

14、

15、其中，t和s分别为时间和空间变换矩阵，v表示移动速度。

16、进一步的，s3步骤，使用avx指令集和cuda进行并行加速计算，可进一步加快数据处理进度。

17、进一步的，所述s4中：

18、使用三维线性插值，对时间与空间维度同时进行插值；

19、对已对齐后的三维时空点云进行重采样，重建时空网络，才能获得对齐后的热图序列；

20、其中，对于已对齐的时空点云，若对空间进行切片，则结果等价于基于图像配准的重构；若对时序进行切片，则结果等价于基于时序优先的伪静态矩阵。

21、进一步的，使用点云用于描述扫描热成像，结合包括但不限于基于图像配准和基于伪静态矩阵方法。

22、进一步的，所述s1中：

23、时空点云的数据结构包含两部分，第一个部分是用于描述空间三维的位置信息，标准点云的形式是(x,y,z)；在联动扫描热成像中，将z更换为描述时间信息的t，形成时空点云(x,y,t)，其中x，y是热像图上点的坐标；

24、第二部分是每个点的属性信息，温度信息t。

25、进一步的，所述s2中：

26、对于一采集好的热图序列m,通常使用一个三维数组来描述,其每张图像大小为u×v，共n帧；将三维数组mu×v×n转化为时空点云(x,y,tt)的方法为u对应x,v对应y,v对应t，mu×v×n对应t；点云数据不依赖数组的排列顺序来确定位置信息，而是使用独立的变量用于计算和存储。

27、本发明的另一目的在于，提供基于时空点云数据的扫描序列时空对齐重构方法的系统，所述系统用于实现基于时空点云数据的扫描序列时空对齐重构，具体的，所述系统包括：

28、数据采集模块：用于采集所涉及的数据信息；

29、数据预处理模块：用于对时空点云的数据结构预处理，即将采集的数据转化为用于描述联动扫描热成像序列数据的时空点云(x,y,tt)；

30、即将三维数组mu×v×n转化为时空点云(x,y,tt)，即u对应x,v对应y,v对应t，mu×v×n对应t；

31、时空对齐变化处理模块：使用两个解耦矩阵ts来描述时空对齐变换得到时空变换模型，使用ts乘以时空点云(x,y,tt)的位置信息时空点云(x,y,t)；

32、重构模块：使用三维插值重建时空网络，将对齐的时空点云转换到热图序列。

33、进一步的，上述系统中，数据预处理模块的预处理包括但不限于去噪、滤波、配准等操作，以提高数据质量和一致性；

34、重构模块：利用对齐后的点云数据，通过三维重建算法(如表面重建、体素重建等)生成三维模型；还需要考虑重建的精度和效率；

35、同时，还需要考虑对重构后的三维模型进行后处理，包括平滑处理、细节增强、纹理映射等，以提高模型的视觉效果和真实感。

36、进一步的，上述系统还包括：

37、交互与可视化模块：为用户提供交互界面，允许用户查看、编辑和导出重构后的三维模型；

38、系统集成与测试模块：负责将以上各个模块集成到一个完整的系统中，并进行测试和评估，以确保系统的稳定性和性能。

39、本发明的另一目的在于，提供基于时空点云数据的扫描序列时空对齐重构方法的装置，所述装置集成上述系统及方法。

40、本发明的有益效果为：

41、本发明基于时空点云数据的扫描序列时空对齐重构方法，使用时空点云数据结构来描述热图序列重新建网络，重构新建网络算法中单元是一个个的cell网格，支持任意速度输入的重构；

42、本发明基于时空点云数据的扫描序列时空对齐重构方法，创新地使用了时空点云(pointcloud)这一数据结构来描述热图序列。重构即重新建网络，拟建立的重构算法中单元是一个个的cell网格，支持任意速度输入的重构；

43、本发明基于时空点云数据的扫描序列时空对齐重构方法，实现扫描数据的时空对齐和快速重构，解决瞬时视场大小有限和热激励空间分布不均的问题，为后续缺陷热信号的分析奠定基础。

44、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。