基于多模态图像的无损检测方法及系统与流程

摘要: 本发明涉及无损检测的,具体地,涉及基于多模态图像的无损检测方法及系统。背景技术:1、射线检测技术是一种利用x射线在物体中的衰减规律和与成像介质的相互作用进行物体...
基于多模态图像的无损检测方法及系统与流程

本发明涉及无损检测的,具体地,涉及基于多模态图像的无损检测方法及系统。

背景技术:

1、射线检测技术是一种利用x射线在物体中的衰减规律和与成像介质的相互作用进行物体内部缺陷检测的无损检测技术。射线检测技术具有检测结果直观,检测可靠性高等优点,被广泛应用于航空、航天、特种设备等领域的关键产品内部质量检测中。传统射线检测技术利用胶片进行成像,检测结果以胶片模拟图像进行记录,随着电子信息技术的发展,采用辐射探测器进行成像的数字射线检测技术得到广泛应用,同时,随着人工智能技术的发展,目前国内外广泛开展基于图像自动识别算法的数字射线检测图像缺陷识别技术研究,传统缺陷识别算法仅根据射线图像进行物体内部缺陷识别,由于射线图像是物体沿射线方向在探测器平面的二维投影,射线图像同时包含物体表面结构信息和内部结构信息,采用识别算法进行物体内部缺陷识别时,识别结果易受表面结构特征的影响。

2、射线检测是焊缝内部质量的主要检测手段。由于射线检测图像是被检物体在射线方向上的二维叠加投影,焊缝射线检测图像包含了焊缝表面和内部所有形貌特征。目前国内外针对射线图像缺陷识别研究仅对射线图像进行训练识别,无法对表面特征和内部缺陷进行区分,造成误判、降低了缺陷识别准确率,从而制约了工程化应用。

3、因此,需要提出一种新的技术方案以改善上述技术问题。

技术实现思路

1、针对现有技术中的缺陷,本发明的目的是提供一种基于多模态图像的无损检测方法及系统。

2、根据本发明提供的一种基于多模态图像的无损检测方法,所述方法包括如下步骤:

3、步骤s1:同步采集物体表面图像和射线检测图像;

4、步骤s2:对表面图像和射线检测图像进行配准;

5、步骤s3:采用表面图像缺陷自动识别方法对表面光学图像和深度图像进行识别,挑选出具有缺陷特征的图像以及框选出缺陷位置;

6、步骤s4:采用射线图像缺陷识别模型对射线检测图像进行识别,挑选出具有缺陷特征的图像以及框选出缺陷位置;

7、步骤s5:对射线图像缺陷识别定位结果和表面图像特征识别结果的位置进行比对,确定缺陷特征是否属于内部缺陷。

8、优选地,所述步骤s1中:

9、所述同步采集是指对于被检测物体的任一个位置,当用x射线对其进行照射并用辐射探测器进行成像时,对x射线入射面和出射面分别用相机拍摄其表面图像,相机拍摄的表面区域应与x射线入射面和出射面具有包含关系,并根据区域较小的图像来确定有效检测区。

10、优选地,所述步骤s2中:

11、对射线图像、表面深度图像和光学图像进行细节对齐的标注,然后输入设计的配准网络分别计算表面深度图像和光学图像的光流图,光流图表示对应深度图像和光学图像像素与射线图像像素位置之间的偏移量,将表面深度图像和光学图像矩阵加上光流图矩阵,即为配准后的表面深度图像和光学图像。

12、优选地,所述步骤s3包括如下步骤:

13、步骤s3.1:使用滑动窗口法对表面光学图像和深度图像进行裁剪,滑动窗口的大小为w*w,滑动窗口的步长为s;

14、步骤s3.2:将裁剪后的表面光学图像和深度图像分别输入特征提取模块,提取图像特征;特征提取模块由卷积神经网络组成,特征提取模块输出的光学特征图表示为,其中、、分别表示光学特征图的高度、宽度和通道数;特征提取模块输出的深度特征图表示为,其中、、分别表示深度特征图的高度、宽度和通道数;

15、步骤s3.3:将裁剪后的表面光学图像和深度图像分别输入特征重要性计算模块,计算提取特征的权重;特征重要性模型输出的光学特征权重表示为,特征重要性模型输出的深度特征权重表示为;

16、步骤s3.4:将光学特征图与光学特征权重相乘,得到加权后的光学特征图,该特征图一共有个像素点,每个像素点对应一个表面光学图像描述子,;最终所有的表面光学图像描述子由集合表示;将深度特征图与深度特征权重相乘,得到加权后的深度特征图,该特征图一共有个像素点,每个像素点对应一个深度图像描述子,j;最终所有的深度光学图像描述子由集合表示;

17、步骤s3.5:将训练集中的表面光学图像标注框区域输入在大型数据集训练过的特征提取模块,得到初始特征图,每个特征图一共有个像素点,每个像素点对应一个表面光学图像初始特征描述子;将所有的表面光学图像初始特征描述子进行聚类,一共聚类为个簇;每个簇的聚类中心作为子特征组1中的子特征,;第k个簇的初始特征描述子集合表示为;计算该集合中的初始特征描述子之间的距离,与的距离计算方式如下:

18、,

19、其中,表示特征描述子的第维数据;

20、子特征的特征系数的初始值计算方式如下:

21、

22、计算表面光学图像描述子与子特征的距离,计算公式如下:

23、;

24、将表面光学图像描述子与个子特征的距离进行归一化:

25、;

26、计算所有的表面光学图像描述子与所有的子特征之间的归一化距离;所有的表面光学图像描述子与第k子特征之间的归一化距离之和,作为编码器1中的第k个编码元的输出,即:

27、;

28、最终编码器1的输出为;

29、步骤s3.6:将训练集中的深度图像标注框区域输入在大型数据集训练过的特征提取模块,获取深度图像特征描述子;将所有的深度初始特征描述子进行聚类,一共聚类得到个簇,得到子特征,组成子特征组2;计算所有的深度图像描述子与子特征组2中的所有的子特征之间的归一化距离;所有的深度图像描述子与第l个子特征之间的归一化距离之和,作为编码器2中的第l个编码元的输出;最终编码器2的输出为;

30、步骤s3.7:将编码器1与编码器2的输出连接得到,将e输入分类器,输出图像中的缺陷类别;

31、步骤s3.8:最终表面图像缺陷自动识别网络由特征提取模块、特征重要性计算模块、子特征组、编码器、分类器组成;训练表面图像缺陷自动识别网络至收敛,将待检测的表面光学图像和深度图像使用滑动窗口裁剪后输入表面图像缺陷自动识别网络实现缺陷识别;若缺陷类别为正,则对应的滑动窗口位置为表面缺陷位置。

32、优选地,所述步骤s4包括如下步骤:

33、步骤s4.1:使用滑动窗口法对射线图像进行裁剪,将裁剪后的射线图像输入特征提取模块,提取图像特征;将裁剪后的射线图像输入特征重要性计算模块,计算提取特征的权重;将射线特征图与射线特征权重相乘,得到加权后的射线特征图,射线特征图的每个像素点对应一个射线图像描述子;

34、步骤s4.2:将训练集中的射线图像标注框区域输入在大型数据集训练过的特征提取模块,得到初始特征图,每个特征图的像素点对应一个射线图像初始特征描述子;将所有的射线图像初始特征描述子进行聚类,一共聚类得到个簇,得到子特征,组成子特征组3;计算所有的射线图像描述子与子特征组3中的所有的子特征之间的归一化距离;所有的射线图像描述子与第r个子特征之间的归一化距离之和,作为编码器3中的第r个编码元的输出;最终编码器3的输出为;将输入分类器,输出射线图像中的缺陷类别;若缺陷类别为正,则对应的滑动窗口位置为射线缺陷位置;

35、步骤s4.3:最终射线图像缺陷自动识别网络由特征提取模块、特征重要性计算模块、子特征组、编码器、分类器组成;训练射线图像缺陷自动识别网络至收敛,将待检测的射线图像使用滑动窗口裁剪后输入射线图像缺陷自动识别网络实现缺陷识别和定位。

36、本发明还提供一种基于多模态图像的无损检测系统,所述系统包括如下模块:

37、模块m1:同步采集物体表面图像和射线检测图像;

38、模块m2:对表面图像和射线检测图像进行配准;

39、模块m3:采用表面图像缺陷自动识别系统对表面光学图像和深度图像进行识别,挑选出具有缺陷特征的图像以及框选出缺陷位置;

40、模块m4:采用射线图像缺陷识别模型对射线检测图像进行识别,挑选出具有缺陷特征的图像以及框选出缺陷位置;

41、模块m5:对射线图像缺陷识别定位结果和表面图像特征识别结果的位置进行比对,确定缺陷特征是否属于内部缺陷。

42、优选地,所述模块m1中:

43、所述同步采集是指对于被检测物体的任一个位置,当用x射线对其进行照射并用辐射探测器进行成像时,对x射线入射面和出射面分别用相机拍摄其表面图像,相机拍摄的表面区域应与x射线入射面和出射面具有包含关系,并根据区域较小的图像来确定有效检测区。

44、优选地,所述模块m2中:

45、对射线图像、表面深度图像和光学图像进行细节对齐的标注,然后输入设计的配准网络分别计算表面深度图像和光学图像的光流图,光流图表示对应深度图像和光学图像像素与射线图像像素位置之间的偏移量,将表面深度图像和光学图像矩阵加上光流图矩阵,即为配准后的表面深度图像和光学图像。

46、优选地,所述模块m3包括如下模块:

47、模块m3.1:使用滑动窗口法对表面光学图像和深度图像进行裁剪,滑动窗口的大小为w*w,滑动窗口的步长为s;

48、模块m3.2:将裁剪后的表面光学图像和深度图像分别输入特征提取模块,提取图像特征;特征提取模块由卷积神经网络组成,特征提取模块输出的光学特征图表示为,其中、、分别表示光学特征图的高度、宽度和通道数;特征提取模块输出的深度特征图表示为,其中、、分别表示深度特征图的高度、宽度和通道数;

49、模块m3.3:将裁剪后的表面光学图像和深度图像分别输入特征重要性计算模块,计算提取特征的权重;特征重要性模型输出的光学特征权重表示为,特征重要性模型输出的深度特征权重表示为;

50、模块m3.4:将光学特征图与光学特征权重相乘,得到加权后的光学特征图,该特征图一共有个像素点,每个像素点对应一个表面光学图像描述子,;最终所有的表面光学图像描述子由集合表示;将深度特征图与深度特征权重相乘,得到加权后的深度特征图,该特征图一共有个像素点,每个像素点对应一个深度图像描述子,j;最终所有的深度光学图像描述子由集合表示;

51、模块m3.5:将训练集中的表面光学图像标注框区域输入在大型数据集训练过的特征提取模块,得到初始特征图,每个特征图一共有个像素点,每个像素点对应一个表面光学图像初始特征描述子;将所有的表面光学图像初始特征描述子进行聚类,一共聚类为个簇;每个簇的聚类中心作为子特征组1中的子特征,;第k个簇的初始特征描述子集合表示为;计算该集合中的初始特征描述子之间的距离,与的距离计算方式如下:

52、,

53、其中,表示特征描述子的第维数据;

54、子特征的特征系数的初始值计算方式如下:

55、

56、计算表面光学图像描述子与子特征的距离,计算公式如下:

57、;

58、将表面光学图像描述子与个子特征的距离进行归一化:

59、;

60、计算所有的表面光学图像描述子与所有的子特征之间的归一化距离;所有的表面光学图像描述子与第k子特征之间的归一化距离之和,作为编码器1中的第k个编码元的输出,即:

61、;

62、最终编码器1的输出为;

63、模块m3.6:将训练集中的深度图像标注框区域输入在大型数据集训练过的特征提取模块,获取深度图像特征描述子;将所有的深度初始特征描述子进行聚类,一共聚类得到个簇,得到子特征,组成子特征组2;计算所有的深度图像描述子与子特征组2中的所有的子特征之间的归一化距离;所有的深度图像描述子与第l个子特征之间的归一化距离之和,作为编码器2中的第l个编码元的输出;最终编码器2的输出为;

64、模块m3.7:将编码器1与编码器2的输出连接得到,将e输入分类器,输出图像中的缺陷类别;

65、模块m3.8:最终表面图像缺陷自动识别网络由特征提取模块、特征重要性计算模块、子特征组、编码器、分类器组成;训练表面图像缺陷自动识别网络至收敛,将待检测的表面光学图像和深度图像使用滑动窗口裁剪后输入表面图像缺陷自动识别网络实现缺陷识别;若缺陷类别为正,则对应的滑动窗口位置为表面缺陷位置。

66、优选地,所述模块m4包括如下模块:

67、模块m4.1:使用滑动窗口法对射线图像进行裁剪,将裁剪后的射线图像输入特征提取模块,提取图像特征;将裁剪后的射线图像输入特征重要性计算模块,计算提取特征的权重;将射线特征图与射线特征权重相乘,得到加权后的射线特征图,射线特征图的每个像素点对应一个射线图像描述子;

68、模块m4.2:将训练集中的射线图像标注框区域输入在大型数据集训练过的特征提取模块,得到初始特征图,每个特征图的像素点对应一个射线图像初始特征描述子;将所有的射线图像初始特征描述子进行聚类,一共聚类得到个簇,得到子特征,组成子特征组3;计算所有的射线图像描述子与子特征组3中的所有的子特征之间的归一化距离;所有的射线图像描述子与第r个子特征之间的归一化距离之和,作为编码器3中的第r个编码元的输出;最终编码器3的输出为;将输入分类器,输出射线图像中的缺陷类别;若缺陷类别为正,则对应的滑动窗口位置为射线缺陷位置;

69、模块m4.3:最终射线图像缺陷自动识别网络由特征提取模块、特征重要性计算模块、子特征组、编码器、分类器组成;训练射线图像缺陷自动识别网络至收敛,将待检测的射线图像使用滑动窗口裁剪后输入射线图像缺陷自动识别网络实现缺陷识别和定位。

70、与现有技术相比,本发明具有如下的有益效果:

71、1、本发明可以增加缺陷识别算法的判据,通过射线图像和表面图像的识别,解决单一射线图像表面特征和内部特征无法区分的问题,大幅提高内部缺陷识别准确率;

72、2、本发明通过同步采集物体表面图像和射线检测图像,并采用图像自动识别算法同时对表面图像和射线图像进行特征识别,最后对两种图像的识别结果进行综合判读,能够有效排除表面特征对内部缺陷识别的影响,大幅降低内部缺陷识别误判率;

73、3、本发明能够同时采集物体射线检测图像和表面图像,从而有效区分物体内部结构信息和表面结构信息,大幅提高缺陷识别算法识别准确率。