一种火箭发动机燃烧室缺陷智能判读方法

1.本发明属于计算机视觉、图像处理技术领域，涉及一种火箭发动机燃烧室缺陷智能判读方法。


背景技术：

2.固体火箭发动机(solid rocket motors,srm)是导弹武器的主要动力装置，结构简单、安全性和稳定性强、易于保养维护等是其独特优势，被广泛应用至航空航天领域。作为固体火箭的动力燃料，发动机药柱在制造过程中容易出现装药界面的脱粘、因浇注工艺产生的装药气泡等缺陷。此外，药柱在运输或者贮存过程中受各种综合作用，使其产生的气孔、裂纹、药柱与壳体界面脱粘等问题更加复杂。这些问题会导致其安全性降低，严重时影响其使用寿命。传统的缺陷检测方式主要通过人工依靠肉眼和经验进行影像阅片和判读，伴随批量生产任务需求的增多，单纯依靠人工判读需要耗费大量人力与时间，且产品的一致性难以保证。如何有效地分析出srm缺陷，并制定科学有效的缺陷处理方案是航天技术领域亟待解决的课题。
3.目前对于srm燃烧室的缺陷检测，常用的无损探伤手段主要有：射线扫描法、超声波检测法和激光全息(散斑)无损检测法等。射线照相法是利用射线感光材料放在被透照试件的后面接受来自透过试件后不同强度分布的射线，因为射线强度与胶片乳剂的摄影作用，在正常条件下成正比，因而胶片在射线作用下形成潜影，经暗室处理后，就会显示出物体的结构影像。根据底片上的影像的形状及黑度的不均匀度，就可以评定被检测试件中有无缺陷及缺陷的性质、形状和位置。脉冲反射法主要利用超声波的强反射性能进行故障检测，它对接口脱粘和壳体与衬层的粘接质量故障检测十分有效，是目前应用最普遍的超声波方法。激光全息(散斑)无损检测法利用被检测构件在施加外力的情况会发生表面位移变化，且其位移变化与其内部缺陷和应力分布密切相关这一特性，可以准确地检测出复合材料构件的缺陷问题。
4.已有公开可查的针对自动化ct影像判读技术的研究大多停留在较为传统的影像处理算法上，鲁棒性较低。传统方法基本遵循着“手工设计特征 分类器”的思路。这种选择策略存在针对性差、时间复杂度高、窗口冗余等问题，本发明提供了一种基于机器视觉的srm燃烧室缺陷智能判读方法，不仅实现了对ct影像检测的可控性和稳定性，而且实现了信息的采集与留存，提高了该应用领域中典型缺陷检测的效率。


技术实现要素：

5.要解决的技术问题
6.为了避免现有技术的不足之处，本发明提出一种火箭发动机燃烧室缺陷智能判读方法，更好的解决srm燃烧室典型缺陷(界面脱粘与气孔)的智能辅助判读问题，以及进一步提高srm产品的质量可靠性与安全性。本发明首先，通过对ct影像生成、传输、处理过程中产生的噪声特性做深入分析，研究srm燃烧室ct影像的降噪处理技术；在基于传统影像滤波方
法的基础上，特别提出一种基于残差学习的马赛克和噪声同时去除方法，并利用视觉注意力机制和非局部特征增强卷积对影像中的非局部特征信息进行提取与增强，实现了srm燃烧室ct影像的质量提升。其次，研究了srm的界面脱粘与气孔等典型缺陷的数据增强方法；开发了基于faster-rcnn经典目标检测模型的气孔与脱粘检测算法；采用预训练-微调的优化方法提升了网络收敛速度与检测精度。实现了对srm燃烧室ct影像典型缺陷的智能准确判读。本发明公开了一种基于ct影像地srm燃烧室缺陷智能判读方法，主要提升了srm燃烧室典型缺陷(界面脱粘与气孔)的判读准确度和判读效率。
7.具体地，本发明的目的在于改善一下几个方面。
8.1、现有的ct影像判读技术研究大多停留在较为传统的影像处理算法上，鲁棒性较低；
9.2、传统手工设计特征和分类器的思路，仅适用于特定的缺陷检测，泛化程度低；
10.3、有些算法区域选择采用滑动窗口不断在影像上滑动的方式，这种选择策略无针对性、时间复杂度高、窗口冗余；
11.4、对于边缘模糊、尺寸较小或灰度变化狭窄的缺陷,检测和分割精度低。
12.技术方案
13.针对srm燃烧室ct影像典型缺陷判读技术所存在的瓶颈问题以及三个方面的研究内容开展理论研究，并以人工智能、计算机视觉理论与技术为主要工具进行相应模型或方法的构建。首先通过对srm燃烧室界面脱粘、药柱气孔等典型缺陷以及噪声等信号进行深入特征分析研究，优化srm燃烧室界面脱粘与药柱气孔的ct影像质量，提出srm燃烧室ct影像的质量提升技术。其次重点攻克基于ct影像的srm燃烧室缺陷智能判读所面临的难点技术问题，采集建立典型缺陷的小样本数据集，构建基于少量典型缺陷标签数据的小样本机器学习方法，建立大幅ct影像的典型燃烧室缺陷的高精度判读模型。最后在此基础上研发srm燃烧室典型缺陷的ct影像智能判读软件，满足缺陷判读所期望的功能和指标的项目需求。采用理论分析、逻辑推理、机器学习和计算机仿真实验相结合的研究方法，在理论与技术层面解决srm燃烧室典型缺陷面临的技术难点问题。
14.1.基于非局部特征深度神经网络的影像质量提升方法
15.ct影像的质量提升关系着后续srm典型缺陷的判读准确性和鲁棒性，利用非局部特征深度神经网络模块能在一个更大的非局部块中找到更多相似特征，该方法可有效提高影像质量，对于整个srm燃烧室典型缺陷判别系统的指标性能有关键作用。
16.2.基于多策略融合的srm典型缺陷小样本学习方法
17.srm燃烧室典型缺陷的小样本问题是本项目的显著特点。如何有效处理该问题关系着缺陷判别系统的有效性和准确性。应对的方法有镜像、旋转、平移、扭曲、滤波、对比度调整等基本影像处理操作；也有基于预训练网络或迁移学习、合理的网络结构设计方法等。
18.3.基于注意力机制与增量学习的srm典型缺陷判别方法
19.视觉注意力机制的引入能降低处理高维输入数据的计算复杂度，并且使网络更专注于寻找和目标特征更加相似的有用信息，提高表达的判别性；而增量学习方法能够有效应对不断增多的缺陷样本和泛化性问题。因此，拟采用基于视觉注意力机制与增量学习的yolo或ssd改进方法对srm燃烧室的ct影像进行缺陷判读。
20.总体来说，本发明是一种火箭发动机燃烧室缺陷智能判读方法，以人工智能、计算
机视觉理论与技术为主要工具进行相应模型或方法的构建。具体采用理论分析、逻辑推理、机器学习和计算机仿真实验相结合的研究方法，从而在理论与技术层面解决srm燃烧室典型缺陷面临的技术难点问题。
21.本发明的技术方案为：
22.一种火箭发动机燃烧室缺陷智能判读方法，其特征在于步骤如下：
23.步骤1：将srm燃烧室超大分辨率ct图像的原图像进行切图，切成宽高为m*n的若干小图，分为训练样本和测试样本，其中overlop比例设置为0.2，步长为512；
24.所述切图方法为：以原图的左上角为起点按照m*n切图，记录切出来的小图像左上角坐标，以在标签定位中使用；
25.步骤2：对训练样本采用基于残差学习的马赛克和噪声同时去除方法，进行端到端对含噪、低分辨率空间到清晰、高分辨率空间之间的映射学习，得到去噪之后的训练样本；
26.步骤3：利用视觉注意力机制和非局部特征增强卷积对训练样本中的非局部特征信息对去噪进行提取与增强，以高精度特征点检测方法与非线性优化相结合的方式，剔除ct影像缺陷检测时的干扰像素点，从而增强影像质量；
27.步骤4：基于mmdetection框架中集成的faster rcnn目标检测模型，backbone部分选取残差网络resnet50作为该模型的骨干特征提取网络，并在其中添加se注意力机制模块来增强网络模型提取缺陷特征的效果：
28.在neck部分，引入特征金字塔模块对backbone部分生成的不同尺度的特征图进行融合，得到多尺度特征图；
29.在head部分，以neck部分得到的多尺度特征图作为输入，采用区域生成网络rpn，生成锚框anchor和候选框proposal，实现对缺陷目标进行粗略的定位，根据置信度排序，设置阈值为0.5执行一次nms，超出阈值的候选框剔除，得到最终的候选框；再将候选框送到roi pooling模块中，进行缺陷类别划分与坐标回归；
30.步骤5：根据上述搭建的步骤进行网络训练得到训练好的模型，以测试样本对训练好的模型进行测试；
31.需要判读的srm燃烧室超大分辨率ct图像的原图，经过步骤1～步骤3处理后的样本输入训练和测试后的模型的进行预测，并输出药柱缺陷的类别和位置信息。
32.所述m*n为640
×
640。
33.所述切出的若干小图的训练样本，采用包括但不限于进行翻转、调整对比度、随机裁剪的数据增强方法进行图像数据增强。
34.所述训练样本和测试样本按照7﹕3进行分配。
35.有益效果
36.本发明提出的一种火箭发动机燃烧室缺陷智能判读方法，针对固体火箭发动机(s olid rocket motors,srm)的药柱在装药过程中出现的药柱与壳体界面脱粘、因浇注工艺差异产生的药柱气泡等缺陷。研发了一种火箭发动机燃烧室缺陷智能判读方法，该方法针对ct影像质量问题，利用影像增强与非局部深度特征在非局部块中找到更多相似特征有效提高了影像质量。针对缺陷小样本问题，采用镜像、旋转、平移、扭曲、滤波、对比度调整等几何变换方法增强网络对小样本缺陷的学习能力。为降低处理高维数据的计算复杂度，采用视觉注意力机制和增量学习方法不仅能够使网络更专注于寻找和目标特征更加相似的有
用信息，而且能够有效应对缺陷样本多样性和泛化性，大幅提高了药柱缺陷的智能判读效率和准确度。
37.本发明相对于现有的srm燃烧室典型缺陷检测方法有以下优点：
38.1、本发明通过在srm燃烧室ct影像缺陷传统检测方法中引入深度学习方法实现了对缺陷检测智能判读要求，在缺陷检测的稳定性、可控性等方面具有明显的优势；
39.2、本发明提出的srm燃烧室缺陷检测智能化分析与评判技术，可通过智能缺陷判读技术高效、准确地评估srm燃烧室存在的缺陷问题和内部质量。
40.3、本发明通过将人工智能手段落地应用的方法不仅解决了手动设计的缺陷特征对于多样性的变化鲁棒性不高的问题，而且也改善了传统图像处理方法检测和分割精度低的局限性问题。
41.4、本发明不仅针对srm燃烧室缺陷问题，而且可进一步推广至其他类型航天结构件的缺陷检测需求中，该srm燃烧室典型缺陷智能判读方法部署简单，具有十分重要的应用价值和工程意义。
附图说明
42.图1：本发明流程图
具体实施方式
43.现结合实施例、附图对本发明作进一步描述：
44.本发明提供了一种火箭发动机药柱ct影像典型缺陷智能判读技术，首先，通过对ct影像生成、传输、处理过程中产生的噪声特性做深入分析，研究srm燃烧室ct影像的降噪处理技术；在基于传统影像滤波方法的基础上，特别提出一种基于残差学习的马赛克和噪声同时去除方法，并利用视觉注意力机制和非局部特征增强卷积对影像中的非局部特征信息进行提取与增强，实现了srm燃烧室ct影像的质量提升。其次，研究了srm的界面脱粘与气孔等典型缺陷的数据增强方法；开发了基于faster-rcnn经典目标检测模型的气孔与脱粘检测算法；采用预训练-微调的优化方法提升了网络收敛速度与检测精度。实现了对srm燃烧室ct影像典型缺陷的智能准确判读。本发明公开了一种基于ct影像地srm燃烧室缺陷智能判读方法，主要提升了srm燃烧室典型缺陷(界面脱粘与气孔)的判读准确度和判读效率。
45.参照图1，本发明的实现步骤如下：
46.步骤1：将srm燃烧室超大分辨率ct图像的原图像进行切图，切成宽高为640
×
640的若干小图，按照7﹕3进行分为训练样本和测试样本，其中overlop比例设置为0.2，步长为512；
47.所述切出的若干小图的训练样本，采用包括但不限于进行翻转、调整对比度、随机裁剪的数据增强方法进行图像数据增强。
48.所述切图方法为：以原图的左上角为起点按照640
×
640切图，记录切出来的小图像左上角坐标，以在标签定位中使用；根据切图思路，通过滑窗方法得出所切小图的左上角点和右下角点在原图中的坐标信息。最后根据坐标判断原图标注框是否在小图内部，以此确定该框相对于该小图的新坐标位置，确保所切小图中存在缺陷目标，同时剔除纯背景。综上实现离线切图的整个过程。
49.对于srm燃烧室超大分辨率ct图像中的典型缺陷目标，若reshape成小图再送入网络训练，缺陷目标会变得非常小，识别难度大，直接大图训练gpu显存难以满足，并且原图会消耗过多的cpu时间，导致训练时间严重增加，且推理速度变慢。
50.步骤2：对训练样本采用基于残差学习的马赛克和噪声同时去除方法，进行端到端对含噪、低分辨率空间到清晰、高分辨率空间之间的映射学习，得到去噪之后的训练样本；
51.步骤3：为更好地利用光学影像中的非局部相似特征信息来提高影像的质量，提出了利用视觉注意力机制和非局部特征增强卷积对训练样本中的非局部特征信息对去噪进行提取与增强，以高精度特征点检测方法与非线性优化相结合的方式，剔除ct影像缺陷检测时的干扰像素点，从而增强影像质量；
52.步骤4：在特征提取阶段，常规做法是将切分后的图片输入到resnet或者vggnet中进行特征提取，由于缺陷图像中考虑到多尺度和小目标的问题，故采用多层融合特征图或者增大特征图的分辨率的方法进行优化，将生成的特征图输入到特征金字塔模块中进行特征融合，输出通道数相同的特征图，
53.再将其送入到生成网络中进行前后景分类以及bbox回归。
54.采用hypernet方法融合多层特征网络的方式将深层、中层、浅层的特征融于一起，使得检测精度得到提升，同时该方法能够使特征细节更丰富，便于对缺陷小目标进行检测。
55.实施例中具体为：
56.基于mmdetection框架中集成的faster rcnn目标检测模型，backbone部分选取残差网络resnet50作为该模型的骨干特征提取网络，并在其中添加se注意力机制模块来增强网络模型提取缺陷特征的效果：
57.在neck部分，引入特征金字塔模块对backbone部分生成的不同尺度的特征图进行融合，得到多尺度特征图；
58.faster rcnn原有方法中在rpn产生proposal时为了避免重叠的框，使用了非极大抑制方法，删除了所有iou大于阈值的框，有时会造成遮挡缺陷目标时的漏检。因此在原有方法上采用不是简单的对iou大于阈值的检测框删除，而是通过降低置信度得分，使得在不增加计算量的情况下降低缺陷的漏检情况。
59.在head部分，以neck部分得到的多尺度特征图作为输入，采用区域生成网络rpn，生成锚框anchor和候选框proposal，实现对缺陷目标进行粗略的定位，根据置信度排序，设置阈值为0.5执行一次nms，超出阈值的候选框剔除，得到最终的候选框；再将候选框送到roi pooling模块中，进行缺陷类别划分与坐标回归；
60.步骤5：根据上述搭建的步骤进行网络训练得到训练好的模型，以测试样本对训练好的模型进行测试；
61.需要判读的srm燃烧室超大分辨率ct图像的原图，经过步骤1～步骤3处理后的样本输入训练和测试后的模型的进行预测，并输出药柱缺陷的类别和位置信息。
62.由于ct影像中的两类典型缺陷(界面脱粘、药柱气泡)存在类别不平衡现象，主要表现在脱粘缺陷较少，因此，在缺陷数据上采用了样本增强、数据重采样的方式增加数量，在损失函数上给不同类别相应增加不同的权重，在原有方法中rcnn部分的分类损失中使用了focal loss，使得缓解了类别不平衡的现象。综上所述，为满足实际需要，通过对原有方法进行一系列的改进之后训练得到对应的检测模型，再将训练所得模型用于测试环节，检
测缺陷类型并定位缺陷目标，以此验证模型的有效性。
63.本发明的效果可以通过以下实验做进一步的说明。
64.1.实验条件
65.本发明是在中央处理器为intel xeon@gold 5218r 2.1ghz cpu、内存128g、ubuntu18.04操作系统上，运用python语言进行实验。
66.2.实验数据
67.实验中使用的数据为涉密数据，不公开使用。
68.3.实验内容
69.首先，选用两阶段检测网络faster-rcnn作为baseline进行实验。两阶段算法对目标的识别准确率优于单阶段检测方法，并且通过实验验证所得该网络结构也满足实时性要求。采用预训练-微调的优化方法改进了网络收敛速度与检测精度。为了证明本发明的有效性，将本发明中使用的两阶段检测方法与单阶段检测yolov5方法进行对比，该方法的检测精度和实时性都要高于单阶段检测方法。对比结果如表1所示。
70.表1
[0071][0072]
从表1可见，相对于对比方法，本发明可以显著地提升界面脱粘和气泡缺陷的性能指标，这也表明了该网络模型的有效性，从而证明了本发明对于ct影像的srm燃烧室典型缺陷的检测具有很好的实用性。