基于双光检测缺陷的方法及相应的系统与流程

1.本技术属于电力设备缺陷检测领域，尤其涉及基于双光检测缺陷的方法及相应的系统。


背景技术：

2.缺陷检测是现有技术中经常会遇到的问题，通过对设备进行缺陷检测可以使用户实时了解运行中的设备是否出现问题，避免因缺陷造成设备宕机造成的经济损失，甚至避免由于电力设备的缺陷造成的人员伤亡。
3.目前缺陷检测的方式大致分为以下几种：
4.方式一：使用红外成像系统获取电力设备的运行过程中目标部件的图像，通过已标注的缺陷样本对目标部件进行检测，从而确定目部件是否出现缺陷。该方式在进行缺陷检测前，需要大量的标注工作，工作量极大。
5.方式二：使用红外成像系统获取电力设备的运行过程中目标部件的图像，通过分析图像的色彩特征来对图像进行分割，以检测缺陷。目前通过颜色分割来进行电力设备缺陷检测的问题之一就是成像分辨率不够，限制了成像的清晰度，无法通过色彩特征区分出较小的缺陷检测，例如，一些缺陷往往不会让设备的温度发生显著的变化，导致缺陷被漏检。
6.因此，目前缺陷检测的方式，均无法高效、准确地获取部件的缺陷。


技术实现要素：

7.本发明实施例的主要目的在于提供基于双光检测缺陷的方法及相应的系统，基于目标检测模型对可见光图片进行分析，可以清晰准确地判断出待检测目标的类型，基于缺陷检测模型对红外光图片进行分析，可以准确的确定缺陷类型和位置，提高了缺陷检测的准确性和效率。
8.第一方面，提供了基于双光检测缺陷的方法，所述方法包括：
9.通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；
10.通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；
11.如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；
12.通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
13.在一个可能的实现方式中，所述目标检测模型为yolov5s模型，所述缺陷检测模型为simclr模型和/或生成性对抗网络。
14.在另一个可能的实现方式中，所述判断所述可见光图片中的待检测目标的类型是
否为预设的目标类型，包括：
15.如果所述目标检测模型的输出结果的置信度高于预设的置信度阈值，则判断所述待检测目标的类型为预设的目标类型。
16.在另一个可能的实现方式中，所述通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷，包括：
17.通过拍摄设备在第一角度对所述待检测目标进行红外光拍摄，获取所述待检测目标的第一红外光图片；
18.通过预设的缺陷检测模型对所述第一红外光图片进行第一缺陷检测，获取所述待检测目标的第一缺陷检测结果；
19.根据所述第一缺陷检测结果获取所述缺陷的位置，通过拍摄设备在第二角度对缺陷进行红外光拍摄，获取所述缺陷的第二红外光图片；
20.通过预设的缺陷检测模型对所述第二红外光图片进行第二缺陷检测，获取所述待检测目标的第二缺陷检测结果；
21.如果所述第一缺陷检测结果和所述第二缺陷检测结果对应的缺陷位置的重合度大于或等于预设值，则将所述缺陷位置标记为目标缺陷位置。
22.在另一个可能的实现方式中，所述缺陷检测模型选用生成性对抗网络时，所述缺陷检测模型对所述红外光图片进行缺陷分析之前，训练所述缺陷检测模型的方法包括：
23.在无缺陷的所述待检测目标的红外光图片加上缺陷，作为第一缺陷图片，所述生成性对抗网络的生成器对所述第一缺陷图片进行修复，并交由所述生成性对抗网络的判别器分辨修复后的所述第一缺陷图片与无缺陷的所述待检测目标的红外光图片，所述生成性对抗网络经过训练后，所述判别器分辨所述第一缺陷图片与所述无缺陷的所述待检测目标的红外光图片的准确率等于预设阈值时，所述缺陷检测模型训练完成；
24.所述缺陷包括裂纹缺陷、豁缺口缺陷和漏油缺陷中的一种或多种组合。
25.第二方面，提供了一种基于双光检测缺陷的系统，所述系统包括：
26.可见光图片获取模块，用于通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；
27.目标类型判断模块，用于通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；
28.红外光图片获取模块，用于如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；
29.缺陷获取模块，用于通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
30.在一个可能的实现方式中，所述目标类型判断模块，包括：
31.目标类型判断单元，用于如果所述目标检测模型的输出结果的置信度高于预设的置信度阈值，则判断所述待检测目标的类型为预设的目标类型。
32.在另一个可能的实现方式中，所述缺陷获取模块，包括：
33.第一红外光图片获取单元，用于通过拍摄设备在第一角度对所述待检测目标进行红外光拍摄，获取所述待检测目标的第一红外光图片；
34.第一缺陷检测结果获取单元，用于通过预设的缺陷检测模型对所述第一红外光图
片进行第一缺陷检测，获取所述待检测目标的第一缺陷检测结果；
35.第二红外光图片获取单元，用于根据所述第一缺陷检测结果获取所述缺陷的位置，通过拍摄设备在第二角度对缺陷进行红外光拍摄，获取所述缺陷的第二红外光图片；
36.第二缺陷检测结果获取单元，用于通过预设的缺陷检测模型对所述第二红外光图片进行第二缺陷检测，获取所述待检测目标的第二缺陷检测结果；
37.缺陷确定单元，用于如果所述第一缺陷检测结果和第二缺陷检测结果对应的缺陷位置的重合度大于或等于预设值，则将所述缺陷位置标记为目标缺陷位置。
38.第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面提供的基于双光检测缺陷的方法。
39.第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面提供的基于双光检测缺陷的方法。
40.区别于现有技术：本技术提供一种基于双光检测缺陷的方法，该方法包括：通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
41.在本技术中，基于目标检测模型对可见光图片进行分析，可以清晰准确地判断出待检测目标的类型，基于缺陷检测模型对红外光图片进行分析，可以准确的确定缺陷类型和位置，提高了缺陷检测的准确性和效率。
42.进一步地，本技术通过生成性对抗网络或自监督深度学习方式，来训练缺陷检测模型，极大地减少了标注工作量，节省成本。使用制冷型红外成像设备获取红外图片，可以更加精细地对温度进行成像，可以检测套管的裂纹和缺口等多种缺陷。
附图说明
43.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
44.图1为本发明一个实施例提供的基于双光检测缺陷的方法的流程图；
45.图2为本发明再一个实施例提供的基于双光检测缺陷的方法的流程图；
46.图3为本发明一个实施例提供的基于双光检测缺陷的系统的结构图；
47.图4为本发明再一个实施例提供的基于双光检测缺陷的系统的结构图；
48.图5为本发明一种电子设备的实体结构示意图；
49.图6为本发明提供的基于双光检测缺陷的流程示意图。
50.具体实现方式
51.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本发明的限制。
52.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、模块、组件和/或它们的组。应该理解，当我们称模块被“连接”或“耦接”到另一模块时，它可以直接连接或耦接到其他模块，或者也可以存在中间模块。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
53.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实现方式作进一步地详细描述。
54.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如和解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
55.实施例一：
56.如图1所示为本发明一个实施例提供的基于双光检测缺陷的方法的流程图，所述方法包括：
57.步骤101，通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；
58.步骤102，通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；
59.步骤103，如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；
60.步骤104，通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
61.其中，待检测目标为套管，该套管为陶瓷套管、钢管套管等。
62.在本发明实施例中，对于缺陷检测大致分为两个步骤：1、通过类型检测，判断待检测目标是否为预设的目标类型(如：是否为套管、是否为陶瓷套管等)；2、如果是待检测目标类型，则通过预设的缺陷检测模型检测待检测目标，获取待检测目标的缺陷。对于目标类型检测，首先拍摄包含待检测目标的可见光照片，通过预设的目标检测模型对可见光照片进行类型分析，如果类型分析的结果为是预设的目标类型，则进行缺陷检测。对于缺陷检测，首先拍摄包含待检测目标的红外光图片，通过预设的缺陷检测模型对红外光图片进行缺陷分析，根据分析的结果确定待检测目标的缺陷，并标记该缺陷。其中，所述缺陷包括但不限于：裂纹缺陷、豁缺口缺陷和漏油缺陷中的一种或多种组合。
63.所述目标检测模型为yolov5s模型，所述缺陷检测模型为simclr模型和/或生成性对抗网络。目标检测模型可以选用yolov5s、resnet、fastrcnn或mobilenet模型中的一种；生成性对抗网络还可以选用dcgan、began、或者自监督模型simlcr或amdim。
64.其中，本实施例一中，所述目标检测模型为yolov5s模型，所述缺陷检测模型选用自监督模型中的simclr模型。
65.在本发明实施例中，simclr模型在训练时使用约90％的无标注数据进行预训练，然后使用约10％的有标注数据对预训练的结果进行微调，最后通过包含已知缺陷的任务对
微调的记过进行蒸馏，获取最终的检测模型。由于simclr模型采用了大量的无标注数据进行训练，极大的减轻了标注的工作量，提高了训练的效率。
66.对于给定的任意一张缺陷图片pi进行两次增广，对两幅经过增广的图片分别进行网络编码得到特征表达h
2k-1
，h
2k
，将特征应用到对比学习，其中，定义l
i,j
为：则损失定义为：其中，sim(
·
)表示余弦相似性，t表示温标参数，n表示每次输入图片总数，i和j表示不同的两张图像序号，i和j的取值范围为1～2n的自然数，k∈{1,....,n},通过不断降低l来更新网络。
67.其中，所述判断所述可见光图片中的待检测目标的类型是否为预设的目标类型，包括：
68.如果所述类型分析的结果的置信度高于预设的置信度阈值，则判断所述待检测目标的类型为预设的目标类型。
69.在本发明实施例中，目标检测模型的分析结果通常通过置信度来表示，将分析结果的置信度与预设的置信度阈值进行比较，如果置信度高于置信度阈值，则待检测目标为预设的目标类型，反之则不是预设的目标类型。如：判断待检测目标是否为套管，目标检测模型的分析结果为“是套管的置信度为0.45”，如果置信度阈值为0.4，则置信度高于置信度阈值，待检测目标为套管，如果置信度阈值为0.5，则置信度低于置信度阈值，待检测目标不是套管。需要指出的是，该置信度阈值可根据实际应用的需要进行设置，本技术对此不作限定。优选的，所述置信度阈值为0.45。
70.本发明实施例，通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。使得可见光图片可以清晰准确的判断出待检测目标的类型，红外光对已确定类型的目标可以准确的确定缺陷类型和位置，提高了缺陷检测的准确性和效率。
71.如图2所示为本发明再一个实施例提供的基于双光检测缺陷的方法的流程图，所述通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷，包括：
72.步骤201，通过拍摄设备在第一角度对所述待检测目标进行红外光拍摄，获取所述待检测目标的第一红外光图片；
73.步骤202，通过预设的缺陷检测模型对所述第一红外光图片进行第一缺陷检测，获取所述待检测目标的第一缺陷检测结果；
74.步骤203，根据所述第一缺陷检测结果获取所述缺陷的位置，通过拍摄设备在第二角度对缺陷进行红外光拍摄，获取所述缺陷的第二红外光图片；
75.步骤204，通过预设的缺陷检测模型对所述第二红外光图片进行第二缺陷检测，获
取所述待检测目标的第二缺陷检测结果；
76.步骤205，如果所述第一缺陷检测结果和所述第二缺陷检测结果对应的缺陷位置的重合度大于或等于预设值，则将所述缺陷位置标记为目标缺陷位置。
77.在本发明实施例中，对于缺陷位置的确定，首先从第一角度对待检测目标进行红外光拍摄，获取第一红外光图片，通过预设的缺陷检测模型对第一红外光图片进行第一缺陷检测，并获取第一缺陷检测结果；对第一缺陷检测结果对应的位置从第二角度对该位置进行红外光拍摄，获取第二红外光图片，通过预设的缺陷检测模型对第二红外光图片进行第二缺陷检测，并获取第二缺陷检测结果，如果第一缺陷检测结果对应的缺陷位置和第二缺陷检测结果对应的缺陷位置相同，则将该位置最终确定为缺陷。通过至少两次不同位置对缺陷进行拍摄红外光图片，进而对不同的红外光图片分别进行缺陷检测，通过两次缺陷检测的结果对缺陷进行判断，提高了缺陷检测结果的准确性。
78.实施例二：
79.在实施例一提供的基于双光检测缺陷的方法基础上，本实施例二的目标检测模型选用yolov5s模型，所述缺陷检测模型选用生成性对抗网络，例如边界平衡gan(boundary equilibrium gan，简称began)网络时，所述缺陷检测模型对所述红外光图片进行缺陷分析之前，训练所述缺陷检测模型的方法包括：
80.在无缺陷的所述待检测目标的红外光图片加上缺陷，作为第一缺陷图片，所述生成性对抗网络的生成器对所述第一缺陷图片进行修复，并交由所述生成性对抗网络的判别器分辨修复后的所述第一缺陷图片与无缺陷的所述待检测目标的红外光图片，所述生成性对抗网络经过训练后，所述判别器分辨所述第一缺陷图片与所述无缺陷的所述待检测目标的红外光图片的准确率等于预设阈值时，所述缺陷检测模型训练完成；
81.所述缺陷包括裂纹缺陷、豁缺口缺陷和漏油缺陷中的一种或多种组合。
82.其中，在无缺陷的所述待检测目标的红外光图片加上缺陷信息是人为随机加上，针对目标检测模型yolov5s在检测细微缺陷目标能力上的不足，本实施例二对目标检测模型yolov5s增加了卷积注意力模块(convolutional block attention module，简称cbam)，并在卷积注意力模块基础上又增加了小目标检测head，针对该head增加anchors:[4,6,8,12,10,23]增加anchors后使目标检测模型yolov5s可以覆盖最小像素为4～6像素，另外anchors可以根据需要自行定义参数。
[0083]
本实施例一中，预设阈值设为0.5，生成性对抗网络可以选用已配置完成的生成器和判别器，生成器可以直接生成第一缺陷图片，判别器也可以直接分辨修复后的第一缺陷图片与无缺陷的待检测目标的红外光图片，此时判别器的准确性高于预设阈值，在生成器和判别器不断对抗的过程中，判别器逐渐分辨不清修复后的第一缺陷图片与无缺陷图片，准确性逐渐降低直至达到0.5，此时缺陷检测模型训练完成。
[0084]
生成性对抗网络还可以选用已配置完成的生成器和未配置的判别器，生成器可以直接生成第一缺陷图片，但是判别器需要先学习和训练如何分辨修复后的第一缺陷图片与无缺陷图片，此时判别器的准确性低于预设阈值，但是在判别器经过学习和训练后，判别器可以直接分辨修复后的第一缺陷图片与无缺陷图片，此时判别器的准确性高于预设阈值，在生成器和判别器不断对抗的过程中，判别器逐渐分辨不清修复后的第一缺陷图片与无缺陷图片，准确性逐渐降低直至达到0.5，此时缺陷检测模型训练完成。
[0085]
生成性对抗网络还可以选用未配置的生成器和已配置完成的判别器，生成器需要先学习和训练如何修复带有缺陷的图片，判别器也可以直接分辨修复后的第一缺陷图片与无缺陷的待检测目标的红外光图片，此时判别器的准确性高于预设阈值，在生成器经过学习和训练后，判别器逐渐分辨不清修复后的第一缺陷图片与无缺陷图片，准确性逐渐降低直至达到0.5，此时缺陷检测模型训练完成。
[0086]
生成性对抗网络还可以选用未配置的生成器和未配置的判别器，生成器需要先学习和训练如何修复带有缺陷的图片，判别器也需要先学习和训练如何分辨修复后的第一缺陷图片与无缺陷图片，此时判别器的准确性低于预设阈值，在生成器和判别器不断学习和训练的过程中，判别器逐渐分辨不清修复后的第一缺陷图片与无缺陷图片，准确性逐渐降低直至达到0.5，此时缺陷检测模型训练完成。
[0087]
本实施例一中选用的无缺陷图片具有多样性以及多角度性。
[0088]
使用began网络作为缺陷检测模型的好处在于，在训练的过程中，只需要正常图片即可，即不存在缺陷的红外图片，避免了缺陷的多样性和不可预知性。在began网络中包括两个模块，即生成器和判别器。在生成器和判别器的训练过程中将没有缺陷的红外图片人为的随机加上一些缺陷上去，包括裂纹缺陷、豁缺口缺陷和漏油缺陷中的一种或多种组合，让began网络生成器去学习修复这些缺陷的网络，并交由判别器比较此图片与真实没有缺陷图片的真伪，经过多轮博弈循环后，得到达到要求的gan网络。此时在检测阶段，输入一个真实的缺陷样本，began网络会对此缺陷进行修复，基于局部二值模式(local binary pattern，简称lbp)就可以得到原有缺陷的信息。
[0089]
实施例三：
[0090]
如图3所示为本发明一个实施例提供的基于双光检测缺陷的系统的结构图，所述系统包括：
[0091]
可见光图片获取模块301，用于通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；
[0092]
目标类型判断模块302，用于通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；
[0093]
红外光图片获取模块303，用于如果所述目标检测模型输出的结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；
[0094]
缺陷获取模块304，用于通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
[0095]
其中，待检测目标为套管，该套管为陶瓷套管、钢管套管等。
[0096]
在本发明实施例中，对于缺陷检测大致分为两个步骤：1、通过类型检测，判断待检测目标是否为预设的目标类型(如：是否为套管、是否为陶瓷套管等)；2、如果是待检测目标类型，则通过预设的缺陷检测模型检测待检测目标，获取待检测目标的缺陷。对于目标类型检测，首先拍摄包含待检测目标的可见光照片，通过预设的目标检测模型对可见光照片进行类型分析，如果类型分析的结果为是预设的目标类型，则进行缺陷检测。对于缺陷检测，首先拍摄包含待检测目标的红外光图片，通过预设的缺陷检测模型对红外光图片进行缺陷分析，根据分析的结果确定待检测目标的缺陷，并标记该缺陷。其中，所述缺陷包括但不限于：裂纹缺陷、豁缺口缺陷和漏油缺陷中的一种或多种组合。
[0097]
所述目标检测模型为yolov5s模型，所述缺陷检测模型为simclr模型和/或生成性对抗网络。目标检测模型可以选用yolov5s、resnet、fastrcnn或mobilenet模型中的一种；生成性对抗网络还可以选用dcgan、began、或者自监督模型simlcr或amdim。
[0098]
其中，所述目标检测模型为yolov5s模型，所述缺陷检测模型选用自监督模型中的simclr模型。
[0099]
在本发明实施例中，simclr模型在训练时使用约90％的无标注数据进行预训练，然后使用约10％的有标注数据对预训练的结果进行微调，最后通过包含已知缺陷的任务对微调的记过进行蒸馏，获取最终的检测模型。由于simclr模型采用了大量的无标注数据进行训练，极大的减轻了标注的工作量，提高了训练的效率。
[0100]
对于给定的任意一张缺陷图片pi进行两次增广，对两幅经过增广的图片分别进行网络编码得到特征表达h
2k-1
，h
2k
，将特征应用到对比学习，其中，定义l
i,j
为：则损失定义为：其中，sim(
·
)表示余弦相似性，t表示温标参数，n表示每次输入图片总数，i和j表示不同的两张图像序号，i和j的取值范围为1～2n的自然数，k∈{1,....,n},通过不断降低l来更新网络。
[0101]
其中，所述目标类型判断模块302，包括：
[0102]
目标类型判断单元，用于如果所述类型分析的结果的置信度高于预设的置信度阈值，则判断所述待检测目标的类型为预设的目标类型。
[0103]
在本发明实施例中，目标检测模型的分析结果通常通过置信度来表示，将分析结果的置信度与预设的置信度阈值进行比较，如果置信度高于置信度阈值，则待检测目标为预设的目标类型，反之则不是预设的目标类型。如：判断待检测目标是否为套管，目标检测模型的分析结果为“是套管的置信度为0.45”，如果置信度阈值为0.4，则置信度高于置信度阈值，待检测目标为套管，如果置信度阈值为0.5，则置信度低于置信度阈值，待检测目标不是套管。需要指出的是，该置信度阈值可根据实际应用的需要进行设置，本技术对此不作限定。优选的，所述置信度阈值为0.45。
[0104]
本发明实施例，通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。使得可见光图片可以清晰准确的判断出待检测目标的类型，红外光对已确定类型的目标可以准确的确定缺陷类型和位置，提高了缺陷检测的准确性和效率。
[0105]
实施例四：
[0106]
如图4所示为本发明一个实施例提供的基于双光检测缺陷的系统的结构图，所述缺陷获取模块304，包括：
[0107]
第一红外光图片获取单元401，用于通过拍摄设备在第一角度对所述待检测目标
进行红外光拍摄，获取所述待检测目标的第一红外光图片；
[0108]
第一缺陷检测结果获取单元402，用于通过预设的缺陷检测模型对所述第一红外光图片进行第一缺陷检测，获取所述待检测目标的第一缺陷检测结果；
[0109]
第二红外光图片获取单元403，用于根据所述第一缺陷检测结果获取所述缺陷的位置，通过拍摄设备在第二角度对缺陷进行红外光拍摄，获取所述缺陷的第二红外光图片；
[0110]
第二缺陷检测结果获取单元404，用于通过预设的缺陷检测模型对所述第二红外光图片进行第二缺陷检测，获取所述待检测目标的第二缺陷检测结果；
[0111]
缺陷确定单元405，用于如果所述第一缺陷检测结果和所述第二缺陷检测结果对应的缺陷位置的重合度大于或等于预设值，则将所述缺陷位置标记为目标缺陷位置。
[0112]
在本发明实施例中，对于缺陷位置的确定，首先从第一角度对待检测目标进行红外光拍摄，获取第一红外光图片，通过预设的缺陷检测模型对第一红外光图片进行第一缺陷检测，并获取第一缺陷检测结果；对第一缺陷检测结果对应的位置从第二角度对该位置进行红外光拍摄，获取第二红外光图片，通过预设的缺陷检测模型对第二红外光图片进行第二缺陷检测，并获取第二缺陷检测结果，如果第一缺陷检测结果对应的缺陷位置和第二缺陷检测结果对应的缺陷位置相同，则将该位置最终确定为缺陷。通过至少两次不同位置对缺陷进行拍摄红外光图片，进而对不同的红外光图片分别进行缺陷检测，通过两次缺陷检测的结果对缺陷进行判断，提高了缺陷检测结果的准确性。
[0113]
实施例五：
[0114]
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(communications interface)502、存储器(memory)503和通信总线504，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行基于双光检测缺陷的方法，该方法包括：通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
[0115]
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0116]
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于双光检测缺
陷的方法，该方法包括：通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
[0117]
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于双光检测缺陷的方法，该方法包括：通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
[0118]
如图6所示为本发明提供的基于双光检测缺陷的流程示意图，该流程包括：
[0119]
步骤601，获取套管的可见光图片数据集，将该可见光图片数据集设置为可见光样本图片；
[0120]
步骤602，通过可见光样本图片对预设的目标检测模型进行训练，获取经过训练的目标检测模型；
[0121]
步骤603，通过可见光拍摄设备对待检测目标进行拍摄，获取待检测目标的可见光图片；
[0122]
步骤604，将可见光图片输入经过训练的目标检测模型，判断该可将光图片对应的是否为套管；
[0123]
步骤605，如果是，则通过红外管拍摄设备在不同角度对待检测目标拍摄至少2张红外光图片，并执行步骤608，如果否，则执行步骤611；
[0124]
步骤606，获取套管的红外光缺陷数据集，将该红外光缺陷数据集设置为红外光样本图片；
[0125]
步骤607，通过红外光样本图片对预设的缺陷检测模型进行训练，获取经过训练的红外光缺陷模型；
[0126]
步骤608，将至少2张红外光图片输入经过训练的红外光缺陷模型，获取该至少2张红外光图片的缺陷检测结果；
[0127]
步骤609，如果至少2张红外光图片的缺陷检测结果的缺陷位置的重合度大于或等于预设值，则待确定缺陷位置为缺陷位置，并执行步骤610，如果重合度小于预设值，则执行步骤611；
[0128]
步骤610，标记该缺陷位置，并输出该缺陷位置；
[0129]
步骤611，结束缺陷检测流程。
[0130]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一
部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0131]
以上所述仅是本发明的部分实现方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。