器件检测方法及模型训练方法与流程

本技术涉及图像处理与机器视觉，尤其涉及一种器件检测方法及模型训练方法。

背景技术：

1、在现代制造过程中，对生产的器件质量把控的要求日益严格，器件的好坏对产品的性能至关重要，因此需要对生产的器件进行缺陷检测。

2、相关技术中，将器件图片输入至训练好的缺陷检测模型，进行缺陷检测。然而相关的缺陷检测方法，在模型训练时使用的特征图为固定大小，且只能针对单一结构的器件进行检测，在对微小器件和结构复杂的器件进行检测时，存在检测准确率不高的问题。

技术实现思路

1、本技术实施例提供一种器件检测方法及模型训练方法，用于解决现有的缺陷检测方法在对微小器件和结构复杂的器件进行检测时，存在检测准确率不高的问题。

2、第一方面，本技术实施例提供一种器件检测方法，包括：

3、获取目标器件对应的目标图像；

4、对所述目标图像的多尺度特征进行处理，得到所述目标图像的通道注意力特征和空间注意力特征，所述通道注意力特征用于指示所述目标器件在多个特征通道的特征，所述空间注意力特征用于指示所述目标器件的多个位置的特征；

5、根据所述通道注意力特征和所述空间注意力特征，确定所述目标器件的器件检测结果。

6、在一种可能的实现方式中，对所述目标图像的多尺度特征进行处理，得到所述目标图像的通道注意力特征和空间注意力特征，包括：

7、获取所述多尺度特征的合并特征和池化特征；

8、对所述合并特征进行通道注意力处理，得到通道注意力特征；

9、对所述池化特征进行空间注意力处理，得到空间注意力特征。

10、在一种可能的实现方式中，所述合并特征包括平均合并特征和最大合并特征；对所述合并特征进行通道注意力处理，得到通道注意力特征，包括：

11、通过多层感知机对所述平均合并特征进行处理，得到第一合并特征；

12、通过所述多层感知机对所述最大合并特征进行处理，得到第二合并特征；

13、对所述第一合并特征和所述第二合并特征进行合并处理，得到第一目标特征；

14、通过预设的激活函数对所述第一目标特征进行处理，得到所述通道注意力特征。

15、在一种可能的实现方式中，所述池化特征包括平均池化特征和最大池化特征；对所述池化特征进行空间注意力处理，得到空间注意力特征，包括：

16、对所述平均池化特征和所述最大池化特征进行拼接处理，得到第二目标特征；

17、对所述第二目标特征进行卷积处理，得到第三目标特征；

18、通过预设的激活函数对所述第三目标特征进行处理，得到所述空间注意力特征。

19、在一种可能的实现方式中，根据所述通道注意力特征和所述空间注意力特征，确定所述目标器件的器件检测结果，包括：

20、对所述通道注意力特征和所述空间注意力特征进行融合处理，得到融合注意力特征；

21、根据所述融合注意力特征，确定所述目标图像的图像类型，所述图像类型包括以下其中之一：所述目标器件的正面、所述目标器件的反面、所述目标器件的侧面；

22、根据所述融合注意力特征和所述图像类型，确定所述器件检测结果。

23、在一种可能的实现方式中，对所述目标图像的多尺度特征进行处理，得到所述目标图像的通道注意力特征和空间注意力特征，包括：

24、通过目标模型对所述目标图像进行多尺度特征提取处理，得到所述多尺度特征；

25、通过所述目标模型对所述多尺度特征进行处理，得到所述通道注意力特征和所述空间注意力特征；

26、根据所述通道注意力特征和所述空间注意力特征，确定所述目标器件的器件检测结果，包括：

27、通过所述目标模型对所述通道注意力特征和所述空间注意力特征进行处理，得到所述器件检测结果。

28、第二方面，本技术实施例提供一种模型训练方法，包括：

29、获取样本数据，所述样本数据中包括样本器件的多张样本图像和各样本图像的标注信息，所述标注信息包括标注图像类型和标注器件检测结果；

30、通过预设模型的特征提取模块，获取各样本图像的多尺度特征；

31、通过所述预设模型的注意力模块对各样本图像的多尺度特征进行处理，得到各样本图像的融合注意力特征；

32、通过所述预设模型的多任务模块对各样本图像的融合注意力特征进行处理，得到各样本图像的预测图像类型和预测器件检测结果；

33、根据各样本图像的标注信息、预测图像类型和预测器件检测结果，更新所述预设模型的模型参数，得到目标模型，所述目标模型用于确定目标器件的器件检测结果。

34、在一种可能的实现方式中，根据各样本图像的标注信息、预测图像类型和预测器件检测结果，更新所述预设模型的模型参数，得到目标模型，包括：

35、确定分类损失函数、所述分类损失函数的第一权重、检测损失函数、以及所述检测损失函数的第二权重；

36、根据所述分类损失函数、所述第一权重、所述检测损失函数和所述第二权重，确定目标损失函数；

37、根据各样本图像的标注信息、预测图像类型、预测器件检测结果和所述目标损失函数，确定损失值；

38、根据所述损失值更新所述预设模型的模型参数，得到目标模型。

39、在一种可能的实现方式中，获取样本数据，包括：

40、获取对所述样本器件的初始图像；

41、对所述初始图像进行图像增强处理，得到所述多张样本图像；所述图像增强处理包括如下至少一项：空间变换处理、颜色扰动处理或混合增强处理；

42、获取各样本图像的标注信息；

43、根据所述多张样本图像和各样本图像的标注信息，得到所述样本数据。

44、第三方面，本技术实施例提供一种器件检测装置，所述装置包括：

45、第一获取模块，用于获取目标器件对应的目标图像；

46、第一处理模块，用于对所述目标图像的多尺度特征进行处理，得到所述目标图像的通道注意力特征和空间注意力特征，所述通道注意力特征用于指示所述目标器件在多个特征通道的特征，所述空间注意力特征用于指示所述目标器件的多个位置的特征；

47、第一检测模块，用于根据所述通道注意力特征和所述空间注意力特征，确定所述目标器件的器件检测结果。

48、在一种可能的实现方式中，第一处理模块具体用于：

49、获取所述多尺度特征的合并特征和池化特征；

50、对所述合并特征进行通道注意力处理，得到通道注意力特征；

51、对所述池化特征进行空间注意力处理，得到空间注意力特征。

52、在一种可能的实现方式中，第一处理模块具体用于：

53、通过多层感知机对所述平均合并特征进行处理，得到第一合并特征；

54、通过所述多层感知机对所述最大合并特征进行处理，得到第二合并特征；

55、对所述第一合并特征和所述第二合并特征进行合并处理，得到第一目标特征；

56、通过预设的激活函数对所述第一目标特征进行处理，得到所述通道注意力特征。

57、在一种可能的实现方式中，第一处理模块具体用于：

58、对所述平均池化特征和所述最大池化特征进行拼接处理，得到第二目标特征；

59、对所述第二目标特征进行卷积处理，得到第三目标特征；

60、通过预设的激活函数对所述第三目标特征进行处理，得到所述空间注意力特征。

61、在一种可能的实现方式中，第一检测模块具体用于：

62、对所述通道注意力特征和所述空间注意力特征进行融合处理，得到融合注意力特征；

63、根据所述融合注意力特征，确定所述目标图像的图像类型，所述图像类型包括以下其中之一：所述目标器件的正面、所述目标器件的反面、所述目标器件的侧面；

64、根据所述融合注意力特征和所述图像类型，确定所述器件检测结果。

65、在一种可能的实现方式中，第一处理模块具体用于：

66、通过目标模型对所述目标图像进行多尺度特征提取处理，得到所述多尺度特征；

67、通过所述目标模型对所述多尺度特征进行处理，得到所述通道注意力特征和所述空间注意力特征；

68、根据所述通道注意力特征和所述空间注意力特征，确定所述目标器件的器件检测结果，包括：

69、通过所述目标模型对所述通道注意力特征和所述空间注意力特征进行处理，得到所述器件检测结果。

70、第四方面，本技术实施例提供一种模型训练装置，所述装置包括：

71、第二获取模块，用于获取样本数据，所述样本数据中包括样本器件的多张样本图像和各样本图像的标注信息，所述标注信息包括标注图像类型和标注器件检测结果；

72、第三获取模块，用于通过预设模型的特征提取模块，获取各样本图像的多尺度特征；

73、第二处理模块，用于通过所述预设模型的注意力模块对各样本图像的多尺度特征进行处理，得到各样本图像的融合注意力特征；

74、第二检测模块，用于通过所述预设模型的多任务模块对各样本图像的融合注意力特征进行处理，得到各样本图像的预测图像类型和预测器件检测结果；

75、更新模块，用于根据各样本图像的标注信息、预测图像类型和预测器件检测结果，更新所述预设模型的模型参数，得到目标模型，所述目标模型用于确定目标器件的器件检测结果。

76、在一种可能的实现方式中，更新模块具体用于：

77、确定分类损失函数、所述分类损失函数的第一权重、检测损失函数、以及所述检测损失函数的第二权重；

78、根据所述分类损失函数、所述第一权重、所述检测损失函数和所述第二权重，确定目标损失函数；

79、根据各样本图像的标注信息、预测图像类型、预测器件检测结果和所述目标损失函数，确定损失值；

80、根据所述损失值更新所述预设模型的模型参数，得到目标模型。

81、在一种可能的实现方式中，第二获取模块具体用于：

82、获取对所述样本器件的初始图像；

83、对所述初始图像进行图像增强处理，得到所述多张样本图像；所述图像增强处理包括如下至少一项：空间变换处理、颜色扰动处理或混合增强处理；

84、获取各样本图像的标注信息；

85、根据所述多张样本图像和各样本图像的标注信息，得到所述样本数据。

86、第五方面，本技术实施例提供一种电子设备，包括：存储器和处理器；

87、所述存储器中存储有计算机程序；

88、所述处理器被设置为通过所述计算机程序执行第一方面和/或第二方面任一项所述的方法。

89、第六方面，本技术实施例提供一种算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被控制器执行时用于实现如第一方面和/或第二方面任一项所述的方法。

90、第七方面，本技术实施例提供一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被控制器执行时实现如第一方面和/或第二方面任一项所述的方法。

91、本技术实施例提供的器件检测方法及模型训练方法，获取目标器件对应的目标图像；对目标图像的多尺度特征进行处理，得到目标图像的通道注意力特征和空间注意力特征，通道注意力特征用于指示目标器件在多个特征通道的特征，空间注意力特征用于指示目标器件的多个位置的特征；根据通道注意力特征和空间注意力特征，确定目标器件的器件检测结果。通过获取目标图像的通道注意力特征，可以全面的捕捉目标图像的全局重要特征；通过获取目标图像的空间注意力特征，可以捕捉特征图像的微小细节，提高了对微小器件检测的准确率。