一种表面缺陷数据增强方法、装置、电子设备及存储介质与流程

1.本技术涉及图像数据处理技术领域，具体而言，涉及一种表面缺陷数据增强方法、装置、电子设备及存储介质。


背景技术：

2.目前，机器视觉表面缺陷检测是机器学习在工业上较成熟的应用之一， 包括基于视觉特征的缺陷检测方法和基于深度学习的缺陷检测方法等。在进行表面缺陷检测时，若存在数据量缺乏或数据质量不高的情况，需要采用数据增强的步骤。
3.现有数据增强方法大都直接采用几何变换、像素变换以及裁剪等基础变换方式，缺陷数据的扩充范围为图片全局，无法在某些特定的需求位置进行数据扩充，导致在表面缺陷检测时无法对特定需求位置进行缺陷检测。


技术实现要素：

4.本技术实施例的目的在于提供一种表面缺陷数据增强方法，用以实现在表面缺陷检测时对特定需求位置进行数据增强。
5.第一方面，本技术实施例提供一种表面缺陷数据增强方法，包括：获取待增强的表面缺陷数据；获取待增强部位信息；根据待增强部位信息对表面缺陷数据进行划分；对划分后的表面缺陷数据进行数据增强。在上述方案的实现过程中，通过根据待增强部位信息对表面缺陷数据进行划分，然后对划分后的表面缺陷数据分别进行数据增强，实现了针对特定位置的数据增强，从而可以实现针对特定位置的表面缺陷检测。
6.可选地，在本技术实施例中，在所述根据待增强部位信息对表面缺陷数据进行划分前，还包括：对所述表面缺陷数据进行初次数据增强，获得经过初次数据增强后的表面缺陷数据；所述根据待增强部位信息对表面缺陷数据进行划分，包括：根据待增强部位信息对初次数据增强后的表面缺陷数据进行划分。在上述方案的实现过程中，通过对表面缺陷数据进行初次数据增强，不仅在数量上实现了对数据进行增强，还有效保证了对表面缺陷数据进行划分的效果。
7.可选地，在本技术实施例中，初次数据增强的方式包括：基于几何变换的数据增强、基于色彩变换的数据增强、以及基于像素变换的数据增强中的至少一者。在上述方案的实现过程中，通过多种方式来实现对表面缺陷数据的初次数据增强，可以采用几何变换、色彩变换和像素变换方式中的任意一种或几种来实现对样本的初次增强，从而为后续对表面缺陷数据进行划分提供数据支撑，改善数据划分效果。
8.可选地，在本技术实施例中，对划分后的表面缺陷数据分别进行数据增强的增强方式，包括：基于几何变换的数据增强、基于色彩变换的数据增强、以及基于像素变换的数据增强中的至少一者。在上述方案的实现过程中，通过多种方式来实现对表面缺陷数据的数据增强，可以采用几何变换、色彩变换和像素变换方式中的任意一种或几种来实现对样本的再次增强，区别于初次增强的全局增强后方式，再次增强是针对划分后的表面缺陷数
据进行的；初次增强目的在于对全局样本进行扩充，以改善区域划分效果；再次增强的目的在于对划分后的样本进行再次扩充；采用初次增强配合再次增强的方式，可以有效改善针对划分后各样本数据的增强效果，从而可以有针对性地实现待增强部位的表面缺陷检测。
9.可选地，在本技术实施例中，待增强的表面缺陷数据包括：待增强的齿轮表面缺陷数据；所述根据待增强部位信息对表面缺陷数据进行划分，包括：根据待增强部位信息将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据。在上述方案的实现过程中，通过待增强部位信息将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据，实现了针对齿轮特定位置的数据增强；然后通过对齿面缺陷数据和齿底缺陷数据分别进行数据增强，进而通过齿面缺陷增强数据和齿底缺陷增强数据对表面缺陷检测网络进行训练，从而使得后续在针对齿轮表面进行缺陷检测时实现对不同齿轮部位的针对性缺陷检测。
10.可选地，在本技术实施例中，待增强部位信息包括：齿面数据模板与齿底数据模板；所述根据待增强部位信息对齿轮表面缺陷数据进行划分，包括：针对齿面数据模板和齿底数据模板，采用特征点匹配法将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据。在上述方案的实现过程中，基于齿面数据模板与齿底数据模板，采用特征点匹配法将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据，实现了针对齿轮特定位置的数据增强；然后通过对齿面缺陷数据和齿底缺陷数据分别进行数据增强，进而通过齿面缺陷增强数据和齿底缺陷增强数据对表面缺陷检测网络进行训练，从而使得后续在针对齿轮表面进行缺陷检测时实现对不同齿轮部位的针对性缺陷检测。
11.可选地，在本技术实施例中，对划分后的表面缺陷数据分别进行数据增强，包括：分别获取划分后的表面缺陷数据的低频分量；根据低频分量对划分后的表面缺陷数据分别进行数据增强。在上述方案的实现过程中，由于数字图像的低频分量表征图像的灰度值以及亮度等信息，高频分量表征图像的边缘、噪声以及细节信息，通过对低频分量进行数据增强而保留高频分量的方式，使得图像的细节信息得到有效保留，在对数量进行增强的基础上，还保证了扩充数据的质量，有效改善了表面缺陷数据的数据增强效果。使用经过上述增强方式之后的数据对表面缺陷检测网络进行训练，可以获得更好的训练及学习效果，进一步提高表面缺陷检测网络的检测精度。
12.第二方面，本技术实施例还提供了一种表面缺陷数据增强装置，包括：待增强表面缺陷数据获取模块，用于获取待增强的表面缺陷数据；待增强部位信息获取模块，用于获取待增强部位信息；数据划分模块，用于根据待增强部位信息对表面缺陷数据进行划分；数据增强模块，用于对划分后的表面缺陷数据分别进行数据增强。
13.可选地，在本技术实施例中，表面缺陷数据增强装置还包括：初次数据增强模块，用于对待增强表面缺陷数据获取模块获取的待增强的表面缺陷数据进行初次数据增强；数据划分模块根据待增强部位信息对初次数据增强后的表面缺陷数据进行划分。
14.可选地，在本技术实施例中，初次数据增强模块的数据增强方式包括：基于几何变换的数据增强、基于色彩变换的数据增强、以及基于像素变换的数据增强中的至少一者。
15.可选地，在本技术实施例中，数据增强模块对划分后的表面缺陷数据分别进行数据增强的增强方式包括：基于几何变换的数据增强、基于色彩变换的数据增强、以及基于像素变换的数据增强中的至少一者。
16.可选地，在本技术实施例中，待增强表面缺陷数据获取模块所获取的待增强的表面缺陷数据包括：待增强的齿轮表面缺陷数据。数据划分模块具体为：根据待增强部位信息将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据。
17.可选地，在本技术实施例中，待增强部位信息获取模块所获取的待增强部位信息包括：齿面数据模板与齿底数据模板。数据划分模块具体为：针对齿面数据模板和齿底数据模板，采用特征点匹配法将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据。
18.可选地，在本技术实施例中，数据增强模块包括：低频分量获取单元，用于获取划分后的表面缺陷数据的低频分量；数据增强单元，用于根据低频分量对划分后的表面缺陷数据分别进行数据增强。
19.第三方面，本技术实施例还提供了一种电子设备，包括：处理器、存储器和总线，处理器和存储器通过总线完成相互间的通信；存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行如上面描述的方法。
20.第四方面，本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
21.本技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
22.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
23.图1为本技术实施例提供的电子设备（例如服务器）执行的表面缺陷数据增强方法的流程示意图；图2为本技术实施例提供的表面缺陷数据增强方法应用于齿轮表面缺陷数据增强场景下的流程示意图；图3为本技术实施例提供的对划分后的表面缺陷数据分别进行数据增强的方法的流程示意图；图4为本技术实施例提供的表面缺陷数据增强装置的结构示意图；图5为本技术实施例提供的表面缺陷数据增强方法在齿轮表面缺陷数据增强场景下的流程示意图；图6为本技术实施例提供的电子设备的结构示意图。
具体实施方式
24.下面将结合附图对本技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本技术的技术方案，因此只作为示例，而不能以此来限制本技术的保护范围。
25.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的
技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。
26.在本技术实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本技术实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
27.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
28.在本技术实施例的描述中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
29.在本技术实施例的描述中，术语“多个”指的是两个以上（包括两个），同理，“多组”指的是两组以上（包括两组），“多片”指的是两片以上（包括两片）。
30.在本技术实施例的描述中，技术术语“中心”“纵向”“横向”“长度”“宽度”“厚度”“上”“下”“前”“后”“左”“右”“竖直”“水平”“顶”“底”“内”“外”“顺时针”“逆时针”“轴向”“径向”“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术实施例的限制。
31.在本技术实施例的描述中，除非另有明确的规定和限定，技术术语“安装”“相连”“连接”“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；也可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术实施例中的具体含义。
32.需要说明的是，本技术实施例提供的表面缺陷数据增强方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器，设备终端例如：智能手机、个人电脑、平板电脑、个人数字助理或者移动上网设备等。服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和unix服务器。
33.请参见图1示出的本技术实施例提供的电子设备（例如服务器）执行的表面缺陷数据增强方法的流程示意图；该方法可以应用于电子设备（例如服务器），该方法的主要思路为：通过获取待增强部位信息实现对表面缺陷数据的划分，从而对划分后的表面缺陷数据分别进行数据增强，实现了针对特定需求位置进行数据扩充。上述表面缺陷数据增强方法的实施方式可以包括：步骤s110：获取待增强的表面缺陷数据；步骤s120：获取待增强部位信息；步骤s130：根据待增强部位信息对表面缺陷数据进行划分；步骤s140：对划分后的表面缺陷数据分别进行数据增强。
34.在步骤s110中，待增强的表面缺陷数据可以为待增强的表面缺陷图像，可以是红外图像、遥感图像、可见光图像以及偏振图像等，能够实现表面缺陷检测即可。
35.在步骤s120中，待增强部位信息至少包括待增强部位的模板数据，还可以包括待增强部位的名称。待增强部位信息可以由用户上传，也可以在相关开源数据库中检索获取，当然也可以使用爬虫爬取相关的模板数据。
36.在步骤s130中，根据待增强部位的模板数据，将表面缺陷数据中的数据与模板数据进行对比，两者相似度满足预设阈值的即可认为是与数据模板相匹配的部位，从而实现对表面缺陷数据的划分。
37.在步骤s140中，对划分后的表面缺陷数据分别进行数据增强的方式可以采用例如尺寸变换和色彩变换等基础数据增强方式，也可以采用基于深度学习的数据增强方法。其中，基于深度学习的数据增强方法例如基于生成对抗网络的数据增强方法等。
38.通过根据待增强部位信息对表面缺陷数据进行划分，然后对划分后的表面缺陷数据分别进行数据增强，实现了针对特定位置的数据增强，从而可以实现针对特定位置的表面缺陷检测。
39.作为上述表面缺陷数据增强方法的一种可选实施方式，在步骤s140中可以在划分后的表面缺陷数据中选择若干种类的划分后的表面缺陷数据进行增强，也可以针对一种类型的数据进行增强，例如在对齿轮表面缺陷数据进行数据增强时，首先将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据，然后根据具体的应用场景，可以选择仅对齿面缺陷数据或齿底缺陷数据进行数据增强，也可以对齿面缺陷数据和齿底缺陷数据进行增强。
40.作为上述表面缺陷数据增强方法的一种可选实施方式，在步骤s130根据待增强部位信息对表面缺陷数据进行划分前，还包括：对表面缺陷数据进行初次数据增强，获得经过初次数据增强后的表面缺陷数据。该实施方式可以包括：步骤s150：对所述表面缺陷数据进行初次数据增强，获得经过初次数据增强后的表面缺陷数据。
41.步骤s130具体为：根据待增强部位信息对初次数据增强后的表面缺陷数据进行划分。
42.其中，对表面缺陷数据进行初次数据增强的目的在于：能够实现对表面缺陷数据的有效划分，后续配合对划分后数据的再次增强。采用初次增强配合再次增强的方式，可以有效改善划分后各样本数据的增强效果。
43.作为上述表面缺陷数据增强方法的一种可选实施方式，步骤s150中的初次数据增强方式包括：基于几何变化的数据增强、基于色彩变化的数据增强以及基于像素变换的数据增强中的至少一者。
44.通过多种方式来实现对表面缺陷数据的初次数据增强，可以采用几何变换、色彩变换和像素变换方式中的任意一种或几种来实现对样本的初次增强，从而为后续对表面缺陷数据进行划分提供数据支撑，改善数据划分效果。
45.作为上述表面缺陷数据增强方法的一种可选实施方式，步骤s140中的数据增强方式包括：基于几何变化的数据增强、基于色彩变化的数据增强以及基于像素变换的数据增强中的至少一者。
46.本技术实施例通过多种方式来实现对表面缺陷数据的数据增强，可以采用几何变
换、色彩变换和像素变换方式中的任意一种或几种来实现对样本的再次增强，区别于初次增强的全局增强后方式，再次增强是针对划分后的表面缺陷数据进行的；初次增强目的在于对全局样本进行扩充，以改善区域划分效果；再次增强的目的在于对划分后的样本进行扩充；采用初次增强配合再次增强的方式，可以有效改善划分后各样本数据的增强效果。
47.下面详细介绍三种数据增强方式：第一种方式，基于几何变化的数据增强，对数据集进行空间几何变换以实现数据增强，主要包括：翻转、旋转、裁剪、缩放、移位与边缘填充等方式。
48.第二种方式，基于色彩变化的数据增强，对数字图像色彩空间进行调节以实现数据增强，主要包括：在色彩通道上进行亮度调节和色度调剂、色彩空间转换等方式。
49.第三种方式，基于像素变换的数据增强，以数字图像的像素为基础实现数据增强，主要包括：噪声、模糊、图像融合、信息删除等。
50.需要指出的是，基于图像融合的数据增强方式包括：（1）smote方法：该方法将提取的图像特征映射到特征空间，在确定采样倍率后选取几个最相邻的样本，从中随机选取一个连线，并在连线上随机选取一个点作为新的样本点，重复至样本均衡。
51.（2）mixup方法：该方法再数据集中随机抽取两条数据，然后将抽取到的图像数据的像素值进行符合beat分布的融合比例的线性加权求和，同时将样本对应的one-hot向量标签也对应加权求和，预测生成的新样本与加权求和后的标签的损失，进行反向求导并更新参数，同时抽取批量数据并进行随机打散后进行加权求和。
52.（3）cutmix方法：该方法将随机选中的区域填充其他图像的补丁区域。
53.（4）sample pairing方法：该方法首先从数据集中随机选择两种图片，再经像素取平均值，最后叠加合成一个新的样本。
54.上述四种方法在获取新的样本之后均会在缺陷边缘部分出现像素梯度变化不均的问题，使得卷积网络在进行特征学习时的效果不佳。
55.因此本技术实施例提出下述图像融合方式：泊松融合：该方法使用背景图像的梯度场作为指导场计算融合梯度场，可以根据原图像的梯度信息以及目标缺陷图像的边界信息，利用插值的方法重新构建出合成区域内的图像像素。
56.作为上述表面缺陷数据增强方法的一种可选实施方式，待增强的表面缺陷数据包括：待增强的齿轮表面缺陷数据；根据待增强部位信息将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据。如图2所示，该实施方式可以包括：步骤s210：获取待增强的齿轮表面缺陷数据；步骤s220：获取待增强部位信息；步骤s230：根据待增强部位信息将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据；步骤s240：分别对齿面缺陷数据和齿底缺陷数据进行数据增强。
57.其中，步骤s210中的待增强的齿轮表面缺陷数据可以是齿轮表面缺陷的图像，可以是红外图像、遥感图像、可见光图像以及偏振图像等，能够实现表面缺陷检测即可。步骤s220中的待增强部位信息包括待增强部位的模板数据，可以由用户上传，也可以在相关开
源数据库中检索获取。步骤s230根据齿轮待增强部位的模板数据，将表面缺陷数据中的数据与模板数据进行对比，两者相似度满足预设阈值的即可认为是与数据模板相匹配的部位，从而实现对齿轮表面缺陷数据的划分。步骤s240对划分后的表面缺陷数据分别进行数据增强的方式可以采用例如尺寸变换和色彩变换等基础数据增强方式，也可以采用基于深度学习的数据增强方法。其中，基于深度学习的数据增强方法例如基于生成对抗网络的数据增强方法等。
58.通过待增强部位信息将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据，实现了针对齿轮特定位置的数据增强；然后通过对齿面缺陷数据和齿底缺陷数据分别进行数据增强，进而通过齿面缺陷增强数据和齿底缺陷增强数据对表面缺陷检测网络进行训练，从而使得后续在针对齿轮表面进行缺陷检测时实现对不同齿轮部位的针对性缺陷检测。
59.作为上述表面缺陷数据增强方法的一种可选实施方式，步骤s220中待增强齿部位信息包括：齿面数据模板与齿底数据模板。步骤230中根据待增强部位信息将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据，包括：针对齿面数据模板和齿底数据模板，采用特征点匹配法将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据。该实施方式可以包括：步骤s210：获取待增强的齿轮表面缺陷数据；步骤s220：获取待增强部位信息，包括齿面数据模板与齿底数据模板；步骤s230：针对齿面数据模板和齿底数据模板，采用特征点匹配法将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据；步骤s240：分别对齿面缺陷数据和齿底缺陷数据进行数据增强。
60.基于齿面数据模板与齿底数据模板，采用特征点匹配法将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据，实现了针对齿轮特定位置的数据增强；然后通过对齿面缺陷数据和齿底缺陷数据分别进行数据增强，进而通过齿面缺陷增强数据和齿底缺陷增强数据对表面缺陷检测网络进行训练，从而使得后续在针对齿轮表面进行缺陷检测时实现对不同齿轮部位的针对性缺陷检测。
61.作为上述表面缺陷数据增强方法的一种可选实施方式，步骤s230中的特征点匹配法包括特征点提取和特征点匹配两个步骤，其中特征点提取可以采用sift算法、surf算法、fast算法、brief算法或orb算法等来提取特征点，特征点匹配方式可以采用基于特征点相似度的匹配方式，其中根据特征描述子的不同，可以选择不同的距离来作为相似度的度量，若是浮点类型的描述子，可以使用其欧式距离；对于二进制的描述子，可以使用其汉明距离。
62.作为上述表面缺陷数据增强方法的一种可选实施方式，步骤s140中对划分后的表面缺陷数据分别进行数据增强，包括：分别获取划分后的表面缺陷数据的低频分量；根据低频分量对划分后的表面缺陷数据分别进行数据增强。如图3所示，该实施方式可以包括：步骤s140-1：分别获取划分后的表面缺陷数据的低频分量；步骤s140-2：根据低频分量对划分后的表面缺陷数据分别进行数据增强。
63.通过对低频分量进行数据增强，而保留高频分量，使得图像的细节信息得到有效保留，在对数量进行增强的基础上，还保证了扩充数据的质量，有效改善了表面缺陷数据的
数据增强效果。使用经过上述增强方式之后的数据对表面缺陷检测网络进行训练，可以获得更好的训练及学习效果，进一步提高表面缺陷检测网络的检测精度。
64.作为上述表面缺陷数据增强方法的一种可选实施方式，步骤s140-1中获取低频分量的方式为：采用傅里叶变化获得图像的高频分量和低频分量，其中低频分量代表图像的灰度值以及亮度等信息，高频分量代表图像的边缘、噪声以及细节信息。因此步骤s140-2根据低频分量对划分后的表面缺陷数据分别进行数据增强。
65.通过采用傅里叶变化对低频分量进行数据增强，而保留高频分量，使得图像的细节信息得到有效保留，在对数量进行增强的基础上，还保证了扩充数据的质量，有效改善了表面缺陷数据的数据增强效果。使用经过上述增强方式之后的数据对表面缺陷检测网络进行训练，可以获得更好的训练及学习效果，进一步提高表面缺陷检测网络的检测精度。
66.请参见图4示出的本技术实施例提供的表面缺陷数据增强装置的结构示意图；基于同一种发明构思，本技术实施例提供了一种表面缺陷数据增强装置400，包括：待增强表面缺陷数据获取模块410，用于获取待增强的表面缺陷数据；待增强部位信息获取模块420，用于获取待增强部位信息；数据划分模块430，用于根据待增强部位信息对表面缺陷数据进行划分；数据增强模块440，用于对划分后的表面缺陷数据分别进行数据增强。
67.可选地，在本技术实施例中，表面缺陷数据增强装置400还包括：初次数据增强模块，用于对待增强表面缺陷数据获取模块410获取的待增强的表面缺陷数据进行初次数据增强；在本实施例中，数据划分模块430用于根据待增强部位信息对初次数据增强后的表面缺陷数据进行划分。
68.可选地，在本技术实施例中，初次数据增强模块的数据增强方式包括：基于几何变换的数据增强、基于色彩变换的数据增强、以及基于像素变换的数据增强中的至少一者。
69.可选地，在本技术实施例中，数据增强模块440对划分后的表面缺陷数据分别进行数据增强的增强方式包括：基于几何变换的数据增强、基于色彩变换的数据增强、以及基于像素变换的数据增强中的至少一者。
70.可选地，在本技术实施例中，待增强表面缺陷数据获取模块410所获取的待增强的表面缺陷数据包括：待增强的齿轮表面缺陷数据。数据划分模块430具体为：根据待增强部位信息将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据。
71.可选地，在本技术实施例中，待增强部位信息获取模块420所获取的待增强部位信息包括：齿面数据模板与齿底数据模板。数据划分模块430具体为：针对齿面数据模板和齿底数据模板，采用特征点匹配法将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据。
72.可选地，在本技术实施例中，数据增强模块440包括：低频分量获取单元，用于获取划分后的表面缺陷数据的低频分量；数据增强单元，用于根据低频分量对划分后的表面缺陷数据分别进行数据增强。
73.应理解的是，该装置与上述的表面缺陷数据增强方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件（firmware）的形式存储于存储器
中或固化在装置的操作系统（operating system，os）中的软件功能模块。
74.请参见图5示出的本技术实施例提供的表面缺陷数据增强方法在齿轮表面缺陷数据增强应用场景下的流程示意；本技术实施例提供了一种齿轮表面缺陷数据增强方法，该实施方式包括：步骤s510：获取待增强的齿轮表面缺陷数据；步骤s520：对待增强的齿轮表面缺陷数据进行初次数据增强，获取经过初次数据增强后的齿轮表面缺陷数据；采用平移、旋转、随机裁剪等方式对数据进行基础扩充，根据数据样本中图像尺寸的大小，平移的尺度变化为0~30%，旋转角度变化尺度为0~180
°
，随机裁剪的比例为0~40%；步骤s530：获取待增强部位信息，包括齿面数据模板和齿底图像模板；步骤s540：基于齿面数据模板和齿底图像模板，采用surf算法提取特征点，以欧式距离为相似度度量，对特征点进行匹配，筛选出齿面和齿底区域，将经过初次数据增强的齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据；本技术实施例中所采用的surf算法通过hessian矩阵进行特征点的提取，针对图像中每一个像素点都有对应的hessian矩阵，其公式如下所示：因为选取的特征点要具有尺度无关性，所以在构造矩阵前，需要先对图像进行高斯滤波。滤波后图像的hessian矩阵如下所示：其中，、、和分别表示和高斯函数二阶导数的卷积。
75.将定位到的特征点分别与数据模板进行欧式距离求解，若欧氏距离的值小于设定的阈值即为匹配成功，对表面缺陷数据中的所有数字图像进行匹配后即可筛选出齿面与齿底区域。
76.欧式距离的计算方法为：步骤s550：分别对齿面缺陷数据和齿底缺陷数据进行数据增强；步骤s550-1：通过傅里叶变换获得缺陷数据的高频分量和低频分量；步骤s550-2：对缺陷数据的低频分量采用泊松融合的方式进行数据增强。
77.针对齿轮表面缺陷检测这一应用场景，由于齿底表面缺陷对齿轮的影响较小，而
齿面的表面缺陷对齿轮的影响较大，所以在将齿轮表面缺陷数据划分为齿面缺陷数据和齿底缺陷数据后，可以着重对齿面缺陷数据进行数据增强，由此可以获得针对齿面缺陷数据进行数据增强后的训练数据，使得齿轮表面缺陷检测网络可以更加着重于齿面的表面缺陷检测。
78.泊松融合的具体过程为：泊松融合的核心思想不是让需要融合的两张图像直接叠加，而是让目标图像在融合部分根据源图像的梯度场生长出新的图像。
79.s为二维实数集的闭合子集，为s的闭合子集，的边界为，为集合部分的函数（若是图像，则就是指所有像素的像素值），为集合的函数，v为集合的向量场，求解梯度最小值的方式如下：在边界一致的条件下，梯度平滑，即：在边界一致的条件下，梯度平滑，即：代入到拉格朗日方程进行求解，变化最小的解即为泊松等式的解，即：对图像的低频分量通过泊松方程求解插值。
80.上述表面缺陷数据增强方法在齿轮表面缺陷数据增强应用场景下：（1）实现在指定齿轮位置区域，即在齿面位置和齿底位置上进行准确的数据增强；（2）实现了梯度域上的连续；（3）采用泊松融合的方式对低频分量进行数据增强，充分保留图像的高频信息，即充分保留了目标缺陷图像的特征纹理信息，使得增强后的数据在神经网络中的训练准确度更高，学习效果更优。
81.请参见图6示出的本技术实施例提供的电子设备的结构示意图。本技术实施例提供的一种电子设备600，包括：中央处理单元cpu601，其可以根据存储在只读存储器rom602中的计算机程序指令或者从存储单元加载到随机访问存储器ram603中的计算机程序指令，来执行各种适当的动作和处理。在ram603中，还可以存储设备操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。i/o接口605也连接至总线604。
82.设备中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
83.cpu601执行上文所描述的各个方法和处理，例如本技术实施例中方法步骤s110~s140。例如，在一些实施例中，本技术实施例中方法步骤s110~s140可被实现为计算机软件程序，其被有形地包含于非暂态计算机可读存储介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由rom602和/或通信单元609而被载入和/或安装到设备上。当计算机程序加载到ram603并由cpu601执行时，可以执行上文描述的本技术实施例中
方法步骤s110~s140的一个或多个步骤。备选地，在其他实施例中，cpu601可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行本技术实施例中方法步骤s110~s140。
84.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、片上系统（soc）、复杂可编程逻辑设备（cpld）等等。
85.用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
86.在本发明的上下文中，非暂态计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。非暂态计算机可读存储介质可以是机器可读信号介质或机器可读储存介质。非暂态计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。非暂态计算机可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
87.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种上述方法的逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
88.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
89.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
90.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。