数据增强处理方法、装置、计算机设备及存储介质与流程

1.本技术涉及人工智能技术的神经网络技术领域，具体而言，本技术涉及一种数据增强处理方法、装置、计算机设备及存储介质。


背景技术：

2.数据增强，指的是在神经网络进行训练前，使用裁剪、反转、分割、旋转、缩放、位移等方法对数据进行调整，增加数据的数量，以增大训练集，从而获得更好的训练结果。
3.在神经网络技术领域，几乎所有的任务都会在开始前使用一些方法进行数据增强，并且有大量实验结果证明，数据增强的方法确实提高了最终的训练结果。但是，现有的数据增强处理方法，采用的数据增强策略多种多样，数据增强处理效果参差不齐，导致数据增强处理的整体效果较差。


技术实现要素：

4.本技术的主要目的为提供一种数据增强处理方法、装置、计算机设备及存储介质，以提高数据增强处理的整体效果。
5.为了实现上述发明目的，本技术提供一种数据增强处理方法，其包括：
6.获取数据集，将所述数据集划分为至少两个子数据集；
7.为每个所述子数据集选取不同的数据增强策略，得到每个所述子数据集的第一数据增强策略；
8.依照每个所述子数据集的第一数据增强策略分别对相应的子数据集进行数据增强处理，得到每个所述子数据集增强处理后的目标子数据集；
9.将每个所述目标子数据集分别输入预设的神经网络模型进行训练，得到多个训练结果；
10.将所述多个训练结果进行相互比对，从所述多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果；
11.确定所述目标训练结果对应的第一数据增强策略，得到目标数据增强策略；
12.获取总数据集，调用所述目标数据增强策略对所述总数据集中的所有数据进行数据增强处理，得到目标数据集。
13.优选地，所述为每个所述子数据集选取不同的数据增强策略，包括：
14.当确定所述子数据集包括样本图片，并确定所述样本图片中的目标物的尺寸比例大于预设尺寸比例时，则为所述样本图片的数据集选取第一数据增强策略；
15.其中，所述第一数据增强策略为对所述样本图片按照小于预设缩放比例的缩放比例进行缩小、随机水平翻转、随机竖直翻转、随机调整图片亮度与对比度、按照小于预设角度的角度进行旋转或随机调整所述目标物的颜色中的任意至少一种策略。
16.优选地，所述确定所述样本图片中的目标物的尺寸比例，包括：
17.统计所述目标物在所述样本图片中的所有像素点数量，得到第一像素点数量；
18.统计所述样本图片的所有像素点数量，得到总像素点数量；
19.将所述第一像素点数量除以所述总像素点数量之后，得到所述目标物的尺寸比例。
20.优选地，所述按照小于预设角度的角度进行旋转，包括：
21.确定所述样本图片原有的图像框；
22.将所述样本图片在原有的所述图像框中按照所述角度进行转动，得到第一样本图片；
23.将所述第一样本图片中的空白区域填补黑色的像素值，得到转动后的目标样本图片。
24.优选地，所述随机调整图片亮度与对比度，包括：
25.计算所述样本图片中所有像素点的平均值，得到像素均值；
26.将所述样本图片中每个像素点的像素值分别减去所述像素均值，得到每个所述像素点的像素差值；
27.将每个所述像素点的像素差值乘以预设对比度系数，并分别与所述像素均值相加后，得到每个所述像素点的第一像素值；
28.将每个所述像素点的第一像素值乘以预设亮度系数后，得到每个所述像素点的目标像素值，将由所述目标像素值构成的样本图片作为随机调整图片亮度与对比度后的目标样本图片。
29.在一实施例中，所述对所述样本图片按照小于预设缩放比例的缩放比例进行缩小，包括：
30.基于双线性插值算法，将所述样本图片按照小于预设缩放比例的缩放比例进行缩小，得到缩小后的目标样本图片。
31.优选地，所述将所述多个训练结果进行相互比对，从所述多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果，包括：
32.基于预设的损失函数，根据每个所述训练结果对应计算所述神经网络模型在每个所述目标子数据集训练后的损失值，得到每个所述训练结果的损失值；
33.从所有所述训练结果的损失值中筛选出损失值最小的训练结果，得到目标训练结果。
34.本技术还提供一种数据增强处理装置，其包括：
35.获取模块，用于获取数据集，将所述数据集划分为至少两个子数据集；
36.选取模块，用于为每个所述子数据集选取不同的数据增强策略，得到每个所述子数据集的第一数据增强策略；
37.数据增强处理模块，用于依照每个所述子数据集的第一数据增强策略分别对相应的子数据集进行数据增强处理，得到每个所述子数据集增强处理后的目标子数据集；
38.训练模块，用于将每个所述目标子数据集分别输入预设的神经网络模型进行训练，得到多个训练结果；
39.筛选模块，用于将所述多个训练结果进行相互比对，从所述多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果；
40.确定模块，用于确定所述目标训练结果对应的第一数据增强策略，得到目标数据
增强策略；
41.调用模块，用于获取总数据集，调用所述目标数据增强策略对所述总数据集中的所有数据进行数据增强处理，得到目标数据集。
42.本技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
43.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述方法的步骤。
44.本技术所提供的一种数据增强处理方法、装置、计算机设备及存储介质，获取数据集，将数据集划分为至少两个子数据集，为每个子数据集选取不同的数据增强策略，得到每个子数据集的第一数据增强策略；依照每个子数据集的第一数据增强策略分别对相应的子数据集进行数据增强处理，得到每个子数据集增强处理后的目标子数据集；将每个目标子数据集分别输入预设的神经网络模型进行训练，得到多个训练结果，将多个训练结果进行相互比对，从多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果；确定目标训练结果对应的第一数据增强策略，得到目标数据增强策略，获取总数据集，调用目标数据增强策略对总数据集中的所有数据进行数据增强处理，得到目标数据集，以通过将数据集进行划分为多个子数据集，根据数据集特点选择针对性的数据增强策略，将多个子数据集进行数据增强策略对比，选择最优数据增强策略对总数据集进行数据增强处理，减小了计算量，提高了数据增强处理的整体效果。
附图说明
45.图1为本技术一实施例的数据增强处理方法的流程示意图；
46.图2为本技术一实施例的数据增强处理装置的结构示意框图；
47.图3为本技术一实施例的计算机设备的结构示意框图。
48.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
49.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
50.本技术提出一种数据增强处理方法，本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
51.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
52.本技术提出的一种数据增强处理方法，以服务器为执行主体，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中
间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
53.该数据增强处理方法用于解决现有采用的数据增强策略多种多样，数据增强处理效果参差不齐，导致数据增强处理的整体效果较差的技术问题。参考图1，其中一个实施例中，该数据增强处理方法包括：
54.s11、获取数据集，将所述数据集划分为至少两个子数据集；
55.s12、为每个所述子数据集选取不同的数据增强策略，得到每个所述子数据集的第一数据增强策略；
56.s13、依照每个所述子数据集的第一数据增强策略分别对相应的子数据集进行数据增强处理，得到每个所述子数据集增强处理后的目标子数据集；
57.s14、将每个所述目标子数据集分别输入预设的神经网络模型进行训练，得到多个训练结果；
58.s15、将所述多个训练结果进行相互比对，从所述多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果；
59.s16、确定所述目标训练结果对应的第一数据增强策略，得到目标数据增强策略；
60.s17、获取总数据集，调用所述目标数据增强策略对所述总数据集中的所有数据进行数据增强处理，得到目标数据集。
61.如上述步骤s11所述，本实施例获取数据集，该数据集的数量可以较少，目的是为了筛选得到最优数据增强策略，数据集的类型可以是全部由样本图片构成的数据集、全部由文本构成的数据集、全部由音频构成的数据集或全部由视频构成的数据集，因此需要保证数据集中的数据的类型相一致。优选地，本实施例的数据集由样本图片构成，样本图片可以是行人图像，用于对行人的识别。
62.本实施例获取数据集后，统计数据集的数据量，根据数据量将数据集平均划分为至少两个子数据集，每个子数据集的数据量基本一致。例如，当所述数据集中包含1000张样本图片时，每张样本图片的大小一致，则可将数据集划分为两个子数据集，每个子数据集的样本图片为500张，以确保每个子数据集的数据量基本一致。
63.如上述步骤s12所述，对于样本图片的数据增强而言，数据增强策略可以指的是在神经网络进行训练前，使用裁剪、反转、分割、旋转、缩放、位移等方法对样本图片进行调整，增加样本图片的数量，以增大训练集，从而获得更好的训练结果。对于文本的数据增强而言，则数据增强策略可以指的是在神经网络进行训练前，对文本进行复制粘贴、删除或插入新的文本等方法对文本进行调整，增加文本的数量。同理，视频、音频等其他类型的数据增强策略可以根据其特点进行设置，目的都是增大训练集，从而获得更好的训练结果。
64.本实施例为每个子数据集选取不同的数据增强策略，得到每个子数据集的第一数据增强策略。例如，假设数据集为样本图片的数据集，且数据集被划分为三个子数据集a、b、c，则在子数据集a中进行对图像随机旋转的数据增强策略，以将原有的样本图片旋转到一定的角度；在数据集b中进行亮度随机调整的数据增强策略；在数据集c中进行增加模拟光照的数据增强策略，从而对于每个子数据集，使用一种数据增强策略,每种数据增强策略各不相同。
65.在一实施例中，还可根据每个子数据集中数据的特点选择相应的数据增强策略。
例如，当子数据集中数据的特点为人脸图像，且人脸图像的清晰度较低时，则可选取提高人脸图像的清晰度的数据增强策略；又如，当子数据集中数据的特点为不完整的人脸图像时，则可选取对人脸图像进行自动补充的数据增强策略，在此不做具体限定。
66.如上述步骤s13所述，本实施例依照每个子数据集的第一数据增强策略分别对相应的子数据集进行数据增强处理，得到每个子数据集增强处理后的目标子数据集。例如，将子数据集a进行图像随机旋转，得到旋转到一定角度的目标子数据集a；将数据集b进行亮度随机调整，得的预设亮度的目标子数据集b；将数据集c进行增加模拟光照，得到目标子数据集c，以得到每个子数据集增强处理后的目标子数据集。
67.如上述步骤s14-s16所述，本实施例根据数据集中数据的类型选取相应的神经网络模型，例如，当数据集中数据的类型为图片时，则神经网络模型为图片处理模型；当数据集中数据的类型为文本时，则神经网络模型为文本识别模型等等。
68.本实施例将数据增强处理后的目标子数据集输入预设的神经网络模型中进行训练，得到每个目标子数据集在对应神经网络模型训练后得到的训练结果，以得到多个训练结果，然后将多个训练结果进行两两对比，从多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果，并确定所述目标训练结果对应的第一数据增强策略，得到目标数据增强策略。其中，对训练结果的评估方式可以是对神经网络模型处理速度及质量的评估，如筛选出处理速度较快且质量较高的训练结果，作为目标训练结果。
69.本实施例采用人工智能的方式，自动筛选出训练结果最优的训练结果作为目标训练结果，进而确定最优数据增强策略，以避免人工直接设计数据增强策略，导致效率较低的技术问题。
70.需要说明的是，每个目标子数据集输入的神经网络模型不同，以避免训练结果之间相互影响。
71.如上述步骤s17所述，本实施例获取总数据集，总数据集为需要集中数据增强处理的数据集，因此总数据集的数据量一般为较大。然后调用所述目标数据增强策略对总数据集中的所有数据进行数据增强处理，得到目标数据集。例如，当目标数据增强策略为对样本图片进行旋转一定角度后再缩小，则对总数据集进行数据增强处理时，也采用对总数据集的样本图片进行旋转一定角度后再缩小的目标数据增强策略，以提高总数据集的数据增强处理的整体效果，避免数据增强处理效果参差不齐。
72.本技术所提供的一种数据增强处理方法，获取数据集，将数据集划分为至少两个子数据集，为每个子数据集选取不同的数据增强策略，得到每个子数据集的第一数据增强策略；依照每个子数据集的第一数据增强策略分别对相应的子数据集进行数据增强处理，得到每个子数据集增强处理后的目标子数据集；将每个目标子数据集分别输入预设的神经网络模型进行训练，得到多个训练结果，将多个训练结果进行相互比对，从多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果；确定目标训练结果对应的第一数据增强策略，得到目标数据增强策略，获取总数据集，调用目标数据增强策略对总数据集中的所有数据进行数据增强处理，得到目标数据集，以通过将数据集进行划分为多个子数据集，根据数据集特点选择针对性的数据增强策略，将多个子数据集进行数据增强策略对比，选择最优数据增强策略对总数据集进行数据增强处理，减小了计算量，提高了数据增强处理的整体效果。
73.在一实施例中，所述为每个所述子数据集选取不同的数据增强策略，可具体包括：
74.当确定所述子数据集包括样本图片，并确定所述样本图片中的目标物的尺寸比例大于预设尺寸比例时，则为所述样本图片的数据集选取第一数据增强策略；
75.其中，所述第一数据增强策略为对所述样本图片按照小于预设缩放比例的缩放比例进行缩小、随机水平翻转、随机竖直翻转、随机调整图片亮度与对比度、按照小于预设角度的角度进行旋转或随机调整所述目标物的颜色中的任意至少一种策略。
76.在本实施例中，对于通用的行人重识别数据库中，其样本图片的行人身体占据了图片的很大部分，甚至是完全占据画面。对于这样的样本图片来说，使用图片裁剪、图片反转等大规模改动图片空间信息的数据增强处理方法，可能会导致样本图片直接失去身份信息，也就是导致样本图片直接无法识别，使用包含这种样本图片的数据集进行训练，可能会反而降低神经网络模型的工作效率。
77.因此，与常见数据增强处理要求不同，行人重识别数据库在数据增强处理时，直接不使用包含较大形变的方法，比如裁剪，位移等数据增强策略，谨慎使用包含局部形变的方法并设置较小的参数，比如缩放、旋转等数据增强策略，对于通过颜色变化进行数据增强处理的方法则没有限制。
78.具体的，当确定子数据集包括样本图片，并确定样本图片中的目标物的尺寸比例大于预设尺寸比例时，则为样本图片的数据集选取第一数据增强策略，目标物可以是行人、人脸等等。第一数据增强策略为不对样本图片进行大规模调整的数据增强策略，一般对样本图片进行微调，如对所述样本图片按照小于预设缩放比例的缩放比例进行缩小、随机水平翻转、随机竖直翻转、随机调整图片亮度与对比度、按照小于预设角度的角度进行旋转或随机调整所述目标物的颜色中的任意至少一种策略。
79.对样本图片进行较小比例的缩放，对样本图片进行随机水平和竖直翻转，对样本图片进行小角度的旋转，对样本图片进行亮度、对比度和颜色的随机变化，对样本图片增加模拟光照等。其中，对样本图片随机水平就是将样本图片进行左右镜像的操作，竖直翻转可以将样本图片倒过来以增强样本图片的多样性。模拟光照是在样本图片中模拟出光照的场景，对样本图片中各像素点进行计算。
80.在一实施例中，所述确定所述样本图片中的目标物的尺寸比例，可具体包括：
81.统计所述目标物在所述样本图片中的所有像素点数量，得到第一像素点数量；
82.统计所述样本图片的所有像素点数量，得到总像素点数量；
83.将所述第一像素点数量除以所述总像素点数量之后，得到所述目标物的尺寸比例。
84.本实施例遍历目标物的所有像素点，统计目标物在样本图片中的所有像素点数量，得到第一像素点数量，同时统计样本图片的所有像素点数量，得到总像素点数量，计算第一像素点数量与总像素点数量的比值，将该比值作为所述目标物的尺寸比例。
85.然后判断样本图片中的目标物的尺寸比例是否大于预设尺寸比例，当确定样本图片中的目标物的尺寸比例大于预设尺寸比例时，则为样本图片的数据集选取第一数据增强策略。其中，预设尺寸比例可自定义设置，在此不做具体限定，如设置为80％。
86.在一实施例中，所述按照小于预设角度的角度进行旋转，可具体包括：
87.确定所述样本图片原有的图像框；
88.将所述样本图片在原有的所述图像框中按照所述角度进行转动，得到第一样本图片；
89.将所述第一样本图片中的空白区域填补黑色的像素值，得到转动后的目标样本图片。
90.本实施例确定样本图片原有的图像框，将样本图片在原有的图像框中按照角度进行转动后，得到第一样本图片，由于转动后会在样本图片中留下空白区域，因此将第一样本图片中的空白区域填补黑色的像素值，得到转动后的目标样本图片。其中，黑色的像素值为255。
91.在一实施例中，所述随机调整图片亮度与对比度，可具体包括：
92.计算所述样本图片中所有像素点的平均值，得到像素均值；
93.将所述样本图片中每个像素点的像素值分别减去所述像素均值，得到每个所述像素点的像素差值；
94.将每个所述像素点的像素差值乘以预设对比度系数，并分别与所述像素均值相加后，得到每个所述像素点的第一像素值；
95.将每个所述像素点的第一像素值乘以预设亮度系数后，得到每个所述像素点的目标像素值，将由所述目标像素值构成的样本图片作为随机调整图片亮度与对比度后的目标样本图片。
96.在本实施例中，本实施例先遍历样本图片中的所有像素点，获取所有像素点的像素值，根据所有像素点的像素值计算样本图片中所有像素点的平均值，得到像素均值，将样本图片中每个像素点的像素值分别减去像素均值之后，得到每个像素点的像素差值，然后将每个像素点的像素差值分别乘以预设对比度系数，并与像素均值相加后，得到每个像素点的第一像素值，将每个像素点的第一像素值乘以预设亮度系数后，得到每个像素点的目标像素值，将由目标像素值构成的样本图片作为随机调整图片亮度与对比度后的目标样本图片。其中，预设对比度系数及预设亮度系数可自定义设置，在此不做具体限定。
97.其中，本实施例具体包括如下公式：
98.c＝x
–
x_mean；
99.q＝(c*α c)*β；
100.其中，x表示样本图片中任一像素点的像素值，x_mean表示样本图片中所有像素点的像素均值，α是预设对比度系数，取值范围为0-4，β是预设亮度系数，取值范围为0-2。
101.在一实施例中，所述对所述样本图片按照小于预设缩放比例的缩放比例进行缩小，可具体包括：
102.基于双线性插值算法，将所述样本图片按照小于预设缩放比例的缩放比例进行缩小，得到缩小后的目标样本图片。
103.在本实施例中，对样本图片进行较小比例的缩放可以采用双线性插值的方式，对一个像素点的求值取决于相邻四个像素点的值。其中，双线性插值的计算公式为：
[0104][0105]
[0106][0107]
其中，q12和q22为x相邻的左上和右上的像素点，其坐标分别为(x1,y2)、(x2,y2)，q11和q21为x相邻的左下和右下的像素点，其坐标分别为(x1,y1)、(x2,y1)。f(p)就是最终插值后的值。
[0108]
在一实施例中，所述将所述多个训练结果进行相互比对，从所述多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果，可具体包括：
[0109]
基于预设的损失函数，根据每个所述训练结果对应计算所述神经网络模型在每个所述目标子数据集训练后的损失值，得到每个所述训练结果的损失值；
[0110]
从所有所述训练结果的损失值中筛选出损失值最小的训练结果，得到目标训练结果。
[0111]
在本实施例中，每个目标子数据集训练后的损失值需小于预设损失值，在对神经网络模型每次训练后，可利用预设的损失函数计算每次训练完成后的神经网络模型的损失值，并在损失值满足预设阈值或小于预设损失值时，即满足要求，则表明神经网络模型达到训练要求，完成所述神经网络模型的训练。其中，损失函数用来评价神经网络模型的预测值和真实值不一样的程度，损失函数越好，通常神经网络模型的性能越好。
[0112]
当任一个神经网络模型的损失值不小于预设损失值时，可根据损失值在神经网络模型的神经网络结构中进行前向传递，调整神经网络模型的相关参数，基于重新设置的相关参数对调整后的神经网络模型进行重新训练，直至神经网络模型的损失值小于预设损失值为止，至此所有神经网络模型训练结束，使每个目标子数据集训练后的损失值都小于预设损失值，并从中筛选出损失值最小损失值作为目标损失值，将目标损失值对应的训练结果作为目标训练结果。
[0113]
参照图2，本技术实施例中还提供一种数据增强处理装置，包括：
[0114]
获取模块11，用于获取数据集，将所述数据集划分为至少两个子数据集；
[0115]
选取模块12，用于为每个所述子数据集选取不同的数据增强策略，得到每个所述子数据集的第一数据增强策略；
[0116]
数据增强处理模块13，用于依照每个所述子数据集的第一数据增强策略分别对相应的子数据集进行数据增强处理，得到每个所述子数据集增强处理后的目标子数据集；
[0117]
训练模块14，用于将每个所述目标子数据集分别输入预设的神经网络模型进行训练，得到多个训练结果；
[0118]
筛选模块15，用于将所述多个训练结果进行相互比对，从所述多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果；
[0119]
确定模块16，用于确定所述目标训练结果对应的第一数据增强策略，得到目标数据增强策略；
[0120]
调用模块17，用于获取总数据集，调用所述目标数据增强策略对所述总数据集中的所有数据进行数据增强处理，得到目标数据集。
[0121]
本实施例获取数据集，该数据集的数量可以较少，目的是为了筛选得到最优数据增强策略，数据集的类型可以是全部由样本图片构成的数据集、全部由文本构成的数据集、全部由音频构成的数据集或全部由视频构成的数据集，因此需要保证数据集中的数据的类
型相一致。优选地，本实施例的数据集由样本图片构成，样本图片可以是行人图像，用于对行人的识别。
[0122]
本实施例获取数据集后，统计数据集的数据量，根据数据量将数据集平均划分为至少两个子数据集，每个子数据集的数据量基本一致。例如，当所述数据集中包含1000张样本图片时，每张样本图片的大小一致，则可将数据集划分为两个子数据集，每个子数据集的样本图片为500张，以确保每个子数据集的数据量基本一致。
[0123]
在本实施例中，对于样本图片的数据增强而言，数据增强策略可以指的是在神经网络进行训练前，使用裁剪、反转、分割、旋转、缩放、位移等方法对样本图片进行调整，增加样本图片的数量，以增大训练集，从而获得更好的训练结果。对于文本的数据增强而言，则数据增强策略可以指的是在神经网络进行训练前，对文本进行复制粘贴、删除或插入新的文本等方法对文本进行调整，增加文本的数量。同理，视频、音频等其他类型的数据增强策略可以根据其特点进行设置，目的都是增大训练集，从而获得更好的训练结果。
[0124]
本实施例为每个子数据集选取不同的数据增强策略，得到每个子数据集的第一数据增强策略。例如，假设数据集为样本图片的数据集，且数据集被划分为三个子数据集a、b、c，则在子数据集a中进行对图像随机旋转的数据增强策略，以将原有的样本图片旋转到一定的角度；在数据集b中进行亮度随机调整的数据增强策略；在数据集c中进行增加模拟光照的数据增强策略，从而对于每个子数据集，使用一种数据增强策略,每种数据增强策略各不相同。
[0125]
在一实施例中，还可根据每个子数据集中数据的特点选择相应的数据增强策略。例如，当子数据集中数据的特点为人脸图像，且人脸图像的清晰度较低时，则可选取提高人脸图像的清晰度的数据增强策略；又如，当子数据集中数据的特点为不完整的人脸图像时，则可选取对人脸图像进行自动补充的数据增强策略，在此不做具体限定。
[0126]
本实施例依照每个子数据集的第一数据增强策略分别对相应的子数据集进行数据增强处理，得到每个子数据集增强处理后的目标子数据集。例如，将子数据集a进行图像随机旋转，得到旋转到一定角度的目标子数据集a；将数据集b进行亮度随机调整，得的预设亮度的目标子数据集b；将数据集c进行增加模拟光照，得到目标子数据集c，以得到每个子数据集增强处理后的目标子数据集。
[0127]
本实施例根据数据集中数据的类型选取相应的神经网络模型，例如，当数据集中数据的类型为图片时，则神经网络模型为图片处理模型；当数据集中数据的类型为文本时，则神经网络模型为文本识别模型等等。
[0128]
本实施例将数据增强处理后的目标子数据集输入预设的神经网络模型中进行训练，得到每个目标子数据集在对应神经网络模型训练后得到的训练结果，以得到多个训练结果，然后将多个训练结果进行两两对比，从多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果，并确定所述目标训练结果对应的第一数据增强策略，得到目标数据增强策略。其中，对训练结果的评估方式可以是对神经网络模型处理速度及质量的评估，如筛选出处理速度较快且质量较高的训练结果，作为目标训练结果。
[0129]
本实施例采用人工智能的方式，自动筛选出训练结果最优的训练结果作为目标训练结果，进而确定最优数据增强策略，以避免人工直接设计数据增强策略，导致效率较低的技术问题。
[0130]
需要说明的是，每个目标子数据集输入的神经网络模型不同，以避免训练结果之间相互影响。
[0131]
本实施例获取总数据集，总数据集为需要集中数据增强处理的数据集，因此总数据集的数据量一般为较大。然后调用所述目标数据增强策略对总数据集中的所有数据进行数据增强处理，得到目标数据集。例如，当目标数据增强策略为对样本图片进行旋转一定角度后再缩小，则对总数据集进行数据增强处理时，也采用对总数据集的样本图片进行旋转一定角度后再缩小的目标数据增强策略，以提高总数据集的数据增强处理的整体效果，避免数据增强处理效果参差不齐。
[0132]
如上所述，可以理解地，本技术中提出的所述数据增强处理装置的各组成部分可以实现如上所述数据增强处理方法任一项的功能，具体结构不再赘述。
[0133]
参照图3，本技术实施例中还提供一种计算机设备，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质、内存储器。该存储介质存储有操作系统、计算机程序和数据库。该内存器为存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储所述数据增强处理方法的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据增强处理方法。
[0134]
上述处理器执行上述的数据增强处理方法，包括：
[0135]
获取数据集，将所述数据集划分为至少两个子数据集；
[0136]
为每个所述子数据集选取不同的数据增强策略，得到每个所述子数据集的第一数据增强策略；
[0137]
依照每个所述子数据集的第一数据增强策略分别对相应的子数据集进行数据增强处理，得到每个所述子数据集增强处理后的目标子数据集；
[0138]
将每个所述目标子数据集分别输入预设的神经网络模型进行训练，得到多个训练结果；
[0139]
将所述多个训练结果进行相互比对，从所述多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果；
[0140]
确定所述目标训练结果对应的第一数据增强策略，得到目标数据增强策略；
[0141]
获取总数据集，调用所述目标数据增强策略对所述总数据集中的所有数据进行数据增强处理，得到目标数据集。
[0142]
本技术一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种数据增强处理方法，包括步骤：
[0143]
获取数据集，将所述数据集划分为至少两个子数据集；
[0144]
为每个所述子数据集选取不同的数据增强策略，得到每个所述子数据集的第一数据增强策略；
[0145]
依照每个所述子数据集的第一数据增强策略分别对相应的子数据集进行数据增强处理，得到每个所述子数据集增强处理后的目标子数据集；
[0146]
将每个所述目标子数据集分别输入预设的神经网络模型进行训练，得到多个训练结果；
[0147]
将所述多个训练结果进行相互比对，从所述多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果；
[0148]
确定所述目标训练结果对应的第一数据增强策略，得到目标数据增强策略；
[0149]
获取总数据集，调用所述目标数据增强策略对所述总数据集中的所有数据进行数据增强处理，得到目标数据集。
[0150]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0151]
综上所述，本技术的最大有益效果在于：
[0152]
本技术所提供的一种数据增强处理方法、装置、计算机设备及存储介质，获取数据集，将数据集划分为至少两个子数据集，为每个子数据集选取不同的数据增强策略，得到每个子数据集的第一数据增强策略；依照每个子数据集的第一数据增强策略分别对相应的子数据集进行数据增强处理，得到每个子数据集增强处理后的目标子数据集；将每个目标子数据集分别输入预设的神经网络模型进行训练，得到多个训练结果，将多个训练结果进行相互比对，从多个训练结果中筛选出训练效果最优的训练结果，得到目标训练结果；确定目标训练结果对应的第一数据增强策略，得到目标数据增强策略，获取总数据集，调用目标数据增强策略对总数据集中的所有数据进行数据增强处理，得到目标数据集，以通过将数据集进行划分为多个子数据集，根据数据集特点选择针对性的数据增强策略，将多个子数据集进行数据增强策略对比，选择最优数据增强策略对总数据集进行数据增强处理，减小了计算量，提高了数据增强处理的整体效果。
[0153]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0154]
以上所述仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。