一种用于神经网络训练的数据集生成方法和装置与流程

1.本发明涉及智能制造技术领域，尤其是指一种用于神经网络训练的数据集生成方法、装置、设备及计算机可读存储介质。


背景技术：

2.随着深度学习技术的发展，在物体分类识别上，神经网络的应用愈来愈普遍。神经网络的训练往往需要大量的数据集图片，而在工业领域中，缺乏统一公开的数据集，因此各企业单位需要建立自己产品的图片数据集，用于为神经网络提供丰富的学习样本，以提高神经网络模型的识别的能力。而建立神经网络的数据集往往需要耗费大量的人力物力等资源，且耗时长。
3.因此，需要提出一种用于神经网络训练的数据集生成方法来解决上述问题。


技术实现要素：

4.为此，本发明所要解决的技术问题在于克服现有技术中用于神经网络训练的数据集生成耗时长且样本少的缺陷。
5.为解决上述技术问题，本发明提供了一种用于神经网络训练的数据集生成方法，包括：
6.获取预先拍摄完成的包括目标物体的视频，每隔预设帧数，从所述视频各帧图像中采集一张样本图像；
7.对每张样本图像进行特征区域检测，确定所述每张样本图像的特征区域；
8.根据预设数据增强参数，对所述每张样本图像进行随机不重复的增强变换，得到所述每张样本图像所对应的增强图像集；其中，所述增强变换包括镜像变换和旋转变换；
9.根据所述每张样本图像的特征区域，从所述增强图像集的每张增强图像中裁剪出与所述特征区域尺寸相同的区域，得到所述每张样本图像的区域图像集；
10.将所有样本图像的区域图像集整体压缩打包，生成训练数据集。
11.在本发明的一个实施例中，所述对每张样本图像进行特征区域检测，确定所述每张样本图像的特征区域包括：
12.对所述每张样本图像进行滤波降噪处理；
13.通过对所述滤波降噪处理后的每张样本图像进行遍历操作，计算出所述每张样本图像的harris角点和fast角点；
14.统计所述harris角点的矩形区域和所述fast角点的矩形区域，取两个矩形区域交集的k倍作为所述每张样本图像的特征区域。
15.在本发明的一个实施例中，所述根据预设数据增强参数，对所述每张样本图像进行随机不重复的增强变换，得到所述每张样本图像所对应的增强图像集包括：
16.根据预设数据增强参数m，判断所述每张样本图像是否进行随机不重复的增强变换；
17.若所述增强参数m等于1，则所述每张样本图像不进行随机不重复的增强变换；
18.若所述增强参数m大于1，则所述每张样本图像进行m-1次随机不重复的增强变换。
19.在本发明的一个实施例中，所述镜像变换包括：x轴镜像、y轴镜像和x-y轴镜像。
20.在本发明的一个实施例中，所述旋转变换的旋转角度范围为：0
°
～360
°
。
21.在本发明的一个实施例中，所述根据所述每张样本图像的特征区域，从所述增强图像集的每张增强图像中裁剪出与所述特征区域尺寸相同的区域，得到所述每张样本图像的区域图像集包括：
22.确定所述每张样本图像的特征区域中心点；
23.以所述每张样本图像的特征区域中心点为基准，从所述增强图像集的每张增强图像中裁剪出与所述特征区域尺寸相同的区域。
24.在本发明的一个实施例中，所述将所有样本图像的区域图像集整体压缩打包，生成训练数据集前包括：对所有样本图像的区域图像集进行归一化处理。
25.本发明提供了一种用于神经网络训练的数据集生成装置,包括：
26.采集模块，用于获取预先拍摄完成的包括目标物体的视频，每隔预设帧数，从所述视频各帧图像中采集一张样本图像；
27.检测模块，用于对每张样本图像进行特征区域检测，确定所述每张样本图像的特征区域；
28.增强模块，用于根据预设数据增强参数，对所述每张样本图像进行随机不重复的增强变换，得到所述每张样本图像所对应的增强图像集；其中，所述增强变换包括镜像变换和旋转变换；
29.裁剪模块，用于根据所述每张样本图像的特征区域，从所述增强图像集的每张增强图像中裁剪出与所述特征区域尺寸相同的区域，得到所述每张样本图像的区域图像集；
30.生成模块，用于将所有样本图像的区域图像集整体压缩打包，生成训练数据集。
31.本发明提供了一种用于神经网络训练的数据集生成设备，包括：
32.存储器，用于存储计算机程序；
33.处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述一种用于神经网络训练的数据集生成方法的步骤。
34.本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种用于神经网络训练的数据集生成方法的步骤。
35.本发明的上述技术方案相比现有技术具有以下优点：
36.本发明所提供的数据集生成方法，首先获取预先拍摄完成的包括目标物体的视频，每隔预设帧数，从所述视频各帧图像中采集一张样本图像；其次对每张样本图像做特征区域检测，确定每张样本图像的特征区域位置；然后对每张样本图像进行随机不重复的增强变换，从得到的增强图像集的每张增强图像中裁剪出区域图像集，最后将所有样本图像的区域图像集整体压缩打包，生成训练数据集。本发明所提供的方法，根据预设帧数来控制数据集样本图像的相似度；通过对每张样本图像做特征区域检测，精准的识别出每张样本图像的特征区域位置，加快数据集的制作速度；采用随机不重复的增强变换来扩充数据集的多样性，实现数据增强的功能。
附图说明
37.为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
38.图1为本发明所提供的用于神经网络训练的数据集生成方法的第一种具体实施例的流程图；
39.图2为本发明所提供的用于神经网络训练的数据集生成方法的第二种具体实施例的流程图；
40.图3为本发明所提供的用于神经网络训练的数据集生成方法的原理示意图；
41.图4为本发明实施例提供的一种用于神经网络训练的数据集生成方法的结构框图。
具体实施方式
42.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
43.参照图1所示，图1为本发明所提供的用于神经网络训练的数据集生成方法的第一种具体实施例的流程图；具体操作步骤如下：
44.步骤s101：获取预先拍摄完成的包括目标物体的视频，每隔预设帧数，从所述视频各帧图像中采集一张样本图像；
45.步骤s102：对每张样本图像进行特征区域检测，确定所述每张样本图像的特征区域；
46.步骤s103：根据预设数据增强参数，对所述每张样本图像进行随机不重复的增强变换，得到所述每张样本图像所对应的增强图像集；其中，所述增强变换包括镜像变换和旋转变换；
47.步骤s104：根据所述每张样本图像的特征区域，从所述增强图像集的每张增强图像中裁剪出与所述特征区域尺寸相同的区域，得到所述每张样本图像的区域图像集；
48.步骤s105：将所有样本图像的区域图像集整体压缩打包，生成训练数据集。
49.本实施例所提供的方法，通过拍摄目标物体的多角度多背景视频，快速生成用以训练的数据集，并自动扩充数据的多样性，实现数据增强功能；同时也为神经网络的训练，提供了丰富的学习样本。
50.基于上述实施例，本实施例是对上述实施例作近一步说明；请参考图2和图3，图2为本发明所提供的用于神经网络训练的数据集生成方法的第二种具体实施例的流程图；图3为本发明所提供的用于神经网络训练的数据集生成方法的原理示意图；具体操作步骤如下：
51.步骤s201：获取预先通过多角度拍摄完成的包括目标物体的视频，根据预设采样参数f，每隔f帧图像，从所述视频各帧图像中采集一张样本图像；
52.其中，当f＝0时，所述样本图像为所有的视频各帧图像；所述视频各帧图像仅包括一个或一类目标物体信息，并且所述视频的拍摄背景颜色单一、没有其他物体的复杂轮廓或边缘信息。
53.步骤s202：对所述每张样本图像进行滤波降噪处理；
54.在本发明中，可以选择双边滤波、高斯滤波和方框滤波对所述每张样本图像进行滤波降噪处理。在滤波降噪处理时使用预设滤波函数，使所述图像中的各个相邻像素点间的差值控制在一定的范围，修正所述图像中像素不合理的点，从而减少和消除所述图像中的噪声干扰。
55.步骤s203：通过对所述滤波降噪处理后的每张样本图像进行遍历操作，计算出所述每张样本图像的harris角点和fast角点；
56.步骤s204：统计所述harris角点的矩形区域和所述fast角点的矩形区域，取两个矩形区域交集的k倍作为所述每张样本图像的特征区域；
57.统计所述harris角点的矩形区域和所述fast角点的矩形区域，用矩形a包围所有的harris角点，用矩形b包围所有的fast角点，取矩形a和b交集的k倍作为所述每张样本图像的特征区域。其中，所述k倍是人为设定的一个可修改所述特征区域窗口的放大系数，通过放大系数k，实现对交集区域的放大和缩小，从而保证目标物体包含在所述特征区域内。
58.步骤s205：根据所述每张样本图像的特征区域像素坐标位置，确定所述每张样本图像的特征区域中心点坐标o；
59.步骤s206：根据预设数据增强参数，对所述每张样本图像进行随机不重复的增强变换，得到所述每张样本图像所对应的增强图像集；
60.其中，所述增强变换包括镜像变换和旋转变换，所述镜像变换包括x轴镜像、y轴镜像和x-y轴镜像，所述旋转变换是系统随机选择图像的旋转角度θ，以每张样本图像的特征区域中心点坐标o为中心，对所述样本图像做旋转变换处理。所述旋转变换的旋转角度θ为15
°
、30
°
、
……
、330
°
、345
°
。
61.根据预设数据增强参数m，判断所述每张样本图像是否进行随机不重复的增强变换；若所述增强参数m等于1，则所述每张样本图像不进行随机不重复的增强变换；若所述增强参数m大于1，则所述每张样本图像进行m-1次随机不重复的增强变换，生成m张增强图像。
62.步骤s207：以所述每张样本图像的特征区域中心点坐标o为基准，从所述增强图像集的每张增强图像中裁剪出与所述特征区域尺寸相同的区域，得到所述每张样本图像的区域图像集；
63.步骤s208：对所有样本图像的区域图像集进行归一化处理；
64.步骤s209：将完成归一化处理后的所有样本图像的区域图像集整体压缩打包，生成训练数据集。
65.对所有样本图像的区域图像集进行归一化处理，将所有样本图像区域图像集的尺寸重新变换为设定尺寸(默认为320
×
320)，所述尺寸大小可根据实际情况而定，在此实施例中不做限定。将所有样本图像区域图像集的文件名和保存路径，以及类别标签信息写入txt文件中，为神经网络在读取数据时提供图片的地址信息和标签信息。最后，将所有样本图像的区域图像集整体压缩打包，生成后缀名为“.gz”的资源压缩包。
66.本实施例所提供的方法，通过计算harris角点和fast角点的矩形区域，取两个矩形区域的交集来确定每张样本图像的特征区域检测，能精准的识别出每张样本图像的特征区域位置，加快数据集的制作速度。采用随机不重复的旋转和镜像增强变换，裁剪出每张样本图像的区域图像集，来扩充数据集的多样性，实现数据增强的功能。
67.请参考图4，图4为本发明实施例提供的一种用于神经网络训练的数据集生成方法
的结构框图；具体装置可以包括：
68.采集模块100，用于获取预先拍摄完成的包括目标物体的视频，每隔预设帧数，从所述视频各帧图像中采集一张样本图像；
69.检测模块200，用于对每张样本图像进行特征区域检测，确定所述每张样本图像的特征区域；
70.增强模块300，用于根据预设数据增强参数，对所述每张样本图像进行随机不重复的增强变换，得到所述每张样本图像所对应的增强图像集；其中，所述增强变换包括镜像变换和旋转变换；
71.裁剪模块400，用于根据所述每张样本图像的特征区域，从所述增强图像集的每张增强图像中裁剪出与所述特征区域尺寸相同的区域，得到所述每张样本图像的区域图像集；
72.生成模块500，用于将所有样本图像的区域图像集整体压缩打包，生成训练数据集。
73.本实施例的用于神经网络训练的数据集生成装置用于实现前述的用于神经网络训练的数据集生成方法，因此用于神经网络训练的数据集生成装置中的具体实施方式可见前文中的用于神经网络训练的数据集生成方法的实施例部分，例如，采集模块100，检测模块200，增强模块300，裁剪模块400，生成模块500，分别用于实现上述用于神经网络训练的数据集生成方法中步骤s101，s102，s103，s104和s105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
74.本发明具体实施例还提供了一种用于神经网络训练的数据集生成设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种用于神经网络训练的数据集生成方法的步骤。
75.本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种用于神经网络训练的数据集生成方法的步骤。
76.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
77.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
78.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
79.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
80.显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。