一种用于目标检测的图像样本生成方法及应用与流程

1.本发明涉及目标检测技术领域，更具体的说，是一种用于目标检测的图像样本生成方法及应用。


背景技术：

2.随着人工智能技术的蓬勃发展，深度学习技术已经在计算机视觉领域的分类、识别、检测、追踪、分割等领域获取突破性的进展。与传统的机器视觉方法相比，深度神经网络在大量富有局部相关特性的数据训练下，从各种数据集中提取有效的数据特征，具有高精度、强泛化、快速度的特点。深度学习虽然优于传统机器学习，但是深度学习需要建立在大量有相关性数据的基础上。在训练目标网络模型时，若样本量不足，则经常会导致目标网络模型训练过程欠拟合，使得目标网络模型效果变弱，进而导致目标网络模型无法实现分类任务或者回归任务。
3.在现有技术中，因为各种条件的限制和人工成本的约束，很多情况下都无法获得能使视觉任务模型训练达到的所需的数据量。针对数据量有限的问题，目前常用的解决方法是对目标图像数据进行增强扩充。
4.目前常用的数据增强方式分为以下两种：第一种是判别方式。该种增强方式又可分为基于单样本数据增强和基于多样本数据增强。单样本的数据增强有几何变换类：水平垂直翻转、随机角度旋转、随机缩小放大、随机水平垂直平移、随机畸变、随机剪切等；颜色变换类：各种噪声、随机饱和度、随机对比度、色彩改变等。多样本的数据增强代表性的有mixup、cutout和cutmix，且多样本中还可以使用单样本增强方式进行增强。
5.该种判别方式虽然简单、快速，但是也存在以下缺陷：生成的增强数据可用特征不够丰富，很容易被神经网络学习到；对目标分类提升的性能明显，但目标检测提升有限。
6.第二种是生成方法，基于生成性对抗网络，用原数据进行新数据的生成。该种方式能生成与原数据相关又有区别的数据，缺点是如何设计一个合适的生成方式较难，如果设计不好，生成性对抗网络无法收敛或无法生成多样性且与原图有区别的图像，且训练过于复杂，图像中的目标和背景信息也不准确，即缺乏细节信息。


技术实现要素：

7.本发明的目的在于提供一种用于目标检测的图像样本生成方法及应用，该方法适用于背景单一或数据量少的场景中增强数据，实现神经网络的训练，提高模型的map和ap50。
8.其技术方案如下：本发明在一实施例中公开一种用于目标检测的图像样本生成方法，包括以下步骤：数据样本分区：获取前景样本及背景样本，对获取的前景样本和/或背景样本进行
分区，得到多个图像样本拼接区域，并分别建立多个图像样本拼接区域的限定越界区；数据样本增强：获取正样本及负样本，通过图像数据增强策略搜索空间对正样本及负样本进行数据增强，得到增强后的正样本及负样本；数据样本拼接：将增强后的正样本及负样本根据图像融合黏贴至前景样本、背景样本的不同的图像样本拼接区域内，增强后的正样本、负样本在黏贴时避开前景样本、背景样本的限定越界区，根据正样本及负样本在前景样本及背景样本中的所在位置，计算目标检测框的坐标，获得增强后的前景样本、背景样本，以及增强后的前景样本、背景样本的数据标签；混合样本增强：对含有正样本的混合样本使用残缺增强策略进行数据增强；其中，前景样本为目标检测中带有目标检测任务框的样本，背景样本为目标检测中没有目标检测任务框的样本，正样本为需要识别或检测的物体类别的检测框的图像样本，负样本为不需要识别或检测的物体类别的检测框的图像样本。
9.优选地，在步骤数据样本分区中，具体包括以下步骤：采用k近邻算法获取前景样本的所有类别的检测框；将获取的所有类别的检测框之间互相做面积的交互比；将交互比阈值大于0的检测框进行聚类，形成多个前景样本检测框分类群；获取每个前景样本检测框分类群的左上角坐标的极小值及右上角坐标的极大值，形成代表框数据；对获取的每个代表框数据进行过滤及建立限定越界区。
10.优选地，对获取的代表框数据进行过滤及建立限定越界区，具体包括：计算每个代表框的面积，并取面积最大的代表框作为坐标分隔框；坐标分隔框将前景样本分隔成多个区域，分别计算除坐标分隔框以外的多个区域的面积及前景样本的面积；通过设定阈值过滤掉面积较小的区域以及长、宽畸形的区域，形成多个图像样本拼接区域；针对每个图像样本拼接区域建立限定越界区。
11.优选地，针对每个图像样本拼接区域建立限定越界区，具体包括：根据每个代表框在前景样本中所在的区域坐标，判断代表框的坐标是否落在同一图像样本拼接区域上；若代表框的坐标落在同一图像样本拼接区域内，则以代表框的坐标为该图像样本拼接区域的限定越界区；若代表框的坐标落在不同的图像样本拼接区域内，则将该代表框分割成多个拼接区域，并获取每一个拼接区域的越界区，遍历获取的每一个拼接区域的越界区，计算每一个拼接区域的越界区的中心点坐标，设定越界区相邻距离阈值，若任意两个拼接区域的越界区中心点之间的距离小于设定的越界区相邻距离阈值，则将该两个拼接区域的越界区合并，形成新的越界区，并以该形成的新的越界区为该图像样本拼接区域的限定越界区。
12.优选地，在步骤数据样本增强中，具体包括：获取正样本及负样本；建立图像数据增强策略搜索空间，图像数据增强策略搜索空间包括多种增强策
略，设定每种增强策略的增强量级的取值范围；设定参数n值及参数p值控制数据增强操作，参数n值表示对正样本或负样本进行n次图像数据转换操作，每次操作都均等的从图像数据增强策略搜索空间中选择一种进行图像变换操作；参数p值表示每一种增强策略执行的概率值；根据设定的参数n值及参数p值，在图像数据增强策略搜索空间中对正样本及负样本进行数据增强，获得增强后的正样本及负样本。
13.优选地，将增强后的正样本及负样本根据图像融合黏贴至前景样本、背景样本的不同的图像样本拼接区域内，具体包括：对前景样本和/或背景样本的图像样本拼接区域进行抽取；判断抽取到的图像样本拼接区域是否存在限定越界区；若抽到的图像样本拼接区域没有限定越界区，则计算该图像样本拼接区域的中心点坐标，将中心点坐标以设定概率数浮动位置，形成新的中心点坐标，以该新的中心点坐标为中心点，以需要黏贴的增强后的正样本、负样本的对角线长度的二分之一为边长划定区域范围，如果划定的区域范围没有超出抽取到的图像样本拼接区域的边界，则以新的中心点坐标为需要黏贴的正样本或负样本的中心点；如果划定的区域范围超出抽取到的图像样本拼接区域的边界，则按比例缩小对角线长度，并以缩小后的对角线长度为边长重新划定区域范围，直至区域范围没有超出抽取到的图像样本拼接区域的边界，并以缩小的比例乘以需要黏贴的正样本或负样本的边长，对正样本或负样本的边长进行缩放，并以新的中心点坐标为需要黏贴的正样本或负样本的中心点；若抽取到的图像样本拼接区域有一个限定越界区，则计算该限定越界区每条边至该图像样本拼接区域的边界的值，并以获得的最大的值作为偏移值，通过偏移值及需要黏贴的增强后的正样本、负样本的对角线长度，获得需要黏贴的正样本或负样本的中心点；若抽取到的图像样本拼接区域有两个限定越界区，则获取两个限定越界区的中心点的坐标，根据两个限定越界区的中心点坐标及需要黏贴的增强后的正样本、负样本的对角线长度，获得需要黏贴的正样本或负样本的中心点；若抽取到的图像样本拼接区域存在的限定越界区大于两个，则舍弃该图像样本拼接区域，并重新抽取新的图像样本拼接区域。
14.优选地，根据正样本及负样本在前景样本及背景样本中的所在位置，计算目标检测框的坐标，获得增强后的前景样本、背景样本，以及增强后的前景样本、背景样本的数据标签，具体包括：计算增强后的正样本、负样本的梯度场；计算前景样本及背景样本的梯度场；计算增强后的正样本、负样本拼接至前景样本、背景样本后的融合梯度场；对融合梯度场进行求导计算，得到散度矩阵，并根据前景样本、背景样本的边缘像素点的像素值构造系数矩阵；根据散度矩阵及系数矩阵计算融合后的样本图像的各个像素点的像素值，得到融合后的样本图像；根据融合后的样本图像计算正样本在前景样本、背景样本上的位置，即目标检测框的位置。
15.优选地，对含有正样本的混合样本使用残缺增强策略进行数据增强，具体包括：
对融合后的图像样本上的正样本及前景样本上的目标检测框进行限定范围的掩盖，该限定范围不超过目标检测框的一半区域；每个目标检测框都有设定的概率被掩盖；掩盖后的目标物体会将掩盖区域的像素点的像素值设置为0，从而形成带有掩膜的合成图像。
16.优选地，对获取的背景样本进行分区，具体包括：对背景样本的宽和高进行均等划分，从而将背景样本划分为多个图像样本拼接区域；设置背景样本的多个图像样本拼接区域的限定越界区为空。
17.本发明在另一实施例中还公开一种如上述任一项所述的用于目标检测的图像样本生成方法在外置式智能摄像头中的应用。
18.下面对本发明的优点或原理进行说明：本发明通过在不同的图样数据集的基础上进行混合样本的数据增强，从而生成更多的训练样本，解决训练数据量不足的问题，适用于背景单一或数据量少的场景中增强数据，实现神经网络的训练，减少模型训练时产生的过拟合问题，提高模型的map和ap50。
19.需要说明的是：上述“ap（average precision ）平均精度，根据pr曲线计算得出”；“ap50指取detector的iou阈值大于0.5”。
20.上述“map(mean average precision) 各类别ap的平均值”。
附图说明
21.图1是本发明的图像样本生成方法的总的流程图；图2是本发明的数据样本分区的流程图；图3是本发明的数据样本增强的流程图；图4是本发明一实施例中前景样本图；图5是本发明一实施例中前景样本聚合图；图6是本发明一实施例中前景样本分区图；图7是本发明一实施例中前景样本限定越界区分割图；图8是本发明一实施例中前景样本限定越界区合并图；图9是本发明一实施例中背景样本分区图；图10是本发明一实施例中图像合成区域图。
具体实施方式
22.下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
23.如图1所示，本发明在一实施例中公开一种用于目标检测的图像样本生成方法，该生成方法包括以下步骤：s1：数据样本分区：获取前景样本f
s
及背景样本b
s
，对获取的前景样本f
s
和/或背景样本b
s
进行分区，得到多个图像样本拼接区域，并分别建立多个图像样本拼接区域的限定
越界区。
24.本实施例首先将图像数据样本划分为前景样本f
s
、背景样本b
s
、正样本p
s
、负样本n
s
。其中，上述所述的前景样本f
s
为目标检测中带有目标检测任务框的样本，前景样本f
s
的样本数量和样本检测框的类别可根据任务特性或数据自身的情况进行选择。上述所述的背景样本b
s
为目标检测中没有目标检测任务框的样本。上述所述正样本p
s
为需要识别或检测的物体类别的检测框的图像样本。上述所述负样本n
s
为不需要识别或检测的物体类别的检测框的图像样本。
25.如图2所示,在步骤数据样本分区中，具体包括以下步骤：s11：采用k近邻算法获取前景样本f
s
的所有类别的检测框。
26.s12：将获取的所有类别的检测框之间互相做面积的交互比；s13：将交互比阈值大于0的检测框进行聚类，形成多个前景样本f
s
检测框的分类群。
27.如图4至图8所示，在对前景样本f
s
进行分区时，首先采用k近邻算法获取前景样本f
s
的所有类别的检测框，如下所示：；其中，、、、分别表示前景样本f
s
的所有类别的检测框的左上横坐标、左上纵坐标、右下横坐标、右下纵坐标，表示检测框的类别，n 、m ......分别表示该类别检测框的数量。
28.然后将检测框之间互相做面积的交互比，交互比的阈值设置为0，只要检测框与检测框之间存在交互，则需要聚类，形成检测框的分类群。
29.s14：获取每个前景样本f
s
检测框分类群的左上角坐标的极小值及右上角坐标的极大值，形成代表框数据。
30.具体的，对前景样本f
s
的检测框聚类后，形成多个检测框分类群的分区。取检测框分类群的左上角坐标的极小值及右上角坐标的极大值，如下所示：；；形成代表框数据，；其中，[]、]分别表示检测框分类群左上角坐标及右下角坐标，n表示每个检测框分类群里面的检测框数量，分别表示每一个检测框分类群的代表框，m表示聚类后生成的检测框分类群的群数。
[0031]
s15：对获取的每个代表框数据进行过滤及建立限定越界区。
[0032]
获得代表框数据后，接着对代表框数据进行过滤及建立限定越界区，具体包括：计算每个代表框的面积，并取面积最大的代表框作为坐标分隔框；坐标分隔框将前景样本f
s
分隔成多个区域，分别计算除坐标分隔框以外的多个区域的面积及前景样本f
s
的面积；通过设定阈值过滤掉面积较小的区域以及长、宽畸形的区域，形成多个图像样本拼接区域；针对每个图像样本拼接区域建立限定越界区。
[0033]
具体的，计算每个代表框的面积，接着取面积最大值的代表框坐为坐标分隔框，；如图6所示，坐标分隔框把整个前景样本f
s
分隔成九个区域，然后计算八个区域a、b、c、d、e、f、g、h的面积及整个前景样本f
s
的面积，如下所示：；；；；；；；；；其中，、 、 、分别为坐标分隔框的坐标，、为前景样本f
s
的宽和高，、、、、、、、、分别表示八个区域的面积以及整个前景样本f
s
的面积。
[0034]
然后将所有区域的面积和前景样本f
s
的面积进行对比，并设定阈值，通过该阈值过滤掉面积较小的区域，面积较小的区域被丢弃。接着通过设定长和宽的阈值，获取剩下的区域的长和宽，通过长和宽进行二次过滤，丢弃长和宽畸形的区域。把再次剩下的区域作为本实施例的图像样本拼接区域。
[0035]
如下所示：；
其中，表示图像样本拼接区域的集合，m表示前景样本f
s
的分区数，分别表示每一个检测框分类群的代表框。
[0036]
如图9所示，对背景样本b
s
进行分区，可直接将整个背景样本b
s
的宽和高各自划分为三等分，从而形成九个图像样本拼接区域，每个图像样本拼接区域的限定越界区均设置为空。在本实施例中，可对背景样本b
s
进行划分，也可选择不划分背景样本b
s
。
[0037]
获得图像样本拼接区域后，接着针对每个图像样本拼接区域建立限定界区，具体包括：根据每个代表框在前景样本f
s
中所在的区域坐标，判断代表框的坐标是否落在同一图像样本拼接区域内；若代表框的坐标落在同一图像样本拼接区域内，则以该代表框的坐标为该图像样本拼接区域的越界区；若代表框的坐标落在不同的图像样本拼接区域，则将该代表框分割成多个拼接区域，并获取每一个拼接区域的越界区，遍历获取的每一个拼接区域的越界区，计算每一个拼接区域的越界区的中心点坐标，并设定越界区相邻距离阈值，若任意两个拼接区域的越界区中心点之间的距离小于设定的越界区相邻距离阈值，则将该两个拼接区域的越界区合并，形成新的越界区，并以该形成的新的越界区为该图像样本拼接区域的限定越界区。
[0038]
具体的，如果某些代表框的坐标落在图像样本拼接区域上，则以该代表框所在的坐标为该图像样本拼接区域的限定越界区，如图6中代表框k1、k3，k1和k3则分别为其所在的图像样本拼接区域的限定越界区。如果某些代表框落在两个甚至多个图像样本拼接区域内，如图7中代表框k6所示落在两个图像样本拼接区域内，则通过图像拼接区域和代表框的坐标，判断代表框是否落在不同的图像样本拼接区域内。若是，则对代表框进行分割，将代表框分割成多个区域，接着获取代表框落在的每一个图像样本拼接区域的限定越界区，；其中，分别表示落在图像样本拼接区域n的限定越界区的坐标，表示落在图像样本拼接区域m的限定越界区的坐标。
[0039]
然后遍历每一个图像样本拼接区域的限定越界区，并求得每一个越界区的中心点坐标，当任意越界区的中心点之间的距离小于越界区相邻距离阈值，则把该些限定越界区合并，形成新的限定越界区。再把新的限定越界区合并时，可参照样本步骤s14。
[0040]
如图3所示，数据样本分区操作完成后，接着进行数据样本的增强操作，具体为：s2：数据样本增强：获取正样本p
s
及负样本n
s
，通过图像数据增强策略搜索空间对正样本p
s
及负样本n
s
进行数据增强，得到增强后的正样本p
s
及负样本n
s
。
[0041]
进一步地，数据样本增强具体包括以下步骤：s21：获取正样本p
s
及负样本n
s
；
s22：建立图像数据增强策略搜索空间，图像数据增强策略搜索空间包括多种增强策略，设定每种增强策略的增强量级的取值范围；s23：设定参数n值及参数p值控制数据增强操作，参数n值表示对正样本p
s
或负样本n
s
进行n次图像数据转换操作，每次操作都均等的从图像数据增强策略搜索空间中选择一种进行图像变换操作；参数p值表示每一种增强策略执行的概率值；s24：根据设定的参数n值及参数p值，在图像数据增强策略搜索空间中对正样本p
s
及负样本n
s
进行数据增强，获得增强后的正样本p
s
及负样本n
s
。
[0042]
优选地，参数n值、参数p值分别表示在图像数据增强策略搜索空间内随机进行n次数据转换操作，其中每种数据转换操作以概率p被执行。本实施例的图像数据增强策略搜索空间包括12种图像增强策略，并通过设置每种增强策略的增强量级的取值范围，令每次的数据转换幅度都在允许的范围内随机选择。
[0043]
本实施例的所有增强操作分为两类，一类是形状变换，使图像数据的形状发生改变；另一类是颜色变换，改变图像数据中的像素值。其中某些变换可能还包含有一些子变换，如噪声扰动包含有高斯噪声、随机噪声等。
[0044]
当参数n大于1时，图像数据均匀的进行颜色和形状变换，即首先从颜色变换中随机选择进行变换，然后从形状变换中随机选择进行变换。参数p值，表示单次图像数据增强策略有p的概率会被进行增强，也有1
‑
p的概率会保持不变。
[0045]
利用自动搜索在图像数据增强策略搜索空间中对正样本p
s
及负样本n
s
进行数据增强，正样本p
s
及负样本n
s
的每张图像经过概率p决定是否变换。如果需要变换，则经过图像数据增强策略搜索空间进行n次图像变换后，获得增强后的图像。
[0046]
其中每张图像可选的图像增强策略如下表所示：表1 图像增强策略正样本p
s
及负样本n
s
增强后，接着执行数据样本的拼接操作。
[0047]
s3：数据样本拼接：将增强后的正样本p
s
及负样本n
s
根据图像融合黏贴至前景样本f
s
、背景样本b
s
的不同的图像样本拼接区域内，增强后的正样本p
s
、负样本n
s
在黏贴时避开前景样本f
s
、背景样本的限定越界区，根据正样本p
s
及负样本n
s
在前景样本f
s
及背景样本b
s
中的所在位置，计算目标检测框的坐标，获得增强后的前景样本f
s
、背景样本b
s
，以及增强后的前景样本f
s
、背景样本b
s
的数据标签。
[0048]
其中，将增强后的正样本p
s
及负样本n
s
根据图像融合黏贴至前景样本f
s
、背景样本b
s
的不同图像样本拼接区域内，具体包括：s31：对前景样本f
s
和/或背景样本b
s
的图像样本拼接区域进行抽取；s32：判断抽取到的图像样本拼接区域是否存在限定越界区；s33：若抽到的图像样本拼接区域没有限定越界区，则计算该图像样本拼接区域的中心点坐标，将中心点坐标以设定概率数浮动位置，形成新的中心点坐标，以该新的中心点坐标为中心点，以需要黏贴的增强后的正样本p
s
、负样本n
s
的对角线长度的二分之一为边长划定区域范围，如果划定的区域范围没有超出抽取到的图像样本拼接区域的边界，则以新的中心点坐标为需要黏贴的正样本p
s
或负样本n
s
的中心点，如果划定的区域范围超出抽取到的图像样本拼接区域的边界，则按比例缩小对角线长度，并以缩小后的对长度作为边长重新划定区域范围，直至区域范围没有超出抽取到的图像样本拼接区域的边界，并以缩小的比例乘以需要黏贴的正样本p
s
或负样本n
s
的边长，对正样本p
s
或负样本n
s
的边长进行缩放，并以该新的中心点坐标为需要黏贴的正样本p
s
或负样本n
s
的中心点；s34：若抽取到的图像样本拼接区域有一个限定越界区，则计算该限定越界区每条边至该图像样本拼接区域的边界的值，并以获得的最大的值作为偏移值，通过偏移值及需要黏贴的增强后的正样本p
s
、负样本n
s
的对角线长度，获得需要黏贴的正样本p
s
或负样本n
s
的中心点；s35：若抽取到的图像样本拼接区域有两个限定越界区，则获取两个限定越界区的中心点的坐标，根据两个限定越界区的中心点坐标及需要黏贴的增强后的正样本p
s
、负样本n
s
的对角线长度，获得需要黏贴的正样本p
s
或负样本n
s
的中心点；s36：若抽取到的图像样本拼接区域存在的限定越界区大于两个，则舍弃该图像样本拼接区域，并重新抽取新的图样样本拼接区域。
[0049]
具体的，在对前景样本f
s
、背景样本b
s
的图像样本拼接区域进行抽取之前，首先建立图像样本拼接区域的选择规则，保证前景样本f
s
、背景样本b
s
的所有图像样本拼接区域都有被抽中和没有被抽中的机率，每个前景样本f
s
、背景样本b
s
都有固定的分区阈值，保证每次抽取时都有图像样本拼接区域被抽取出来。
[0050]
对于需要黏贴的增强后的正样本p
s
、负样本n
s
，需要先计算该样本的对角线的长度：；其中，a，b分别表示增强后的正样本p
s
或负样本n
s
的相邻两边的边长，表示边长a，b之间的夹角，只有90度和经过数据增强的畸变后的角度。
[0051]
若抽取到的图像样本拼接区域没有存在任何限定越界区时，则首先求得该图像样本拼接区域的中心点坐标，
；；；其中，分别表示从a到h图像样本拼接区域，每个区域的中心点坐标的集合。
[0052]
然后给该中心点设定一个概率数，让中心点坐标进行概率数的浮动位置，形成新的中心点，；以新的中心点为为中心点坐标，以需要黏贴的增强样本的对角线的c/2为边长，划定区域范围。如果在以对角线的c/2为边长的情况下，划定的区域范围没有超出抽取到图像样本拼接区域的边界，则以中心点为需要黏贴的正样本p
s
或负样本n
s
的中心点。如果划定的区域范围超过抽取到的图像样本拼接区域的边界，则按比例缩小对角线的c/2，并以缩小的比例乘以需要黏贴的正样本p
s
或负样本n
s
的边长，从而对正样本p
s
、负样本n
s
的边长进行缩放，并以新的中心点为黏贴的中心点。
[0053]
若抽取到的图像样本拼接区域有一个越界区，则计算该限定越界区每条边至该图像样本拼接区域的边界的值，并以获得的最大的值作为偏移值，；接着通过以下公式获取中心点的偏移值，；其中，表示该偏移值以一定范围数进行移动，表示对角线的c/2的缩放比例，如果偏移值超过对角线的c/2，则以一定比例缩小对角线的长度，并以缩小的比例乘以需要黏贴的正样本p
s
或负样本n
s
的边长，从而对正样本p
s
或负样本n
s
的边长进行缩放，并以中心点为黏贴的中心点进行正样本p
s
或负样本n
s
的黏贴。
[0054]
若抽取到的图像样本拼接区域有两个限定越界区，则获取两个限定越界区h1和h2的中心点坐标。然后根据限定越界区h1和限定越界区h2的中心点坐标判定两个限定越界区是横向排列还是竖向排列。如果该两个限定越界区是竖向排列的，则根据两个限定越界区的中心点坐标得到两个限定越界区的平均中心线的坐标，=，并取该平均中心线上的一个坐标作为拼接中心点坐标的值，的取值可根据限定越界区的情况限定。
[0055]
然后根据两个限定越界区的中心点坐标求得中心点到边角的距离l1，l2，；；其中，、、、分别表示限定越界区h1和h2的坐标值。
[0056]
然后根据以下公式计算中心点k，；接着根据以下公式计算新的中心点坐标，；若中心点的偏移值超过对角线的c/2，则以一定比例缩小对角线的长度，并以缩小的比例乘以需要黏贴的正样本p
s
或负样本n
s
的边长，从而对正样本p
s
或负样本n
s
的边长进行缩放，并以中心点为黏贴的中心点进行正样本p
s
或负样本n
s
的黏贴。
[0057]
正样本p
s
或负样本n
s
黏贴的中心点确定后，接着此采用泊松融合将正样本p
s
、负样本n
s
黏贴至前景样本f
s
、背景样本b
s
上。
[0058]
根据正样本p
s
及负样本n
s
在前景样本f
s
及背景样本b
s
中的所在位置，计算目标检测框的坐标，获得增强后的前景样本f
s
、背景样本b
s
，以及增强后的前景样本f
s
、背景样本b
s
的数据标签，具体包括：计算增强后的正样本p
s
及负样本n
s
的梯度场；计算前景样本f
s
及背景样本b
s
的梯度场；计算正样本p
s
、负样本n
s
黏贴至前景样本f
s
、背景样本b
s
后的融合梯度场；对融合梯度场进行求导计算，得到散度矩阵，并根据前景样本f
s
、背景样本b
s
的边缘像素点的像素值构造系数矩阵；根据散度矩阵及系数矩阵计算融合后的样本图像的各个像素点的像素值，得到融合后的样本图像；根据融合后的样本图像计算正样本p
s
在前景样本f
s
、背景样本b
s
上的位置，即目标检测框的位置。
[0059]
如图10所示，边缘像素点为正样本p
s
、负样本n
s
的边缘上的像素点，边缘像素点的像素值为已知，构成了对于融合后图像的约束条件，将这些约束条件以矩阵的形式进行展现，即为系数矩阵。
[0060]
如图10所示，图10为本发明一个实施例的图像合成区域图，在图10中，正样本p
s
或负样本n
s
的源图像为g，源图像g的梯度为v。将正样本p
s
或负样本n
s
的源图像g插入到背景样本b
s
的目标图像s的分区中，分区具有边界。融合后的图像如图10中从左至右的第三幅图所示，在融合后的图像中，目标图像s的像素值用函数f*描述，而融合后的图像在分区的像素值用函数f描述。
[0061]
如果将散度矩阵记为b，将系数矩阵记为a，则融合后所得到的样本图像中各个像素点的像素值以矩阵的形式记为x,则可以建立如下所示的公式：ax＝b。其中，a和b均为已知，通过上述公式即可计算出x的取值，即计算出样本图样中各个像素点的像素值，从而得到融合后的样本图像。
[0062]
其中，泊松融合的公式如下：；；；其中，正样本p
s
、负样本n
s
的源图像g插入到前景样本f
s
、背景样本b
s
的目标图像s的分区中，分区具有边界，目标图像s的像素值和像素位置的关系可以用函数f*来描述，而融合后的图像在分区的像素值和像素位置的关系则用函数f来描述，指图像函数f的梯度，指的是正样本p
s
、负样本n
s
的源图像g的梯度。
[0063]
根据合成后的图像样本计算正样本p
s
融合到前景样本f
s
、背景样本b
s
上的位置，即为正样本p
s
的目标检测框的位置。
[0064]
具体的，求出融合图像的中心点坐标，；其中，分别表示融合图像的中心点的坐标值。
[0065]
接着求出每个分图像样本拼接区域上的正样本p
s
的坐标，公式为：；；；；其中，和分别表示为在a到h的每一个图像样本拼接区域里面拼黏贴的增强后的正样本p
s
的宽和高。
[0066]
s4：混合样本增强：对含有正样本p
s
的混合样本使用残缺增强策略进行数据增强。
[0067]
具体包括；s41：对融合后的图像样本上的正样本p
s
及前景样本f
s
上的目标检测框进行限定范
围的掩盖，该限定范围不超过目标检测框的一半区域；s42：每个目标检测框都有设定的概率被掩盖；s43：掩盖后的目标物体会将掩盖区域的像素点的像素值设置为0，从而形成带有掩膜的合成图像。
[0068]
具体的，设置概率p，对融合图像上的正样本p
s
及前景样本f
s
上的目标物体的目标检测框进行限定范围的覆盖。每个带有目标物体的目标检测框都有概率p会被掩盖，而掩盖的范围会在[0,]和[0,]内滑动。
[0069]
在另一实施例中，上述的用于目标检测图像样本的生成方法主要用于外置式智能摄像头中。优选的，该外置式智能摄像头可为安装于智能冰箱上的摄像头。
[0070]
本发明通过在不同的图样数据集的基础上进行混合样本的数据增强，从而生成更多的训练样本，解决训练数据量不足的问题，减少模型训练时产生的过拟合问题。
[0071]
本发明所采用的数据增强方法，可以利用现有的数据标签直接转换成增强后的数据的标签，大大节省人工标注时间，本发明采用的混合数据增强有利于图像特征的提取，通过模型训练可以提高模型的map和ap50，提高模型的鲁棒性。
[0072]
本发明的实施方式不限于此，按照本发明的上述内容，利用本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，本发明还可以做出其它多种形式的修改、替换或组合，均落在本发明权利保护范围之内。