一种用于目标检测的图像样本生成方法及应用与流程

技术特征：
1.一种用于目标检测的图像样本生成方法，其特征在于，包括以下步骤：数据样本分区：获取前景样本及背景样本，对获取的前景样本和/或背景样本进行分区，得到多个图像样本拼接区域，并分别建立多个图像样本拼接区域的限定越界区；数据样本增强：获取正样本及负样本，通过图像数据增强策略搜索空间对正样本及负样本进行数据增强，得到增强后的正样本及负样本；数据样本拼接：将增强后的正样本及负样本根据图像融合黏贴至前景样本、背景样本的不同的图像样本拼接区域内，增强后的正样本、负样本在黏贴时避开前景样本、背景样本的限定越界区，根据正样本及负样本在前景样本及背景样本中的所在位置，计算目标检测框的坐标，获得增强后的前景样本、背景样本，以及增强后的前景样本、背景样本的数据标签；混合样本增强：对含有正样本的混合样本使用残缺增强策略进行数据增强；其中，前景样本为目标检测中带有目标检测任务框的样本，背景样本为目标检测中没有目标检测任务框的样本，正样本为需要识别或检测的物体类别的检测框的图像样本，负样本为不需要识别或检测的物体类别的检测框的图像样本。2.如权利要求1所述的用于目标检测的图像样本生成方法，其特征在于，在步骤数据样本分区中，具体包括以下步骤：采用k近邻算法获取前景样本的所有类别的检测框；将获取的所有类别的检测框之间互相做面积的交互比；将交互比阈值大于零的检测框进行聚类，形成多个前景样本检测框分类群；获取每个前景样本检测框分类群的左上角坐标的极小值及右上角坐标的极大值，形成代表框数据；对获取的每个代表框数据进行过滤及建立限定越界区。3.如权利要求2所述的用于目标检测的图像样本生成方法，其特征在于，对获取的代表框数据进行过滤及建立限定越界区，具体包括：计算每个代表框的面积，并取面积最大的代表框作为坐标分隔框；坐标分隔框将前景样本分隔成多个区域，分别计算除坐标分隔框以外的多个区域的面积及前景样本的面积；通过设定阈值过滤掉面积较小的区域以及长、宽畸形的区域，形成多个图像样本拼接区域；针对每个图像样本拼接区域建立限定越界区。4.如权利要求3所述的用于目标检测的图像样本生成方法，其特征在于，针对每个图像样本拼接区域建立限定越界区，具体包括：根据每个代表框在前景样本中所在的区域坐标，判断代表框的坐标是否落在同一图像样本拼接区域上；若代表框的坐标落在同一图像样本拼接区域内，则以代表框的坐标为该图像样本拼接区域的限定越界区；若代表框的坐标落在不同的图像样本拼接区域内，则将该代表框分割成多个拼接区域，并获取每一个拼接区域的越界区，遍历获取的每一个拼接区域的越界区，计算每一个拼接区域的越界区的中心点坐标，设定越界区相邻距离阈值，若任意两个拼接区域的越界区
中心点之间的距离小于设定的越界区相邻距离阈值，则将该两个拼接区域的越界区合并，形成新的越界区，并以该形成的新的越界区为该图像样本拼接区域的限定越界区。5.如权利要求1至4任一项所述的用于目标检测的图像样本生成方法，其特征在于，在步骤数据样本增强中，具体包括：获取正样本及负样本；建立图像数据增强策略搜索空间，图像数据增强策略搜索空间包括多种增强策略，设定每种增强策略的增强量级的取值范围；设定参数n值及参数p值控制数据增强操作，参数n值表示对正样本或负样本进行n次图像数据转换操作，每次操作都均等的从图像数据增强策略搜索空间中选择一种进行图像变换操作；参数p值表示每一种增强策略执行的概率值；根据设定的参数n值及参数p值，在图像数据增强策略搜索空间中对正样本及负样本进行数据增强，获得增强后的正样本及负样本。6.如权利要求5所述的用于目标检测的图像样本生成方法，其特征在于，将增强后的正样本及负样本根据图像融合黏贴至前景样本、背景样本的不同的图像样本拼接区域内，具体包括：对前景样本和/或背景样本的图像样本拼接区域进行抽取；判断抽取到的图像样本拼接区域是否存在限定越界区；若抽到的图像样本拼接区域没有限定越界区，则计算该图像样本拼接区域的中心点坐标，将中心点坐标以设定概率数浮动位置，形成新的中心点坐标，以该新的中心点坐标为中心点，以需要黏贴的增强后的正样本、负样本的对角线长度的二分之一为边长划定区域范围，如果划定的区域范围没有超出抽取到的图像样本拼接区域的边界，则以新的中心点坐标为需要黏贴的正样本或负样本的中心点；如果划定的区域范围超出抽取到的图像样本拼接区域的边界，则按比例缩小对角线长度，并以缩小后的对角线长度为边长重新划定区域范围，直至区域范围没有超出抽取到的图像样本拼接区域的边界，并以缩小的比例乘以需要黏贴的正样本或负样本的边长，对正样本或负样本的边长进行缩放，并以新的中心点坐标为需要黏贴的正样本或负样本的中心点；若抽取到的图像样本拼接区域有一个限定越界区，则计算该限定越界区每条边至该图像样本拼接区域的边界的值，并以获得的最大的值作为偏移值，通过偏移值及需要黏贴的增强后的正样本、负样本的对角线长度，获得需要黏贴的正样本或负样本的中心点；若抽取到的图像样本拼接区域有两个限定越界区，则获取两个限定越界区的中心点的坐标，根据两个限定越界区的中心点坐标及需要黏贴的增强后的正样本、负样本的对角线长度，获得需要黏贴的正样本或负样本的中心点；若抽取到的图像样本拼接区域存在的限定越界区大于两个，则舍弃该图像样本拼接区域，并重新抽取新的图像样本拼接区域。7.如权利要求6所述的用于目标检测的图像样本生成方法，其特征在于，根据正样本及负样本在前景样本及背景样本中的所在位置，计算目标检测框的坐标，获得增强后的前景样本、背景样本，以及增强后的前景样本、背景样本的数据标签，具体包括：计算增强后的正样本、负样本的梯度场；计算前景样本及背景样本的梯度场；
计算增强后的正样本、负样本拼接至前景样本、背景样本后的融合梯度场；对融合梯度场进行求导计算，得到散度矩阵，并根据前景样本、背景样本的边缘像素点的像素值构造系数矩阵；根据散度矩阵及系数矩阵计算融合后的样本图像的各个像素点的像素值，得到融合后的样本图像；根据融合后的样本图像计算正样本在前景样本、背景样本上的位置，即目标检测框的位置。8.如权利要求7所述的用于目标检测的图像样本生成方法，其特征在于，对含有正样本的混合样本使用残缺增强策略进行数据增强，具体包括：对融合后的图像样本上的正样本及前景样本上的目标检测框进行限定范围的掩盖，该限定范围不超过目标检测框的一半区域；每个目标检测框都有设定的概率被掩盖；掩盖后的目标物体会将掩盖区域的像素点的像素值设置为0，从而形成带有掩膜的合成图像。9.如权利要求1所述的用于目标检测的图像样本生成方法，其特征在于，对获取的背景样本进行分区，具体包括：对背景样本的宽和高进行均等划分，从而将背景样本划分为多个图像样本拼接区域；设置背景样本的多个图像样本拼接区域的限定越界区为空。10.一种如权利要求1至9任一项所述的用于目标检测的图像样本生成方法在外置式智能摄像头中的应用。

技术总结
本发明公开了一种用于目标检测的图像样本生成方法及应用，该方法包括：对前景样本和/或背景样本进行分区，得到多个图像样本拼接区域，并分别建立多个图像样本拼接区域的限定越界区；通过图像数据增强策略搜索空间对正样本及负样本进行数据增强；将增强后的正样本及负样本黏贴至前景样本、背景样本的不同的图像样本拼接区域内，根据正样本及负样本在前景样本及背景样本中的所在位置，计算目标检测框的坐标，获得增强后的前景样本、背景样本，以及增强后的前景样本、背景样本的数据标签；对含有正样本的混合样本使用残缺增强策略进行数据增强。本发明适用于数据量少的场景中增强数据，实现神经网络的训练，提高模型的MAP和AP50。提高模型的MAP和AP50。提高模型的MAP和AP50。


技术研发人员：张元本 陈名国 廖丽曼
受保护的技术使用者：广州微林软件有限公司
技术研发日：2021.10.21
技术公布日：2021/11/21