一种面向目标检测的自适应数据增强方法与流程

1.本发明涉及数据增强技术领域，尤其是涉及一种面向目标检测的自适应数据增强方法。


背景技术：

2.目标检测(object detection)是一种图像处理技术，其在实际现实中有着十分广泛的应用。但是当前目标检测算法在实际使用过程中仍然存在着如下方面的问题：首先是小物体检测困难的问题，即所训练的模型对小物体的识别精度较低；其次是对训练批次的敏感性较大，即模型训练过程的效果随着批次大小的改变而变化明显，这会造成模型学习的不稳定性；最后是用于目标检测模型训练的数据集往往存在分类不平衡的问题，即不同分类的物体数量差异明显。


技术实现要素：

3.本发明的目的就是为了克服上述现有技术存在小物体检测困难、训练批次的敏感性较大、分类不平衡的缺陷而提供一种面向目标检测的自适应数据增强方法。
4.本发明的目的可以通过以下技术方案来实现：
5.一种面向目标检测的自适应数据增强方法，包括以下步骤：
6.对数据集中的各个图片进行遍历，执行自适应的区域去除算法、自适应的物体选择算法和自适应的标注过滤算法，得到增强后的数据集；
7.所述自适应的区域去除算法包括：从数据集中获取待增强图片，对该待增强图片中的区域进行遍历，去除长宽比失衡、面积小于预设的面积阈值的区域；
8.所述自适应的物体选择算法包括：根据单个物体的分类数量信息和物体之间的关系，从数据集中选取物体区域填充入待增强图片中去除的区域；
9.所述自适应的标注过滤算法包括：根据所述待增强图片中原有物体的包围框信息，过滤出不适合作为模型学习目标的物体。
10.进一步地，对该待增强图片中的区域进行遍历，具体为：在所述待增强图片中，自上而下、从左至右对各区域进行遍历。
11.进一步地，所述遍历的区域为所述待增强图片中通过包围框标注的原有物体区域以外的区域。
12.进一步地，所述长宽比失衡的区域为长宽比大于10的区域。
13.进一步地，所述面积小于预设的面积阈值的区域为面积小于20个像素的区域。
14.进一步地，所述单个物体的分类数量信息为单个物体在整个数据集中所属分类的物体数量。
15.进一步地，所述物体之间的关系根据各个物体之间的分类契合度计算，所述分类契合度的计算表达式为：
[0016][0017]
式中，c
(mn|i)
为分类契合度，iou(m,n)为物体m和物体n之间面积的交集与并集的比值；
[0018]
根据所述分类契合度计算数据集中物体的分类。
[0019]
进一步地，所述iou(m,n)的计算表达式为：
[0020][0021]
式中，sa为物体m和物体n之间的交集面积，sb为物体m和物体n之间的并集面积。
[0022]
进一步地，判断不适合作为模型学习目标的物体具体为：根据待增强图片中原有物体的包围框信息，计算ios值，若该ios值小于预设的ios阈值，则该原有物体为不适合作为模型学习目标的物体，过滤该原有物体的包围框信息，否则保留该原有物体的包围框信息。
[0023]
进一步地，所述ios值的计算表达式为：
[0024][0025]
式中，i
(m,m)
为物体m和物体m相交部分的面积，物体m为待增强图片中的原有物体，物体m为物体m对应的标准物体，sm为物体m的面积。
[0026]
与现有技术相比，本发明具有以下优点：
[0027]
本发明整体上对数据集进行了以下三个方面的改进：
[0028]
第一，本发明提出了一种自适应的区域去除算法，该算法可以自适应地从待增强的图片中选择适合去除的区域，其特点在可以保证去除的区域不会包括图片中待识别的物体，进而保障了图片原始重要信息的完整性；
[0029]
第二，本发明提出了一种自适应的物体选择算法，该算法可以自适应地从整个数据集范围内选择合适的、可用于填充入当前待识别图像去除区域中的物体，其特点在于物体的选择不仅会考虑单个物体的分类数量信息，同时会综合考虑物体之间的关系，所以所发明的自适应的物体选择算法可以保障所选择的物体与待识别物体的契合性；
[0030]
第三，本发明提出了一种自适应的标注过滤算法，该算法可以自适应地过滤掉增强数据中不适合作为模型学习目标的物体，其特点是通过过滤掉部分非学习目标进而提高整个模型学习的效率和质量。考虑到目标检测技术的使用十分广泛，所以本发明有一定的实际使用价值。
[0031]
采用本发明的目标检测数据集，其可以有效地提高数据集内容丰富性，基于本发明增强目标检测数据集所训练的网络在小目标检测、降低批次敏感性、缓解分类不平衡等问题上有模型得改进。考虑到目标检测任务是目前应用十分广泛的视觉技术，所以本发明有一定的社会价值和现实意义。
附图说明
[0032]
图1为本发明实施例中提供的一种面向目标检测的自适应数据增强方法的整体流
程示意图；
[0033]
图2为本发明实施例中提供的一种采用r-fcn网络的数据集训练过程对比图；
[0034]
图3为本发明实施例中提供的一种采用faster r-cnn网络的数据集训练过程对比图；
[0035]
图4为本发明实施例中提供的一种采用efficientdent网络的数据集训练过程对比图；
[0036]
图5为本发明实施例中提供的一种采用ssd网络的数据集训练过程对比图；
[0037]
图中，sada为采用本实施例中面向目标检测的自适应数据增强方法得到的增强数据集，steps为迭代次数，loss为损失，train without sada为不采用sada数据集进行训练，train with sada为采用sada数据集进行训练；x和y为像素坐标，aero、bike和bird为物体名称，object为物品。
具体实施方式
[0038]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0039]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]
实施例1
[0041]
如图1所示，本实施例提供一种面向目标检测的自适应数据增强方法，包括以下步骤：
[0042]
对数据集中的各个图片进行遍历，执行自适应的区域去除算法、自适应的物体选择算法和自适应的标注过滤算法，得到增强后的数据集；
[0043]
自适应的区域去除算法包括：从数据集中获取待增强图片，对该待增强图片中的区域进行遍历，去除长宽比失衡、面积小于预设的面积阈值的区域；
[0044]
自适应的物体选择算法包括：根据单个物体的分类数量信息和物体之间的关系，从数据集中选取物体区域填充入待增强图片中去除的区域；
[0045]
自适应的标注过滤算法包括：根据待增强图片中原有物体的包围框信息，过滤出不适合作为模型学习目标的物体。
[0046]
作为一种优选的实施方式，遍历的区域为待增强图片中通过包围框标注的原有物体区域以外的区域，可以保证去除的区域不会包括图片中待识别的物体，进而保障了图片原始重要信息的完整性。
[0047]
作为一种优选的实施方式，对该待增强图片中的区域进行遍历，具体为：在待增强图片中，自上而下、从左至右对各区域进行遍历。
[0048]
作为一种优选的实施方式，长宽比失衡的区域为长宽比大于10的区域。
[0049]
作为一种优选的实施方式，面积小于预设的面积阈值的区域为面积小于20个像素
的区域。
[0050]
作为一种优选的实施方式，单个物体的分类数量信息为单个物体在整个数据集中所属分类的物体数量。
[0051]
作为一种优选的实施方式，物体之间的关系根据各个物体之间的分类契合度计算，分类契合度的计算表达式为：
[0052][0053]
式中，c
(mn|i)
为分类契合度，iou(m,n)为物体m和物体n之间面积的交集与并集的比值；根据分类契合度计算数据集中物体的分类。。
[0054]
iou(m,n)的计算表达式为：
[0055][0056]
式中，sa为物体m和物体n之间的交集面积，sb为物体m和物体n之间的并集面积。
[0057]
通过自适应的物体选择算法选择的物体不仅会考虑单个物体的分类数量信息，同时会综合考虑物体之间的关系，所以本实施例的自适应的物体选择方案可以保障所选择的物体与待识别物体的契合性。
[0058]
作为一种优选的实施方式，判断不适合作为模型学习目标的物体具体为：根据原有物体的包围框信息，计算ios值，若该ios值小于预设的ios阈值，则该原有物体为不适合作为模型学习目标的物体，过滤该原有物体的包围框信息，否则保留该原有物体的包围框信息。
[0059]
ios值的计算表达式为：
[0060][0061]
式中，i
(m,m)
为物体m和物体m相交部分的面积，物体m为待增强图片中的原有物体，物体m为物体m对应的标准物体，sm为物体m的面积。
[0062]
本实施例中，ios阈值为0.3。
[0063]
自适应的标注过滤算法可以自适应地过滤掉增强数据中不适合作为模型学习目标的物体，其特点是通过过滤掉部分非学习目标进而提高整个模型学习的效率和质量。
[0064]
如图2-5所示，为在各个网络模型下，基于本实施例最优选的面向目标检测的自适应数据增强方法获取的数据集与原始数据集的训练对比，可见采用本方案目标检测训练有更快的速度。
[0065]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。