一种神经网络的训练样本标签分配方法及系统与流程

1.本发明涉及深度学习技术领域，具体是一种神经网络的训练样本标签分配方法及系统。


背景技术：

2.计算机视觉的发展过程中，目标检测一直都是研究人员关注的焦点，其主要在于检测出目标所在图像中的外接框和类别，近些年，随着卷积神经网络的发展，基于anchor-base的检测网络已经主宰目标检测很多年了，其主要是人为在图片上设定大量的anchor，然后根据每个anchor的位置和尺寸预测图片中目标的外接框和类别，由于基于anchor-base的检测一般都是密集预测，其后处理比较耗时。近些年anchor-free得到快速发展，但由于其没有预设的anchor，所以其正负样本无法像anchor-base一样，使用anchor与目标框之间的iou(intersection over union交并比)确定训练的正负样本，而一般根据anchor-point是否落在目标框中来决定训练的正负样本，而这种方式对应一般的检测目标比较有效，但对于向斑马线这种长宽比较大的目标，这种正负样本的分配方式效果就明显不好，所以需要设计一种既要对长宽比不大的目标有效，而且对像斑马线这种长宽比较大的目标也有比较好效果的训练标签分配策略。


技术实现要素：

3.为克服现有技术的不足，本发明提供了一种神经网络的训练样本标签分配方法及系统，解决现有技术存在的对长宽比较大的目标的正负样本的分配方式效果明显欠佳、检测效果差等问题。
4.本发明解决上述问题所采用的技术方案是：
5.一种神经网络的训练样本标签分配方法，包括以下步骤：
6.s1，将待训练图片经预处理后输入至anchor-free神经网络中；
7.s2，将经anchor-free神经网络传输的待训练图片经anchor-free神经网络处理后输出特征图；
8.s3，根据目标框得到特征图上各个点的anchor；
9.s4，计算步骤s3得到的anchor与目标框之间的iou值，然后根据iou值确定正样本点、负样本点和/或忽略样本点。
10.作为一种优选的技术方案，步骤s3中，以特征图的各个点为中心，用目标框的长宽依次设置在特征图上各个位置的anchor，从而得到特征图上各个点的anchor。
11.作为一种优选的技术方案，根据特征图上各个目标的长宽比例确定anchor尺寸，从而得到特征图上各个点的anchor。
12.作为一种优选的技术方案，步骤s3中，当一张特征图有n个目标时，则得到n个对应的anchor，anchor的尺寸和目标的尺寸一致。
13.作为一种优选的技术方案，设定iou值大于a时的点为正样本点，iou值小于b时的
点为负样本点，iou值在[b，a]范围的区域为忽略样本点；其中，b的范围为(0.39，0.41)，a的范围为(0.49,0.61)。
[0014]
作为一种优选的技术方案，若特征图上存在一个特征点上的多个anchor与目标框之间的iou值大于a的情况，则采用面积最小的目标框与该特征点匹配。
[0015]
作为一种优选的技术方案，设定b＝0.4，a＝0.5。
[0016]
作为一种优选的技术方案，步骤s1中，预处理包括数据增强处理。
[0017]
作为一种优选的技术方案，步骤s2中，经anchor-free神经网络处理包括经网络前向计算处理。
[0018]
一种神经网络的训练样本标签分配系统，包括依次电相连的以下模块：
[0019]
输入模块，用以将待训练图片经预处理后输入至anchor-free神经网络中，然后传输至特征图输出模块；
[0020]
特征图输出模块，用以将经anchor-free神经网络传输的待训练图片经anchor-free神经网络处理后输出特征图，并将特征图至anchor获取模块；
[0021]
anchor获取模块，用以根据目标框得到特征图上各个点的anchor，并将得到的anchor传输至样本获取模块；
[0022]
样本获取模块，用以计算anchor获取模块传输的anchor与目标框之间的iou值，然后根据iou值确定正样本点、负样本点和/或忽略样本点。
[0023]
本发明相比于现有技术，具有以下有益效果：
[0024]
(1)本发明可以不用考虑检测目标的长宽比例，无需在特征图上预设多个anchor来做密集预测，可以自适应的根据检测目标尺寸确定各个特征图上点的正负关系；
[0025]
(2)本发明不但对于普通长宽比的目标有很好的检出，同时对像斑马线类的长宽比较大的目标也有很好的检出效果；
[0026]
(3)本发明有效解决了基于anchor－free的针对长宽比较大目标的训练时正负样本的采样方式，同时根据目标框的面积大小可以保证每个特征图位置只与一个目标框关联，实际测试其效果达到anchor-base的检测效果，又不用预先设定anchor的比例；
[0027]
(4)本发明对长宽比较大的目标的正负样本的分配方式效果较好，检测效果好。
附图说明
[0028]
图1为本发明所述一种神经网络的训练样本标签分配方法的步骤示意图；
[0029]
图2为本发明所述一种神经网络的训练样本标签分配系统的结构框图；
[0030]
图3为本发明实施例3的所述一种神经网络的训练样本标签分配方法的流程图；
[0031]
图4为本发明的anchor与目标框的示意图。
具体实施方式
[0032]
下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
[0033]
实施例1
[0034]
如图1至图4所示，一种神经网络的训练样本标签分配方法，包括以下步骤：
[0035]
s1，将待训练图片经预处理后输入至anchor-free神经网络中；
[0036]
s2，将经anchor-free神经网络传输的待训练图片经anchor-free神经网络处理后输出特征图；
[0037]
s3，根据目标框得到特征图上各个点的anchor；
[0038]
s4，计算步骤s3得到的anchor与目标框之间的iou值，然后根据iou值确定正样本点、负样本点和/或忽略样本点。
[0039]
本发明可以不用考虑检测目标的长宽比例，无需在特征图上预设多个anchor来做密集预测，可以自适应的根据检测目标尺寸确定各个特征图上点的正负关系；本发明不但对于普通长宽比的目标有很好的检出，同时对像斑马线类的长宽比较大的目标也有很好的检出效果；有效解决了基于anchor－free的针对长宽比较大目标的训练时正负样本的采样方式，同时根据目标框的面积大小可以保证每个特征图位置只与一个目标框关联，实际测试其效果达到anchor-base的检测效果，又不用预先设定anchor的比例；从而对长宽比较大的目标的正负样本的分配方式效果较好，检测效果好。
[0040]
作为一种优选的技术方案，步骤s3中，以特征图的各个点为中心，用目标框的长宽依次设置在特征图上各个位置的anchor，从而得到特征图上各个点的anchor。
[0041]
这便于得到特征图上各个点的anchor。
[0042]
作为一种优选的技术方案，根据特征图上各个目标的长宽比例确定anchor尺寸，从而得到特征图上各个点的anchor。
[0043]
这种方式得到特征图上各个点的anchor，是依据目标的长宽比例获取的，是一种动态分配方式。
[0044]
作为一种优选的技术方案，步骤s3中，当一张特征图有n个目标时，则得到n个对应的anchor，anchor的尺寸和目标的尺寸一致。
[0045]
通过以上步骤，得到了特征图上的anchor。
[0046]
作为一种优选的技术方案，设定iou值大于a时的点为正样本点，iou值小于b时的点为负样本点，iou值在[b，a]范围的区域为忽略样本点；其中，b的范围为(0.39，0.41)，a的范围为(0.49,0.61)。
[0047]
这便于获取训练时的正样本点、负样本点、忽略样本点。
[0048]
作为一种优选的技术方案，若特征图上存在一个特征点上的多个anchor与目标框之间的iou值大于a的情况，则采用面积最小的目标框与该特征点匹配。
[0049]
这使得样本的获取更加精确，减小了误差。
[0050]
作为一种优选的技术方案，设定b＝0.4，a＝0.5。
[0051]
这便于选取合适的阈值获取训练时的正样本点、负样本点、忽略样本点。
[0052]
作为一种优选的技术方案，步骤s1中，预处理包括数据增强处理。
[0053]
数据增强处理有利于增加训练样本的数据量，提高模型的泛化能力。
[0054]
作为一种优选的技术方案，步骤s2中，经anchor-free神经网络处理包括经网络前向计算处理。
[0055]
网络前向计算处理便于获取特征图。
[0056]
实施例2
[0057]
如图1至图4所示，作为实施例1的进一步优化，本实施例包含了实施例1的全部技术特征，除此之外，本实施例还包括以下技术特征：
[0058]
一种神经网络的训练样本标签分配系统，包括依次电相连的以下模块：
[0059]
输入模块，用以将待训练图片经预处理后输入至anchor-free神经网络中，然后传输至特征图输出模块；
[0060]
特征图输出模块，用以将经anchor-free神经网络传输的待训练图片经anchor-free神经网络处理后输出特征图，并将特征图至anchor获取模块；
[0061]
anchor获取模块，用以根据目标框得到特征图上各个点的anchor，并将得到的anchor传输至样本获取模块；
[0062]
样本获取模块，用以计算anchor获取模块传输的anchor与目标框之间的iou值，然后根据iou值确定正样本点、负样本点和/或忽略样本点。
[0063]
本发明可以不用考虑检测目标的长宽比例，无需在特征图上预设多个anchor来做密集预测，可以自适应的根据检测目标尺寸确定各个特征图上点的正负关系；本发明不但对于普通长宽比的目标有很好的检出，同时对像斑马线类的长宽比较大的目标也有很好的检出效果；有效解决了基于anchor－free的针对长宽比较大目标的训练时正负样本的标签分配方式，同时根据目标框的面积大小可以保证每个特征图位置只与一个目标框关联，实际测试其效果达到anchor-base的检测效果，又不用预先设定anchor的比例；从而对长宽比较大的目标的正负样本的分配方式效果较好，检测效果好。
[0064]
实施例3
[0065]
如图1至图4所示，本实施例包含实施例1、实施例2的全部技术特征，本实施例在实施例1、实施例2的基础上，提供更细化的实施方式。
[0066]
本实施例目的在于：提供一种网络模型再训练阶段正负样本的标签分配方法，不但对于普通长宽比的目标有很好的检出，同时对像斑马线类的长宽比较大的目标也有很好的检出效果。由于不知道待检目标的外界框尺寸，所以anchor-base的检测网络在特征图的预设不同尺度的anchor，然后根据预设anchor和目标框的iou来决定正负样本，这种方式在目标检测上得到很好的检出效果，所以考虑到anchor-free没有预设anchor，为了能使用iou来决定正负样本分配方法，所以需要设计一种方式模拟anchor－base的预设框。
[0067]
为解决上述技术问题，包括以下步骤：
[0068]
1)、输入待训练图片，经预处理后传入神经网络中，经过网络输出特征图；
[0069]
2)、以特征图的各个点为中心，用目标框的长宽依次设置在各个特征图位置的anchor，这样当一张图有n个目标时，那么特征图上每个位置就会有对应的n个anchor，anchor的尺寸和对应的目标的尺寸一致；与anchor－base方式不同的是：anchor－base的方案是预先设定每个anchor的长宽比，这种方式可能无法覆盖一些特殊的目标，比如像斑马线这种长宽比较大的目标，而本发明的方式是根据目标实际的长宽比例，不受目标长宽比例的限制，是一种动态分配方式；
[0070]
3)、计算2)中方式生成的anchor与目标框之间的iou值，设定当值大于0.5时为正样本点，当值小于0.4为负样本点，再在[0.4，0.5]之间为忽略样本点。可能存在一个特征点会与多个目标框的iou值大于0.5，如果遇到这种情况，那么该点采用与目标框的面积更小的匹配。
[0071]
本实施例有益效果如下：
[0072]
由于采用了上述技术方案，有效解决了基于anchor－free的针对长宽比较大目标
的训练时正负样本的标签分配方式，同时根据目标框的面积大小可以保证每个特征图位置只与一个目标框关联，实际测试其效果达到anchor-base的检测效果，又不用预先设定anchor的比例。
[0073]
通过上述方式，本实施例主要是在anchor－free检测器训练时，提出一种特征图上的点正负样本标签分配方式。其可以不用考虑检测目标的长宽比例，无需在特征图上预设多个anchor来做密集预测，可以自适应的根据检测目标尺寸确定各个特征图上点的正负关系。
[0074]
值得说明的是：1、本发明中，所述目标框是指训练图片中的标注框；2、本发明中，关于特征点、目标框、anchor的对应数量关系为：步骤s3中，初始时，1个特征点-n个目标框(n个框框住1个特征点)-n个anchor；经过s3处理后，选取了最合适的1个目标框和1个anchor，1个特征点-1个框-1个anchor。优选的，n个目标就会有n个外接矩形框，然后以每个特征点为中心，anchor尺寸为n个目标的尺寸，一个特征点就会对应n个anchor，然后用这n个anchor与n个目标的外接矩形框求iou，找出最大值对应的目标，这个特征点的类别就是对应目标的类别。
[0075]
如图4所示：最外围矩形区域为网络输入图片尺寸，设宽为w，高为h，目标框为目标的外接矩形框，由于特征图尺寸为输入图片经两次降采样后得到，即尺寸为输入图片尺寸的1/4；则特征点的个数为(w/4*h/4),所以特征点映射到原图上的间距为4。以各个特征点为中心，使用各个目标框尺寸生成anchor，如果有n个目标框，则特征图上共有n*w/4*h/4个anchor,然后用所有的anchor与目标框计算iou，然后根据iou和目标框面积大小共同决定每个特征点与哪个目标框匹配，哪些特征点分配为正样本点、负样本点和忽略样本点。如图所示，实心点代表正样本特征点，空心点为忽略样本特征点，其他未画出的为负样本特征点。
[0076]
如上所述，可较好地实现本发明。
[0077]
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
[0078]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。