近距离人体检测的数据集处理方法及近距离人体检测方法与流程

1.本发明涉及数据集处理技术领域，尤其涉及一种近距离人体检测的数据集处理方法及近距离人体检测方法。


背景技术：

2.人体检测识别是深度学习视觉领域的一项重要技术，在智慧城市、智慧社区、智能安防、智慧校园、人机互动游戏等领域具有广泛应用。目前，深度学习视觉领域主要使用公开数据集，提取人体信息，进行深度学习算法训练和测试。
3.但是公开数据集场景复杂，分辨率不固定，标注类别很多，人体标注信息只是其中之一。公开数据集里的图片还会具有人体存在遮挡、距离太远、人体太小等问题，如果将公开数据集的图片直接使用在深度学习人体检测模型训练中，很难对近距离的场景产生很好的准确率。
4.同时，在很多人机互动游戏里，人体距离摄像头距离很近，大约只有二米到三米的距离，且人体检测算法主要检测最核心的一个人或二个人，且人体占据整个屏幕很大的面积。但是公开数据集图片里的人体个数及位置很不确定，例如数据集里人体只有一部分在图片里，或人体在图片里距离摄像头很远导致所占像素面积很小，或图片里人体太多(十多人以上)，人体重叠太严重。
5.综上所述，现有的数据集无法针对性的对近距离检测进行训练，无法对近距离场景的人体进行更为准确的检测，影响人体检测的准确性。
6.另外，在深度学习领域，出名的算法有单阶段的yolo系列，centernet；双阶段的faster rcnn(faster regions with cnn features)等网络算法。神经网络的检测算法主要流程是：第一步，通过神经网络提取候选框；第二步，对候选框进行非最大抑制(non-maximum supression，简称nms)，过滤掉多余的候选框，得到最终的物体信息。
7.目前的人体检测方法，图片通过神经网络的检测算法，得到的是很多候选区域，区域可能彼此重叠，用的最多的是非最大抑制减少冗余的候选区域，筛选出最终的物体信息。采用非最大抑制算法，会大大加速网络的后处理时间，和专一的应用场景很难对应起来。
8.综上所述，现有的人体检测用神经网络算法，后处理太麻烦，需要多次遍历和计算，复杂度很大，难以适应近距离的少人场景。


技术实现要素：

9.本发明主要解决现有的数据集无法针对性的对近距离检测进行训练，影响人体检测的准确性以及现有的人体检测用神经网络算法，后处理太麻烦，需要多次遍历和计算，难以适应近距离的少人场景等技术问题，提出一种近距离人体检测的数据集处理方法及近距离人体检测方法，以更适用近距离的单人场景，通过数据集的处理和筛选，利用本发明得到的数据集进行训练，提高此场景下人体检测的精度和速度。
10.本发明提供了一种近距离人体检测的数据集处理方法，包括以下过程：
11.步骤100，遍历数据集，一一读取带有标注信息的图片；
12.步骤200，读取单一图片的标注信息，提取类别为人体的图片，形成人体图片数据集；
13.步骤300，对人体图片的数据集，依据标注信息筛选图片，形成目标数据集；所述步骤300包括以下步骤301至步骤305：
14.步骤301，依据图片的标注信息，确定图片里的人体总数，根据人体总数筛选图片；
15.步骤302，依据图片的标注信息，读取人体标注方框信息，根据人体标注方框筛选图片；
16.步骤303，依据图片的标注信息，根据人体标注方框面积筛选图片；
17.步骤304，依据图片的标注信息，对于人体总数大于1人的图片，根据交并比筛选图片；
18.步骤305，按照步骤301至步骤304的过程，依次筛选人体图片的数据集中每个图片，筛选合格后的图片保存到目标数据集，形成最终的目标数据集。
19.优选的，在步骤301中，根据人体总数筛选图片的规则：
20.如果当前图片标注里人体总数为0，则保存当前图片到目标数据集；如果当前图片标注里人体总数大于人数阈值，则舍弃图片；如果当前图片标注里人体总数小于等于人数阈值，则进行步骤302的筛选。
21.优选的，在步骤302中，根据人体标注方框筛选图片的规则：
22.如果当前图片标注信息里某一人体标注方框与图片边界的距离小于边界距离阈值，则舍弃图片；如果当前图片标注信息里某一人体标注方框与图片边界的距离大于等于边界距离阈值，则进行步骤303的筛选。
23.优选的，在步骤303中，根据人体标注方框面积筛选图片的规则：
24.如果当前图片标注里某一人体标注方框面积小于图片总面积的n倍，则舍弃图片；如果当前图片标注里某一人体标注方框面积大于等于图片总面积的n倍，则进行步骤304的筛选；
25.优选的，n的范围为0.05-0.2。
26.优选的，在步骤304中，根据交并比筛选图片的规则：
27.如果当前图片标注里判别任意两个人体标注方框的交并比大于0，则舍弃图片；如果当前图片标注里判别任意两个人体标注方框的交并比等于0，则保留图片。
28.对应的，本发明还提供一种近距离人体检测方法，包括以下过程：
29.步骤a，利用图像采集设备采集检测图片；
30.步骤b，利用神经网络处理检测图片，输出多个候选框；
31.步骤c，提取出置信度最高的m个候选框，并根据置信度进行从高到低排序；
32.步骤d，按照置信度从高到低的顺序，依次判断m个置信度最高的候选框，如果当前候选框置信度大于p且当前候选框面积大于整个图片面积的q％，满足则继续进行步骤e的判断；不满足则判断后续的候选框；
33.步骤e，如果步骤d选出的候选框在检测图片中间范围，是则直接输出作为最终人体信息，否则判断后续的候选框。
34.优选的，m的范围为5-10，p的范围为0.4-0.5，q的范围为20-30。
35.本发明提供的一种近距离人体检测的数据集处理方法及近距离人体检测方法，本发明提供的数据集处理方法对数据集类别为人体的标注信息进行读取，依据标注信息进行一系列的逻辑判断，筛选出符合条件的图片及标注作为最终的数据集；筛选后的数据集针对性更强，更适合近距离人体检测场景，能提高人体检测的精度；本发明针对近距离的单人场景，通过数据集的处理和筛选，利用本发明得到的数据集进行训练，能够提高此场景下人体检测的精度和速度；使用经过本发明处理过的数据集，数据集对当前场景更有针对性，提高人体检测的识别精度。
36.本发明提供的近距离人体检测方法，可适用于移动端的近距离人机互动场景，此时人体检测算法主要检测最核心的一个人，且人体占据整个屏幕很大的面积，此场景下提取最终的人体信息可以通过逻辑判断即可，不用通过复杂的非最大抑制计算，因此大大降低计算量，提高检测速度和检测可靠性。针对近距离应用场景，大大降低候选框的筛选复杂度，进而大大提高近距离人体检测的识别速度。
附图说明
37.图1是本发明提供的近距离人体检测的数据集处理方法的实现流程图；
38.图2是本发明提供的依据标注信息筛选图片的实现流程图；
39.图3是本发明提供的近距离人体检测方法的实现流程图。
具体实施方式
40.为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
41.实施例一
42.如图1所示，本发明实施例提供一种近距离人体检测的数据集处理方法，包括以下过程：
43.步骤100，遍历数据集，一一读取带有标注信息的图片。
44.数据集是决定整个模型的学习依据，高质量的数据集至关重要。针对近距离场景的移动端人体检测，需要对公开数据集进行筛选判断，数据集中存储大量的图片，图片中带有各项标注信息，所述标注信息包含类别和位置，标注信息可能标注有多类物体，例如人体、植物、动物等类别。
45.步骤200，读取单一图片的标注信息，提取类别为人体的图片，形成人体图片数据集。
46.数据集图片可能标注有多类物体，此时只提取标准信息类别为人体的图片，形成人体图片的数据集。
47.步骤300，对人体图片的数据集，依据标注信息筛选图片，形成目标数据集。如图2所示，所述步骤300包括以下步骤301至步骤305：
48.步骤301，依据图片的标注信息，确定图片里的人体总数，根据人体总数筛选图片。
49.根据人体总数筛选图片的规则：如果当前图片标注里人体总数为0，则保存当前图
片到目标数据集；如果当前图片标注里人体总数大于人数阈值，则舍弃图片；如果当前图片标注里人体总数小于等于人数阈值，则进行步骤302的筛选。
50.人数阈值可根据实际情况进行配置，人数阈值是累计当前图片标注里人体标注的个数。如果当前图片标注里人体总数大于人数阈值，则人数太多，会对模型产生干扰，因此要舍弃图片。人数阈值例如设置为5，如果当前图片标注里人体总数为1、2、3、4、5时，图片初步满足要求，适合当前场景。如果人体总数为0说明没有人体，没有人体的图片可以当为空背景用于训练，以提高算法的鲁棒性和稳定性。
51.步骤302，依据图片的标注信息，读取人体标注方框信息，根据人体标注方框筛选图片。
52.根据人体标注方框筛选图片的规则：如果当前图片标注信息里某一人体标注方框与图片边界的距离小于边界距离阈值，则舍弃图片；如果当前图片标注信息里某一人体标注方框与图片边界的距离大于等于边界距离阈值，则进行步骤303的筛选。
53.因为如果当前图片标注信息里某一人体标注方框与图片边界的距离小于边界距离阈值，说明该人体方框紧挨着图片边界，则当前人体可能只有一部分在图片内部，有一部分在图片里没有显示，此时图片会对模型训练产生干扰，此时舍弃图片。
54.步骤303，依据图片的标注信息，根据人体标注方框面积筛选图片。
55.根据人体标注方框面积筛选图片的规则：如果当前图片标注里某一人体标注方框面积小于图片总面积的n倍，则舍弃图片；如果当前图片标注里某一人体标注方框面积大于等于图片总面积的n倍，则进行步骤304的筛选；其中，n的范围为0.05-0.2，n根据实际情况进行选择，优选为0.05。
56.因为如果当前图片标注里某一人体标注方框面积小于图片总面积的0.05倍，此时人体所占像素面积太小，初步认为人体距离摄像头太远，舍弃图片。
57.步骤304，依据图片的标注信息，对于人体总数大于1人的图片，根据交并比筛选图片。
58.根据交并比筛选图片的规则：如果当前图片标注里判别任意两个人体标注方框的交并比大于0，则舍弃图片；如果当前图片标注里判别任意两个人体标注方框的交并比等于0，则保留图片。
59.因为如果当前图片标注里判别任意两个人体标注方框的交并比大于0，人体出现前后遮挡，此时会对模型产生干扰，此时舍弃图片。特别地，如果当前图片只有一个人，则不用判别iou。
60.步骤305，按照步骤301至步骤304的过程，依次筛选人体图片的数据集中每个图片，筛选合格后的图片保存到目标数据集，形成最终的目标数据集。
61.如果当前图片经过上述判断依旧满足要求，则满足当前场景，保存为目标数据集(包含没有人体的图片)，形成最终的目标数据集。
62.本发明近距离人体检测的数据集处理方法，对数据集类别为人体的标注信息进行读取，依据标注信息进行一系列的逻辑判断，筛选出符合条件的图片及标注作为最终的数据集。筛选后的数据集针对性更强，更适合近距离人体检测场景，能提高人体检测的精度。本发明针对近距离的单人场景，通过数据集的处理和筛选，利用本发明得到的数据集进行训练，能够提高此场景下人体检测的精度和速度。
63.在很多场景里面，需要检测的人数是1或2，而且占据整个屏幕的很大面积。在深度学习领域，高精度的数据集会为模型提供最精确的信息。通过对数据集的系列处理，提取类别是人体的标注信息，筛选出最适合当前场景的目标数据集，进而为人体检测模型提供更有针对性的信息，可以提取更好的特征，从而提高近距离检测人体场景下模型的精度。
64.实施例二
65.如图3所示，本发明实施例提供一种近距离人体检测方法，包括以下过程：
66.步骤a，利用图像采集设备采集检测图片。
67.所述图像采集设备不限于手机、高速运动相机等。采集后的检测图片，进行数据预处理。检测图片也可以是摄像头读取的视频中的图片。
68.步骤b，利用神经网络处理检测图片，输出多个候选框。
69.本步骤采用的神经网络由实施例一得到的目标数据集，输入到神经网络中训练得到。具体的，利用神经网络，对形成的目标数据集进行多次训练，迭代优化，最终模型用于近距离人体检测。
70.步骤c，提取出置信度最高的m个候选框，并根据置信度进行从高到低排序。m的范围为5-10，例如m取5。
71.步骤d，按照置信度从高到低的顺序，依次判断m个置信度最高的候选框，如果当前候选框置信度大于p且当前候选框面积大于整个图片面积的q％，满足则继续进行步骤e的判断；不满足则判断后续的候选框。
72.p的范围为0.4-0.5，优选为0.4；q的范围为20-30，优选为20。
73.步骤e，如果步骤d选出的候选框在检测图片中间范围，是则直接输出作为最终人体信息，否则判断后续的候选框。
74.中间范围可根据实际检测要求来调整。如果m个候选框判别完依旧没有人体信息，则语音提示“请靠近摄像头，中间位置”，重新采集检测图片，重新进行检测。
75.本实施例的近距离人体检测方法，通过检测图片进行神经网络处理，得到人体的候选框后，针对近距离的单人场景，可以直接通过对候选框简单的逻辑判断得到最终的人体信息，大大降低候选框提取所用时间，大大提高检测速度，对于手机端设备十分友好。
76.基于移动端的近距离人机互动场景，此时人体检测算法主要检测最核心的一个人，且人体占据整个屏幕很大的面积，此场景下提取最终的人体标注信息可以通过逻辑判断即可，不用通过复杂的非最大抑制计算，因此大大降低计算量，提高算法模型的速度。针对手机端近距离的人体检测场景，可以对候选框进行逻辑判断，直接筛选得到最终的物体方框信息，从而大大降低候选框的筛选复杂度，大大加速网络速度，提高此场景下人体检测的精度和速度。
77.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。