一种非机动车载人识别方法、装置及相关设备与流程

1.本技术涉及智能交通技术领域，特别涉及一种非机动车载人识别方法，还涉及一种非机动车载人识别装置、设备及计算机可读存储介质。


背景技术：

2.随着国家经济的快速发展，体现在道路交通上的问题也越来越多。为了避开拥挤的交通实现出行方便的目的，很多人选择电瓶车等非机动车出行。在实际的道路交通环境下，由于非机动车缺乏保护措施，这就造成了使用非机动车的人们在道路行驶时成为弱势的一方，在行驶中更加容易发生危险，受伤害的程度也更深。据有关部门的统计表明，目前发生的非机动车严重事故许多都是跟载人有关，所以解决非机动车载人问题是降低非机动车事故首要解决的问题。目前道路交通法所管制的多限于电动车等载人危险性高的非机动车，现有技术通过深度学习的方法进行载人检测，并未进行目标的细致分类，在目标密集等复杂场景下，检出效率低下，且存在诸多的误判，影响判罚准确度。
3.因此，如何对非机动车进行精准且高效的载人识别，进而有效保证交通安全是本领域技术人员亟待解决的问题。


技术实现要素：

4.本技术的目的是提供一种非机动车载人识别方法，该方法可以对非机动车进行载人识别，进而有效保证交通安全；本技术的另一目的是提供一种非机动车载人识别装置、设备及计算机可读存储介质，均具有上述有益效果。
5.第一方面，本技术提供了一种非机动车载人识别方法，包括：
6.对目标视频帧进行目标检测，获得非机动车目标；
7.对所述非机动车目标进行区域划分，获得人体区域和车辆区域；
8.对所述人体区域进行多卷积特征提取，获得第一特征图；
9.对所述车辆区域进行池化下采样处理，获得第二特征图；
10.对所述第一特征图和所述第二特征图进行拼接，获得综合特征图；
11.根据所述综合特征图中的特征信息确定所述非机动车目标是否载人。
12.优选的，所述对目标视频帧进行目标检测，获得非机动车目标，包括：
13.利用目标检测模型对所述目标视频帧进行目标检测，获得所述非机动车目标。
14.优选的，所述目标检测模型的训练过程包括：
15.获取模型训练样本，所述模型训练样本包括真实目标样本和相似目标样本；
16.将所述相似目标样本输入至特征区域归零模型进行处理，获得处理后的相似目标样本；
17.利用所述真实目标样本和所述处理后的相似目标样本进行模型训练，获得目标检测模型。
18.优选的，所述利用所述真实目标样本和所述处理后的相似目标样本进行模型训
练，获得目标检测模型，包括：
19.统计所述真实目标样本的第一样本数量、所述处理后的相似目标样本的第二样本数量、训练样本总数量；
20.根据所述第一样本数量、所述第二样本数量以及所述训练样本总数量计算获得类别惩罚因子；
21.基于所述类别惩罚因子构建第一损失函数；
22.利用所述真实目标样本和所述处理后的相似目标样本进行模型训练，获得所述第一损失函数的损失值达到第一预设条件的目标检测模型。
23.优选的，所述利用目标检测模型对目标视频帧进行目标检测，获得非机动车目标之后，对所述非机动车目标进行识别，确定所述非机动车目标是否载人的过程具体由载人识别模型实现。
24.优选的，所述载人识别模型的训练过程包括：
25.从真实目标样本中随机抽取训练样本，并利用所述训练样本进行初始迭代训练，获得初始训练模型；
26.利用所述真实目标样本对所述初始训练模型进行测试，获得测试结果；
27.根据所述测试结果对所述真实目标样本进行重组，获得各训练样本集合，并设定各所述训练样本集合对应的标签平滑因子；
28.基于所述标签平滑因子构建第二损失函数；
29.随机抽取所述训练样本集合对所述初始训练模型进行迭代训练，直至获得所述第二损失函数的损失值达到第二预设条件的载人识别模型。
30.优选的，随机抽取所述训练样本集合对所述初始训练模型进行迭代训练，直至获得所述第二损失函数的损失值达到第二预设条件的载人识别模型，包括：
31.利用nesterov优化函数进行迭代训练，并计算每次迭代训练后的梯度值；
32.当所述梯度值达到预设范围时，利用adagrad优化函数进行迭代训练，直至获得所述载人识别模型。
33.第二方面，本技术还公开了一种非机动车载人识别装置，包括：
34.目标检测模块，用于对目标视频帧进行目标检测，获得非机动车目标；
35.区域划分模块，用于对所述非机动车目标进行区域划分，获得人体区域和车辆区域；
36.第一特征提取模块，用于对所述人体区域进行多卷积特征提取，获得第一特征图；
37.第二特征提取模块，用于对所述车辆区域进行池化下采样处理，获得第二特征图；
38.特征图拼接模块，用于对所述第一特征图和所述第二特征图进行拼接，获得综合特征图；
39.载人识别模块，用于根据所述综合特征图中的特征信息确定所述非机动车目标是否载人。
40.第三方面，本技术还公开了一种非机动车载人识别设备，包括：
41.存储器，用于存储计算机程序；
42.处理器，用于执行所述计算机程序时实现如上所述的任一种非机动车载人识别方法的步骤。
43.第四方面，本技术还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的任一种非机动车载人识别方法的步骤。
44.本技术所提供的一种非机动车载人识别方法，包括对目标视频帧进行目标检测，获得非机动车目标；对所述非机动车目标进行区域划分，获得人体区域和车辆区域；对所述人体区域进行多卷积特征提取，获得第一特征图；对所述车辆区域进行池化下采样处理，获得第二特征图；对所述第一特征图和所述第二特征图进行拼接，获得综合特征图；根据所述综合特征图中的特征信息确定所述非机动车目标是否载人。
45.应用本技术所提供的技术方案，首先通过目标检测识别确定目标视频帧中的非机动车目标，然后对非机动车进行载人识别，从而确定非机动车目标是否载人，从而实现对非机动车的载人识别，可以有效保证交通安全；在此基础上，在对非机动车目标进行载人识别的过程中，基于非机动车载人特征(如载人、戴头盔等)都集中在图像上半部分的特性，可以先将非机动车目标划分为人体区域和车辆区域，然后对人体区域进行较为复杂的多卷积特征提取，以实现更为充分的特征提取，获得第一特征图，对车辆区域进行较为简单的池化下采样处理，获得第二特征图，最后进行特征图融合，从而基于综合特征图中的特征信息实现非机动车载人识别，由此，将注意力特征及计算资源集中在人体区域，可以在降低计算量的同时提升模型注意力效率，并且，实现了将网络注意力集中在更为关键和敏感的特征上，大大提高了识别结果的准确性。
46.本技术所提供的一种非机动车载人识别装置、设备及计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
47.为了更清楚地说明现有技术和本技术实施例中的技术方案，下面将对现有技术和本技术实施例描述中需要使用的附图作简要的介绍。当然，下面有关本技术实施例的附图描述的仅仅是本技术中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本技术的保护范围。
48.图1为本技术所提供的一种非机动车载人识别方法的流程示意图；
49.图2为本技术所提供的一种非机动车载人识别装置的结构示意图；
50.图3为本技术所提供的一种非机动车载人识别设备的结构示意图。
具体实施方式
51.本技术的核心是提供一种非机动车载人识别方法，该非机动车载人识别方法可以对非机动车进行载人识别，进而有效保证交通安全；本技术的另一核心是提供一种非机动车载人识别装置、设备及计算机可读存储介质，也具有上述有益效果。
52.为了对本技术实施例中的技术方案进行更加清楚、完整地描述，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
53.本技术实施例提供了一种非机动车载人识别方法。
54.请参考图1，图1为本技术所提供的一种非机动车载人识别方法的流程示意图，该非机动车载人识别方法可包括：
55.s101：对目标视频帧进行目标检测，获得非机动车目标；
56.本步骤旨在实现目标检测，以从目标视频帧中检测确定非机动车目标。其中，目标视频帧即为需要进行非机动车载人识别的视频图像，可以从监控设备采集得到的视频流中获得。具体的，对于监控设备采集获得的视频流，可以对其进行分帧处理，得到各个目标视频帧，然后对每一个目标视频帧进行非机动车载人识别。进一步，对于每一个目标视频帧，可以利用目标检测算法或目标检测模型等实现目标检测，得到其中所存在的非机动车目标，该非机动车目标可以为自行车、电动车、摩托车等。
57.s102：对非机动车目标进行区域划分，获得人体区域和车辆区域；
58.本步骤旨在实现非机动车目标的区域划分，即将非机动车目标划分为人体区域和车辆区域。具体而言，基于非机动车载人特征(如载人、戴头盔等)都集中在图像上半部分的特性，可以将非机动车目标划分为人体区域和车辆区域，其中，人体区域即非机动车目标的上半部分，车辆区域即非机动车目标的下半部分，人体区域相较于车辆区域存在更多的载人特征，更加便于实现载人识别。
59.s103：对人体区域进行多卷积特征提取，获得第一特征图；
60.s104：对车辆区域进行池化下采样处理，获得第二特征图；
61.如上所述，人体区域相较于车辆区域存在更多的载人特征，更加便于实现载人识别，因此，可以对人体区域进行较为复杂的多卷积特征提取，以便于进行充分的特征提取，获得尽可能多的特征信息，得到第一特征图。反之，由于车辆区域相较于人体区域存在较少的载人特征，则可以只对车辆区域进行相对简单的池化下采样处理，得到第二特征图。
62.由此可见，基于非机动车载人特征都集中在图像上半部分的特性，对人体区域进行较为复杂的多卷积特征提取，对车辆区域进行较为简单的池化下采样处理，实现了将注意力特征及计算资源集中在人体区域，可以在降低计算量的同时提升模型注意力效率，也实现了将网络注意力集中在更为关键和敏感的特征上，可以进一步提高最终识别结果的准确性。
63.需要说明的是，s103和s104的执行顺序并不唯一，可以由技术人员根据实际需求进行设置，本技术对此不做限定。当然，为保证工作效率，也可以同时执行两步骤。
64.s105：对第一特征图和第二特征图进行拼接，获得综合特征图；
65.本步骤旨在实现特征图拼接，具体的，在通过特征提取获得人体区域的第一特征图和车辆区域的第二特征图之后，即可对二者进行拼接，获得综合特征图，可以理解的是，该特征图拼接过程即为特征融合过程，以便于根据融合特征实现载人识别。
66.s106：根据综合特征图中的特征信息确定非机动车目标是否载人。
67.本步骤旨在实现载人识别，即确定非机动车目标是否载人。在将第一特征图和第二特征图拼接为一个综合特征图之后，即可根据其中的特征信息确定目标非机动车是否载人。其中，特征信息即为关于是否载人的关键图像信息，如头部信息、后座载人信息等。
68.在上述内容的基础上，对非机动车目标进行识别，确定其是否载人的实现流程(s102～s106)可参照如下举例：
69.将包含有非机动车目标的、大小为128*32*3(高*宽*通道数)的图像输入至神经网络中，首先，将该图像划分为64*32*3的上下两部分，上部分利用多卷积进行充分的特征提取，下部分只使用池化下采样收缩特征(只进行maxpool处理)，得到大小分别为16*8的上下两部分特征图；然后，对两个特征图进行拼接，送入到标准的特征提取网络进行完整特征提取，最后根据提取到的特征完成非机动车目标是否载人的输出判断。
70.更进一步地，当识别结果为非机动车目标载人时，可进一步输出告警提示，以及时提醒交通管理人员当前存在非机动车违法行为。其中，告警提示可以为指示灯提示、声音提示等，本技术对此不做限定。
71.可见，本技术所提供的非机动车载人识别方法，首先通过目标检测识别确定目标视频帧中的非机动车目标，然后对非机动车进行载人识别，从而确定非机动车目标是否载人，从而实现对非机动车的载人识别，可以有效保证交通安全；在此基础上，在对非机动车目标进行载人识别的过程中，基于非机动车载人特征(如载人、戴头盔等)都集中在图像上半部分的特性，可以先将非机动车目标划分为人体区域和车辆区域，然后对人体区域进行较为复杂的多卷积特征提取，以实现更为充分的特征提取，获得第一特征图，对车辆区域进行较为简单的池化下采样处理，获得第二特征图，最后进行特征图融合，从而基于综合特征图中的特征信息实现非机动车载人识别，由此，将注意力特征及计算资源集中在人体区域，可以在降低计算量的同时提升模型注意力效率，并且，实现了将网络注意力集中在更为关键和敏感的特征上，大大提高了识别结果的准确性。
72.在本技术的一个实施例中，上述对目标视频帧进行目标检测，获得非机动车目标，可以包括：利用目标检测模型对目标视频帧进行目标检测，获得非机动车目标。
73.本技术实施例提供了一种目标检测方法，即可以通过目标检测模型实现目标视频帧的目标检测，获得非机动车目标。其中，目标检测模型可以是预先利用大批量样本数据训练获得的神经网络模型，可预存于相应的存储空间，在使用时直接调用即可。
74.在本技术的一个实施例中，上述目标检测模型的训练过程可以包括如下步骤：
75.获取模型训练样本，模型训练样本包括真实目标样本和相似目标样本；
76.将相似目标样本输入至特征区域归零模型进行处理，获得处理后的相似目标样本；
77.利用真实目标样本和处理后的相似目标样本进行模型训练，获得目标检测模型。
78.本技术实施例提供了一种目标检测模型的训练方法。需要指出的是，当前的交通规则，在非机动车中一般情况下只有电动车进行载人判罚，对自行车不做判罚，因此，首要目的在于区分出自动车与电动车的相互误检。为解决该技术问题，在获取模型训练样本时，该模型训练样本可以包括真实目标样本和相似目标样本，其中，真实目标样本即为设置有电动车标签的样本数据，相似目标样本即为设置有自行车标签的样本数据，由此，即可利用这些数据进行模型训练，以获得可以区分电动车和自行车的目标检测模型。
79.其中，在模型训练过程中，可以采用特征区域归零化机制来降低自行车与电动车之间的误检，以进一步提高模型精度，从而提高目标检测结果的准确性。具体而言，可以先将相似目标样本输入至特征区域归零模型进行处理，获得处理后的相似目标样本，然后，利用真实目标样本和处理后的相似目标样本进行模型训练，即可获得最终的目标检测模型。
80.其中，特征区域归零模型的具体实现流程可以包括：将设置有自行车标签的样本
数据(相似目标样本)送入特征区域归零模型，在处理过程中，获取样本图像左上角x坐标，左上角y坐标，目标宽w，目标高h，然后将样本图像的(x,y)到(x w,y h/2)的区域像素特征值赋值为零，以有效提升自行车与电动车之间的特征差异性。
81.当然，基于特征区域归零模型的特征区域归零方法仅为本技术实施例所提供的提升目标特征差异性的一种实现方式，并不唯一，本技术对此不做限定，例如，还可以采用直接将样本图像减半，并在测试时再重新映射回来的实现方式。
82.在本技术的一个实施例中，上述利用真实目标样本和处理后的相似目标样本进行模型训练，获得目标检测模型，可以包括：统计真实目标样本的第一样本数量、处理后的相似目标样本的第二样本数量、训练样本总数量；根据第一样本数量、第二样本数量以及训练样本总数量计算获得类别惩罚因子；基于类别惩罚因子构建第一损失函数；利用真实目标样本和处理后的相似目标样本进行模型训练，获得第一损失函数的损失值达到第一预设条件的目标检测模型。
83.为进一步提高模型精度，可以在训练目标检测模型的损失函数中增加惩罚因子来增强弱样本。具体而言，可以根据真实目标样本的数量、处理后的相似目标样本的数量以及训练样本总数量进行类别惩罚因子的计算，然后基于该类别惩罚因子进行损失函数的构建，获得上述第一损失函数，由此，即可训练获得损失值达到相应的预设条件的目标检测模型。其中，第一预设条件由技术人员根据实际情况进行设定即可，本技术对此不做限定。
84.其中，类别惩罚因子的计算公式可以为：
85.类别惩罚因子＝(1-β/t)*α/β；
86.其中，α为第一样本数量，β为第二样本数量，t为训练样本总数量。
87.在本技术的一个实施例中，上述利用目标检测模型对目标视频帧进行目标检测，获得非机动车目标之后，若识别出非机动车目标为电动车，则对非机动车目标进行进一步识别，确定非机动车目标是否载人的过程具体可以由载人识别模型实现，保证载人识别模型进行载人判罚的非机动车目标仅为电动车目标。
88.本技术实施例提供了一种载人识别方法，即可以通过载人识别模型识别非机动车是否载人，即s102～s106的实现流程可以由载人识别模型实现。同样的，该载人识别模型也是预先利用大批量样本数据训练获得的神经网络模型，可预存于相应的存储空间，在使用时可直接调用。
89.在本技术的一个实施例中，上述载人识别模型的训练过程可以包括如下步骤：
90.从真实目标样本中随机抽取训练样本，并利用训练样本进行初始迭代训练，获得初始训练模型；
91.利用真实目标样本对初始训练模型进行测试，获得测试结果；
92.根据测试结果对真实目标样本进行重组，获得各训练样本集合，并设定各训练样本集合对应的标签平滑因子；
93.基于标签平滑因子构建第二损失函数；
94.随机抽取训练样本集合对初始训练模型进行迭代训练，直至获得第二损失函数的损失值达到第二预设条件的载人识别模型。
95.本技术实施例提供了一种目标检测模型的训练方法，即可以采用标签平滑正则化自适应技术，以有效减少模型过拟合问题，提升整体模型精度。在具体实现过程中：首先，在
不使用标签平滑的前提下，在真实目标样本中随机抽取用于进行模型训练的训练样本，优选的，训练样本的数量可以占真实目标样本总数量的二分之一；进一步，利用训练样本进行迭代循环训练，当然，每次迭代训练都是随机抽取二分之一训练样本，在经过一定次数(如十次)的迭代循环训练之后，得到初始训练模型；进一步，对于每一次的迭代训练结果，均可以全部的真实目标样本对其进行测试，得到相应的测试结果，由此，即可利用该测试结果对真实目标样本进行重组，获得各训练样本集和及其对应的标签平滑因子，并构建基于标签平滑因子的损失函数，即上述第二损失函数；最后，通过随机抽取的训练样本集和继续对初始训练模型进行迭代训练，即可得到第二损失函数的损失值达到第二预设条件的载人识别模型。其中，第二预设条件由技术人员根据实际情况进行设定即可，本技术对此不做限定。
96.在实际实现场景中，首先，在不使用标签平滑的前提下，随机抽取1/2的数据做完整的训练一个epoch，并在第二个到第十个epoch训练时进行数据记录，具体操作如下：
97.(1)每次结束一个epoch时使用全部的训练数据(已用训练的1/2和未用训练的1/2)做测试；
98.(2)将测试结果数据分为四个集合：
99.集合1：预测正确且置信度》90，权重1系数设定为0.1；
100.集合2：预测正确且90》置信度》50，权重2系数设定为0.2；
101.集合3：预测结果正确且置信度《50，权重3系统设定为0.3；
102.集合4：预测结果错误，权重4系数设定为0.4；
103.(3)训练数据集重组，且设定新集合标签平滑因子：
104.集合a＝集合1 集合2；
105.标签平滑因子＝(集合1数据量*权重1 集合2数据量*权重2)/2；
106.集合b＝集合1 集合3；
107.标签平滑因子＝(集合1数据量*权重1 集合3数据量*权重3)/2；
108.集合c＝集合1 集合4；
109.标签平滑因子＝(集合1数据量*权重1 集合4数据量*权重4)/2；
110.集合d＝集合2 集合3；
111.标签平滑因子＝(集合2数据量*权重2 集合3数据量*权重3)/2；
112.集合e＝集合2 集合4；
113.标签平滑因子＝(集合2数据量*权重2 集合4数据量*权重4)/2；
114.集合f＝集合3 集合4；
115.标签平滑因子＝(集合3数据量*权重3 集合4数据量*权重4)/2；
116.其中，标签平滑因子最终向下取整保留小数点后一位；
117.(4)根据(2)和(3)确定当前batch的自使用标签平滑因子，从第十个epoch开始，每个batch随机从集合a-f中抽取，并将当前batch的标签平滑因子设置成该集合对应的；进一步，标签平滑公式为：
118.llabel_smooth＝(1-e)*lcross
entroy-e/n∑log ypred；
119.其中，e为标签平滑因子，lcross
entroy
为交叉熵损失，n为类别数，ypred为预测的结果。
120.可以理解的是，使用标签平滑技术软化真实目标(电动车)标签，其关键技术在于
控制标签平滑技术的平滑因子，因此，通过上述数据操作实现平滑因子自适应数据集技术，可以有效加速模型收敛，提升模型准确率。
121.在本技术的一个实施例中，上述随机抽取训练样本集合对初始训练模型进行迭代训练，直至获得第二损失函数的损失值达到第二预设条件的载人识别模型，可以包括：利用nesterov优化函数进行迭代训练，并计算每次迭代训练后的梯度值；当梯度值达到预设范围时，利用adagrad优化函数进行迭代训练，直至获得载人识别模型。
122.需要指出的是，在不同的训练阶段分别使用两种不同的优化函数，可以有效保证网络可以得到最优梯度。因此，可以根据不同优化函数的特点，在一二阶段分别使用不同的优化函数，并用梯度值来界定是是否处于一二阶段。其具体实施步骤如下：
123.(1)第一阶段：
124.使用牛顿动力法nesterov优化函数，该方法的优点是可以获得更快的收敛速度，但缺点同样明显，容易跳过最优解。公式为：
125.vk＝αν
k-1-∈k▽
θ
k-1
j(θ
k-1
)；
126.θk＝θ
k-1
v
k-αj(θ
k-1
)；
127.其中，∈k为学习率，θ为初始化参数，α为动量参数，j(θk)为当前时刻计算出的梯度，v为记录的上一次的梯度信息，通过α来控制上一次的更新量对本次更新量的影响，起到了惯性的作用。
128.由于该方法在梯度下降的中后期，会在局部最小值来回震荡，因此，可以设置提取终止算法条件，以梯度值作为判断当数据训练三个epoch以上时，梯度首次提升时终止训练并保存梯度提升的上一次结果。
129.(2)第二阶段：
130.使用adagrad函数，该优化函数的特点是学习率随着梯度的倒数增长，梯度越大学习率越小，可以解决nesterov学习率不改变的问题，存在的问题是需要指定初始学习率，由于分母中对历史的梯度一直累加，学习率将逐渐下降至0，若初始梯度很大(从头训练)，将会导致整个训练过程学习率一直很小，学习时间变长。公式为：
[0131][0132]
其中，η为学习率，∈为需要学习的超参数，一般设置为1e-6，θ为初始化参数，j(θk)为当前时刻计算出的梯度。
[0133]
因此，可以先采用nesterov优化函数将梯度快速收敛到一定程度后，再采用adagrad做二阶段的细致训练，以保证网络得到最优梯度，进一步提升模型精度。
[0134]
由此可见，载人识别模型融合了数据自适应增强、定制化神经网络结构、两阶段梯度优化函数及自使用的标签平滑正则化技术处理方法等多种深度学习手段，将载人判罚指标提升到较高水平，可以有效保证模型精度。
[0135]
本技术还提供了一种非机动车载人识别装置，请参考图2，图2为本技术所提供的一种非机动车载人识别装置的结构示意图，该非机动车载人识别装置可包括：
[0136]
目标检测模块1，用于对目标视频帧进行目标检测，获得非机动车目标；
[0137]
区域划分模块2，用于对非机动车目标进行区域划分，获得人体区域和车辆区域；
[0138]
第一特征提取模块3，用于对人体区域进行多卷积特征提取，获得第一特征图；
[0139]
第二特征提取模块4，用于对车辆区域进行池化下采样处理，获得第二特征图；
[0140]
特征图拼接模块5，用于对第一特征图和第二特征图进行拼接，获得综合特征图；
[0141]
载人识别模块6，用于根据综合特征图中的特征信息确定非机动车目标是否载人。
[0142]
可见，本技术实施例所提供的非机动车载人识别装置，首先通过目标检测识别确定目标视频帧中的非机动车目标，然后对非机动车进行载人识别，从而确定非机动车目标是否载人，从而实现对非机动车的载人识别，可以有效保证交通安全；在此基础上，在对非机动车目标进行载人识别的过程中，基于非机动车载人特征(如载人、戴头盔等)都集中在图像上半部分的特性，可以先将非机动车目标划分为人体区域和车辆区域，然后对人体区域进行较为复杂的多卷积特征提取，以实现更为充分的特征提取，获得第一特征图，对车辆区域进行较为简单的池化下采样处理，获得第二特征图，最后进行特征图融合，从而基于综合特征图中的特征信息实现非机动车载人识别，由此，将注意力特征及计算资源集中在人体区域，可以在降低计算量的同时提升模型注意力效率，并且，实现了将网络注意力集中在更为关键和敏感的特征上，大大提高了识别结果的准确性。
[0143]
在本技术的一个实施例中，上述目标检测模块1可具体用于利用目标检测模型对目标视频帧进行目标检测，获得非机动车目标。
[0144]
在本技术的一个实施例中，该非机动车载人识别装置还可以包括目标检测模型训练模块，用于获取模型训练样本，模型训练样本包括真实目标样本和相似目标样本；将相似目标样本输入至特征区域归零模型进行处理，获得处理后的相似目标样本；利用真实目标样本和处理后的相似目标样本进行模型训练，获得目标检测模型。
[0145]
在本技术的一个实施例中，上述目标检测模型训练模块可具体用于统计真实目标样本的第一样本数量、处理后的相似目标样本的第二样本数量、训练样本总数量；根据第一样本数量、第二样本数量以及训练样本总数量计算获得类别惩罚因子；基于类别惩罚因子构建第一损失函数；利用真实目标样本和处理后的相似目标样本进行模型训练，获得第一损失函数的损失值达到第一预设条件的目标检测模型。
[0146]
在本技术的一个实施例中，上述利用目标检测模型对目标视频帧进行目标检测，获得非机动车目标之后，对非机动车目标进行识别，确定非机动车目标是否载人的过程具体可以由载人识别模型实现。
[0147]
在本技术的一个实施例中，该非机动车载人识别装置还可以包括载人识别模型训练模块，用于从真实目标样本中随机抽取训练样本，并利用训练样本进行初始迭代训练，获得初始训练模型；利用真实目标样本对初始训练模型进行测试，获得测试结果；根据测试结果对真实目标样本进行重组，获得各训练样本集合，并设定各训练样本集合对应的标签平滑因子；基于标签平滑因子构建第二损失函数；随机抽取训练样本集合对初始训练模型进行迭代训练，直至获得第二损失函数的损失值达到第二预设条件的载人识别模型。
[0148]
在本技术的一个实施例中，上述载人识别模型训练模块可具体用于利用nesterov优化函数进行迭代训练，并计算每次迭代训练后的梯度值；当梯度值达到预设范围时，利用adagrad优化函数进行迭代训练，直至获得载人识别模型。
[0149]
对于本技术提供的装置的介绍请参照上述方法实施例，本技术在此不做赘述。
[0150]
本技术还提供了一种非机动车载人识别设备，请参考图3，图3为本技术所提供的一种非机动车载人识别设备的结构示意图，该非机动车载人识别设备可包括：
[0151]
存储器，用于存储计算机程序；
[0152]
处理器，用于执行计算机程序时可实现如上述任意一种非机动车载人识别方法的步骤。
[0153]
如图3所示，为非机动车载人识别设备的组成结构示意图，非机动车载人识别设备可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
[0154]
在本技术实施例中，处理器10可以为中央处理器(central processing unit，cpu)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
[0155]
处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行非机动车载人识别方法的实施例中的操作。
[0156]
存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本技术实施例中，存储器11中至少存储有用于实现以下功能的程序：
[0157]
对目标视频帧进行目标检测，获得非机动车目标；
[0158]
对非机动车目标进行区域划分，获得人体区域和车辆区域；
[0159]
对人体区域进行多卷积特征提取，获得第一特征图；
[0160]
对车辆区域进行池化下采样处理，获得第二特征图；
[0161]
对第一特征图和第二特征图进行拼接，获得综合特征图；
[0162]
根据综合特征图中的特征信息确定非机动车目标是否载人。
[0163]
在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能所需的应用程序等；存储数据区可存储使用过程中所创建的数据。
[0164]
此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
[0165]
通信接口12可以为通信模块的接口，用于与其他设备或者系统连接。
[0166]
当然，需要说明的是，图3所示的结构并不构成对本技术实施例中非机动车载人识别设备的限定，在实际应用中非机动车载人识别设备可以包括比图3所示的更多或更少的部件，或者组合某些部件。
[0167]
本技术还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种非机动车载人识别方法的步骤。
[0168]
该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0169]
对于本技术提供的计算机可读存储介质的介绍请参照上述方法实施例，本技术在此不做赘述。
[0170]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而
言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0171]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0172]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom或技术领域内所公知的任意其它形式的存储介质中。
[0173]
以上对本技术所提供的技术方案进行了详细介绍。本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术的保护范围内。