一种交通行为识别方法及装置、电子设备和存储介质与流程

1.本技术涉及计算机技术，具体涉及一种交通行为识别方法及装置、电子设备和存储介质。


背景技术：

2.随着监管部门加强监管力度，需要对交通行为进行识别。在一些场景中，所述交通行为识别可以包括对非机动车载人行为的识别，如果发现违规的载人行为，需要施以处罚和安全教育。
3.目前针对非机动车违规载人行为的识别，主要通过识别图像中出现的人头或人体数量以确定载人数量，如果载人数量过多，则确定载人行为违规。
4.如此至少包括以下缺陷：
5.一方面，在非机动车载人场景中，人与人之间较为紧密，容易出现人体与人体，人头与人头的遮挡，因此无法得到准确人体或人头数量，从而导致载人数量识别有误。
6.另一方面，不同的类型的非机动车对载人数量的要求不一样。现有方法无法对不同类型的非机动车载人行为进行合法性识别。


技术实现要素：

7.有鉴于此，本技术至少公开一种交通行为识别方法。所述方法可以包括：
8.获取待识别图像；确定所述待识别图像包括的车辆区域中，与所述待识别图像中的骑手区域关联的关联车辆区域，所述骑手区域包括车辆以及至少一人体；对所述骑手区域进行载人数量识别，得到载人数量识别结果，以及对所述关联车辆区域进行车辆类型识别，得到车辆类型识别结果；根据所述载人数量识别结果和所述车辆类型识别结果，确定所述骑手区域中的目标骑手是否存在违规载人行为。
9.在一些实施例中，所述确定所述待识别图像包括的车辆区域中，与所述待识别图像中的骑手区域关联的关联车辆区域，包括：对所述待识别图像进行检测，得到所述车辆区域以及所述骑手区域；确定得到的所述车辆区域中，与所述骑手区域重合度最大的目标车辆区域，并将所述目标车辆区域确定为与所述骑手区域关联的关联车辆区域。
10.在一些实施例中，所述确定所述待识别图像包括的车辆区域中，与所述待识别图像中的骑手区域关联的关联车辆区域，包括：对所述待识别图像进行检测，得到所述车辆区域以及所述骑手区域；通过预先训练的关联性分数预测模型，确定所述车辆区域与所述骑手区域之间的关联分数；将所述车辆区域中，与所述骑手区域关联分数最高的目标车辆区域，确定为与所述骑手区域关联的关联车辆区域。
11.在一些实施例中，所述对所述骑手区域进行载人数量识别，得到载人数量识别结果，包括：对所述骑手区域进行载人数量识别，得到载人数量以及对应的第一置信度；响应于所述第一置信度达到第一置信度阈值，将所述载人数量确定为所述骑手区域的载人数量识别结果；所述对所述关联车辆区域进行车辆类型识别，得到车辆类型识别结果，包括：对
所述关联车辆区域进行车辆类型识别，得到车辆类型以及对应的第二置信度；响应于所述第二置信度达到第二置信度阈值，将所述车辆类型确定为所述车辆区域的车辆类型识别结果。
12.在一些实施例中，所述根据所述载人数量识别结果和所述车辆类型识别结果，确定所述骑手区域中的目标骑手是否存在违规载人行为，包括：响应于所述载人数量识别结果为第一识别结果，确定所述目标骑手违规载人；所述第一识别结果表征载人数量达到第一预设数量；或者，响应于所述载人数量识别结果为第二识别结果，并且所述类型识别结果表征的车辆类型为预设的非机动车类型，确定所述目标骑手违规载人；所述第二识别结果表征载人数量达到第二预设数量，所述第二预设数量小于所述第一预设数量；或者，响应于所述载人数量识别结果表征的载人数量为所述第二识别结果，并且所述类型识别结果表征的车辆类型不是所述预设的非机动车类型，确定所述目标骑手并未违规载人；或者，响应于所述载人数量识别结果为第三识别结果，确定所述目标骑手并未违规载人；所述第三识别结果表征载人数量为第三预设数量，所述第三预设数量小于所述第二预设数量；或者，响应于所述载人数量识别结果为第四识别结果，确定针对所述目标骑手的交通行为识别无效。
13.在一些实施例中，所述第四识别结果表征所述待识别图像出现以下至少一种无效场景：骑手推车的场景；骑手站立在车旁的场景；多个骑手相互紧靠的场景；低清晰度的场景；车辆被遮挡的场景。
14.在一些实施例中，所述方法还包括：响应于所述目标骑手违规载人，发出告警信息。
15.在一些实施例中，所述载人数量识别结果通过载人识别网络对所述骑手区域进行检测获得，其中，所述载人识别网络的训练方法如下：获取第一训练样本，所述第一训练样本包括多张骑手的样本图像以及对应每张图像的载人数量的第一标注信息，所述第一标注信息包括以下标签中的一种：1人、2人、3人、无效标签，所述无效标签包括以下中的至少一种情况：骑手推车、骑手站立在车旁、多个骑手相互紧靠、低清晰度、车辆被遮挡；将所述第一训练样本输入预设的第一初始网络，得到每张样本图像的样本载人数量识别结果；基于所述样本载人数量识别结果与所述第一标注信息确定的第一损失，优化所述第一初始网络，得到所述载人识别网络。
16.在一些实施例中，所述车辆识别结果通过车辆识别网络对所述车辆区域进行检测获得，其中，所述车辆识别网络的训练方法如下：获取第二训练样本，所述第二训练样本包括多张车辆的样本图像以及对应每张图像的车辆类型的第二标注信息；将所述第二训练样本输入预设的第二初始网络，得到每张样本图像的样本车辆类型识别结果；基于所述样本车辆类型识别结果与所述第二标注信息确定的第二损失，优化所述第二初始网络，得到所述车辆识别网络。
17.本技术还提出一种交通行为识别装置，所述装置包括：获取模块，用于获取待识别图像；第一确定模块，用于确定所述待识别图像包括的车辆区域中，与所述待识别图像中的骑手区域关联的关联车辆区域，所述骑手区域包括车辆以及至少一人体；识别模块，用于对所述骑手区域进行载人数量识别，得到载人数量识别结果，以及对所述关联车辆区域进行车辆类型识别，得到车辆类型识别结果；第二确定模块，用于根据所述载人数量识别结果和所述车辆类型识别结果，确定所述骑手区域中的目标骑手是否存在违规载人行为。
18.本技术还提出一种电子设备，所述设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现如前述任一实施例示出的交通行为识别方法。
19.本技术还提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于使处理器执行如前述任一实施例示出的交通行为识别方法。
20.在本技术示出的技术方案中，一方面，该方法利用神经网络模型对骑手区域进行载人数量识别，可以通过模型自适应学习骑手区域中的载人数量，由此即便在待识别图像中出现遮挡等情况，也可以识别出准确的载人数量，从而提升交通行为识别准确性。
21.另一方面，可以根据载人数量识别结果和车辆类型识别结果，识别载人行为的合法性，从在进行合法性识别时综合考虑车辆类型与载人数量，达到针对不同类型车辆，进行交通行为识别的效果。
22.应当理解的是，以所述的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
23.为了更清楚地说明本技术一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1为本技术示出的一种交通行为识别方法的方法流程图；
25.图2为本技术示出的一种确定关联车辆区域确定方法的流程图；
26.图3为本技术示出的一种对象检测流程示意图；
27.图4为本技术示出的一种关联车辆区域确定方法的流程图；
28.图5为本技术示出的一种载人行为识别方法流程示意图；
29.图6为本技术示出的一种违规载人行为判断规则示意；
30.图7为本技术示出的一种交通行为识别装置的结构示意图；
31.图8为本技术示出的一种电子设备的硬件结构示意图。
具体实施方式
32.下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的设备和方法的例子。
33.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在可以包括多数形式，除非所述下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
34.本技术旨在提出一种交通行为识别方法(以下简称识别方法)。
35.请参见图1，图1为本技术示出的一种交通行为识别方法的方法流程图。
36.如图1所示，所述方法可以包括：
37.s102，获取待识别图像；
38.s104，确定所述待识别图像包括的车辆区域中，与所述待识别图像中的骑手区域关联的关联车辆区域，所述骑手区域包括车辆以及至少一人体；
39.s106，对所述骑手区域进行载人数量识别，得到载人数量识别结果，以及对所述关联车辆区域进行车辆类型识别，得到车辆类型识别结果；
40.s108，根据所述载人数量识别结果和所述车辆类型识别结果，确定所述骑手区域中的目标骑手是否存在违规载人行为。
41.在本技术示出的交通行为识别方法中，一方面，该方法利用神经网络模型对骑手区域进行载人数量识别，可以通过模型自适应学习骑手区域中的载人数量，由此即便在待识别图像中出现遮挡等情况，也可以识别出准确的载人数量，从而提升交通行为识别准确性。
42.另一方面，可以根据载人数量识别结果和车辆类型识别结果，识别载人行为的合法性，从在进行合法性识别时综合考虑车辆类型与载人数量，达到针对不同类型车辆，进行交通行为识别的效果。
43.图1示出的识别方法可以应用于电子设备中。其中，所述电子设备可以通过搭载与设备方法对应的软件逻辑执行该方法。所述电子设备的类型可以是笔记本电脑，计算机，服务器，手机，pad终端等。在本技术中不特别限定所述电子设备的类型。所述电子设备也可以是客户端设备或服务端设备，在此不作特别限定。可以理解的是，所述识别方法既可以仅通过客户端设备或服务端设备单独执行，也可以通过客户端设备与服务端设备配合执行。所述服务端可以是由单台服务器或服务器机器构建的云端。以下以执行主体为电子设备(以下简称设备)为例进行说明。
44.在一些实施例中，所述设备可以从部署在道路现场的图像采集设备处获取待识别图像。所述图像采集设备可以固定角度或可调整角度针对道路现场的预设视野区域进行图像采集，该设备可以将采集的待识别图像发送至所述设备。
45.所述待识别图像可以包括至少一个车辆与骑手。所述车辆可以是非机动车辆。所述非机动车辆可以是摩托车，三轮车，电动车等。所述骑手可以是指具有驾驶行为的人。
46.在获取待识别图像后，所述设备可以执行s104。本技术示出的骑手区域是指待识别图像中的目标骑手的检测框围成的区域。所述目标骑手可以根据业务需求进行指定。例如，所述目标骑手可以是从待识别图像包括的骑手中随机选出的骑手。再例如，所述目标骑手可以是待识别图像包括的骑手中清晰度最高的骑手。再例如，所述目标骑手可以即将离开所述视野区域的骑手。再例如，可以将待识别图像包括的各骑手分别指定为目标骑手。所述骑手区域可以包括车辆以及至少一人体。
47.本技术示出的车辆区域是指待识别图像中的车辆的检测框围成的区域。
48.在本技术中至少可以通过骑手区域与车辆区域之间的关联性预测分数或者重合度，来确定与骑手区域关联的关联车辆区域。所述关联可以表征所述骑手区域与所述关联车辆区域在空间上连接紧密。以下分别针对两种方式进行说明。
49.在一些实施例中，可以通过骑手区域与车辆区域之间的重合度确定目标车辆。
50.请参见图2，图2为本技术示出的一种确定关联车辆区域确定方法的流程图。
51.如图2所示，在执行s104时，可以执行s202对所述待识别图像进行检测，得到所述车辆区域以及所述骑手区域。然后可以执行s204，确定得到的所述车辆区域中，与所述骑手区域重合度最大的目标车辆区域，并将所述目标车辆区域确定为与所述骑手区域关联的关联车辆区域。
52.由此通过将与所述骑手区域重合度最大的目标车辆区域，确定为与骑手区域关联的关联车辆区域，可以利用车辆与骑手在空间上的关联关系，确定准确的关联车辆区域，从而有助于准确地确定目标骑手驾驶的车辆类型，有助于提升交通行为识别的准确性。在一些实施例中，在执行s202时，可以通过对象检测模型进行对象检测，得到待识别图像中的骑手和车辆分别对应的检测框；然后可以将与目标骑手对应目标检测框在所述待识别图像中围成的区域确定为所述骑手区域；以及将车辆对应的检测框在所述待识别图像中围成的区域确定为所述车辆区域。
53.所述对象识别网络可以是基于rcnn(region convolutional neural networks，区域卷积神经网络)，fast
‑
rcnn(fast region convolutional neural networks，快速区域卷积神经网络)或faster
‑
rcnn(faster region convolutional neural networks，更快速的区域卷积神经网络)构建的模型。本技术不对所述对象检测模型的网络结构进行特别限定。
54.请参见图3，图3为本技术示出的一种对象检测流程示意图。需要说明的是，图3仅对对象检测流程进行示意性说明，不对本技术做出特别限定。
55.图3示出的对象检测模型30可以是基于faster
‑
rcnn网络构建的模型。该模型可以至少包括骨干网络(backbone)31，rpn(region proposal network，候选框生成网络)32，以及rcnn(region
‑
based convolutional neural network，基于区域的卷积神经网络)33。
56.其中，骨干网络31可以对待识别图像进行若干次卷积运算得到该待识别图像的目标特征图。rpn32用于对目标特征图进行处理得到与待识别图像中的各骑手和各车辆分别对应的anchors(锚框)。rcnn33用于根据rpn输出的锚框和骨干网络输出的目标特征图进行bbox(bounding boxes，检测框)回归和分类，得到所述待识别图像中的各骑手分别对应的骑手框，以及各车辆分别对应的车辆框。在一些例子中，可以得到各对象框的位置信息和/或大小信息。在一些实施例中，可以通过4个顶点坐标表征对象框的位置信息和/或大小信息。
57.在一些例子中，可以先通过若干训练样本对所述对象检测模型进行有监督训练。在一些例子中可以对若干样本图像中各对象(包括骑手与车辆)对应的对象框的位置和大小信息进行标注，得到若干训练样本。然后可以采用常规训练方式利用所述训练样本对该模型进行有监督训练，直至模型收敛。
58.训练完成后，所述对象检测模型可以用于对所述待识别图像进行对象检测，得到待识别图像中包括的各骑手分别对应的骑手框，以及各车辆分别对应的车辆框。如果图像中包括多个骑手和/或多个车辆，在识别结果中还可以对不同骑手框和/或不同车辆框进行编号。
59.在得到待识别图像中包括的骑手框与车辆框后，可以选出目标骑手对应的目标骑手框，并将所述目标骑手框在所述待识别图像中围成的区域确定所述骑手区域，以及将车
辆框在所述待识别图像中围成的区域确定为所述车辆区域。
60.之后，在执行s204时，可以分别计算各车辆区域与所述骑手区域之间的重合度。然后可以按照计算得到的重合度从大到小的顺序，对车辆区域进行排序，并将排在首位的车辆区域确定为所述目标车辆区域。之后，可以将所述目标车辆区域确定为与所述骑手区域关联的关联车辆区域。
61.在一些实施例中，所述重合度可以包括车辆区域与骑手区域相交的区域，与车辆区域与骑手区域合并的区域之比。即通过车辆区域与骑手区域之间的iou(intersection over union，交并比)表征二者之间的重合度。
62.在进行iou计算时，可以先确定所述车辆区域(以下简称区域1)与所述骑手区域(以下简称区域2)是否重合。如果重合，可以通过区域1与区域2相交的区域的面积除以所述区域1与所述区域2合并区域的面积，得到区域1与区域2之间的面积交并比iou(区域1，区域2)。
63.假设区域1左上角的坐标为(p_x1，p_y1)，右下角的坐标为(p_x2，p_y2)。区域2左上角的坐标为(h_x1，h_y1)，右下角的坐标为(h_x2，h_y2)。
64.如果p_x1＞h_x2||p_x2＜h_x1||p_y1＞h_y2||p_y2＜h_y1对应的值为1，则可以确定所述区域1与区域2并不重合，也即可以确定区域1对应的车辆与区域2对应的目标骑手在空间上并不关联。
65.如果公式p_x1＞h_x2||p_x2＜h_x1||p
‑
y1＞h_y2||p_y2＜h_y1对应的值为0，可以进一步根据公式len＝min(p_x2,h_x2)
–
max(p_x1
–
h_x1)，确定相交的区域的长度len，以及根据公式wid＝min(p_y2,h_y2)
–
max(p_y1
–
h_y1)，确定相交的区域的宽度wid。
66.在确定长度len和宽度wid之后，根据公式s1＝len*wid，即可得到区域1与区域2相交的区域的面积s1。
67.之后，可以根据公式s2＝s(p) s(h)
–
s1，确定所述区域1与所述区域2合并的区域的面积。其中：s(p)＝(p_y2
–
p_y1)*(p_x2
–
p_x1)；
68.s(h)＝(h_y2
–
h_y1)*(h_x2
–
h_x1)。
69.最后，根据公式iou＝s1/s2，即可确定所述车辆区域与所述骑手区域之间的重合度。由此可以准确计算车辆区域与骑手区域之间重合度，从而准确地确定出与所述骑手区域关联的关联车辆区域，有助于提升交通行为识别的准确性。
70.在一些实施例中，还可以通过骑手与车辆之间的关联性预测分数确定目标车辆。
71.请参见图4，图4为本技术示出的一种关联车辆区域确定方法的流程图。
72.如图4所示，在执行s104时，可以执行s402，对所述待识别图像进行检测，得到所述车辆区域以及所述骑手区域。然后执行s404，通过预先训练的关联性分数预测模型，确定所述车辆区域与所述骑手区域之间关联分数。然后可以执行s406，将所述车辆区域中，与所述骑手区域关联分数最高的目标车辆区域，确定为与所述骑手区域关联的关联车辆区域。
73.由此通过关联分数准确表征骑手区域与车辆区域之间的关联度，从而可以确定与所述骑手区域关联性最强的关联车辆区域，有助于准确地确定目标骑手驾驶的车辆类型，进而有助于提升交通行为识别的准确性。需要说明的是，对s402的说明可以参照对s202的说明，在此不做详述。
74.所述关联性分数预测网络，可以是基于深度学习网络构建的网络。在训练该网络
时，可以先获取包括多对车辆区域与骑手区域的图像，然后标注各对车辆区域与骑手区域之间的关联性分数，得到若干训练样本。其中，如果骑手区域与车辆区域关联，则将关联分数标注为1；反之标注为0。之后，可以利用训练样本对该网络进行有监督训练，直至该网络收敛。训练完成后即可利用关联性分数预测网络，预测待识别图像所述车辆区域与所述骑手区域之间的关联性分数。
75.在确定关联车辆区域后，所述设备可以继续执行s106。本步骤中的对象区域(包括骑手区域与车辆区域)可以是对象对应的对象框在待识别图像中围成的区域。所述对象区域可以携带与所述对象相关的图像特征。
76.本技术记载的所述骑手区域中可以涵盖与骑手载人行为相关的第一图像特征。比如，所述第一图像特征可以包括骑手驾驶的车辆，以及该车辆上承载的人体对应的图像特征。通过所述第一图像特征可以判断载人数量。
77.本技术记载的所述车辆区域中可以涵盖与车辆类型相关的第二图像特征。比如，所述第二图像特征可以包括车辆对应的图像特征。通过所述第二图像特征可以判断车辆类型。
78.在一些实施例中，在执行s106时，可以执行s1062，对所述骑手区域进行载人数量识别，得到载人数量识别结果。以及s1064，对所述关联车辆区域进行车辆类型识别，得到车辆类型识别结果。本技术中不限定s1062与s1064的执行顺序。
79.在一些实施例中，在执行s1062时，可以先获取所述骑手区域对应的骑手区域图。在一些实施例中，可以将所述目标骑手对应的骑手框以及接收到的待识别图像(或者利用骨干网络对所述待识别图像进行特征提取得到的目标特征图)输入区域特征提取单元，得到与所述目标骑手对应的骑手区域图。
80.所述区域特征提取单元可以是是roi align(region of interest align，感兴趣区域特征对齐)单元或roi pooling(region of interest pooling，感兴趣区域特征池化)单元。区域特征提取单元可以用于对骑手框围成的骑手区域进行诸如池化、卷积等处理，得到骑手区域图。所述骑手区域图中可以包括高维或低维的图像特征。
81.得到骑手区域图之后，可以对所述骑手区域图进行载人数量识别，得到载人数量识别结果。
82.在一些实施例中，可以通过预先训练的载人数量识别模型进行人数识别。所述载人数量识别模型可以包括基于神经网络搭建的分类器。该模型输出的载人数量识别结果可以包括第一识别结果、第二识别结果与第三识别结果，以及各种识别结果分别对应的置信度。其中，所述第一预设识别结果表征载人数量达到第一预设数量。所述第二预设识别结果表征载人数量达到第二预设数量。所述第三识别结果表征载人数量为第三预设数量。第一预设数量，第二预设数量与第三预设数量可以根据业务需求进行设定。例如，第一预设数量可以是3，第二预设数量可以是2，第一预设数量可以是1。
83.在确定最终载人数量识别结果时，可以选择最高的置信度对应的识别结果。例如，利用前述载人数量识别模型，对骑手区域图中载人数量进行分类得到的识别结果指示：第一识别结果、第二识别结果、第三识别结果分别对应的置信度0.7，0.2，0.1。即可确定载人数量识别结果为最高置信度0.7对应的第一识别结果。
84.在训练该模型时，可以先获取带有载人数量标注信息的训练样本，然后利用训练
样本，通过有监督训练方式进行多轮迭代，直至该模型收敛。完成训练后即可使用该模型进行载人数量识别。由此可以利用神经网络自适应学习的特性，提升各种情形(包括遮挡情形)下载人数量识别的准确性。
85.很多场景中可能无需进行或者无法正常进行交通行为识别。在本技术中可以将该类场景称为无效场景。比如，虽然在骑手推车的场景和骑手站立在车旁场景中包括骑手也包括车辆，但是骑手并没有发生驾驶行为，因此无需对这类场景中的载人行为进行检测。再比如，在多个骑手相互紧靠的场景、低清晰度的场景和车辆被遮挡的场景中，由于图像中骑手或车辆的可辨识性过低，可能无法正常识别骑手或车辆，从而可能无法正常进行交通行为识别。
86.为了解决这类问题，可以在对骑手区域进行载人数量识别后得到的载人数量识别结果中增加表征当前识别无效的第四识别结果。如果针对骑手区域的载人数量识别结果为所述第四识别结果，则可以说明该骑手区域中的场景为无效场景，无需或无法进行交通行为识别，由此可以无需对该骑手区域进行交通行为识别。
87.在前述情形下，利用前述载人数量识别模型输出的载人数量识别结果可以包括第一识别结果、第二识别结果、第三识别结果与第四识别结果，以及各种识别结果分别对应的置信度。
88.所述第四识别结果表征所述待识别图像出现以下至少一种无效场景：
89.骑手推车的场景；骑手站立在车旁的场景；多个骑手相互紧靠的场景；低清晰度的场景；车辆被遮挡的场景。
90.在确定最终载人数量识别结果时，可以选择最高的置信度对应的识别结果。例如，利用前述载人数量识别模型，对骑手区域图中载人数量进行分类得到的识别结果指示：第一识别结果、第二识别结果、第三识别结果与第四识别结果分别对应的置信度0.1，0.2，0.1，0.6。即可确定载人数量识别结果为最高置信度0.6对应的无效识别结果。
91.在一些实施例中，所述载人识别网络的训练方法可以包括s11
‑
s13。
92.其中，s11，获取第一训练样本。
93.所述第一训练样本包括多张骑手的样本图像以及对应每张图像的载人数量的第一标注信息，所述第一标注信息包括以下标签中的一种：1人、2人、3人、无效标签，所述无效标签包括以下中的至少一种情况：骑手推车、骑手站立在车旁、多个骑手相互紧靠、低清晰度、车辆被遮挡；
94.s12，将所述第一训练样本输入预设的第一初始网络，得到每张样本图像的样本载人数量识别结果。
95.所述第一初始网络可以是任意类型的神经网络。所述第一初始网络可以输出载人数量识别结果。
96.s13，基于所述样本载人数量识别结果与所述第一标注信息确定的第一损失，优化所述第一初始网络，得到所述载人识别网络。
97.在针对第一训练样本得到计算结果后，可以根据第一标注信息，确定第一损失，并通过反向传播操作，更新所述第一初始网络的参数，以完成一次参数迭代。在一些实施例中可以预先设置参数迭代的次数，在对第以初始网络完成预设次数的迭代之后，可以得到所述车辆识别网络。
98.通过所述训练方法，在进行载人数量识别时，一方面可以减少无法或无需进行载人行为检测交通行为识别的无效场景，提升载人行为检测交通行为识别效率；另一方面，可以准确地识别载人数量，提升交通行为识别效果。
99.在一些实施例中，在对所述骑手区域进行载人数量识别，得到载人数量以及对应的第一置信度之后，可以响应于所述第一置信度达到第一置信度阈值，将所述载人数量确定为所述骑手区域的载人数量识别结果。
100.所述第一置信度阈值可以根据业务情形进行设定。例如，模型输出的假设载人数量识别为1人对应的置信度为0.7，则载人数量识别结果对应的第一置信度为0.7。该置信度可以表征载人数量为1人时的可信程度。
101.通过设置置信度阈值，并在置信度达到置信度阈值标的情形下才输出载人数量识别结果，可以保证输出的识别结果的可信度，进而保证交通行为识别的准确性。
102.在一些实施例中，可以通过调整所述第一置信度阈值的大小，灵活适应多种交通行为识别场景。
103.例如，在优先保证违规载人行为准确性的场景中，可以将第一置信度阈值设置为较高的数值(比如0.9)。如此可以使输出的载人数量识别结果可信度足够高，进而提升交通行为识别的准确性。再例如，在优先保证载人行为识别灵敏度的场景中，可以将第一置信度阈值设置为较低的数值(比如，0.6)，由此可以增加输出的载人数量识别结果的数量，进而提升交通行为识别的灵敏度。
104.在一些实施例中，在执行s1064时，可以先根据所述关联车辆区域，得到对应的车辆区域图。在一些实施例中，可以将所述关联车辆区域对应的车辆框以及与待识别图像对应的目标特征图，输入roi pooling单元，得到所述车辆区域图。
105.然后可以对所述车辆区域图进行车辆类型识别，得到车辆类型识别结果。在一些实施例中，可以通过预先训练的车辆识别网络进行车辆类型识别。所述车辆识别网络可以包括基于神经网络搭建的分类器。该模型输出的计算结果可以包括将车辆区域图中车辆分别识别为各预设车辆类型时的置信度(也即概率)。在确定最终车辆类型时，可以选择最高的置信度对应的车辆类型，即可以将最高的置信度对应的车辆类型确定为所述车辆类型识别结果。
106.在一些实施例中，所述车辆识别网络的训练方法可以包括s21
‑
s23。
107.其中，s21，获取第二训练样本。
108.所述第二训练样本包括多张车辆的样本图像以及对应每张图像的车辆类型的第二标注信息。
109.s22，将所述第二训练样本输入预设的第二初始网络，得到每张样本图像的样本车辆类型识别结果。
110.所述第二初始网络可以是任意类型的神经网络。所述第二预设网络可以输出车辆类型识别结果。
111.s23，基于所述样本车辆类型识别结果与所述第二标注信息确定的第二损失，优化所述第二初始网络，得到所述车辆识别网络。
112.在针对第二训练样本得到计算结果后，可以根据第二标注信息，确定第二损失，并通过反向传播操作，更新所述第二初始网络的参数，以完成一次参数迭代。在一些实施例中
可以预先设置参数迭代的次数，在对第二初始网络完成预设次数的迭代之后，可以得到所述车辆识别网络。
113.通过所述训练方法，在进行车辆类型识别时，可以利用神经网络自适应学习的特性，提升车辆类型识别的准确性。
114.在一些实施例中，在对所述关联车辆区域进行车辆类型识别，得到车辆类型以及对应的第二置信度之后。可以响应于所述第二置信度达到第二置信度阈值，将所述车辆类型确定为所述车辆区域的车辆类型识别结果。
115.所述第二置信度阈值可以根据业务情形进行设定。
116.通过设置置信度阈值，并在置信度达到置信度阈值的情形下才输出车辆类型识别结果，可以保证输出的识别结果的可信度，进而保证交通行为识别的准确性。
117.在一些实施例中，可以通过调整所述第二置信度阈值的大小，灵活适应多种交通行为识别场景。例如，在优先保证违规载人行为准确性的场景中，可以将第二置信度阈值设置为较高的数值(比如0.9)。如此可以使输出的车辆类型识别结果可信度足够高，进而提升交通行为识别的准确性。再例如，在优先保证载人行为识别灵敏度的场景中，可以将第一置信度阈值设置为较低的数值(比如，0.6)，由此可以增加输出的车辆类型识别结果的数量，进而提升交通行为识别的灵敏度。
118.在得到骑手载人数量识别结果，车辆类型识别结果后，所述设备可以执行s108。
119.在一些实施例中，可以针对不同的车辆类型场景，输出符合实际的合法性识别结果。
120.在执行s108时，第一方面，可以响应于所述载人数量识别结果为第一识别结果，确定所述目标骑手违规载人；所述第一预设识别结果表征载人数量达到第一预设数量。
121.所述第一预设数量，可以为经验数值。比如，在非机动车场景，不论何种类型的车辆，包括驾驶员在内的载人数量不能超过3人，超过3人的可以认为是违法行为。此时可以将所述第一预设数量设为3，载人数量达到3人或3人以上的，则可以确定载人行违规。
122.第二方面，可以响应于所述载人数量识别结果为第二识别结果，并且所述类型识别结果表征的车辆类型为预设的非机动车类型，确定所述目标骑手违规载人；所述第二识别结果表征载人数量达到第二预设数量，所述第二预设数量小于所述第一预设数量。
123.第三方面，可以响应于所述载人数量识别结果表征的载人数量为所述第二识别结果，并且所述类型识别结果表征的车辆类型不是所述预设的非机动车类型，确定所述目标骑手并未违规载人。
124.当载人数量为第二预设数量时，不同类型的车辆，对应的载人行为可能合法也可能违规。如果目标骑手驾驶车辆(目标车辆)为预设的非机动车类型，则可以确定载人行为违规，反之则可以确定载人行为合法。
125.所述第二预设数量可以是经验数值。所述预设的非机动车类型，可以是指核载人数不得达到所述第二预设数量的车辆。
126.举例来说，假设所述第二预设数量为2，当所述预设的非机动车类型为三轮车等工具车时。该类工具车只能合法载1人，如果识别出载人数量为2，则可以确定违规载人。如果车辆类型不是该类工具车，比如可能是摩托车或电动自行车，如果识别出载人数量为2，则可以确定载人合法。
127.第四方面，可以响应于所述载人数量识别结果为第三识别结果，确定所述目标骑手并未违规载人；所述第三识别结果表征载人数量为第三预设数量，所述第三预设数量小于所述第二预设数量。
128.所述第三预设数量可以是经验数值。比如，在非机动车场景，不论何种类型的车辆，包括驾驶员在内的载人数量如果是1人，则可以认为是合法载人。此时可以将所述第三预设数量设为1，载人数量为1人的，可以确定载人行合法。
129.第五方面，可以响应于所述载人数量识别结果为第四识别结果，确定针对所述目标骑手的交通行为识别无效。由此可以无需继续进行交通行为识别。
130.通过前述五方面的合法性判断逻辑，可以针对不同的车辆类型场景，输出符合实际的合法性识别结果，提升合法性识别适用性。
131.在一些实施例中，在确定目标骑手违规载人的情形下，可以发出告警信息。
132.在一些实施例中，可以连接所述设备与交警持有的交互终端。当所述设备识别出违规载人行为时，可以将所述目标骑手对应的身份信息，其驾驶的车辆信息，违规原由等信息打包为告警信息，并发送至交警持有的交互终端。所述交警可以在接收到告警进行后作出相应处理。由此可以自动及时针对违规载人行为进行告警，便于对违规行为做出处理。
133.以下结合非机动车载人行为识别场景进行实施例说明。
134.在所述场景中部署了若干监控摄像头。所述监控摄像头可以将监控区域内采集的待识别图像发送至识别设备进行骑手行为检测。
135.所述识别设备可以搭载预先训练的骑手
‑
车辆识别网络(以下简称网络1)，载人识别网络(以下简称网络2)以及车辆识别网络(以下简称网络3)。
136.其中，所述网络1用于检测待识别图像中出现的骑手和车辆，以及对应的所述车辆区域以及所述骑手区域。所述网络2可以用于识别载人数量。所述网络3可以用于识别车辆类型。
137.所述识别设备还可以根据网络1的识别结果对所述待识别图像中出现的各骑手进行多目标跟踪，得到各骑手对应的行驶轨迹，从而识别新出现在监控区域的骑手，仍在监控区域运动的骑手以及即将离开监控区域的骑手。之后可以将即将离开监控区域的骑手确定为目标骑手。
138.请参见图5，图5为本技术示出的一种载人行为识别方法流程示意图。
139.如图5所示，在所述识别设备接收到待识别图像后，可以执行s501，通过网络1识别出所述待识别图像中出现的骑手对应的骑手框和车辆对应的车辆框，并筛选出目标骑手对应的目标骑手框，将所述目标骑手框在所述待识别图像中围成的区域确定为骑手区域，将所述车辆框在所述待识别图像中围成的区域确定为车辆区域。
140.然后可以执行s502，通过iou方法，确定各车辆区域与所述骑手区域之间的重合度，并将最大重合度对应的目标车辆区域确定为与所述骑手区域在空间上关联的关联车辆区域。由此可以利用骑手与其驾驶的车辆在空间上的重合关系，准确地确定出与所述骑手区域关联的关联车辆区域，有助于提升车辆类型识别准确性，得到准确的载人行为识别结果。
141.然后可以执行s503，获取与所述骑手区域对应的骑手区域图，并利用网络2得到载人数量识别结果。s504，获取与所述关联车辆区域对应的车辆区域图，并利用网络3得到车
辆类型识别结果。在本例中，可以判断载人数量识别结果与车辆类型识别结果对应的置信度是否达到0.8，从而可以筛选出可信的载人数量识别结果与车辆类型识别结果，进而提升合法性识别准确性。
142.之后可以执行s505，根据所述载人数量识别结果和所述类型识别结果，识别所述目标骑手的载人行为是否违规。
143.请参见图6，图6为本技术示出的一种违规载人行为判断规则示意图。
144.如图6所示，可以先执行s602，判断载人数量识别结果表征的识别结果。如果所述载人数量识别结果为无效，则可以不进行所述目标骑手的交通行为识别。
145.如果所述载人数量识别结果表征的载人数量达到3人，确定所述目标骑手违规载人。
146.如果所述载人数量识别结果表征的载人数量为2人，则可以进一步执行s604，确定所述类型识别结果表征的车辆类型是否为三轮车。
147.如果车辆类型为三轮车，则确定所述目标骑手违规载人，否则确定所述目标骑手并未违规载人。
148.如果所述载人数量识别结果表征的载人数量为1人，则确定所述目标骑手并未违规载人。
149.由此一方面，可以无需针对无效场景进行载人行为识别，提升载人行为识别效率和效果；另一方面，可以针对不同的车辆类型场景，输出符合实际的合法性识别结果，提升合法性识别适用性。
150.如果识别出违规载人行为，则可以基于违规载人行为对应的骑手信息，车辆信息，以及违规原由信息生成告警信息，并及时发送至交警对应的手持设备，由此便于交警做出及时处理。
151.与所述任一实施例相对应的，本技术还提出一种交通行为识别装置。
152.请参见图7，图7为本技术示出的一种交通行为识别装置的结构示意图。
153.如图7所示，所述装置70可以包括：
154.获取模块71，用于获取待识别图像；
155.第一确定模块72，用于确定所述待识别图像包括的车辆区域中，与所述待识别图像中的骑手区域关联的关联车辆区域，所述骑手区域包括车辆以及至少一人体；
156.识别模块73，用于对所述骑手区域进行载人数量识别，得到载人数量识别结果，以及对所述关联车辆区域进行车辆类型识别，得到车辆类型识别结果；
157.第二确定模块74，用于根据所述载人数量识别结果和所述车辆类型识别结果，确定所述骑手区域中的目标骑手是否存在违规载人行为。
158.在一些实施例中，所述第一确定模块72，具体用于：
159.对所述待识别图像进行检测，得到所述车辆区域以及所述骑手区域；
160.确定得到的所述车辆区域中，与所述骑手区域重合度最大的目标车辆区域，并将所述目标车辆区域确定为与所述骑手区域关联的关联车辆区域。
161.在一些实施例中，所述第一确定模块72，具体用于：
162.对所述待识别图像进行检测，得到所述车辆区域以及所述骑手区域；
163.通过预先训练的关联性分数预测模型，确定所述车辆区域与所述骑手区域之间的
关联分数；
164.将所述车辆区域中，与所述骑手区域关联分数最高的目标车辆区域，确定为与所述骑手区域关联的关联车辆区域。
165.在一些实施例中，所述识别模块73，具体用于：
166.对所述骑手区域进行载人数量识别，得到载人数量以及对应的第一置信度；
167.响应于所述第一置信度达到第一置信度阈值，将所述载人数量确定为所述骑手区域的载人数量识别结果；
168.对所述关联车辆区域进行车辆类型识别，得到车辆类型以及对应的第二置信度；
169.响应于所述第二置信度达到第二置信度阈值，将所述车辆类型确定为所述车辆区域的车辆类型识别结果。
170.在一些实施例中，所述第二确定模块74，具体用于：
171.响应于所述载人数量识别结果为第一识别结果，确定所述目标骑手违规载人；所述第一识别结果表征载人数量达到第一预设数量；或者，
172.响应于所述载人数量识别结果为第二识别结果，并且所述类型识别结果表征的车辆类型为预设的非机动车类型，确定所述目标骑手违规载人；所述第二识别结果表征载人数量达到第二预设数量，所述第二预设数量小于所述第一预设数量；或者，
173.响应于所述载人数量识别结果表征的载人数量为所述第二识别结果，并且所述类型识别结果表征的车辆类型不是所述预设的非机动车类型，确定所述目标骑手并未违规载人；或者，
174.响应于所述载人数量识别结果为第三识别结果，确定所述目标骑手并未违规载人；所述第三识别结果表征载人数量为第三预设数量，所述第三预设数量小于所述第二预设数量；或者，
175.响应于所述载人数量识别结果为第四识别结果，确定针对所述目标骑手的交通行为识别无效。
176.在一些实施例中，所述第四识别结果表征所述待识别图像出现以下至少一种无效场景：
177.骑手推车的场景；骑手站立在车旁的场景；多个骑手相互紧靠的场景；低清晰度的场景；车辆被遮挡的场景。
178.在一些实施例中，所述装置70还包括：
179.告警模块，用于响应于所述目标骑手违规载人，发出告警信息。
180.在一些实施例中，所述载人数量识别结果通过载人识别网络对所述骑手区域进行检测获得；所述装置70还包括：
181.所述载人识别网络的训练模块，用于获取第一训练样本，所述第一训练样本包括多张骑手的样本图像以及对应每张图像的载人数量的第一标注信息，所述第一标注信息包括以下标签中的一种：1人、2人、3人、无效标签，所述无效标签包括以下中的至少一种情况：骑手推车、骑手站立在车旁、多个骑手相互紧靠、低清晰度、车辆被遮挡；
182.将所述第一训练样本输入预设的第一初始网络，得到每张样本图像的样本载人数量识别结果；
183.基于所述样本载人数量识别结果与所述第一标注信息确定的第一损失，优化所述
第一初始网络，得到所述载人识别网络。
184.在一些实施例中，所述车辆识别结果通过车辆识别网络对所述车辆区域进行检测获得；所述装置70还包括：
185.所述车辆识别网络的训练模块，用于获取第二训练样本，所述第二训练样本包括多张车辆的样本图像以及对应每张图像的车辆类型的第二标注信息；
186.将所述第二训练样本输入预设的第二初始网络，得到每张样本图像的样本车辆类型识别结果；
187.基于所述样本车辆类型识别结果与所述第二标注信息确定的第二损失，优化所述第二初始网络，得到所述车辆识别网络。
188.本技术示出的交通行为识别装置的实施例可以应用于电子设备上。相应地，本技术公开了一种电子设备，该设备可以包括：处理器。
189.用于存储处理器可执行指令的存储器。
190.其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现前述任一实施例示出的交通行为识别方法。
191.请参见图8，图8为本技术示出的一种电子设备的硬件结构示意图。
192.如图8所示，该电子设备可以包括用于执行指令的处理器，用于进行网络连接的网络接口，用于为处理器存储运行数据的内存，以及用于存储行为识别装置对应指令的非易失性存储器。
193.其中，所述装置的实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图8所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
194.可以理解的是，为了提升处理速度，交通行为识别装置对应指令也可以直接存储于内存中，在此不作限定。
195.本技术提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可以用于使处理器执行如前述任一实施例示出的交通行为识别方法。
196.本领域技术人员应明白，本技术一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本技术一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)所述实施的计算机程序产品的形式。
197.本技术中的“和/或”表示至少具有两者中的其中一个，例如，“a和/或b”可以包括三种方案：a、b、以及“a和b”。
198.本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
199.所述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。
在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
200.本技术中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、可以包括本技术中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本技术中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体所述以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号所述，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
201.本技术中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如fpga(现场可编程门阵列)或asic(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
202.适合用于执行计算机程序的计算机可以包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件可以包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将可以包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏操纵台、全球定位系统(gps)接收机、或例如通用串行总线(usb)闪存驱动器的便携式存储设备，仅举几例。
203.适合于存储计算机程序指令和数据的计算机可读介质可以包括所有形式的非易失性存储器、媒介和存储器设备，例如可以包括半导体存储器设备(例如eprom、eeprom和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及cd rom和dvd
‑
rom盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
204.虽然本技术包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本技术内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
205.类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结
果。在某些情况下，多任务和并行处理可能是有利的。此外，所述实施例中的各种系统模块和组件的分散不应被理解为在所有实施例中均需要这样的分散，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
206.由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
207.以所述仅为本技术一个或多个实施例的较佳实施例而已，并不用以限制本技术一个或多个实施例，凡在本技术一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术一个或多个实施例保护的范围之内。