车辆违法上下客的检测方法、装置、电子设备及存储介质与流程

1.本发明属于目标追踪技术领域，具体涉及一种车辆违法上下客的检测方法、装置、电子设备及存储介质。


背景技术：

2.随着经济的高速发展，我国道路网也愈发完善，其在提升了我国交通精细化程度，方便了人们出行的同时，也使得我国的机动车保有量逐年递增，从而带来了较多的交通违法行为，在众多交通违法行为中，客运车辆违法上下客的行为在交通运输过程中屡见不鲜，同样，由于违法上下客所导致的交通事故也数不胜数，给人们带来了惨烈的教训；客运车辆的违法上下客行为严重的影响了交通秩序、危害了交通安全、扰乱了客运市场，且车辆容易出现超载、倒客、甩客等违法违规行为，行李未经安检存在安全隐患，乘客司机的合法权益无法保障；此外，客运车辆的违法上下客带来行人自由出入、翻过围栏、横穿公路的风险，导致意外伤害及事故；因此，客运车辆违法上下客的行为越来越受到交通部门的重视。
3.目前，对客运车辆的违法上下客主要采用在车内安装监控的方式，但是，该方式只能在车辆到达车站后，由执法人员查看监控视频来判断车辆是否存在违法上下客行为；前述方法缺少有效的智能化检测识别手段，会导致违法上下客执法的时效性较差，且不能及时扼制违法行为，无法降低事故发生风险，同时，车内监控容易受到破坏，从而导致执法效力也较低；因此，采用技术与管理融合手段实现车辆违法上下客行为的主动检测识别，已成为当务之急。


技术实现要素：

4.本发明的目的是提供一种车辆违法上下客的检测方法、装置、电子设备及存储介质，用以解决现有技中所存在违法上下客检测时效性较差、不能及时扼制违法行为以及执法效力较低的问题。
5.为了实现上述目的，本发明采用以下技术方案：第一方面，提供了一种车辆违法上下客的检测方法，包括：获取目标车辆的行车图像集，其中，所述行车图像集包括至少三张按照预设间隔时长采集的行车图像；对所述行车图像集中的每张行车图像进行目标检测，得出每张行车图像中目标车辆的中心点坐标，以便根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为；若所述目标车辆存在停车行为，则从所述行车图像集中，确定出所述目标车辆停车后的行车图像，并基于所述目标车辆停车后的行车图像，判断所述目标车辆的车门是否开启；若是，则从所述目标车辆停车后的行车图像中，筛选出所述目标车辆最先停车时对应的行车图像，作为切面检测图像，并对所述切面检测图像进行关键点检测，得出指定关
键点的二维坐标，其中，所述指定关键点包括所述切面检测图像中目标车辆的车顶关键点，以及目标车辆车门侧的车轮关键点；基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，并根据所述指定关键点的三维坐标，生成目标车辆位于车门侧端面的三维切面；对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹；判断所述乘客行动轨迹与所述三维切面之间是否存在交点；若是，则判定所述目标车辆存在违法上下客行为，并保存所述目标车辆停车后的行车图像，以及向所述目标车辆以及所述目标车辆后方的车辆发出报警提示，以在报警提示发送完毕后，完成对所述目标车辆的违法上下客检测。
6.基于上述公开的内容，本发明通过连续采集目标车辆的行车图像，然后对采集的每张行车图像先进行目标检测，得出每张行车图像中目标车辆的中心点坐标，以依据每张行车图像中目标车辆的中心坐标来判断目标车辆是否存在停车行为；若存在，则进行下一步的检测，也就是基于目标车辆停车后的行车图像，来判断目标车辆是否存在开门行为；若存在开门行为，那么则可进行违法上下客检测，其具体检测过程为：先从目标车辆停车后的行车图像中，来筛选出最先停车时对应的行车图像，以对该筛选出的行车图像进行关键点检测，得到该行车图像中目标车辆的车顶关键点以及车门侧的车轮关键点的二维坐标；接着，即可将上述检测得到的关键点进行三维映射，得出各个关键点的三维坐标，以基于各个关键点的三维坐标，来生成目标车辆位于车门侧端面的三维切面；然后，则可再对停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹；最后，只需判断乘客行动轨迹与三维切面之间是否存在交点，即可得出车辆是否存在违法上下客行为；即若存在交点，则说明车辆存在违法上下客行为，否则，则不存在；另外，本发明在检测到车辆存在违法上下客行为时，则会保存停车后的行车图像，以作为证据进行留存，同时，还会向目标车辆以及目标车辆后方的车辆发出报警提示，以提示目标车辆的驾驶人员停止该行为，以及提醒后方车辆及时减速，从而及时扼制违法上下客行为以及降低事故发生风险。
7.通过上述设计，本发明能够通过车辆的行车图像来实时检测其是否存在违法上下客行为，同时，在检测到车辆存在违法上下客行为时，可保留其违法上下客的图像，并向车辆以及车辆后方的车辆发送报警提示，以提示车辆的驾驶人员停止违法行为以及提醒后方车辆及时减速，由此，本发明所提供的违法上下客检测方法，检测时效性以及执法效力高，能够在违法行为发生时，及时扼制违法行为，降低了事故的发生风险。
8.在一个可能的设计中，根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为，包括：基于每张行车图像中目标车辆的中心点坐标，计算每张行车图像中目标车辆的中心点，与各自行车图像的边界之间的距离，以作为每张行车图像的停车检测距离；在所述行车图像集中，判断是否存在有停车检测距离相同的n张相邻的行车图像；若是，则判定所述目标车辆存在停车行为；相应的，从所述行车图像集中，确定出所述目标车辆停车后的行车图像，则包括：将n张相邻的行车图像作为目标车辆停车后的行车图像，其中，n为正整数，且大于
1。
9.基于上述公开的内容，本发明公开了车辆停车检测的具体过程，即先计算每张行车图像中目标车辆的中心点与各自图像边界之间的距离，然后判断是否存在有连续n张的行车图像对应的距离是否相同，若相同，则说明车辆位置未发生变化，也就是车辆处于停车状态。
10.在一个可能的设计中，基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，包括：基于所述指定关键点的二维坐标，得到所述切面检测图像中目标车辆的长度、宽度和高度；将所述目标车辆的长度、宽度和高度输入至训练后的车辆匹配模型中，得出与所述目标车辆相对应的车辆模型上的多个标定关键点的三维坐标，其中，各个标定关键点所表征的位置，与所述指定关键点所表征的位置一一对应；对所述指定关键点进行两两分组，以得到若干关键点匹配组，其中，每一关键点匹配组中的两指定关键点处于目标车辆的同一类型的部位上；对于每一关键点匹配组，从各个标定关键点中，筛选出与每一关键点匹配组中两指定关键点表征位置相同的标定关键点，以作为每一关键点匹配组相对应的匹配关键点；基于每一关键点匹配组中两指定关键点的二维坐标，以及与每一关键点匹配组相对应的匹配关键点的三维坐标，计算得到每一关键点匹配组的三维转换参数；根据每一关键点匹配组的三维转换参数，以及每一关键点匹配组中两指定关键点的二维坐标，计算得到各个指定关键点的三维坐标。
11.基于上述公开的内容，本发明公开了指定关键点进行三维映射的具体过程，即由于指定关键点包括车顶关键点和车轮关键点，因此，可基于前述关键点，来计算得到目标车辆的长度、宽度和高度；然后，即可将目标车辆的长度、宽度和高度输入至训练后的车辆匹配模型中，从而得出目标车辆相对应的车辆模型，而该车辆模型则标注有若干关键点的三维坐标，因此，即可得出与指定关键点表征位置相同的标定关键点；接着，即可将指定关键点进行两两分组，并保证分组的两指定关键点在车辆的同一类型的部分上（如车轮关键点分为一组，车顶关键点分为一组），从而得到若干关键点匹配组；更进一步的，可基于每一关键点匹配组中两指定关键点所表征的位置，来进行标定关键点的匹配，得到每一关键点匹配组对应的标定关键点；最后，即可基于每一关键点匹配组中两指定关键点的二维坐标，以及每一关键点匹配组对应的标定关键点，来计算得到三维转化参数，以便后续基于三维转化参数，来进行各个指定关键点的三维映射。
12.在一个可能的设计中，基于每一关键点匹配组中两指定关键点的二维坐标，以及与每一关键点匹配组相对应的匹配关键点的三维坐标，计算得到每一关键点匹配组的三维转换参数，包括：对于任一关键点匹配组，计算任一关键点匹配组中两指定关键点的纵坐标之间的差值的绝对值，得到高度差；计算任一关键点匹配组相对应的两匹配关键点的纵坐标之间的比值，得到高度比率；获取采集每张行车图像的相机的焦距，并基于所述焦距、所述高度差、所述目标车
辆的高度以及所述高度比率，计算得到任一关键点匹配组的三维转换参数。
13.在一个可能的设计中，根据每一关键点匹配组的三维转换参数，以及每一关键点匹配组中两指定关键点的二维坐标，计算得到各个指定关键点的三维坐标，包括：获取采集每张行车图像的相机的主点的坐标；对于任一关键点匹配组，将所述任一关键点匹配组的三维转换参数的值，作为任一关键点匹配组中两指定关键点的z轴坐标值；基于所述焦距，并按照如下公式（1）和公式（2），计算得到所述任一关键点匹配组中两指定关键点的三维横坐标以及三维纵坐标；（1）（2）上述式（1）中，表示任一关键点匹配组中第i个指定关键点的三维横坐标，表示任一关键点匹配组的三维转换参数，为焦距，表示任一关键点匹配组中第i个指定关键点的二维横坐标，表示相机的主点的横坐标，且；上述式（2）中，表示任一关键点匹配组中第i个指定关键点的三维纵坐标，表示任一关键点匹配组的三维转换参数，为焦距，表示任一关键点匹配组中第i个指定关键点的二维纵坐标，表示相机的主点的纵坐标。
14.在一个可能的设计中，基于所述焦距、所述高度差、所述目标车辆的高度以及所述高度比率，计算得到任一关键点匹配组的三维转换参数，包括：按照如下公式（3），计算得到任一关键点匹配组的三维转换参数；（3）上述式（3）中，表示任一关键点匹配组的三维转换参数，表示焦距，表示所述高度比率，表示高度差，表示目标车辆的高度。
15.在一个可能设计的，对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹，包括：对每张目标车辆停车后的行车图像中的同一乘客进行乘客检测，得到每张目标车辆停车后的行车图像中该同一乘客所属边界框的中心点坐标；基于每张目标车辆停车后的行车图像中该同一乘客所属边界框的中心点坐标，计算得到乘客行动轨迹。
16.第二方面，提供了一种车辆违法上下客的检测装置，包括：图像获取单元，用于获取目标车辆的行车图像集，其中，所述行车图像集包括至少三张按照预设间隔时长采集的行车图像；停车检测单元，用于对所述行车图像集中的每张行车图像进行目标检测，得出每张行车图像中目标车辆的中心点坐标，以便根据每张行车图像中目标车辆的中心点坐标，
判断目标车辆是否存在停车行为；车门检测单元，用于在所述停车检测单元检测到所述目标车辆存在停车行为时，从所述行车图像集中，确定出所述目标车辆停车后的行车图像，并基于所述目标车辆停车后的行车图像，判断所述目标车辆的车门是否开启；关键点检测单元，用于在所述车门检测单元检测出目标车辆的车门开启时，从所述目标车辆停车后的行车图像中，筛选出所述目标车辆最先停车时对应的行车图像，作为切面检测图像，并对所述切面检测图像进行关键点检测，得出指定关键点的二维坐标，其中，所述指定关键点包括所述切面检测图像中目标车辆的车顶关键点，以及目标车辆车门侧的车轮关键点；三维映射单元，用于基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，并根据所述指定关键点的三维坐标，生成目标车辆位于车门侧端面的三维切面；轨迹检测单元，用于对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹；违法上下车检测单元，用于判断所述乘客行动轨迹与所述三维切面之间是否存在交点；违法上下车检测单元，用于在判断所述乘客行动轨迹与所述三维切面之间存在交点时，判定所述目标车辆存在违法上下客行为，并保存所述目标车辆停车后的行车图像，以及向所述目标车辆以及所述目标车辆后方的车辆发出报警提示，以在报警提示发送完毕后，完成对所述目标车辆的违法上下客检测。
17.第三方面，提供了另一种车辆违法上下客的检测装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述车辆违法上下客的检测方法。
18.第四方面，提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述车辆违法上下客的检测方法。
19.第五方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意一种可能设计的所述车辆违法上下客的检测方法。
20.有益效果：（1）本发明能够通过车辆的行车图像来实时检测其是否存在违法上下客行为，同时，在检测到车辆存在违法上下客行为时，可保留其违法上下客的图像，并向车辆以及车辆后方的车辆发送报警提示，以提示车辆的驾驶人员停止违法行为以及提醒后方车辆及时减速，由此，本发明所提供的违法上下客检测方法，检测时效性以及执法效力高，能够在违法行为发生时，及时扼制违法行为，降低了事故的发生风险。
附图说明
21.图1为本发明实施例提供的车辆违法上下客的检测方法的步骤流程示意图；
图2为本发明实施例提供的训练后的车辆匹配模型对应的模型数据库内各车辆样板模型的效果示意图；图3为本发明实施例提供的车辆模型的标定关键点的效果示意图；图4为本发明实施例提供的乘客行动轨迹的效果示意图；图5为本发明实施例提供的车辆违法上下客的检测装置的结构示意图；图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
23.应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
24.应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，a/和b，可以表示：单独存在a，单独存在a和b两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
25.实施例：参见图1所示，本实施例所提供的车辆违法上下客的检测方法，可通过车辆的行车图像来实时检测其是否存在违法上下客行为，并在检测到车辆存在违法上下客行为时，保留其违法上下客的图像，并向车辆以及车辆后方的车辆发送报警提示，以提示车辆的驾驶人员停止违法行为以及提醒后方车辆及时减速，从而遏止违法行为以及提醒后车及时减速，以降低事故发生风险；由此，本实施例所提供的检测方法，对违法上下车的检测执行效力高以及时效性高，适用于广泛应用与推广；可选的，本实施例所提供的方法可以但不限于在rsu（road side unit，路侧单元）侧运行，可以理解的，前述执行主体并不构成对本技术实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤s1～s8所示。
26.s1. 获取目标车辆的行车图像集，其中，所述行车图像集包括至少三张按照预设间隔时长采集的行车图像；具体应用时，举例可以但不限于使用道路上的摄像头，来采集目标车辆的行车图像，并将采集的图像传输至rsu单元，其中，目标车辆可以是客运车辆，也可为非客运车辆，在此不作具体限定；同时，举例摄像头采集目标车辆的图像时，间隔时长可以但不限于为1秒；当然，间隔时长可根据实际使用而具体设定，在此不限定于前述举例。
27.在获取到目标车辆的行车图像集后，即可对行车图像集中的每张行车图像进行目标检测，从而来判定目标车辆是否存在停车行为，其中，目标检测过程如下述步骤s2所示。
28.s2. 对所述行车图像集中的每张行车图像进行目标检测，得出每张行车图像中目
标车辆的中心点坐标，以便根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为；具体应用时，可以但不限于使用yolov4模型（yolo 模型是由 joseph redmon 等人于 2015 年提出的神经网络模型结构，yolov4则是第4版本）来进行目标检测，即将每张行车图像输入至yolov4模型中，来输出每张行车图像中目标车辆的中心点坐标；而在得到每张行车图像中目标车辆的中心点坐标后，即可基于不同行车图像中目标车辆的中心点坐标，来进行停车检测，其中，停车检测过程可以但不限于如下述步骤s21～s23所示。
29.s21. 基于每张行车图像中目标车辆的中心点坐标，计算每张行车图像中目标车辆的中心点，与各自行车图像的边界之间的距离，以作为每张行车图像的停车检测距离；具体应用时，每张行车图像的边界可通过图像坐标系得知，其中，图像坐标系为以行车图像的左下角为原点，长度方向为x轴，宽度方向为y轴，建立的图像坐标系；因此，在得到每张行车图像中目标车辆的中心点坐标后，基于中心点坐标和边界坐标，即可得出中心点距离边界的距离；可选的，中心点到行车图像的边界的距离可以但不限于为：中心点到行车图像左下角之间的距离、右上角之间的距离或左上角之间的距离。
30.在计算得到每张行车图像中目标车辆的中心点，与各自图像对应边界之间的距离后，即可基于计算出的距离，来进行停车检测，如下述步骤s22和步骤s23所示。
31.s22. 在所述行车图像集中，判断是否存在有停车检测距离相同的n张相邻的行车图像。
32.s23. 若是，则判定所述目标车辆存在停车行为；具体应用时，由于行车图像是按照预设间隔时长采集的，因此，当连续n张相邻的行车图像对应的停车检测距离未发生变化，则说明目标车辆的位置未发生变化，也就是处于停车状态；反之，则说明目标车辆的位置发生了变化，其不存在停车行为；更进一步的，在预设间隔时长为1秒的情况下，n可以但不限于取值为3；当然，在行车图像的采集间隔时长不同的情况下，n的值也随之变化，在此不作具体限定。
33.由此基于前述步骤s21～s23，即可基于行车图像集，来判定目标车辆是否存在停车行为，而在判定出目标车辆存在停车行为后，则需要进行下一步的检测，也就是车门开启检测，其中，车门开启检测过程如下述步骤s3所示。
34.s3. 若所述目标车辆存在停车行为，则从所述行车图像集中，确定出所述目标车辆停车后的行车图像，并基于所述目标车辆停车后的行车图像，判断所述目标车辆的车门是否开启；具体应用时，是利用目标车辆停车后的行车图像，来进行车门开启检测，其中，前述就已说明，若存在有停车检测距离相同的n张相邻的行车图像，则说明目标车辆存在停车行为，因此，前述步骤s22中的n张相邻的行车图像，则作为目标车辆停车后的行车图像；而在本实施例中，举例可以但不限于采用resnet_34（残差网络）模型来对停车后的行车图像进行图像识别，以得出车门开启检测结果。
35.在具体应用时，可将目标车辆停车后的行车图像输入至resnet_34模型，而resnet_34模型则对目标车辆停车后的行车图像进行特征提取，得到7x7x512的特征图；然后对该特征图中的每个维度取均值，得到1x1x512的特征图，接着，将该1x1x512的特征图与1x1x2的卷积核进行卷积操作，输出1x2的向量，最后，基于softmax函数以及该向量，输出机动车是否开关车门的概率；因此，当resnet_34模型输出的概率值大于一阈值时，可判定目
标车辆的车门开启，反之，则判定目标车辆的车门未开启。
36.在判断出目标车辆停车后存在车门开启行为时，则可进行违法上下客检测，其中，本实施例中的违法上下客检测的基本原理是：通过检测行为图像中目标车辆的关键点，来构建出目标车辆位于车门侧的端面的三维切面，同时，再对行车图像中的乘客进行目标跟踪，得出同一乘客的运动轨迹，因此，若该乘客存在上下车行为，那么其轨迹必然会穿过前述构建的三维切面，由此，通过判断三维切面与乘客行动轨迹之间是否存在交点，即可得出车辆违法上下客的检测结果；可选的，违法上下客的检测过程如下述步骤s4～s8所示。
37.s4. 若是，则从所述目标车辆停车后的行车图像中，筛选出所述目标车辆最先停车时对应的行车图像，作为切面检测图像，并对所述切面检测图像进行关键点检测，得出指定关键点的二维坐标，其中，所述指定关键点包括所述切面检测图像中目标车辆的车顶关键点，以及目标车辆车门侧的车轮关键点；具体应用时，目标车辆最先停车时对应的行车图像，为停车后的行车图像中，最先采集的图像，即相邻的n张行车图像为按照采集时间从先至后的顺序，依次排序的，那么n张行车图像中的第一张则为切面检测图像；在从停车后的行车图像中，筛选出最先停车对应的图像后，即可进行关键点检测，以便后续基于检测出的关键点，来进行车辆是否存在违法上下客的行为的判定。
38.可选的，举例可以但不限于采用monogrnet v2模型，进行切面检测图像中目标车辆的关键点检测，其中，monogrnet v2模型的整体算法框架类似于mask rcnn框架（其由faster rcnn 和语义分割算法fcn组成，前者完成目标检测任务，后者可以准确完成语义分割的任务）,但是，monogrnet v2模型额外添加了两个head分支，其中一个分支用以回归2d 点,可见性以及自身旋转角度;另外一个分支负责选择cad模型并且回归3d尺寸偏差；因此，本实施例则采用monogrnet v2模型先进行2d图像（即切面检测图像）中的关键点检测，然后再利用monogrnet v2模型，进行二维关键点的3d回归。
39.在本实施例中，monogrnet v2模型中用于回归2d关键点的损失函数为：（4）（5）（6）上述式中，为损失函数，为偏差损失函数，表示关键点可视概率损失函数，表示关键点真实坐标和预测坐标的差异损失函数，k表示关键点的个数，在本实施例举例为6个（即车顶端面的4个端点，以及车门侧的两个车轮中心点），表示第k个关键点的可视性指示器，和表示真实的和预测的关键点的二维坐标，表示关键点的可见性状态，表示第k个关键点可视性的评估概率。
40.由此，基于前述monogrnet v2模型，即可得到切面检测图像中目标车辆的车顶端面4个端点的二维坐标，以及车门侧两车轮的中心点的二维坐标，从而得到6个指定关键点。
41.在得到切面检测图像中目标车辆的指定关键点的二维坐标后，需要将各个指定关键点坐标进行三维映射，也就是转换为三维坐标，以便后续进行违法上下客检测，其中，三维映射过程如下述步骤s5所示。
42.s5. 基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，并根据所述指定关键点的三维坐标，生成目标车辆位于车门侧端面的三维切面；具体应用时，是借助monogrnet v2模型中用于回归3d尺寸偏差的分支，来进行指定关键点的3d转换，其具体过程为：利用monogrnet v2模型来得出目标车辆相对应的车辆模型，而车辆模型中标注有若干与指定关键点表征位置相同的标定关键点，因此，结合标定关键点以及指定关键点的坐标，即可得出二维的指定关键点与三维坐标之间的三维转换参数；最后，利用该三维转换参数，即可将二维的指定关键点转换为3d点，从而得到三维坐标；可选的，转换过程如下述步骤s51～s56所示。
43.s51.基于所述指定关键点的二维坐标，得到所述切面检测图像中目标车辆的长度、宽度和高度；具体应用时，车顶端面上宽度方向上的两指定关键点之间的距离，则作为目标车辆的宽度，任一车轮的中心点到对应侧车顶端点之间的距离则作为目标车辆的高度，而目标车辆的同侧两车轮中心点之间的距离，则作为目标车辆的长度；更进一步的，前述距离可根据各个指定关键的二维坐标计算得到。
44.在得到目标车辆的长度、宽度和高度后，即可将其输入至monogrnet v2模型中，实现车辆模型的匹配，如下述步骤s52所示。
45.s52. 将所述目标车辆的长度、宽度和高度输入至训练后的车辆匹配模型中，得出与所述目标车辆相对应的车辆模型上的多个标定关键点的三维坐标，其中，各个标定关键点所表征的位置，与所述指定关键点所表征的位置一一对应；在本实施例中，训练后的车辆匹配模型则为monogrnet v2模型，其中，monogrnet v2模型设置有模型数据库，库内预先定义多个3d cad车辆样板模型（参见图2所示，可以包括三厢车模型、两厢车模型、箱式轿车模型等等，当然，还可包括客运车辆，图2中未示出），并为每个车辆样板模型标注好车顶的四个关键点、所有车轮中心关键点的三维坐标，作为标定关键点（参见图3所示，图3中则标出了各个标定关键点），以及为车辆样板模型标注长宽高；同时，还需获取多个样板车辆的长宽高，作为目标长宽高，以便将多个样板车辆的目标长宽高和前述各个车辆样板模型的长宽高作为输入，各个样板车辆相对应的车辆样板模型为输出，来训练monogrnet v2模型；更进一步的，在monogrnet v2模型进行车辆匹配时，其损失函数为输出值（即输出的与样板车辆相对应的车辆样板模型的长宽高）与真实值（即样板车辆的目标长宽高数据）之间的差异，且在差异小于预设值时，则可结束模型的训练。
46.由此，基于前述monogrnet v2模型中用于回归3d尺寸偏差的分支，即可基于目标车辆的长宽高数据，来匹配出与其对应的车辆模型，从而得出与其对应车辆模型上的标定关键点的三维坐标；参见图3所示，即车辆模型中车顶4个端点的三维坐标以及4个车轮中心的三维坐标。
47.在得到目标车辆相对应的车辆模型后，即可基于车辆模型中标定关键点的三维坐标以及指定关键点的二维坐标，来计算得到三维转换参数，如下述步骤s53～s55所示。
48.s53. 对所述指定关键点进行两两分组，以得到若干关键点匹配组，其中，每一关键点匹配组中的两指定关键点处于目标车辆的同一类型的部位上；具体应用时，则是将位于车顶长度方向上的两指定关键点分为一组（4个端点则分为2组），将位于同侧车轮上的指定关键点分为一组，在前述6个指定关键点的基础上，则可分为三组。
49.在分组完毕后，即可从车辆模型中，筛选出与每一关键点匹配组相对应的标定关键点，以便基于后续进行匹配出的标定关键点，进行三维转化参数的计算，其中，匹配过程如下述步骤s54所示。
50.s54. 对于每一关键点匹配组，从各个标定关键点中，筛选出与每一关键点匹配组中两指定关键点表征位置相同的标定关键点，以作为每一关键点匹配组相对应的匹配关键点；具体应用时，则是根据关键点所表征的位置，来进行关键点匹配组中两指定关键点，与标定关键点的一一对应；假设一关键点匹配组中两指定关键点为目标车辆左侧两车轮的中心点，那么对应在车辆模型中，也是在表征位置为车辆模型左侧两车轮的标定关键点，以此原理，即可为每一关键点匹配组分配两标定关键点。
51.在得到每一关键点匹配组相对应的匹配关键点后，即可基于每一关键点匹配组中两指定关键点的二维坐标，以及与其对应的两匹配关键点的三维坐标，来计算出每一关键点匹配组的三维转换参数，其中，计算过程如下述步骤s55所示。
52.s55. 基于每一关键点匹配组中两指定关键点的二维坐标，以及与每一关键点匹配组相对应的匹配关键点的三维坐标，计算得到每一关键点匹配组的三维转换参数；具体应用时，由于每一关键点匹配组的三维转换参数计算过程相同，下述以任一关键点匹配组为例，进行三维转换参数的具体阐述，可以但不限于如下述步骤s55a～s55c所示。
53.s55a. 对于任一关键点匹配组，计算任一关键点匹配组中两指定关键点的纵坐标之间的差值的绝对值，得到高度差。
54.s55b. 计算任一关键点匹配组相对应的两匹配关键点的纵坐标之间的比值，得到高度比率。
55.s55c. 获取采集每张行车图像的相机的焦距，并基于所述焦距、所述高度差、所述目标车辆的高度以及所述高度比率，计算得到任一关键点匹配组的三维转换参数；具体应用时，采集行车图像的相机的焦距，可预先设置在rsu单元中，且可以但不限于采用如下公式（3），来计算得到该任一关键点匹配组的三维转换参数。
56.（3）上述式（3）中，表示任一关键点匹配组的三维转换参数，表示焦距，表示所述高度比率，表示高度差，表示目标车辆的高度。
57.由此，基于不同关键点匹配组中两指定关键点的二维坐标，以及不同关键点匹配组对应的两匹配关键点的三维坐标，并借助前述公式（3），即可计算出每个关键点匹配组对应的三维转换参数；而在得到各个关键点匹配组对应的三维转换参数后，则可利用三维转换参数，来计算得到各个指定关键点的三维坐标，如下述步骤s56所示。
58.s56. 根据每一关键点匹配组的三维转换参数，以及每一关键点匹配组中两指定关键点的二维坐标，计算得到各个指定关键点的三维坐标；具体应用时，是以每一关键点匹
配组为单位，并基于每一关键点匹配组的三维转换参数来计算出每一关键点匹配组中两指定关键点的三维坐标；下述与任一关键点匹配组为例，来具体阐述三维坐标的计算过程，如下述步骤s56a～s56c所示。
59.s56a. 获取采集每张行车图像的相机的主点的坐标；具体应用时，相机的主点坐标可通过对相机进行标定，得出相机的内参矩阵，从而基于内参矩阵得到，在本实施例中，内参矩阵可预先设置在rsu单元内。
60.s56b. 对于任一关键点匹配组，将所述任一关键点匹配组的三维转换参数的值，作为任一关键点匹配组中两指定关键点的z轴坐标值；即前述计算出的各关键点匹配组的三维转换参数，实际作为各关键点匹配组中两指定关键点的z轴坐标值。
61.s56c. 基于所述焦距，并按照如下公式（1）和公式（2），计算得到所述任一关键点匹配组中两指定关键点的三维横坐标以及三维纵坐标。
62.（1）（2）上述式（1）中，表示任一关键点匹配组中第i个指定关键点的三维横坐标，表示任一关键点匹配组的三维转换参数，为焦距，表示任一关键点匹配组中第i个指定关键点的二维横坐标，表示相机的主点的横坐标，且。
63.上述式（2）中，表示任一关键点匹配组中第i个指定关键点的三维纵坐标，表示任一关键点匹配组的三维转换参数，为焦距，表示任一关键点匹配组中第i个指定关键点的二维纵坐标，表示相机的主点的纵坐标。
64.由此，只需将各关键点匹配组中两指定关键点的二维横坐标代入前述公式（3），即可得出各关键点匹配组中两指定关键点的三维横坐标；同理，将各关键点匹配组中两指定关键点的二维纵坐标代入前述公式（4），即可得出各关键点匹配组中两指定关键点的三维纵坐标。
65.通过前述步骤s51～s56，即可完成各个指定关键点的三维映射，得到各个指定关键点的三维坐标，从而基于各个指定关键点的三维坐标，来构建出目标车辆位于车门侧端面的三维切面，即两车轮的中心点，以及两车轮同侧的车顶端点，构成三维切面，在本实施例中，为便于阐述，三维切面的示意图，可参见图3的黑色线条所构成的平面。
66.在得到目标车辆位于车门侧端面的三维切面后，即可进行乘客轨迹检测，得出乘客行动轨迹，以便后续基于乘客行动轨迹以及三维切面，来进行车辆违法上下客的检测，其中，乘客轨迹检测如下述步骤s6所示。
67.s6. 对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹；具体应用时，可对停车后的行车图像中同一乘客进行目标跟踪，从而得出乘客轨迹，如下述步骤s61和步骤s62所示。
68.s61. 对每张目标车辆停车后的行车图像中的同一乘客进行乘客检测，得到每张目标车辆停车后的行车图像中该同一乘客所属边界框的中心点坐标；具体应用时，可以但
不限于使用deepsort目标跟踪算法，来对行车图像中的同一乘客进行乘客跟踪，得到每张停车后的行车图像中该同一乘客所属边界框的中心点坐标。
69.在得到每张停车后的行车图像中该同一乘客所属边界框的中心点坐标后，即可利用边界框的中心点坐标，来计算出乘客轨迹方程，如下述步骤s62所示。
70.s62. 基于每张目标车辆停车后的行车图像中该同一乘客所属边界框的中心点坐标，计算得到乘客行动轨迹；具体应用时，相当于用边界框的中心点坐标，来求解直线轨迹方程；同时，还可直接将每张停车后的行车图像中该同一乘客所属边界框的中心点连接起来，得到乘客行动轨迹，其效果示意图可参见图4所示，即图4中a点和b点分别为两张停车后的行车图像中的边界框的中心点，而直线ab则作为乘客行动轨迹；当然，利用a点和b点的坐标，也可求取出直线ab的轨迹方程。
71.在得到乘客行动轨迹后，即可通过计算乘客行动轨迹和三维切面之间是否存在交点，来判断目标车辆是否存在违法上下客行为，如下述步骤s7和步骤s8所示。
72.s7. 判断所述乘客行动轨迹与所述三维切面之间是否存在交点；具有应用时，可利用构成三维切面的指定关键点的三维坐标，来求取三维切面的面轨迹方程，然后结合乘客行动轨迹的轨迹方程，来进行交点的求解，若两个轨迹方程之间可计算出交点，那么则说明目标车辆存在违法上下客行为，反之，则不存在。
73.在本实施例中，若判定出目标车辆存在违法上下客行为，那么则需要保存目标车辆停车后的行车图像，以作为违法上下客的证据进行留存；同时，还会对目标车辆以及目标车辆后方的车辆发送报警提示，以提醒目标车辆的驾驶人员停止违法上下客行为，以及提醒后车及时减速，其中，报警提示过程如下述步骤s8所示。
74.s8. 若是，则判定所述目标车辆存在违法上下客行为，并保存所述目标车辆停车后的行车图像，以及向所述目标车辆以及所述目标车辆后方的车辆发出报警提示，以在报警提示发送完毕后，完成对所述目标车辆的违法上下客检测；具体应用时，可通过rsu单元与目标车辆的车载设备，以及目标车辆后方车辆的车载设备进行通信，从而实现报警提示的发送；同时，对于目标车辆，报警提示可以但不限于为：您正在违法上下客，请及时停止该行为；而对于目标车辆后方的车辆，报警提示则可以但不限于为：车牌为xxx的车辆，正在违法上下客，请减速慢行；当然，目标车辆的车牌号可利用神经网络进行识别；另外，也可借助道路上的功放设备以及显示屏，来进行报警提示，其报警提示方式可根据实际使用而具体设定，于此不作具体限定。
75.由此通过前述步骤s1～s8所详细描述的车辆违法上下客的检测方法，本发明可通过车辆的行车图像来实时检测其是否存在违法上下客行为，并在检测到车辆存在违法上下客行为时，保留其违法上下客的图像，并向车辆以及车辆后方的车辆发送报警提示，以提示车辆的驾驶人员停止违法行为以及提醒后方车辆及时减速，从而遏止违法行为以及提醒后车及时减速，以降低事故发生风险；由此，本实施例所提供的检测方法，对违法上下车的检测执行效力高以及时效性高，适用于广泛应用与推广。
76.如图5所示，本实施例第二方面提供了一种实现实施例第一方面中所述的车辆违法上下客的检测方法的硬件装置，包括：图像获取单元，用于获取目标车辆的行车图像集，其中，所述行车图像集包括至少三张按照预设间隔时长采集的行车图像。
77.停车检测单元，用于对所述行车图像集中的每张行车图像进行目标检测，得出每张行车图像中目标车辆的中心点坐标，以便根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为。
78.车门检测单元，用于在所述停车检测单元检测到所述目标车辆存在停车行为时，从所述行车图像集中，确定出所述目标车辆停车后的行车图像，并基于所述目标车辆停车后的行车图像，判断所述目标车辆的车门是否开启。
79.关键点检测单元，用于在所述车门检测单元检测出目标车辆的车门开启时，从所述目标车辆停车后的行车图像中，筛选出所述目标车辆最先停车时对应的行车图像，作为切面检测图像，并对所述切面检测图像进行关键点检测，得出指定关键点的二维坐标，其中，所述指定关键点包括所述切面检测图像中目标车辆的车顶关键点，以及目标车辆车门侧的车轮关键点。
80.三维映射单元，用于基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，并根据所述指定关键点的三维坐标，生成汽车位于车门侧端面的三维切面。
81.轨迹检测单元，用于对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹。
82.违法上下车检测单元，用于判断所述乘客行动轨迹与所述三维切面之间是否存在交点。
83.违法上下车检测单元，用于在判断所述乘客行动轨迹与所述三维切面之间存在交点时，判定所述目标车辆存在违法上下客行为，并保存所述目标车辆停车后的行车图像，以及向所述目标车辆以及所述目标车辆后方的车辆发出报警提示，以在报警提示发送完毕后，完成对所述目标车辆的违法上下客检测。
84.本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
85.如图6所示，本实施例第三方面提供了另一种车辆违法上下客的检测装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的车辆违法上下客的检测方法。
86.具体举例的，所述存储器可以但不限于包括随机存取存储器（random access memory，ram）、只读存储器（read only memory ，rom）、闪存（flash memory）、先进先出存储器（first input first output，fifo）和/或先进后出存储器（first in last out，filo）等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
87.在一些实施例中，处理器可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于
采用型号为stm32f105系列的微处理器、精简指令集计算机（reduced instruction set computer,risc）微处理器、x86等架构处理器或集成嵌入式神经网络处理器（neural-network processing units，npu）的处理器；所述收发器可以但不限于为无线保真（wifi）无线收发器、蓝牙无线收发器、通用分组无线服务技术（general packet radio service，gprs）无线收发器、紫蜂协议（基于ieee802.15.4标准的低功耗局域网协议，zigbee）无线收发器、3g收发器、4g收发器和/或5g收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。
88.本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
89.本实施例第四方面提供了一种存储包含有实施例第一方面所述的车辆违法上下客的检测方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的车辆违法上下客的检测方法。
90.其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(memory stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
91.本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
92.本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的车辆违法上下客的检测方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
93.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。