一种基于多维度的车辆人员上下车判断方法及系统与流程

1.本发明涉及智能停车管理领域，特别涉及一种基于多维度的车辆人员上下车判断方法及系统。


背景技术：

2.近年来，随着城市现代化进程的快速推进与我国经济的持续快速发展，人们的出行方式正在发生转变，私家车的数量逐年快速增长，城市停车位缺口超过50％，行车难、停车难问题在我国各大中小型城市日益凸显。为了缓解城市停车位不足的问题，交管部门在一些道路红线宽度范围内的一侧或者双侧，特意划出若干带状路面作为路侧泊位以供车辆停放。然而，由于停车空间不封闭、停车环境复杂，因此针对路侧泊位出入场事件判断存在一些不足，而出入场事件判断的准确性与车辆人员的行为，如车上人员上下车的行为息息相关。
3.目前车辆人员上下车行为的判断依然还是空白，只有一些基于图像针对驾驶员行驶过程中驾驶行为的判断的方法，而由于开放停车场的停车空间不封闭、停车环境复杂，采集的车辆区域图像会受到周围行驶的车辆、行人、非机动车的遮挡干扰，单纯依靠摄像机采集的图像无法实现准确的车辆人员上下车行为的判断。


技术实现要素：

4.为解决上述技术问题，本发明提供一种基于多维度的车辆人员上下车判断方法及系统，可以弥补现有车辆人员上下车判断技术的技术空白。
5.为实现上述目的，一方面，本发明一种基于多维度的车辆人员上下车判断方法，所述方法包括：
6.获取监控区域图像；
7.根据监控区域图像判断是否存在车辆目标；
8.若存在，则根据所述车辆目标图像获取所述车辆特征部件的状态信息，并根据所述车辆特征部件的状态信息判断是否存在疑似车辆人员上下车事件；
9.若存在，则根据所述车辆区域图像和所述车辆区域热成像图像确认车辆人员上下车事件。
10.进一步地，所述根据所述车辆特征部件的状态信息判断是否存在疑似车辆人员上下车事件的步骤包括：
11.当所述车辆特征部件为车门时，从所述监控区域图像中识别提取所述车辆目标区域图像，并根据车辆目标区域图像检测所述车辆车门是否存在开启过程和/或开启状态；
12.若车门存在开启过程和/或开启状态，则确定存在疑似车辆人员上下车事件。
13.进一步地，所述根据所述车辆特征部件的状态信息判断是否存在疑似车辆人员上下车事件的步骤包括：
14.当所述车辆特征部件为反光镜时，从所述监控区域图像中识别提取所述车辆目标
区域图像，并根据车辆目标区域图像检测所述车辆反光镜的状态变化；
15.若所述车辆反光镜处于闭合过程和/或闭合状态，则确定存在疑似车辆人员下车事件；
16.若所述车辆反光镜处于开启过程和/或开启状态，则确定存在疑似车辆人员上车事件。
17.进一步地，所述根据所述车辆区域图像和所述车辆区域热成像图像确认车辆人员上下车事件的步骤包括：
18.根据所述车辆区域图像和所述热成像图像判断在车门旁是否出现人物目标；
19.若存在，则获取所述人物目标的轨迹信息，并根据所述人物目标的轨迹信息确认车辆人员的上下车事件。
20.进一步地，根据所述车辆区域图像和所述热成像图像判断在车门旁是否出现人物目标的步骤包括：
21.根据所述车辆区域图像获取车门旁出现的人物目标和对应的置信度；
22.若所述置信度小于或等于预设阈值，则根据所述热成像图像判断在车门旁是否出现人物目标；
23.若所述置信度大于所述预设阈值，则确认存在人物目标。
24.进一步地，根据所述人物目标的轨迹信息确认车辆人员的上下车事件的步骤包括：
25.若根据所述驾驶员的位置变化信息识别到所述驾驶员从所述车辆内移动到所述车辆外时，则确定存在车辆人员下车事件；
26.若根据所述驾驶员的位置变化信息识别到所述驾驶员从所述车辆外移动到所述车辆内时，则确定存在车辆人员上车事件。
27.进一步地，所述方法还包括：
28.当确定存在车辆人员下车事件后，根据所述监控区域图像判断所述车辆是否位于泊位内；
29.若是，则判断所述车辆在所述泊位内的停留时间是否大于或等于预设时间；
30.若是，则确认所述泊位存在入场事件。
31.进一步地，所述方法还包括：
32.当确定存在车辆人员上车事件后，根据所述监控区域图像判断所述车辆是否位于泊位内；
33.若是，则根据所述车辆目标图像获取所述车辆轨迹信息；
34.若根据所述车辆轨迹信息判断所述车辆驶离泊位，则确认所述泊位存在出场事件。
35.另一方面，本发明提供一种基于多维度的车辆人员上下车判断系统，所述系统包括：获取模块，用于获取监控区域图像；
36.判断模块，用于根据监控区域图像判断是否存在车辆目标；
37.所述判断模块，还用于若存在，则根据所述车辆目标图像获取所述车辆特征部件的状态信息，并根据所述车辆特征部件的状态信息判断是否存在疑似车辆人员上下车事件；
38.确认模块，用于若存在，则根据所述车辆区域图像和所述车辆区域热成像图像确认车辆人员上下车事件。
39.进一步地，所述判断模块，具体用于当所述车辆特征部件为车门时，从所述监控区域图像中识别提取所述车辆目标区域图像，并根据车辆目标区域图像检测所述车辆车门是否存在开启过程和/或开启状态；若车门存在开启过程和/或开启状态，则确定存在疑似车辆人员上下车事件。
40.进一步地，所述判断模块，具体还用于当所述车辆特征部件为反光镜时，从所述监控区域图像中识别提取所述车辆目标区域图像，并根据车辆目标区域图像检测所述车辆反光镜的状态变化；若所述车辆反光镜处于闭合过程和/或闭合状态，则确定存在疑似车辆人员下车事件；若所述车辆反光镜处于开启过程和/或开启状态，则确定存在疑似车辆人员上车事件。
41.进一步地，所述确认模块，具体用于根据所述车辆区域图像和所述热成像图像判断在车门旁是否出现人物目标；若存在，则获取所述人物目标的轨迹信息，并根据所述人物目标的轨迹信息确认车辆人员的上下车事件。
42.进一步地，所述判断模块，具体还用于根据所述车辆区域图像获取车门旁出现的人物目标和对应的置信度；若所述置信度小于或等于预设阈值，则根据所述热成像图像判断在车门旁是否出现人物目标；若所述置信度大于所述预设阈值，则确认存在人物目标。
43.进一步地，所述确认模块，具体用于若根据所述驾驶员的位置变化信息识别到所述驾驶员从所述车辆内移动到所述车辆外时，则确定存在车辆人员下车事件；若根据所述驾驶员的位置变化信息识别到所述驾驶员从所述车辆外移动到所述车辆内时，则确定存在车辆人员上车事件。
44.进一步地，所述确认模块，还用于当确定存在车辆人员下车事件后，根据所述监控区域图像判断所述车辆是否位于泊位内；若是，则判断所述车辆在所述泊位内的停留时间是否大于或等于预设时间；若是，则确认所述泊位存在入场事件。
45.进一步地，所述确认模块，还用于当确定存在车辆人员上车事件后，根据所述监控区域图像判断所述车辆是否位于泊位内；若是，则根据所述车辆目标图像获取所述车辆轨迹信息；若根据所述车辆轨迹信息判断所述车辆驶离泊位，则确认所述泊位存在出场事件。
46.本发明提供的一种基于多维度的车辆人员上下车判断方法及系统，首先通过车辆特征部件的状态信息确认车辆人员是否有上下车的意图，当存在该意图时，基于车辆区域图像和车辆区域热成像图像综合判断是否存在车辆人员上下车事件，可以避免单纯依靠普通摄像机采集的图像受到周围环境影响干扰较大导致的车辆人员上下车事件的判断准确度难以保证的问题，可以精准的进行车辆人员上下车事件的判定，弥补了现有技术的空白。
附图说明
47.图1是本发明提供的一种基于多维度的车辆人员上下车判断方法的流程图一；
48.图2是本发明提供的一种基于多维度的车辆人员上下车判断系统的结构示意图。
具体实施方式
49.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
50.如图1所示，本发明实施例提供的一种基于多维度的车辆人员上下车判断方法，包括如下步骤：
51.101、获取监控区域图像。
52.其中，所述监控区域图像可以通过一个或多个摄像机进行采集，所述监控区域图像可以为泊位及扩展至泊位周围一定区域的图像，或者为违停区域的图像，本发明实施例不做限定。
53.102、根据监控区域图像判断是否存在车辆目标。
54.对于本发明实施例，具体可以通过预置目标检测算法对监控区域图像中的车辆目标进行跟踪识别。
55.103、若存在，则根据所述车辆目标图像获取所述车辆特征部件的状态信息，并根据所述车辆特征部件的状态信息判断是否存在疑似车辆人员上下车事件。
56.其中，车辆特征部件可以为车辆的车门、车辆的反光镜等能够明确反映车辆停止特征的车辆部件。对于本发明实施例，步骤103具体可以包括：当所述车辆特征部件为车门时，从所述监控区域图像中识别提取所述车辆目标区域图像，并根据车辆目标区域图像检测所述车辆车门是否存在开启过程和/或开启状态；若车门存在开启过程和/或开启状态，则确定存在疑似车辆人员上下车事件。由于无论是车辆人员上车还是下车，都存在开车门的动作，因此当存在车门开启时，该人员就存在上下车的可能。
57.对于上述车门状态获取方法具体可以包括：获取若干帧连续的车辆目标区域图像，将若干帧车辆目标区域图像中相邻车辆目标区域图像进行帧差处理，得到差帧图像序列，其中，差帧图像序列包括多帧连续的差帧图像。差帧图像序列体现了车门在动作时的像素级变化，若差帧图像序列中的差帧图像中像素级变化较大，则表示车辆的车门状态存在变化；然后提取多帧连续的差帧图像的车门特征；基于获取的多帧连续的差帧图像，将含有时序信息的多帧连续差帧图像输入卷积神经网络中，提取多帧连续的差帧图像的车门特征；最后基于获取的多帧连续的差帧图像的车门特征，识别车门状态。其中，识别装置可利用神经网络模型识别车门状态。具体地，识别装置将获取的多帧连续的差帧图像的车门特征输入神经网络模型中，以使神经网络模型根据车门特征变化情况识别车辆车门状态。
58.进一步地，步骤103具体还可以包括：当所述车辆特征部件为反光镜时，从所述监控区域图像中识别提取所述车辆目标区域图像，并根据车辆目标区域图像检测所述车辆反光镜的状态变化；若所述车辆反光镜处于闭合过程和/或闭合状态，则确定存在疑似车辆人员下车事件；若所述车辆反光镜处于开启过程和/或开启状态，则确定存在疑似车辆人员上车事件。
59.104、若存在，则根据所述车辆区域图像和所述车辆区域热成像图像确认车辆人员上下车事件。
60.对于本发明实施例，步骤104具体可以包括：根据所述车辆区域图像和所述热成像图像判断在车门旁是否出现人物目标；若存在，则获取所述人物目标的轨迹信息，并根据所述人物目标的轨迹信息确认车辆人员的上下车事件。
61.进一步地，所述根据所述车辆区域图像和所述热成像图像判断在车门旁是否出现人物目标的步骤包括：根据所述车辆区域图像获取车门旁出现的人物目标和对应的置信度；若所述置信度小于或等于预设阈值，则根据所述热成像图像判断在车门旁是否出现人
物目标；若所述置信度大于所述预设阈值，则确认存在人物目标。所述根据所述人物目标的轨迹信息确认车辆人员的上下车事件的步骤包括：若根据所述驾驶员的位置变化信息识别到所述驾驶员从所述车辆内移动到所述车辆外时，则确定存在车辆人员下车事件；若根据所述驾驶员的位置变化信息识别到所述驾驶员从所述车辆外移动到所述车辆内时，则确定存在车辆人员上车事件。
62.对于本发明实施例，所述根据监控区域图像获取所述车辆对应的人物目标的轨迹信息的步骤包括：从所述监控区域图像中识别提取所述人物目标区域图像，并根据人物目标区域图像获取所述任务的位置变化信息。其中，人物目标的位置变化信息获取方法具体可以包括：利用人头点定位和关节点信息的单相机多目标跟踪方法，首先构建人头点定位深度学习网络模型；然后根据人头点定位深度学习网络，从所述监控区域图像中进行人头点定位，得到每帧图像中驾驶员头部的位置，同时，通过目标检测算法得到人物目标区域包围框，利用人头点位置优化行人物目标区域，得到最终人物目标区域结果；根据人物目标区域，提取人物目标表观特征和关节点信息；最后根据监视员的表观特征和关节点信息，对人物目标进行轨迹关联，获取人物目标轨迹信息。
63.进一步地，在当确定存在车辆人员下车事件后，根据所述监控区域图像判断所述车辆是否位于泊位内；若是，则判断所述车辆在所述泊位内的停留时间是否大于或等于预设时间；若是，则确认所述泊位存在入场事件。对于本发明实施例，当确定存在车辆人员下车事件后再根据图像判断车辆存在入场事件，可以进一步提升车辆入场事件判断的可靠性和准确性。
64.其中，所述预设时间可以为1分钟、2分钟，本发明实施例不做限定。
65.进一步地，当确定存在车辆人员上车事件后，根据所述监控区域图像判断所述车辆是否位于泊位内；若是，则根据所述车辆目标图像获取所述车辆轨迹信息；若根据所述车辆轨迹信息判断所述车辆驶离泊位，则确认所述泊位存在出场事件。对于本发明实施例，当确定存在车辆人员上车事件后再根据图像判断车辆存在车场出场事件，可以进一步提升车辆出场事件判断的可靠性和准确性。
66.本发明实施例提供的一种基于多维度的车辆人员上下车判断方法，首先通过车辆特征部件的状态信息确认车辆人员是否有上下车的意图，当存在该意图时，基于车辆区域图像和车辆区域热成像图像综合判断是否存在车辆人员上下车事件，可以避免单纯依靠普通摄像机采集的图像受到周围环境影响干扰较大导致的车辆人员上下车事件的判断准确度难以保证的问题，可以精准的进行车辆人员上下车事件的判定，弥补了现有技术的空白。
67.为实现本发明实施例提供的方法，本发明实施例提供一种基于多维度的车辆人员上下车判断系统，如图2所示，该系统包括：获取模块21、判断模块22、确定模块23。
68.获取模块21，用于获取监控区域图像。
69.其中，所述监控区域图像可以通过一个或多个普通摄像机和热成像相机进行采集，所述监控区域图像可以为泊位及扩展至泊位周围一定区域的图像，或者为违停区域的图像，本发明实施例不做限定。
70.判断模块22，用于根据监控区域图像判断是否存在车辆目标。
71.所述判断模块22，还用于若存在，则根据所述车辆目标图像获取所述车辆特征部件的状态信息，并根据所述车辆特征部件的状态信息判断是否存在疑似车辆人员上下车事
件。
72.确认模块23，用于若存在，则根据所述车辆区域图像和所述车辆区域热成像图像确认车辆人员上下车事件。
73.进一步地，所述判断模块22，具体用于当所述车辆特征部件为车门时，从所述监控区域图像中识别提取所述车辆目标区域图像，并根据车辆目标区域图像检测所述车辆车门是否存在开启过程和/或开启状态；若车门存在开启过程和/或开启状态，则确定存在疑似车辆人员上下车事件。
74.进一步地，所述判断模块22，具体还用于当所述车辆特征部件为反光镜时，从所述监控区域图像中识别提取所述车辆目标区域图像，并根据车辆目标区域图像检测所述车辆反光镜的状态变化；若所述车辆反光镜处于闭合过程和/或闭合状态，则确定存在疑似车辆人员下车事件；若所述车辆反光镜处于开启过程和/或开启状态，则确定存在疑似车辆人员上车事件。
75.进一步地，所述确认模块23，具体用于根据所述车辆区域图像和所述热成像图像判断在车门旁是否出现人物目标；若存在，则获取所述人物目标的轨迹信息，并根据所述人物目标的轨迹信息确认车辆人员的上下车事件。
76.进一步地，所述判断模块22，具体还用于根据所述车辆区域图像获取车门旁出现的人物目标和对应的置信度；若所述置信度小于或等于预设阈值，则根据所述热成像图像判断在车门旁是否出现人物目标；若所述置信度大于所述预设阈值，则确认存在人物目标。
77.进一步地，所述确认模块23，具体用于若根据所述驾驶员的位置变化信息识别到所述驾驶员从所述车辆内移动到所述车辆外时，则确定存在车辆人员下车事件；若根据所述驾驶员的位置变化信息识别到所述驾驶员从所述车辆外移动到所述车辆内时，则确定存在车辆人员上车事件。
78.进一步地，所述确认模块23，还用于当确定存在车辆人员下车事件后，根据所述监控区域图像判断所述车辆是否位于泊位内；若是，则判断所述车辆在所述泊位内的停留时间是否大于或等于预设时间；若是，则确认所述泊位存在入场事件。对于本发明实施例，当确定存在车辆人员下车事件后再根据图像判断车辆存在入场事件，可以进一步提升车辆入场事件判断的可靠性和准确性。
79.进一步地，所述确认模块23，还用于当确定存在车辆人员上车事件后，根据所述监控区域图像判断所述车辆是否位于泊位内；若是，则根据所述车辆目标图像获取所述车辆轨迹信息；若根据所述车辆轨迹信息判断所述车辆驶离泊位，则确认所述泊位存在出场事件。对于本发明实施例，当确定存在车辆人员上车事件后再根据图像判断车辆存在车场出场事件，可以进一步提升车辆出场事件判断的可靠性和准确性。
80.本发明实施例提供的一种基于多维度的车辆人员上下车判断系统，首先通过车辆特征部件的状态信息确认车辆人员是否有上下车的意图，当存在该意图时，基于车辆区域图像和车辆区域热成像图像综合判断是否存在车辆人员上下车事件，可以避免单纯依靠普通摄像机采集的图像受到周围环境影响干扰较大导致的车辆人员上下车事件的判断准确度难以保证的问题，可以精准的进行车辆人员上下车事件的判定，弥补了现有技术的空白。
81.应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情
况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
82.在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
83.为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本技术公开的原理和新颖性特征的最广范围相一致。
84.上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
85.本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
86.本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
87.本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd
‑
rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用
户终端中的不同的部件中。
88.在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于ram、rom、eeprom、cd
‑
rom或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(dsl)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、dvd、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
89.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。。