一种基于深度学习的机场出发层违章车辆自动识别方法与流程

1.本发明涉及人工智能领域，具体涉及一种基于深度学习的机场出发层违章车辆自动识别方法。


背景技术：

2.近年来，我国航空运输高速发展，各大机场客货吞吐量快速增长，给机场陆侧交通带来了一定的压力，因陆侧交通拥堵而导致的航空运输问题也不时发生。机场陆侧交通除机场附近路网道路外，也包含机场航站楼出发层车道边。机场出发层车道边是专门用于落客的区域，因机场无法保证所有车辆都能遵守规定，很多机场出发层车道边都是接送客混行，这无疑增加了出发层交通的压力。
3.针对这些行为，现在普遍使用的方法主要有人工现场监督和摄像头抓拍两种方式，但这两种技术手段也存在如下问题：
4.(1)人工现场管理因为需要不间断监督所以对人力成本消耗巨大；
5.(2)摄像头抓拍一般需要停车超过一定时间(5-7分钟)才可记录；
6.(3)两种方法均存在检测效率低、识别精度有限且不能从根本遏制违章行为。
7.综上所述，为改善现有违章监测手段、提升机场路侧交通通行效率，亟需从源头上改变现有的检测方式，开展机场路测智慧管控技术研究，建立精度高、成本低、鲁棒性强的机场违章车辆自动识别方法。


技术实现要素：

8.本发明旨在于至少在一定程度上解决上述技术问题之一。
9.为此，本发明目的在于提供一种基于深度学习的机场出发层违章接客车辆自动识别方法，用于解决现有技术存在的检测成本高、检测的精度有限以及方法鲁棒性不强的问题。
10.本发明是通过以下技术方案实现的：
11.本发明的一种基于深度学习的机场出发层违章车辆自动识别方法，其特征在于：包括以下步骤：
12.s1：获取视频流，导入目标识别模型和多目标追踪判断模型，对视频流进行逐帧判断；s2：目标识别与判断，将车辆和行人作为识别目标，并分别赋予 id，如判断为车则执行步骤s3，如判断为人则执行步骤s4，直至视频文件每一帧均被判断完成；s3：对车辆是否处于静止状态进行识别，并保存车辆识别参数数据集至参数存储器；s4：对行人是否消失进行识别，并保存行人识别参数数据集至参数存储器；s5：对s3、s4中保存到参数存储器中的数据集进行计算，以一辆静止的车的检测范围内记录行人“出现”与“消失”的总次数的代数差来计算车辆的最终人数变化；s6：以车辆的车内最终人数变化为依据，对标记为消失的车辆进行违章行为识别；当人数变化＞0时，可以判断车辆存在接客行为，即违章；当人数变化＜0时，可以判断车辆存在送客行为，即未违章；当人数变化＝0时，可以判断车辆为路过车辆；
当人数变化数据丢失时，则代表车辆丢失部分数据，将其人数变化记为0，同时将该车做上数据丢失的标记；s7：输出结果。
13.进一步的，上述s1中的视频流为时长为t的机场出发层车道边固定机位监控视频，用t表示监控视频的任一时刻，t∈[0，t]；
[0014]
上述s2、s3、s5、s6的具体步骤为：车辆在t时刻被目标识别模型识别到并判断为“出现”时被赋予id为i，i∈n，n代表视频中所有个体被跟踪算法赋予的id集合；
[0015]
用表示t时刻时被多目标追踪判断模型的跟踪器标记“出现”的车的id 的集合，用表示t时刻时被标记“消失”的车的id的集合，用表示t时刻时未被多目标追踪判断模型的跟踪器标记为“消失”的车的id的集合，由式 1确定：
[0016][0017]
车辆是否属于静止状态使用参数代表id为i的车辆在t时刻的状态修正系数判定，当其为1时表示车辆处于静止状态，可以进行违章识别，当其为0 时，表示车辆处于其他状态，不能进行违章识别，由式2确定：
[0018][0019]
式2中，代表id为i的车辆在t时刻的状态参数，其为2时表示车辆处于还未识别出运动与静止的未知状态，其为1时表示车辆处于静止状态，其为0 时表示车辆处于运动状态，其为-1时表示车辆处于部分监测数据丢失状态，仅有当为1时才能对车辆i进行违章识别。
[0020]
进一步的，上述s2、s4、s5、s6的具体步骤为：当行人在t时刻被目标识别模型识别到并判断为“出现”时被赋予id为j，j∈n，用表示t时刻时被跟多目标追踪判断模型的跟踪器标记“出现”的人的id的集合，用表示t时刻时被标记“消失”的人的id的集合，用表示t时刻时未被多目标追踪判断模型的跟踪器标记“消失”的人的id的集合，由式8确定：
[0021][0022]
在监控视频的时间范围内，车辆i是否违章可由其在屏幕消失时的车内人数确定，使用参数c
nei
表示id为i的车在屏幕消失时的车内人数，代表t时刻id为i的车辆内人数，c
nei
可由式9确定：
[0023]
[0024]
当时，即id为i的车辆不存在丢失数据的情况时，可分为三种情况，当c
nei
＞0时，判断id为i的车辆存在接客行为，即违章；当c
nei
＜0时，判断id为i的车辆存在送客行为，即未违章；当c
nei
＝0时，判断id为i的车辆为路过车辆；当时，则代表id为i的车辆丢失部分数据数据，将在屏幕消失时的车辆的车内人数变化记为0，同时将id为i的车做上数据丢失的标记。
[0025]
进一步的，上述由式3确定：
[0026][0027]
式3中，δc1代表位移阈值，代表t时刻id为i的车辆最新连续三次位移记录集合，代表t时刻id为i的车辆最新连续三次位移记录集合中第w个位移；为位移记录次数，由式4确定：
[0028][0029]
式4中，ε为位移记录更新间隔，ki代表距离车辆i被标记为“出现”的时刻最近的位移记录更新时刻，ki由式5确定：
[0030][0031]
式3中，由连续三次位移记录集合位移阈值δc1、前一时刻运动状态以及当前时刻t决定；
[0032]
式3中的位移集合是通过提取车辆位置记录中最新的4个位置数据，并计算其相邻两个位置记录的差值得到的，总共包含3个差值，即三个位移幅度，由式6确定：
[0033][0034]
代表在t时刻id为i的车辆的中心点的纵坐标，由式7确定：
[0035][0036]
进一步的，上述由式10确定：
[0037][0038]
式10中，表示id为i的车辆在t时刻车辆检测数据完整性系数，其为1时表示数据完整可以进行正确检测，其为0时表示车辆由于遮挡而造成数据不完整无法进行正确检测，由式11确定：
[0039][0040]
式11中表示id为i的车辆在t时刻的车内人数变化，由式12确定，即：
[0041][0042]
式12中，表示id为j的人在t时刻的状态系数，该人被判断为“消失”为1，该人被判断为“出现”为-1，否则为0，由式13确定：
[0043][0044]
式12中，为t时刻i车与j人位置关系系数，当在t时刻id为j的人的中心点位置在id为i的车的检测范围内时为1，否则为0，由式14确定；同时，行人在t时刻的中心点坐标以及车辆在t时刻的中心点坐标以及检测范围的横纵坐标的最大值和最小值由多目标追踪判断模型计算返回，为id为 i的车在t时刻检测范围横坐标最小值，为id为i的车在t时刻检测范围横坐标最大值，为id为i的车在t时刻检测范围纵坐标最小值，为 id为i的车在t时刻追踪器的检测范围纵坐标最大值，为id为j的人在t 时刻中心点横坐标，为id为j的人在t时刻中心点纵坐标；
[0045][0046]
进一步的，上述目标识别模型为yolo_v4算法模型；上述多目标追踪判断模型为deepsort算法模型。
[0047]
本发明的有益效果在于：误识别率很低，能够到达应用的要求，可以大大减小监控执法人员的工作量，提高非现场执法的执法效率及执法准确性，在智能交通监管领域具有广阔的发展前景，可以使机场陆侧交通的安全管理得到进一步强化，为交通行业的长足发展提供有效保障
附图说明
[0048]
图1：本发明的流程图；
具体实施方式
[0049]
下面结合附图和具体实施方式对本发明做进一步说明：
[0050]
实施例1：如图1所示，使用yolo_v4进行目标识别和deepsort进行目标跟踪一段时长为t的机场出发层车道边固定机位监控视频，t表示监控视频的任一时刻，t∈[0，t]；车辆在t时刻被yolo_v4识别到判断为“出现”时被赋予id 为i，i∈n，n代表视频中所有个体被跟踪算法赋予的id集合，用表示t时刻时被deepsort的跟踪器标记“出现”的车的id的集合(也称为存储器，下同)，用表示t时刻时被标记“消失”的车的id的集合，用表示t时刻时未被deepsort的跟踪器标记为“消失”的车的id的集合，由式(1)确定，即：
[0051][0052]
车辆i能否进行违章识别由其是否处于静止状态决定，使用参数代表id 为i的车辆在t时刻的状态修正系数，当其为1时表示车辆处于静止状态，即可以进行违章识别，当其为0时，表示车辆处于其他状态，不能进行违章识别，由式(2)确定，即：
[0053][0054]
式(2)中，代表id为i的车辆在t时刻的状态参数，其为2时表示车辆处于还未识别出运动与静止的未知状态，其为1时表示车辆处于静止状态，其为0时表示车辆处于运动状态，其为-1时表示车辆处于部分监测数据丢失状态，仅有当为1时才能对车辆i进行违章识别，由式(3)确定，即：
[0055][0056]
式(3)中，δc1代表位移阈值，代表t时刻id为i的车辆最新连续三次位移记录集合，代表t时刻id为i的车辆最新连续三次位移记录集合中第w个位移；为位移记录次数，由式(4)确定，即：
[0057][0058]
式(4)中，ε为位移记录更新间隔，ki代表距离车辆i被标记为“出现”的时刻最近的
位移记录更新时刻，ki由式(5)确定，即：
[0059][0060]
式(3)中，由连续三次位移记录集合位移阈值δc1、前一时刻运动状态以及当前时刻t决定。与δc1、以及时刻t之间的关系，总共分为四种情况，当车辆刚刚被识别到还无法判定其运动状态时(时)，其运动状态为2；当距离车辆被标记为出现的时刻足够长(时)，即能够获取三次位移数据，当连续三次检测的移幅度都超过阈值δc1，且前一刻状态既不为2也不为-1的时候，其运动状态判定为1；当能够获取三次位移数据，连续三次位移幅度都小于阈值δc1，且前一刻状态不为-1的时候，其运动状态判定为1；当能够获取三次位移数据，连续三次位移幅度都小于阈值δc1，且前一刻状态为2，或者只要前一刻运动状态为-1的时候，其运动状态就判定为-1。
[0061]
式(3)中的位移集合是通过提取车辆位置记录中最新的4个位置数据，并计算其相邻两个位置记录的差值得到的，总共包含3个差值，即三个位移幅度，由式(6)确定，即：
[0062][0063]
其中，代表在t时刻id为i的车辆的中心点的纵坐标，由式(7) 确定，即：
[0064][0065]
行人人头在t时刻被yolo_v4识别到判断为“出现”时被赋予id为j，
[0066]
j∈n，用表示t时刻时被跟deepsort的踪器标记“出现”的人的id的集合，用表示t时刻时被标记“消失”的人的id的集合，用表示t时刻时未被deepsort的跟踪器标记“消失”的人的id的集合，由式(8)确定，即：
[0067][0068]
在监控视频的时间范围内，车辆i是否违章可由其在屏幕消失时的车内人数确定，使用参数c
nei
表示id为i的车在屏幕消失时的车内人数，代表t时刻id为i的车辆内人数，c
nei
可由式(9)确定，即：
[0069]
[0070]
当时，即id为i的车辆不存在丢失数据的情况时，可分为三种情况，当c
nei
＞0时，可以判断id为i的车辆存在接客行为，即违章；当c
nei
＜0时，可以判断id为i的车辆存在送客行为，即未违章；当c
nei
＝0时，可以判断id为 i的车辆为路过车辆；当时，则代表id为i的车辆丢失部分数据数据，将在屏幕消失时的车辆的车内人数变化记为0，同时将id为i的车做上数据丢失的标记。其中，由式(10)确定，即：
[0071][0072]
式(10)中，表示id为i的车辆在t时刻车辆检测数据完整性系数，其为1时表示数据完整可以进行正确检测，其为0时表示车辆由于遮挡而造成数据不完整无法进行正确检测，由式(11)确定，即：
[0073][0074]
式(11)中表示id为i的车辆在t时刻的车内人数变化，由式(12) 确定，即：
[0075][0076]
式(12)中，表示id为j的人在t时刻的状态系数，该人被判断为“消失”为1，该人被判断为“出现”为-1，否则为0，由式(13)确定，即：
[0077][0078]
式(12)中，为t时刻i车与j人位置关系系数，当在t时刻id为j 的人的中心点位置在id为i的车的检测范围内时为1，否则为0，由式(14) 确定。同时，行人在t时刻的中心点坐标以及车辆在t时刻的中心点坐标以及检测范围的横纵坐标的最大值和最小值由deepsort返回，其中为id为i 的车在t时刻检测范围横坐标最小值，为id为i的车在t时刻检测范围横坐标最大值，为id为i的车在t时刻检测范围纵坐标最小值，为id 为i的车在t时刻追踪器的检测范围纵坐标最大值，为id为j的人在t时刻中心点横坐标，为id为j的人在t时刻中心点纵坐标。
[0079][0080]
上述一种基于基于深度学习的机场出发层违章车辆自动识别方法，在显卡为
10606g，cpu为i5-8500，内存为8g电脑中，使用python语言将本发明内容中公式(1)至(14)按本发明流程图(如图1所示)进行编程，对来自昆明长水机场出发层3号门外的3号固定机位监控器2019年9月1日与2019年9 月2日的监控视频中含有违章接客的视频片段进行检测，再通过人工观看片段记录所有违章接客信息，将真实值与检测结果进行比较获得方法识别精度。检测结果如表2与表3所示。统计得视频的平均fps为3.875，即每秒可处理将近 4张图片。
[0081]
违章识别速度取决于以下两点：1.yolo_v4的识别速率；2.deepsort的跟踪效率，且识别速率随显卡性能增加而增加。
[0082]
表2识别结果
[0083][0084]
表3识别精度
[0085][0086]
对表2数据进行细化分析，结果如表3所示，总共有83.3％的违规行为被识别出来，其中识别为接客的占总样本50％，识别为疑似接客即需要人工进一步核实的样本占总样本33.3％。在总样本中未被成功识别出具有接客行为的样本占 16.7％，这是由跟踪丢失，或者计数判断错误两种原因导致的。
[0087]
在实际应用中，即使违章车辆的识别率未达到较高精度，也可对打算在出发层接客的司机的选择产生一定影响。但是，对违章行为的识别率有要求，需要达到较低的水平才能应用。因为违章行为识别结果最后会上传到系统中用于对违章车辆进行罚款等，若是非违章车辆被误判为违章车辆概率过高很可能会造成大量投诉。因此本文除了统计违章接客车辆的识别结果，也统计了送客车辆的误识别情况，并进行了分析。
[0088]
本实例从总时长为六个小时的视频片段中，筛选出有效时长为一个半小时的视频片段，并利用其对识别精度做进一步分析。在选取的这一个半个小时的片段中，总共有10个接客样本，150个送客样本，合计160个车辆样本，其识别结果的数据分析如表4与表5所示。
[0089]
表4送客车辆误识别分析
[0090][0091]
输出结果中只包含违章接客与疑似接客两种结果，违章接客代表存在违章行为，并且无需人工核实，在应用中可直接上传系统；疑似接客代表可能存在接客行为但不确定，需要进行人工核实，在人工核实的时候可以人工剔除误识别的结果，保证送客车辆不会被误报。在实际操作中，为了管理的高效性，也可选择不进行人工核实，按未违章处理。由表4可知，在上传到系统时，送客车辆被误报的概率为0。
[0092]
表5识别为违章接客的样本分布
[0093][0094]
由表5知，在160个总样本中，所有被识别为违章接客的总样本总共有6 个，其中实际是送客的样本数量为0，即在这种直接判定为违章接客且无需人工进一步核实的自动识别中，其误识别率为0。
[0095]
综上所述，相比于现有技术，本发明介绍了基于深度学习的机场出发层违章车辆自动识别方法，首先提出了车辆违章接客行为的特征，即在一辆静止的车的检测范围内记录行人“出现”与“消失”的总次数的代数差来计算车辆的最终人数变化，从而判断车辆是否存在过接客行为，再基于yolo_v4和 deepsort提出了车辆静止状态识别方法与车辆接客行为识别方法，初步构建了机场出发层车道边违章接客车辆识别方法。实例分析得到的违章车辆识别精度为50％，接客行为识别精度达到了83.3％。虽然识别精度还有待进一步提高，但是在实际应用中，这足以对打算在出发层接客的司机的选择造成一定影响；而且算法的误识别率很低，能够到达应用的要求，可以大大减小监控执法人员的工作量，提高非现场执法的执法效率及执法准确性，在智能交通监管领域具有广阔的发展前景，可以使机场陆侧交通的安全管理得到进一步强化，为交通行业的长足发展提供有效保障。
[0096]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。