结合目标检测与双目视觉的闸机通行行为识别与控制方法与流程

1.本发明涉及一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，属于交通智能识别技术领域。


背景技术：

2.随着城市轨道交通的发展，越来越多的城市人群选择乘坐地铁出行，闸机作为必要的通行控制通道，在轨道交通中起着重要的作用。
3.在现有的闸机通行控制技术中，主要通过16对红外对射传感器来判断乘客的通行行为，通过红外对射传感器的遮挡情况来判断乘客的通行状态，这种通行逻辑判断方法对于部分通行逻辑无法有效识别，如无法区分成人携带儿童与尾随闯门的区别，无法识别下钻和上跳行为，无法区分行李和乘客等。
4.为了能够更准确地识别乘客通行的行为，本领域技术人员急需要改进现有闸机的识别与控制方法。


技术实现要素：

5.目的：为了克服现有技术中存在的针对目前闸机对乘客通行行为识别不充分的问题，本发明提供一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，通过在闸机顶部安装双目视觉设备，并进行摄像头标定获取双目测距所需的内参矩阵和外参矩阵，然后通过双目视觉匹配获取视差图，使用训练好的目标检测模型对视野范围内的行人、行李和轮椅等目标进行检测，然后通过视差图判断行人身高、行李大小等属性，结合连续多帧行人、行李等目标的坐标位置和属性信息判断行人通行行为，并根据通行行为控制闸机扇门或剪式门，并对异常通行行为产生声光告警信息。
6.技术方案：为解决上述技术问题，本发明采用的技术方案为：
7.一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，包括以下步骤：
8.当目标检测模块识别到一个行人，同时识别到行李，计算行李的高度h，人与行李的距离d1，如果h>α，d1<β1，判定为乘客携带大件行李，通行行为为正常通行。其中，α为大小行李的判断阈值、β1为行人与行李之间距离的阈值。
9.当目标检测模块识别到两个行人，计算两个行人的高度，两个行人之间距离d2，如果判断一人为成人，一人为儿童，且距离d2<β2，判定为乘客携带儿童，通行行为为正常通行。其中，β2为行人与行人距离的阈值。
10.当目标检测模块识别到一个行人，未识别到行李，判断为单个乘客，通行行为为正常通行。
11.当目标检测模块识别到两个行人，计算两个行人的高度，如果判断两人均为成年人，计算两个行人之间距离d3，如果距离d3<β3，判定为尾随行为，通行行为为异常通行。β3为行人与行人距离的阈值。
12.当目标检测模块识别到行人，但闸机门未开启，且行人高度出现低于闸机门高度，
判定为下钻行为，通行行为为异常通行。
13.当目标检测模块识别到行人，但闸机门未开启，且行人高度出现高于闸机门高度，判定为上跳行为，通行行为为异常通行。
14.当发生刷卡行为后，目标检测模块识别到两个行人，计算两个行人的高度，两个行人之间间距，如果判断两人均为成年人，两人之间间距由小变大，且两人出现交错，判定处于后方的行人突然越过前一个人进入闸机非法穿越，通行行为为异常通行。
15.作为优选方案，还包括如下步骤：
16.将通行行为判定的结果发送给闸机，闸机产生相应的控制，对于正常通行行为，根据实时的行人、物体与闸机之间间距，当行人、物体在闸机内，闸机的闸机门不会关闭，对于异常通行行为，播放相应的声光告警信息。
17.作为优选方案，所述目标检测模块获取步骤如下：
18.采集视差图中目标，并标注目标的类别，将目标与目标的类别组成训练样本，利用训练样本对目标检测模型进行训练，利用训练好的目标检测模型对双目视觉设备所拍摄区域内目标进行类别检测。
19.作为优选方案，所述视差图获取步骤如下：
20.利用闸机顶部双目视觉设备、闸机底部黑白棋盘格标定板对目标进行标定图片的采集。
21.使用标定工具分别对左右摄像头采集到的标定图片的数据进行标定，求出左、右摄像头的内参数矩阵。
22.对内参数矩阵结果进行立体校准和对齐获得双目视觉设备的外参数矩阵。
23.利用左、右摄像头的内参数矩阵，双目视觉设备的外参数矩阵对双目视觉设备采集的图像进行校正，使双目相机图像的极线平行，且把对应极线调整到同一水平线上。
24.利用立体匹配算法生成双目视觉设备采集的每一帧图片的视差图。
25.作为优选方案，目标高度，目标之间间距获取步骤如下：
26.通过计算标签框顶端和下端距离的差值，获得目标高度，通过标签框坐标信息计算两个目标标签框中心点之间距离，获得两个目标之间的间距。
27.所述标签框获取步骤如下：
28.通过对视差图进行扫描，确定视差图中灰度值发生显著变化的区域，将闸机内不同深度目标对应的区域打上标签框。
29.标签框与摄像头之间的距离计算公式如下：
30.depth＝(f*baseline)/disp
31.其中，depth表示距离，f表示内参数据矩阵中的焦矩f，baseline是两个摄像头光心之间的距离，称作基线距离，由相机安装的物理位置决定，disp是视差图中每个坐标点的灰度值。
32.有益效果：本发明提供的一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，引入目标检测技术，准确识别乘客、行李、轮椅等目标，并采用双目视觉技术，对乘客身高、行李大小进行准确的计算，根据目标检测与双目视觉的结果，判断乘客通行逻辑，能有效提升闸机智能化水平，提高通行效率和安全性。
33.通过在现有闸机上增加目标检测和双目视觉设备，采用目标检测算法能够准确识
别目标的属性，并采用双目视觉判断目标的高度和大小，结合目标检测和双目视觉方法，能够有效判断乘客通过闸机的逻辑，进而判断通行行为是否正常，从而控制闸机，防止夹人夹物，且对异常通行行为产生声光告警，提醒乘客和工作人员，有利于提高闸机安全性和乘客通行感受，有利于辅助轨道交通安全运营和管理。
附图说明
34.图1是本发明的设备结构示意图。
35.图2是本发明中的目标检测与识别方法的流程图。
具体实施方式
36.下面结合具体实施例对本发明作更进一步的说明。
37.一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，包括以下步骤：
38.步骤1:利用闸机顶部双目视觉设备、闸机底部黑白棋盘格标定板对闸机内目标进行标定图片的采集。
39.步骤2:使用标定工具分别对左右摄像头采集到的标定图片的数据进行标定，求出左、右摄像头的内参数矩阵。
40.步骤3:对内参数矩阵结果进行立体校准和对齐获得双目视觉设备的外参数矩阵。
41.步骤4：利用左、右摄像头的内参数矩阵，双目视觉设备的外参数矩阵对双目视觉设备采集的图像进行校正，使双目相机图像的极线平行，且把对应极线调整到同一水平线上。
42.步骤5：利用立体匹配算法生成双目视觉设备采集的每一帧图片的视差图；通过对视差图进行扫描，确定视差图中灰度值发生显著变化的区域，将闸机内不同深度目标对应的区域打上标签框。
43.步骤6:根据标签框内目标的灰度值计算目标与摄像头之间的距离，具体公式如下：
44.depth＝(f*baseline)/disp
45.其中，depth表示距离，f表示内参数据矩阵中的焦矩f，baseline是两个摄像头光心之间的距离，称作基线距离，由相机安装的物理位置决定，disp是视差图中每个坐标点的灰度值。
46.步骤7：通过计算标签框顶端和下端距离的差值，获得目标高度，通过标签框坐标信息计算两个目标标签框中心点之间距离，获得两个目标之间的间距。
47.步骤8:采集视差图中目标，并标注目标的类别，将目标与目标的类别组成训练样本，目标的类别包括：行人、行李、轮椅等，利用训练样本对目标检测模型进行训练，利用训练好的目标检测模型对双目视觉设备所拍摄区域内目标进行类别检测。
48.步骤9：当目标检测模块识别到一个行人，同时识别到行李，计算行李的高度h，人与行李的距离d1，如果h>α，d1<β1，判定为乘客携带大件行李，通行行为为正常通行。其中，α为大小行李的判断阈值、β1为行人与行李之间距离的阈值，α和β1值可调节。
49.当目标检测模块识别到两个行人，计算两个行人的高度，两个行人之间距离d2，如果判断一人为成人，一人为儿童，且距离d2<β2，判定为乘客携带儿童，通行行为为正常通
行。其中，β2为行人与行人距离的阈值。
50.当目标检测模块识别到一个行人，未识别到行李，判断为单个乘客，通行行为为正常通行。
51.当目标检测模块识别到两个行人，计算两个行人的高度，如果判断两人均为成年人，计算两个行人之间距离d3，如果距离d3<β3，判定为尾随行为，通行行为为异常通行。β3为行人与行人距离的阈值。
52.当目标检测模块识别到行人，但闸机门未开启，且行人高度出现低于闸机门高度，判定为下钻行为，通行行为为异常通行。
53.当目标检测模块识别到行人，但闸机门未开启，且行人高度出现高于闸机门高度，判定为上跳行为，通行行为为异常通行。
54.当发生刷卡行为后，目标检测模块识别到两个行人，计算两个行人的高度，两个行人之间间距，如果判断两人均为成年人，两人之间间距由小变大，且两人出现交错，判定处于后方的行人突然越过前一个人进入闸机非法穿越，通行行为为异常通行。
55.步骤10：将通行行为判定的结果发送给闸机，闸机产生相应的控制，对于正常通行行为，根据实时的行人、物体与闸机之间间距，当行人、物体在闸机内，闸机的闸机门不会关闭，防止夹到行人或行李，对于异常通行行为，播放相应的声光告警信息。
56.实施例1：
57.一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，具体步骤如下：
58.步骤1:在闸机旁增加一个金属支架，在闸机顶部的支架上安装双目视觉设备，安装方式如图1所示。在本实施例中，双目视觉设备内置海思3559c芯片作为双目视觉和目标检测计算芯片。
59.步骤2:具体实施过程中，我们使用黑白棋盘格标定版采集标定图片，并使用标定工具分别对左右摄像头采集到的数据进行标定，求出左右相机的内参数矩阵。使用matlab标定工具箱calib_gui，对左右相机采集到的标定板图片进行角点提取，采用张正友标定法对左右相机单独进行标定，获取左右相机的内参数如表2和表3所示。
60.表2
61.相机内参f
x
f
y
c
x
c
y
左相机965.30601964.05115643.31171335.44134右相机968.75835967.98767642.84449366.34843
62.其中：fx，fy代表focal length，cx，cy代表principal point，他们共同构成了相机的内参矩阵k。相机内参用来表征相机坐标上的点，是如何继续经过摄像机的镜头、并通过针孔成像和电子转化而成为像素点。
63.表3
64.畸变参数kc_01kc_02kc_03kc_04kc_05左相机
‑
0.369670.132020.00102
‑
0.000440.00000右相机
‑
0.393850.282200.00034
‑
0.003390.00000
65.其中，kc_01，kc_02，kc_03，kc_04，kc_05为distortion系数。畸变参数，是用来表征实际的像素点，并没有落在理论计算该落在的位置上，产生了一定的偏移和变形。
66.步骤3:对左右摄像头分别标定后获得的内参数矩阵结果进行立体校准和对齐获
得相机的外参数矩阵。利用stereo_gui对获取到的左右相机内参数进行立体标定，即可以得到旋转矩阵r和平移向量t，其中旋转矩阵和平移向量被称为相机外参数矩阵。结果如表4所示。
67.表4
68.rec旋转向量0.03593
‑
0.01109
‑
0.00828t平移向量
‑
66.183102.149880.71439
69.其中，此处获得的rec旋转向量需要通过opencv中的rodrigues变换获得旋转矩阵r。旋转矩阵和平移向量，构成相机外参，用来表征现实世界坐标中的物体上的点经过旋转和平移，落到相机坐标上的。
70.步骤4:利用左、右摄像头的内参数矩阵，双目视觉设备的外参数矩阵对双目视觉设备采集的图像进行校正，使双目相机图像的极线平行，且把对应极线调整到同一水平线上。利用立体匹配算法生成摄像头采集的每一帧图片的视差图。本实施例采用海思3559c芯片内置的dpu模块进行双目视觉匹配，获取视差图。通过对视差图进行扫描，确定视差图中灰度值发生显著变化的区域，将闸机内不同深度目标对应的区域打上标签框。
71.步骤5：利用训练好的目标检测模型对每一帧图像进行目标检测，获取检测目标区域的坐标信息。
72.步骤6：将检测到的目标的坐标传入视差图中获取对应的视差信息，并利用视差与距离的转换公式将视差信息转换为目标与摄像头的距离，距离计算公式为：
73.depth＝(f*baseline)/disp
74.其中，depth表示距离，f表示归一化的焦距，也就是内参中的fx，baseline是两个相机光心之间的距离，称作基线距离，由相机安装的物理位置决定，disp是视差图中每个坐标点的灰度值。
75.如图2所示，步骤7：使用步骤5和步骤6所述方法对每一帧图片中的目标高度、大小、类别、坐标等属性进行标注，属性判断逻辑如图2所示，获取连续多帧的目标属性后，对每个目标的行为进行跟踪和判定，识别目标通行行为，通行行为类型和判定方法如表5所示。其中，α值设为20cm，β1值设置为10cm，β2和β3值设置为20cm。
76.若检测出类别标签为行李且大小标签超过20cm，则判断为大件行李，若高度标签小于20cm，则判断为小件行李。若检测出类别不为行李且高度标签超过150cm，则判断为成人，若高度标签小于150cm，则判断为孩童。获取连续多帧的目标的属性后，对每个目标的行为进行跟踪和判定，识别目标通行行为。
77.表5
78.[0079][0080]
步骤8：将通行行为判定的结果发送给闸机，闸机产生相应的控制，对于正常通行行为，通过实时的行人与物体的坐标位置，防止夹到行人或行李，对于异常通行行为，播放相应的声光告警信息。本实施例中，双目视觉设备与闸机采用rs232串口通信。
[0081]
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。