结合目标检测与双目视觉的闸机通行行为识别与控制方法与流程

技术特征：
1.一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，其特征在于：包括以下步骤：当目标检测模块识别到一个行人，同时识别到行李，计算行李的高度h，人与行李的距离d1，如果h>α，d1<β1，判定为乘客携带大件行李，通行行为为正常通行；其中，α为大小行李的判断阈值、β1为行人与行李之间距离的阈值；当目标检测模块识别到两个行人，计算两个行人的高度，两个行人之间距离d2，如果判断一人为成人，一人为儿童，且距离d2<β2，判定为乘客携带儿童，通行行为为正常通行；其中，β2为行人与行人距离的阈值；当目标检测模块识别到一个行人，未识别到行李，判断为单个乘客，通行行为为正常通行；当目标检测模块识别到两个行人，计算两个行人的高度，如果判断两人均为成年人，计算两个行人之间距离d3，如果距离d3<β3，判定为尾随行为，通行行为为异常通行；β3为行人与行人距离的阈值；当目标检测模块识别到行人，但闸机门未开启，且行人高度出现低于闸机门高度，判定为下钻行为，通行行为为异常通行；当目标检测模块识别到行人，但闸机门未开启，且行人高度出现高于闸机门高度，判定为上跳行为，通行行为为异常通行；当发生刷卡行为后，目标检测模块识别到两个行人，计算两个行人的高度，两个行人之间间距，如果判断两人均为成年人，两人之间间距由小变大，且两人出现交错，判定处于后方的行人突然越过前一个人进入闸机非法穿越，通行行为为异常通行。2.根据权利要求1所述的一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，其特征在于：还包括如下步骤：将通行行为判定的结果发送给闸机，闸机产生相应的控制，对于正常通行行为，根据实时的行人、物体与闸机之间间距，当行人、物体在闸机内，闸机的闸机门不会关闭，对于异常通行行为，播放相应的声光告警信息。3.根据权利要求1所述的一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，其特征在于：所述目标检测模块获取步骤如下：采集视差图中目标，并标注目标的类别，将目标与目标的类别组成训练样本，利用训练样本对目标检测模型进行训练，利用训练好的目标检测模型对双目视觉设备所拍摄区域内目标进行类别检测。4.根据权利要求3所述的一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，其特征在于：所述视差图获取步骤如下：利用闸机顶部双目视觉设备、闸机底部黑白棋盘格标定板对目标进行标定图片的采集；使用标定工具分别对左右摄像头采集到的标定图片的数据进行标定，求出左、右摄像头的内参数矩阵；对内参数矩阵结果进行立体校准和对齐获得双目视觉设备的外参数矩阵；利用左、右摄像头的内参数矩阵，双目视觉设备的外参数矩阵对双目视觉设备采集的图像进行校正，使双目相机图像的极线平行，且把对应极线调整到同一水平线上；
利用立体匹配算法生成双目视觉设备采集的每一帧图片的视差图。5.根据权利要求1所述的一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，其特征在于：目标高度，目标之间间距获取步骤如下：通过计算标签框顶端和下端距离的差值，获得目标高度，通过标签框坐标信息计算两个目标标签框中心点之间距离，获得两个目标之间的间距；所述标签框获取步骤如下：通过对视差图进行扫描，确定视差图中灰度值发生显著变化的区域，将闸机内不同深度目标对应的区域打上标签框；标签框与摄像头之间的距离计算公式如下：depth = (f * baseline)/disp其中，depth表示距离，f表示内参数据矩阵中的焦矩，baseline是两个摄像头光心之间的距离，disp是视差图中每个坐标点的灰度值。6.根据权利要求1所述的一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，其特征在于：所述α值设置为20cm，β1值设置为10cm。7.根据权利要求1所述的一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，其特征在于：所述β2值设置为20cm。8.根据权利要求1所述的一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，其特征在于：所述β3值设置为20cm。

技术总结
本发明公开了一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，通过在闸机顶部安装双目视觉设备，并进行摄像头标定获取双目测距所需的内参矩阵和外参矩阵，通过双目视觉匹配获取视差图，使用训练好的目标检测模型对视野范围内的行人、行李和轮椅等目标进行检测，然后通过视差图判断行人身高、行李大小等属性，结合连续多帧行人、行李等目标的坐标位置和属性信息判断行人通行逻辑，并根据通行行为控制闸机扇门或剪式门的开闭，并对异常通行行为产生声光告警信息。本发明能有有效提升闸机智能化水平，提高闸机通行效率和安全性。提高闸机通行效率和安全性。提高闸机通行效率和安全性。


技术研发人员：周勇 叶安孝 邹常付 羽冠东 刘步钢 王宇波 茅飞 陆驰宇 吉巍巍
受保护的技术使用者：南京康尼电子科技有限公司
技术研发日：2021.09.09
技术公布日：2021/12/12