一种用于行车安全的监控系统及方法与流程

1.本发明涉及行车安全设备领域，更具体的，涉及一种用于行车安全的监控系统及方法。


背景技术：

2.起重行车是用来吊起物品并使物品在短距离内水平移动的起重设备，广泛应用于工矿企业中。它对于减轻工人劳动强度、提高生产效率，促使生产过程机械化起着重要的作用，是现代化生产中不可缺少的工具之一。
3.但起重行车属于危险性较大的特种设备，事故发生频率较高。国内外每年都因起重设备、起重作业造成大量的财产损失和人身伤害事故。在我国，随着起重机械使用数量的增多，起重伤害事故占全部工业企业伤亡事故的比例也呈逐年上升的趋势。
4.按照现行规定，其中起重行车在工作时，在起重行车下的一定范围内是禁止人员通行的，但是很多企业很少按照相关规定执行，很多事故的发生都是由于人员不按照规定执行导致。监督部门在检查企业时，也多采用抽查或者突击检查，这样不仅工作量大，而且也检查频率不高，并且很难收集到企业不按照规定执行的证据，如何规范企业按照相关规定进行起重作业，是急需解决的问题。
5.专利申请号cn201911235672.x，专利名称为一种随车吊运行管理用的控制系统虽然公开了吊臂行程单元可以对随车吊的吊臂工作行程进行实时的监测，确保随车吊的吊臂处于限定的范围内吊装，但是未具体公开如何去监控行人，且也未公开证据如何被实时保存的方案。


技术实现要素：

6.本发明为克服现有技术的缺点，及时监控行人和当出现违规操作时能够实时收集和保存证据，提供一种用于行车安全的监控系统。
7.为解决上述技术问题，本发明的技术方案如下：
8.一种用于行车安全的监控系统，该系统安装于行车吊钩或起动机上方，包括处理模块、通信模块、图像识别模块、声光报警模块以及后台管理模块，所述通信模块、图像识别模块、声光报警模块分别与处理模块连接，所述后台管理模块与通信模块通讯连接。使用时，所述图像识别模块实时采集现场视频传递给处理模块，处理模块通过通信模块将视频传输至后台管理模块，后台管理模块对视频进行灰度化处理后送入darknet深度卷积神经网络进行预测，后台管理模块根据图像识别算法先算出吊运物品的平面面积，再依据安全范围系数形成一个虚拟电子围栏，此电子围栏将和实际吊运货物同步移动；在货物移动过程中，后台管理模块判断经图像识别模块实时采集的视频中的目标是否违规进入电子围栏区域范围内，若目标进入电子围栏内，则后台管理模块通过通信模块反馈给处理模块，处理模块控制声光报警模块出发报警并控制图像识别模块抓拍图像，处理模块将抓拍的图像通过通信模块传递给后台管理模块进行存储。
9.本发明还提供了一种用于行车安全的监控方法，使用上述的一种用于行车安全的监控系统。
10.一种用于行车安全的监控方法，包括以下步骤
11.步骤1，图像识别模块实时采集现场视频传递给处理模块，处理模块通过通信模块将视频传输至后台管理模块，后台管理模块对视频进行灰度化处理后送入darknet深度卷积神经网络进行预测，检测并框出画面中吊钩和工作人员；
12.步骤2，后台管理模块利用图像识别算法算出吊运物品的平面面积，再依据安全范围系数形成一个虚拟电子围栏；
13.步骤3，后台管理模块判断经图像识别模块实时采集的视频中的目标是否违规进入电子围栏区域范围内，若目标进入电子围栏内，则后台管理模块通过通信模块反馈给处理模块，处理模块控制声光报警模块出发报警并控制图像识别模块抓拍图像，处理模块将抓拍的图像通过通信模块传递给后台管理模块进行存储。
14.优选的，在步骤1中，检测时所采用的检测算法的步骤为：
15.步骤11，首先一幅图像输入darknet网络后将被预处理划分成7*7的网格；
16.步骤12，对于每个网格，预测2个边框，其中每个边框是目标的置信度以及每个边框区域在多个类别上的概率；
17.步骤13，根据上一步预测出7*7*2个目标窗口，根据阈值去除可能性比较低的目标窗口，最后根据目标检测的非极大值抑制去除冗余窗口。
18.优选的，在步骤1中，预测时所采用的跟踪算法的步骤：
19.步骤s1，分别对首帧中所有检测矩形框进行从左到右的行人id编号初始化，并对其使用卡尔曼滤波的预测公式对目标检测框的位置进行预测得到目标下一时刻的状态参数，然后在矩形框中使用自己训练的卷积神经网络对每个行人框进行更精细的特征提取，将id编号和提取的精细特征以及预测跟踪框进行联结；
20.步骤s2，针对此帧的预测框和下一帧的检测框使用匈牙利匹配算法进行两幅框中图像目标的特征比对，若特征距离小于预设的阈值距离，两帧中的框对应同一个id号，即是完成了一次目标关联；若是特征距离大于预设阈值，两个id号不一致，进入下一个矩形框的匹配；若是匹配完成，则对当前两框使用iou匹配，若是仍然匹配到，则使用卡尔曼更新公式对目标的状态进行更新，更新后的状态用来对下一帧目标的运动状态进行预测；若是匹配未完成，将其认为是一条新的轨迹，给予其新的id编号。
21.优选的，在步骤2中，匈牙利算法中权重的度量是使用马氏距离来评测预测的卡尔曼状态和新来的状态，如式4
‑
1所示：
[0022][0023]
其中，第j个detection和第i条轨迹之间的运动匹配度，其中s
i
是轨迹由卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，y
i
是轨迹在当前时刻的预测观测量，d
i
时第j个detection的状态(u，v,y，h)。
[0024]
优选的，由于运动的连续性，可通过该马氏距离对detections进行筛选，定义门限函数如式4
‑
2和4
‑
5所示：
[0025]
[0026][0027]
综合门限函数如式4
‑
6所示：
[0028][0029]
其中使用卡方分布的0.95分位点作为阈值，t
(1)
和t
(2)
＝0.4877，当目标运动不确定性较低时，马氏距离是较佳的关联度量，距离度量对于短期的预测和匹配效果较佳。
[0030]
优选的，相机运动时会造成马氏距离大量不能匹配，使关联度量失效，对每一个检测框d
j
计算表面特征描述子||r
j
||＝1，创建gallery用来存放最新的l
k
＝100个轨迹的描述子，即使用第i个轨迹和第j个轨迹的最小余弦距离作为第二个衡量尺度，如式4
‑
3所示：
[0031][0032]
综合匹配度如式4
‑
5所示：c
i，j
＝λd
(1)
(i,j) (1
‑
λ)d
(2)
(i,j)4
‑
5式，其中匹配度度量有利于跟踪对于长时间期的预测和匹配效果较佳。
[0033]
优选的，在步骤3中，采用入侵算法的逻辑判断的思想去判定是否有人进入虚拟电子围栏，该入侵算法输入行人矩形框，通过比较行人的矩形框坐标与虚拟电子围栏的矩形框坐标得到是否有人入侵的结果。
[0034]
优选的，以监控画面的左上角为笛卡尔坐标系原点(0，0，)通过检测算法可以得到行人矩形框的左上角坐标(x1,y1)和右下角坐标(x2,y2，)我们设定的电子围栏左上角坐标为和右下角坐标当或者或者或者时，上述四种情况均判定为行人是处于电子围栏的范围之外，除此之外的情况均为行人入侵到电子围栏范围内，系统就会做出相应反馈。
[0035]
与现有技术相比，本发明技术方案的有益效果是：
[0036]
本发明提供了一种用于行车安全的监控系统，当行车在吊运货物时，根据货物的大小设置一个虚拟的电子围栏，实时检测跟踪监控画面里的人物，当检测到有人进入该区域范围内便触发报警功能即发出报警提示音，提示灯长亮和弹出警示框，同时拍下此刻照片存入电脑系统中以便查阅。
附图说明
[0037]
图1是本发明的系统的结构示意图；
[0038]
图2是本发明的系统的监控方法的流程图。
[0039]
其中，1、处理模块；2、通信模块；3、图像识别模块；4、声光报警模块；5、后台管理模块。
具体实施方式
[0040]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0041]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0042]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0043]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0044]
一种用于行车安全的监控系统，该系统安装于行车吊钩或起动机上方，包括处理模块1、通信模块2、图像识别模块3、声光报警模块4以及后台管理模块5，其中通信模块2、图像识别模块3、声光报警模块4分别与处理模块1连接，所述后台管理模块5与通信模块2通讯连接。使用时，所述图像识别模块3实时采集现场视频传递给处理模块1，处理模块1通过通信模块2将视频传输至后台管理模块5，后台管理模块5对视频进行灰度化处理后送入darknet深度卷积神经网络进行预测，后台管理模块5根据图像识别算法先算出吊运物品的平面面积，再依据安全范围系数形成一个虚拟电子围栏，此电子围栏将和实际吊运货物同步移动；在货物移动过程中，后台管理模块5判断经图像识别模块3实时采集的视频中的目标是否违规进入电子围栏区域范围内，若目标进入电子围栏内，则后台管理模块5通过通信模块2反馈给处理模块1，处理模块1控制声光报警模块4出发报警并控制图像识别模块3抓拍图像，处理模块1将抓拍的图像通过通信模块2传递给后台管理模块5进行存储。
[0045]
一种用于行车安全的监控方法，使用上述用于行车安全的监控系统，其包括以下步骤
[0046]
步骤1，图像识别模块3实时采集现场视频传递给处理模块1，处理模块1通过通信模块2将视频传输至后台管理模块5，后台管理模块5对视频进行灰度化处理后送入darknet深度卷积神经网络进行预测，检测并框出画面中吊钩和工作人员。
[0047]
其中，检测时所采用的检测算法的步骤为：
[0048]
步骤11，首先一幅图像输入darknet网络后将被预处理划分成7*7的网格；
[0049]
步骤12，对于每个网格，预测2个边框，其中每个边框是目标的置信度以及每个边框区域在多个类别上的概率；
[0050]
步骤13，根据上一步预测出7*7*2个目标窗口，根据阈值去除可能性比较低的目标窗口，最后根据目标检测的非极大值抑制去除冗余窗口。
[0051]
其中，预测时所采用的跟踪算法的步骤：
[0052]
步骤s1，分别对首帧中所有检测矩形框进行从左到右的行人id编号初始化，并对其使用卡尔曼滤波的预测公式对目标检测框的位置进行预测得到目标下一时刻的状态参数，然后在矩形框中使用自己训练的卷积神经网络对每个行人框进行更精细的特征提取，将id编号和提取的精细特征以及预测跟踪框进行联结；
[0053]
步骤s2，针对此帧的预测框和下一帧的检测框使用匈牙利匹配算法进行两幅框中图像目标的特征比对，若特征距离小于预设的阈值距离，两帧中的框对应同一个id号，即是完成了一次目标关联；若是特征距离大于预设阈值，两个id号不一致，进入下一个矩形框的匹配；若是匹配完成，则对当前两框使用iou匹配，若是仍然匹配到，则使用卡尔曼更新公式对目标的状态进行更新，更新后的状态用来对下一帧目标的运动状态进行预测；若是匹配未完成，将其认为是一条新的轨迹，给予其新的id编号。
[0054]
步骤2，后台管理模块5利用图像识别算法算出吊运物品的平面面积，再依据安全范围系数形成一个虚拟电子围栏。
[0055]
其中，匈牙利算法中权重的度量是使用马氏距离来评测预测的卡尔曼状态和新来
的状态，如式4
‑
1所示：
[0056][0057]
其中，第j个detection和第i条轨迹之间的运动匹配度，其中s
i
是轨迹由卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，y
i
是轨迹在当前时刻的预测观测量，d
i
时第j个detection的状态(u,v，y，h)。
[0058]
由于运动的连续性，可通过该马氏距离对detections进行筛选，定义门限函数如式4
‑
2和4
‑
5所示：
[0059][0060][0061]
综合门限函数如式4
‑
6所示：
[0062][0063]
其中使用卡方分布的0.95分位点作为阈值，t
(1)
和t
(2)
＝0.4877，当目标运动不确定性较低时，马氏距离是较佳的关联度量，距离度量对于短期的预测和匹配效果较佳。
[0064]
相机运动时会造成马氏距离大量不能匹配，使关联度量失效，对每一个检测框d
j
计算表面特征描述子||r
j
||＝1，创建gallery用来存放最新的l
k
＝100个轨迹的描述子，即使用第i个轨迹和第j个轨迹的最小余弦距离作为第二个衡量尺度，如式4
‑
3所示：
[0065][0066]
综合匹配度如式4
‑
5所示：c
i，j
＝λd
(1)
(i,j) (1
‑
λ)d
(2)
(i,j)4
‑
5式，
[0067]
其中匹配度度量有利于跟踪对于长时间期的预测和匹配效果较佳
[0068]
步骤3，后台管理模块5判断经图像识别模块3实时采集的视频中的目标是否违规进入电子围栏区域范围内，若目标进入电子围栏内，则后台管理模块5通过通信模块2反馈给处理模块1，处理模块1控制声光报警模块4出发报警并控制图像识别模块3抓拍图像，处理模块1将抓拍的图像通过通信模块2传递给后台管理模块5进行存储。
[0069]
其中，采用入侵算法的逻辑判断的思想去判定是否有人进入虚拟电子围栏，该入侵算法输入行人矩形框，通过比较行人的矩形框坐标与虚拟电子围栏的矩形框坐标得到是否有人入侵的结果。
[0070]
以监控画面的左上角为笛卡尔坐标系原点(0，0，)通过检测算法可以得到行人矩形框的左上角坐标(x1,y1)和右下角坐标(x2,y2，)我们设定的电子围栏左上角坐标为和右下角坐标当时，即行人框的左上角横坐标大于电子围栏的右下角横坐标；当时，行人框的左上角纵坐标大于电子围栏的右下角纵坐标；当时，行人框的右下角横坐标小于于电子围栏的左上角横坐标；当时，行人框的右下角纵坐标小于于电子围栏的左上角纵坐标；上述四种情况均判定为行人是处于电子围栏的范围之外，除此之外的情况均为行人入侵到电子围栏范围内，系统就会做出相应反馈。
[0071]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。