一种动态视觉安全围栏设立方法

1.本发明涉及自动化工厂无人自动化车间的安全防护领域，具体说是一种动态视觉安全围栏设立方法。


背景技术：

2.矿山金属冶炼直接影响着国计民生。精矿石冶炼装卸车间常常建设在城市远郊或偏僻地区，车间内大型自动化起重设施在生产中多由人工操作半自动化设备完成，由于环境恶劣并且操作人员的移动不可避的产生了视觉死角，使生产现场存在被无关人员闯入后产生的一系列潜在危险。而矿堆堆放的不规则性和外形的随机性造成了难以安装和使用传统的安全围栏。随着视频检测技术在智慧工厂领域的应用，一定程度上完成了大型装卸车间的无人值守的目标，但传统的视频监控技术还存在局限性。即运维人员只能远程监控车间的部分信息，但传输回主控中心的视频信息还需要人工筛选进而提取有价值的信息；另外，监控者的疲劳或者疏忽仍会造成判断失误的情况，主观判断失误也增大了误报概率。


技术实现要素：

3.本发明目的是提供一种能够控快速获取动态目标三维坐标的基于双目视觉的一种动态视觉安全围栏设立方法。
4.本发明的目的可以通过以下技术方案来实现：一种动态视觉安全围栏设立方法，包括以下步骤：
5.1)在车间内布置多组双目相机，使所有双目相机组成的监控范围覆盖于车间区域；
6.2)对所有的双目相机进行标定，得到双目相机的内参数和外参数；
7.3)根据所有双目相机组成的监控范围覆盖于车间区域划分预警区域和停机报警区域，通过得到的双目相机的内参数和外参数，获取预警区域和停机报警区域对角顶点的三维坐标数据，建立预警区域和停机报警区域的立方体空间，并将其储存至对应的模型数据库中，用于动态目标体威胁等级的评判依据；
8.4)每个双目相机的左右相机同时采集视频数据，并通过三帧差法得到左右相机所采集视频数据合并的一幅特征图像，对特征图像提取动态目标，并记录该动态目标矩形范围的顶点坐标数据；
9.5)每个双目相机根据该动态目标矩形范围的顶点坐标数据以及相应的特征图像，通过三角测量原理计算动态目标的三维坐标值、速度和运动方向，并发送至后台处理器；
10.6)后台处理器根据动态目标的三维坐标值、速度和运动方向相结合，综合判断动态目标闯入的程度及趋势。
11.所述步骤2)具体为：
12.通过棋盘格标定法依次对双目相机进行标定，获取两相机的归一化焦距fu,fv和图像中心像素坐标和图像原点像素之间的横纵像素数差值u0,v0；
13.归一化焦距fu,fv通过下式获取：
[0014][0015]
其中，f为相机的焦距；du与dv分别是摄像机u轴和v轴上单位像素的尺寸大小；
[0016]
得到双目相机的左、右相机的内部参数矩阵k：
[0017][0018]
通过立体标定得到双目相机的左、右相机的外部参数，外部参数包括旋转矩阵r与平移向量
[0019]
所述步骤4)具体为：
[0020]
左、右两相机在各自的视频数据中同时选取三帧图像记为i
k-2
、i
k-1
、ik，其中当前帧ik分别与前一帧i
k-1
数据以及前两帧i
k-2
数据分别做差分运算，获取差分图像d1(x1,y1)与d2(x2,y2)；通过对差分图像d1(x1,y1)与d2(x2,y2)处理的得到一幅特征图像f(x,y)。
[0021]
所述通过对差分图像d1(x1,y1)与d2(x2,y2)处理的得到一幅特征图像f(x,y)，具体为：
[0022]
对差分图像d1(x1,y1)与d2(x2,y2)进行阈值化处理，其中，cn为预设阈值，则有：
[0023][0024][0025]
t1和t2分别表示阈值化处理保留图像区域，1表示有效像素，0表示低于预设阈值抛弃掉的像素点；
[0026]
利用像素间的与运算通过滤波方式去除动态目标形态变化所构成的影响区域，从而得到特征图像f(x,y)，即：
[0027]
f(x,y)＝ti(x1,y1)∧t2(x2,y2)
[0028]
在特征图像f(x,y)中选取动态目标的最小内接矩形，并记录该动态目标矩形范围的顶点坐标数据。
[0029]
所述步骤5)通过三角测量原理计算动态目标的三维坐标值、速度、运动方向，具体为：
[0030]
动态目标矩形范围的顶点坐标内，左、右相机分别进行对当前动态目标矩形范围内各自的图像与进行匹配，保存不少于3对特征点的原始像素坐标，所述原始像素坐标指的为动态目标的最小内接矩形内匹配特征点；
[0031]
并根据通过同一对特征点在左、右图像上的像素坐标(u
l
,v
l
)和(ur,vr)得到视差值，即：
[0032]
d＝u
l-ur[0033]
结合三角测量原理还原出动态目标在所检测环境下的三维坐标值(x,y,z)；
[0034]
再根据动态目标在所检测环境下的三维坐标值(x,y,z)的位置，根据间隔δt时间的两幅特征图像获取动态目标的速度v；
[0035]
将根据间隔δt时间的两幅特征图像进行合并，在合并的特征图像上选取一条参考线矢量，获取在合并的特征图像上同样的目标点在两个时刻的位置连线，利用参考线矢量与连线之间的夹角得到动态目标的运动方向。
[0036]
所述根据间隔δt时间的两幅特征图像获取动态目标的速度v，具体为：
[0037]
当动态目标的三维坐标(x,y,z)处于预警区域内，则间隔设定时间δt后再次确定动态目标位置，从而获取动态目标的前进速度v，即：
[0038][0039]
(x1,y1,z1)为双目相机首次判断动态目标进入预警区域内的三维坐标，三维坐标(x2,y2,z2)为间隔δt时间后动态目标经双目相机判断后所处的三维坐标。
[0040]
所述利用参考线矢量与连线之间的夹角得到动态目标的运动方向，具体为：
[0041]
双目相机首次判断动态目标进入预警区域内的特征图像与间隔δt时间后动态目标经双目相机判断后的特征图像进行合并，在合并后的特征图像上选取一条参考线矢量线t1与t2时刻动态目标的特征点两点间的连线利用参考线与连线之间的夹角得到该动态目标的前进方向；
[0042]
获取动态目标的运动方向，即：
[0043][0044]
所述步骤6)具体为：
[0045]
(1)当动态目标为固定外形且标记注册过的作业工具，则屏蔽动态视觉检测功能，判定该动态目标不属于预警区域数据库，不采取任何报警操作；
[0046]
(2)当动态目标系统数据库无标记或者注册信息，且该动态目标的三维坐标(x,y,z)经过判断显示此时已经进入预警区域，则获取该动态目标的速度与前进方向；
[0047]
若动态目标的前进速度v与方向θ同时满足小于预设阈值，则表明该动态目标虽然身处预警区域内，但动态目标的行为趋势未对设备和生产造成威胁，可不进行预警；
[0048]
若动态目标的前进速度v与方向θ至少有一个超出阈值，则采取预警措施；
[0049]
(3)若动态目标的三维坐标(x,y,z)经过判断已经闯入报警停机区域，则立即启动报警，并对相应的生产区域内所有自动化设备进行安全制动。
[0050]
本发明具有以下有益效果及优点：
[0051]
1、可以获取待检测目标的深度值，还原出检测对象的真实三维坐标；
[0052]
2、通过已知的三维坐标可以判断动态目标所处区域，得出动态目标体的方向和速度，综合评判异物入侵等级，采取合理的相应措施；
[0053]
3、仅在异物闯入安全警戒区域时才启动双目的三角测量步骤，极大地减小了计算量，显著的提高了程序的运行效率；
[0054]
4、通过建立预报警区域顶点三维坐标信息数据库，可以极大地减小安全系统判断时间和运算量。数据库变更不受场地硬件设备的布局限制，可灵活的升级改造。
附图说明
[0055]
图1为本发明对动态目标提取及闯入程度判断的方法流程图；
[0056]
图2为本发明的获取动态目标的运动方向的原理图；
具体实施方式
[0057]
下面结合附图及实施例对本发明做进一步的详细说明。
[0058]
如图1所示，为本发明对动态目标提取及闯入程度判断的方法流程图，本发明为一种动态视觉安全围栏设立方法，包括以下步骤：
[0059]
1)在车间内需要安全保护的区域布置多组双目摄像头，摄像头检测的画面覆盖车间内所有人员可自由进出的区域，也应包括可被违规翻越的封闭区域，但不包括危险区内可运动的自动化设备。
[0060]
2)利用棋盘格标定法依次对双目摄像头进行标定，获取两相机的归一化焦距fu,fv和图像中心像素坐标和图像原点像素之间的横纵像素数差值u0,v0。
[0061]
归一化焦距fu,fv的计算公式为：
[0062]
其中f为相机的焦距；du与dv分别是摄像机u轴和v轴上单位像素的尺寸大小。
[0063]
得到双目相机的左、右相机的内部参数矩阵k：
[0064][0065]
通过立体标定得到双目相机的左、右相机的外部参数，外部参数包括旋转矩阵r与平移向量
[0066]
3)利用已经标定好的双目摄像头，计算出预警区域和停机报警区域顶点的三维坐标值，并构建对应监控警戒区域立方体对角顶点数据库，用于后期动态目标体威胁等级的评判。
[0067]
进一步利用三帧差分法提取动态目标，进而提取动态目标中同一特征点的像素坐标。
[0068]
4)左、右两相机在各自的视频数据中同时选取三帧图像记为i
k-2
、i
k-1
、ik，其中当前帧ik分别与前一帧i
k-1
数据以及前两帧i
k-2
数据分别做差分运算，获取差分图像d1(x1,y1)与d2(x2,y2)；通过对差分图像d1(x1,y1)与d2(x2,y2)处理的得到一幅特征图像f(x,y)。
[0069]
所述通过对差分图像d1(x1,y1)与d2(x2,y2)处理的得到一幅特征图像f(x,y)，具体为：
[0070]
对差分图像d1(x1,y1)与d2(x2,y2)进行阈值化处理，其中，cn为预设阈值，则有：
[0071][0072]
[0073]
t1和t2分别表示阈值化处理保留图像区域，1表示有效像素，0表示低于预设阈值抛弃掉的像素点；
[0074]
利用像素间的与运算通过滤波方式去除动态目标形态变化所构成的影响区域，从而得到特征图像f(x,y)，即：
[0075]
f(x,y)＝ti(x1,y1)∧t2(x2,y2)
[0076]
在特征图像f(x,y)中选取动态目标的最小内接矩形，并记录该动态目标矩形范围的顶点坐标数据。
[0077]
利用异物矩形范围的顶点坐标，仅在动态异物矩形范围内对左右两幅图像中的异物进行匹配，最终保存最可靠的3对以上特征点原始像素坐标。
[0078]
通过同一特征点在左右图像上的像素坐标(u
l
,v
l
)和(ur,vr)计算视差值。计算公式为：d＝u
l-ur[0079]
结合三角测量原理便能还原出动态目标在所检测环境下的三维坐标值(x,y,z)。
[0080]
如果检测出侵入异物的三维坐标(x,y,z)处于预警区域内，则间隔δt时间再次确定异物位置。从而获取侵入异物的前进速度v，其计算公式如下：
[0081][0082]
(x1,y1,z1)为双目相机首次判断动态目标进入预警区域内的三维坐标，三维坐标(x2,y2,z2)为间隔δt时间后动态目标经双目相机判断后所处的三维坐标。
[0083]
如图2所示，为本发明的获取动态目标的运动方向的原理图，利用参考线矢量与连线之间的夹角得到动态目标的运动方向，具体为：
[0084]
双目相机首次判断动态目标进入预警区域内的特征图像与间隔δt时间后动态目标经双目相机判断后的特征图像进行合并，在合并后的特征图像上选取一条参考线矢量线t1与t2时刻动态目标的特征点两点间的连线利用参考线与连线之间的夹角得到该动态目标的前进方向；
[0085]
获取动态目标的运动方向，即：
[0086][0087]
5)根据监测区域类型设置报警阈值；
[0088]
根据监测场景布局，安全警戒速度区间以及安全前进方向区间。判断动态目标侵入等级的逻辑如下：
[0089]
1、若动态目标为卡车等固定外形且系统中标记注册过的作业工具则屏蔽动态视觉检测功能，不属于预警警区域数据库，不采取任何报警操作；
[0090]
2、若动态目标系统数据库无标记或者注册信息，并且物体的三维坐标(x,y,z)经过判断显示此时已经进入预警区域，则引入该物体的速度与前进方向因素。若异物的前进速度v与方向θ同时满足预设阈值则表明该异物虽然身处预警区域内，但异物的行为趋势未对设备和生产造成威胁，可不预警；若异物的前进速度v与方向θ至少有一个超出阈值，则采取声光报警等预警措施；
[0091]
3、若异物的三维坐标(x,y,z)经过判断已经闯入报警停机区域，则立即启动报警
程序并对相应生产区域所有自动化设备进行安全制动。