基于机器视觉的物品飞离预定行进线路的监测方法和系统

1.本技术涉及安全运维领域，特别是基于机器视觉的飞钢监测方法。


背景技术：

2.在为了提升生产效率、节约生产能耗，棒材在生产线上的运动速度通常较快。过快的运动速度常会造成飞钢事故，进而损坏现场设备，甚至导致人员伤亡。引发飞钢事故的本质原因通常有：(1)导入孔与棒材运动方向存在偏差、(2)棒材尺寸不均、(3)棒材存在弯曲等。
3.目前，大多数钢企采用定期人力巡检方式排查现场设备、生产工艺是否存在导致飞钢事故的隐患。然而，人力巡检方式过于依赖操作人员经验，人员成本高，周期较长，且易出现漏检和误检的安全隐患。


技术实现要素：

4.本技术实施例提供了一种基于机器视觉的物品飞离预定行进线路的监测方法和系统，以至少解决现有技术中依赖人力巡检方式排查类似飞钢事件的隐患的问题。
5.根据本技术的一个方面，提供一种基于机器视觉的物品飞离预定行进线路的监测方法，包括以下步骤：
6.以从上至下的视角获得包含有所述的物品在预定行进线路过程中的图片；
7.识别所述图片中所述物品的轮廓；
8.识别所述图片中所述物品的面积；
9.比较所述物品的轮廓是否超出预定的轮廓；
10.当超出预定的轮廓时，比较所述物品的面积是否超出预定的面积；
11.当超出预定的面积时，判断所述物品有飞离预定行进线路的风险。
12.进一步的，所述获得包含有所述的物品在预定行进线路过程中的图片，包括：获得包含有所述的物品在预定行进线路过程中的视频，从所述视频中提取包含有所述的物品在预定行进线路过程中的视频帧作为所述图片。
13.进一步的，所述获得包含有所述的物品在预定行进线路过程中的视频，包括：获得包含有所述的物品在预定行进线路过程中的自然光视频和景深视频；
14.所述从所述视频中提取包含有所述的物品在预定行进线路过程中的图片，包括：从所述自然光视频中获得所述的物品在预定行进线路过程中的第一图片，以及从所述景深视频中获得所述的物品在预定行进线路过程中的第二图片。
15.进一步的，所述识别所述图片中所述物品的轮廓之前，包括：利用语义分割模型识别所述第一图片中的若干疑似所述物品的连通区域面积，以所述疑似所述物品的连通区域面积最大的一个连通区域作为所述物品对应的影像。
16.进一步的，所述识别所述图片中所述物品的轮廓，包括：
17.获取所述物品对应的影像中的至少一条直线型的轮廓对应的边缘像素点；
18.对所述边缘像素点进行直线拟合获得第一轮廓线。
19.进一步的，所述比较所述物品的轮廓是否超出预定的轮廓，包括：
20.获取所述第一图片中的第二标记，所述第二标记为所述第一图片中用于指示所述物品当前位置的标识；
21.选出具有与所述第二标记相同的第一标记的第三图片作为基准图片，其中，所述第一标记被预先配置在所述第三图片上，所述第一标记用于指示所述物品当前的位置，所述第三图片是以从上至下的视角获得包含有所述的物品在理想行进线路过程中的图片；所述理想行进线路为所述物品在行进过程中始终保持在理想的位置上所形成的线路；
22.从所述基准图片中获得所述物品上与所述第一轮廓线对应的第二轮廓线；
23.比较所述第一轮廓线与所述第二轮廓线的斜率之差是否超出预定范围；
24.若超出预定范围，判断所述物品的轮廓超出预定的轮廓。
25.进一步的，所述识别所述物品的面积，包括：
26.获取所述第一图片中所述对应的影像的第一坐标；
27.获取所述第二图片中与所述第一坐标对应的用于指示所述物品景深的第二坐标；
28.获取所述第二图片中所述第二坐标指示处所述物品的面积。
29.进一步的，所述比较所述物品的面积是否超出预定的面积，包括：
30.获取第四图片，所述第四图片为第一图片中所述物品的轮廓超出预定的轮廓的图片；
31.获取相邻两帧的第五图片，所述第五图片为第二图片中与所述第四图片的拍摄时间在预定时间间隔内的图片；
32.对比所述相邻两帧的第五图片中所述物品的面积之差是否超出预定范围；
33.若超出预定范围，判断所述物品的的面积超出预定的面积。
34.进一步的，所述判断所述物品有飞离预定行进线路的风险之后，还包括：
35.发出报警；
36.和/或，
37.获取所述物品的飞离方向，按照避让飞离方向的方向发出灯光指引。
38.本技术的另一个方面，提供一种基于机器视觉的物品飞离预定行进线路的监测系统，包括：
39.软件，用于执行上述第一方面所述的方法；
40.摄像头，设置于预定行进线路的上方并向下进行拍摄，以得到包含有所述的物品在预定行进线路过程中的图片。
41.本发明提出一种基于机器视觉的物品飞离预定行进线路的监测方法，以从上至下的视角获得包含有所述的物品在预定行进线路过程中的图片；识别所述图片中所述物品的轮廓；识别所述图片中所述物品的面积；比较所述物品的轮廓是否超出预定的轮廓；当超出预定的轮廓时，比较所述物品的面积是否超出预定的面积；当超出预定的面积时，判断所述物品有飞离预定行进线路的风险。通过上述方法，代替人工实现了对于物品飞离预定行进线路的监测，更加智能且节省了人力，提高了安全性。
附图说明
42.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
43.图1是根据本技术实施例的基于机器视觉的物品飞离预定行进线路的监测方法的流程示意图。
具体实施方式
44.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
45.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
46.如图1所示为本实施例的一种基于机器视觉的物品飞离预定行进线路的监测方法，从图中可知，本方法包括以下步骤：
47.步骤s102、以从上至下的视角获得包含有所述的物品在预定行进线路过程中的图片；
48.步骤s104、识别所述图片中所述物品的轮廓；
49.步骤s106、识别所述图片中所述物品的面积；
50.步骤s108、比较所述物品的轮廓是否超出预定的轮廓；
51.步骤s110、当超出预定的轮廓时，比较所述物品的面积是否超出预定的面积；
52.步骤s112、当超出预定的面积时，判断所述物品有飞离预定行进线路的风险。
53.上述方法通过对物品飞离预定行进线路的事件必然会导致物体在图片中显示的部分元素发生变化出发，具体以物品的轮廓和面积发生超出预定范围为条件实现判断是否发生物品飞离的事件。物品飞离，则物品本身在平面内偏离原行进路线，物品的实时轮廓与其在理想的行进路线下的轮廓之间必然会发生偏差，除此之外，物品还必然在高度上高出原水平位置，从上至下的角度看起来，物品的实时视觉面积与其在理想的行进线路下的视觉面积之间必然会发生偏差，因此满足上述条件即可判断出物品的飞离事件。上述方法用智能方式实现，代替了人工判断，更加智能化、且可以不间断作业，始终保持高准确度，能够及时有效地检测出物品飞离现象。
54.在上述实施例中，所述获得包含有所述的物品在预定行进线路过程中的图片，包括：获得包含有所述的物品在预定行进线路过程中的视频，从所述视频中提取包含有所述的物品在预定行进线路过程中的视频帧作为所述图片。因为物品飞离事件通常发生在短时间内，因此，对物品在行进线路上的监控必须是实时的，因此，以拍摄视频并获取视频帧作为图片进行后续处理，能够避免对物品行进过程缺少监控。
55.在上述实施例中，所述获得包含有所述的物品在预定行进线路过程中的视频，包括：获得包含有所述的物品在预定行进线路过程中的自然光视频和景深视频；
56.所述从所述视频中提取包含有所述的物品在预定行进线路过程中的图片，包括：从所述自然光视频中获得所述的物品在预定行进线路过程中的第一图片，以及从所述景深视频中获得所述的物品在预定行进线路过程中的第二图片。因为本实施例采用物品飞离时
的轮廓和面积进行综合判断，因此轮廓和面积分别需要从上述自然光视频和景深视频中获得数据，需要采集两种视频。在技术实现时，可以通过设置双目摄像机同时采集上述两种视频的方式实现。
57.在上述实施例中，所述识别所述图片中所述物品的轮廓之前，包括：利用语义分割模型识别所述第一图片中的若干疑似所述物品的连通区域面积，以所述疑似所述物品的连通区域面积最大的一个连通区域作为所述物品对应的影像。
58.所述语义分割模型为预先训练好的，具体在本实施例在执行前预先采用labelme软件制作物品的运动分割数据集，利用该运动分割数据集训练语义分割网络，并最终形成语义分割模型。本实施例中，保留连通区域面积最大的为所述物品的区域，其余连通域视为干扰物体予以滤除。
59.在上述实施例中，由于物品的轮廓可能有多种形状，而直线型轮廓较容易识别且对于物品偏离原轨道必然至少导致沿平行于行进路线上的直线轮廓部分发生位置偏移，因此所述识别所述图片中所述物品的轮廓，包括：
60.获取所述物品对应的影像中的至少一条直线型的轮廓对应的边缘像素点；
61.对所述边缘像素点进行直线拟合获得第一轮廓线。
62.在上述实施例中，为了能够基于轮廓线判断物品是否发生偏移，需要对比当前物品与理想线路上物品在对应位置处的轮廓是否有差别，因此，需要有图片中设置指示物品位置的标识信息，以该标识信息为桥梁将实时获取的图片与理想行进时处于同位置处的物品的图片能够进行对比，因此，所述比较所述物品的轮廓是否超出预定的轮廓，包括：
63.获取所述第一图片中的第二标记，所述第二标记为所述第一图片中用于指示所述物品当前位置的标识；
64.选出具有与所述第二标记相同的第一标记的第三图片作为基准图片，其中，所述第一标记被预先配置在所述第三图片上，所述第一标记用于指示所述物品当前的位置，所述第三图片是以从上至下的视角获得包含有所述的物品在理想行进线路过程中的图片；所述理想行进线路为所述物品在行进过程中始终保持在理想的位置上所形成的线路；
65.从所述基准图片中获得所述物品上与所述第一轮廓线对应的第二轮廓线；
66.比较所述第一轮廓线与所述第二轮廓线的斜率之差是否超出预定范围；
67.若超出预定范围，判断所述物品的轮廓超出预定的轮廓。
68.作为优选的，为了能够识别出物品当前的位置，需要选择物品以外的较为稳定的参考对象作为指示当前位置的标记的信息来源，例如，物品在运行稳定的传送带上传送，沿传送带方向的地面设置有标记各个位置的点位，通过识别图片中物品当前对应的地面的点位对应获得物品当前的位置；又如，物品在运行稳定的传送带上传送，沿传送带方向设置有若干传感器，每个传感器预先标记好所在的位置，物品经过传感器能够触发传感器感应到从而获得物品的位置。
69.将上述方法应用于棒材生产线上的转运，棒材具有典型的直线型轮廓，在执行上述步骤时，具体方案为：
70.使用边缘检测算法获取棒材区域的边缘像素点，随后采用直线拟合算法拟合对应于棒材区域的两条轮廓线，获得两条轮廓线的斜率和预先还获得两条理论边界直线，这里的理论边界直线即是上述第二轮廓线，接着获得两条理论边界直线的斜率θ
l
和θr。
71.然后按照下式进行判断比对：
[0072][0073]
其中，i代表第i幅自然光视频帧，这个具体根据上述实施例中代表位置的标识获得，τ为预设斜率差的阈值。当斜率差大于阈值τ时，s(i)＝1，初步说明存在飞钢趋势，需要进行后续的判断，否则，认为不存在飞钢趋势。
[0074]
因此，当进一步判断物品面积时，在上述实施例中，所述识别所述物品的面积，包括：
[0075]
获取所述第一图片中所述对应的影像的第一坐标；
[0076]
获取所述第二图片中与所述第一坐标对应的用于指示所述物品景深的第二坐标；
[0077]
获取所述第二图片中所述第二坐标指示处所述物品的面积。
[0078]
在上述实施例中，所述比较所述物品的面积是否超出预定的面积，包括：
[0079]
获取第四图片，所述第四图片为第一图片中所述物品的轮廓超出预定的轮廓的图片；
[0080]
获取相邻两帧的第五图片，所述第五图片为第二图片中与所述第四图片的拍摄时间在预定时间间隔内的图片；
[0081]
对比所述相邻两帧的第五图片中所述物品的面积之差是否超出预定范围；
[0082]
若超出预定范围，判断所述物品的的面积超出预定的面积。
[0083]
同样的，将上述方法应用于棒材生产线上的转运时，即进一步对比两幅景深视频帧中的棒材区域面积是否突然变大，这里对比的两幅景深图片可以是相邻帧的，也可以兼顾考虑运动速度和视频帧的密度选择间隔几帧的，只要不影响飞钢检出即可，在本实施例中选择相邻帧进行说明，具体如下式：
[0084][0085]
其中，j代表第j幅景深视频帧，aj和a
j-1
分别代表第j帧和第j-1帧中棒材区域面积，θ代表预设面积差阈值。若t(j)＝1，说明存在飞钢趋势，反之t(j)＝0，说明不存在飞钢趋势。
[0086]
在上述实施例中，为了提高作业现场人员的安全，所述判断所述物品有飞离预定行进线路的风险之后，还包括：
[0087]
发出报警；
[0088]
和/或，
[0089]
获取所述物品的飞离方向，按照避让飞离方向的方向发出灯光指引。
[0090]
所述报警器优选设置在现场和控制室内，便于现场和控制室内的人员知晓报警情况。所述灯光指引优选设置于现场的地面或者空中，便于现场人员逃离，灯光为导流灯形式，具有可以控制的点亮单元，根据两条轮廓线的斜率和从相反方向依次点亮。
[0091]
作为可选的实施例，为了方便技术人员调查物品发生飞离的原因，记录上述飞离事件原因的视频是非常宝贵的资料，因此，发送包括所述第五图片前后能够反映所述飞离事件的视频进行保存，从而通过人工观察视频甚至对该类视频进行进一步机器学习以识别各类飞离事件发生的原因，以便于有效提供改进措施。
[0092]
根据本技术的另一个方面，提供一种基于机器视觉的物品飞离预定行进线路的监测系统，包括
[0093]
软件，用于执行本技术第一方面所述的方法；
[0094]
摄像头，设置于预定行进线路的上方并向下进行拍摄，以得到包含有所述的物品在预定行进线路过程中的图片。
[0095]
根据本技术的再一个方面，提供一种处理器，用于执行软件，所述软件用于执行所述的一种基于机器视觉的物品飞离预定行进线路的监测方法。
[0096]
根据本技术的又一个方面，提供一种存储器，用于存储软件，所述软件用于执行所述的基于机器视觉的物品飞离预定行进线路的监测方法。
[0097]
需要说明的是，上述软件执行的基于机器视觉的物品飞离预定行进线路的监测与前面的介绍的基于机器视觉的物品飞离预定行进线路的监测相同，在此不再赘述。
[0098]
在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。
[0099]
这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
[0100]
上述程序可以运行在处理器中，或者也可以存储在存储器中(或称为计算机可读介质)，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0101]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。