设备旋转工作状态的视频检测方法及其装置与流程

1.本发明涉及钻井等旋转设备的视频智能检测技术领域，具体来讲，涉及一种设备旋转工作状态的视频检测方法及其装置、以及一种用实时视频数据判断是否存在违章作业行为的方法及其系统。


背景技术：

2.石油钻井等工矿企业安全生产需要监控现场作业的违章行为和物态隐患，通过视频识别的方式进行行为监管相对现场管理或者是人工视频监控查看的方式，具有全天候、客观等优点。
3.发明人表示，作业现场的安全评估通常与设备是否在运行具有很大的关系。例如，通常来讲，很多设备运行和作业是否安全一般可以通过核心部件是否旋转进行判别，例如：
4.(1)石油钻井中钻杆在钻进时，卡瓦位于旋转面上是不安全的
5.当钻杆钻进时，钻杆处于旋转状态，此时作业人员需将卡瓦搬离旋转面；否则，如果卡瓦位于旋转面内，那么随着旋转面的转动，可能将卡瓦甩出伤到附近的作业人员，从而影响钻井工作的正常进行。所以当卡瓦在转盘上时，钻杆是否旋转是违章识别的关键。
6.(2)钻杆接单根装卸扣时，单钳紧扣是不安全的
7.钻杆在装卸扣时，可用液气大钳或b型吊钳，当用b型吊钳时，必须用成对的b型吊钳分别作用于相邻两节钻杆的螺纹处拧紧钻杆，但是有时现场工作人员偷懒疏忽仅使用单个b型吊钳作用于上节钻杆的螺纹处，同时借助于转盘的动力拧紧。所以当钻杆上有一个b型吊钳的情况下，转盘是否转动是识别违章的关键。
8.另外，除了石油钻井领域，工厂常用工具砂轮机，工人使用砂轮机打磨工料时需要站立在砂轮机的侧面。所以当人站在砂轮机前时，砂轮是否旋转是识别违章的关键。
9.综上，发明人经过分析认为，怎么检测设备是否处于旋转状态是工矿企业违章行为识别的关键，而且从视频来看，部件处于旋转或是处于静止状态，从外观上没有明显的特征，通过现行的目标检测技术或者图像对比是难以分辨的。
10.公开号cn108946360a、公开日2018.12.07的发明专利申请公开了一种矿井提升设备的位移监测系统及方法，系统包括图像处理设备、激光扫描仪和至少两个图像获取设备，图像处理设备分别与激光扫描仪和图像获取设备电连接；至少两个图像获取设备中的各图像获取设备所处位置不同，且在矿井提升设备提升过程中，能拍摄矿井提升设备的待检测部位；图像处理设备根据激光扫描仪扫描获得的待检测部位的轮廓数据和图像获取设备拍摄的包含待检测部位的图像确定待检测部位的位置信息，并根据不同时间点的位置信息确定待检测部位的位移。本发明公开的矿井提升设备的位移监测系统及方法，能实时监测矿井提升设备因振动而产生的位移，获知矿井提升设备的工作状态，提升工作过程的安全程度。
11.公开号cn111814711a、公开日2020.10.23的发明专利申请公开了一种应用于矿井机器视觉的图像特征快速匹配方法及系统，属于矿井安全技术领域，解决了现有技术对矿
井异常情况检测效率低、实时性差且准确率低的问题。该方法包括对待分析图像进行去噪处理；并进行超像素分割，获得多个图像块；计算每一图像块的信息熵，获得信息熵大于第一预设阈值的图像块；利用surf算法提取图像块的特征点，从而获取待分析图像的特征点集；采用harr小波法对特征点集中的特征点进行描述，获得待分析图像的特征点描述符集；基于待分析图像的特征点描述符集将待分析图像特征点集中的特征点与目标图像的特征点进行匹配，以确认矿井是否发生异常。该方法能够快速准确的检测矿井是否发生异常，有利于对矿井异常技术处理。
12.然而，上述专利文献也无法解决从视频直接判断设备部件是否处于旋转或静止状态。


技术实现要素：

13.本发明的目的在于解决现有技术存在的上述不足中的至少一项。例如，本发明的目的之一在于提供一种针对从工矿企业视频直接判断设备部件是否处于旋转或静止状态的方法和装置。例如，本发明的另一目的在于解决现有技术中因无法检测工矿企业设备的旋转状态而导致无法判定是否属于违章行为的技术问题，突破了视频违章行为管理中的重大瓶颈问题。
14.为了实现上述目的，本发明的一方面提供了一种设备旋转工作状态的视频检测方法，所述视频检测方法包括以下步骤：形成训练数据集和旋转目标检测模型；读取摄像头实时数据，提取当前帧检测图片；将所述当前帧检测图片输入所述旋转目标检测模型，所述旋转目标检测模型能够得出待检测设备的位置，并根据待检测设备的位置截取检测区域图片；将所述检测区域图片转换为灰度图，然后计算不同时刻对应的灰度图的灰度平均值g
t
，其中，s
t
为t时刻灰度图上所有的像素点的像素值遍历累加求和所得，n为该灰度图中的像素点个数，所述像素值在0～255范围内；统计所述不同时刻的灰度平均值的差异；判断所述差异是否超过预先给定的阈值，如果是，则说明待检测设备在旋转；否则，说明待检测设备未旋转。
15.在本发明的设备旋转工作状态的视频检测方法的一个示例性实施例中，所述差异可以为均方差σ
g
，其中，s
g
＝∑g
t
，s
g
代表所述不同时刻灰度图的灰度平均值g
t
的和，代表所述不同时刻灰度图的灰度平均值g
t
的算术平均值。
16.在本发明的设备旋转工作状态的视频检测方法的一个示例性实施例中，所述训练数据集可包括多张静态样本图片和多张动态样本图片，所述多张静态样本图片分别含有静止状态的待检测设备的多个面且将待检测设备用对应于检测区域的画框标出，所述多张动态样本图片分别含有旋转状态的待检测设备的多个面且将待检测设备用对应于检测区域的画框标出。此外，所述旋转目标检测模型可通过机器学习算法，用所述训练数据集训练形成。
17.在本发明的设备旋转工作状态的视频检测方法的一个示例性实施例中，所述计算不同时刻对应的灰度图的灰度平均值的步骤可涵盖待检测设备的一个或两个以上旋转周
期中各个时刻的灰度图。
18.在本发明的设备旋转工作状态的视频检测方法的一个示例性实施例中，所述待检测设备可包括钻井作业平台上的钻杆本身、能够与钻杆配合的卡瓦和钳具中的一种或多种。
19.本发明的另一方面提供了一种设备旋转工作状态的视频检测装置，所述视频检测装置具有摄像头、用于形成所述训练数据集和所述旋转目标检测模型的模型构建单元、以及用于获得所述灰度图并实现所述差异的统计和判断的旋转判断运算单元，所述视频检测装置能够实现如上所述的设备旋转工作状态的视频检测方法。
20.本发明的又一方面提供了一种用实时视频数据判断是否存在违章作业行为的方法，其特征在于，所述方法采用如上所述的设备旋转工作状态的视频检测方法，来确定待检测设备是否处于旋转状态，进而判断视频所对应的现场作业行为是否违章。
21.本发明的另一方面提供了一种用实时视频数据判断是否存在违章作业行为的系统，所述用实时视频数据判断是否存在违章作业行为的系统包括综合判断单元和如上所述的设备旋转工作状态的视频检测装置，所述综合判断单元接收所述视频检测装置对待检测设备是否旋转的判断结果，并输出是否违章。
22.与现有技术相比，本发明的有益效果包括以下内容中的至少一项：
23.能够使用实时视频数据检测设备的旋转状态，提供工矿企业尤其是油气钻井等现场作业违章行为判别的关键信息；
24.所涉及的策略与算法不含非常复杂的数学理论与公式，运算效率高、便于实施、易于扩展。
附图说明
25.通过下面结合附图进行的描述，本发明的上述和其他目的和/或特点将会变得更加清楚，其中：
26.图1示出了本发明的设备旋转工作状态的视频检测方法的一个示例性实施例的流程示意图。
具体实施方式
27.在下文中，将结合示例性实施例来详细说明本发明的设备旋转工作状态的视频检测方法及其装置、以及用实时视频数据判断是否存在违章作业行为的方法及其系统。
28.在本发明的一个示例性实施例中，设备旋转工作状态的视频检测方法可通过以下步骤实现。
29.形成训练数据集和旋转目标检测模型。具体来讲，所述训练数据集可包括多张静态样本图片和多张动态样本图片。其中，所述多张静态样本图片分别含有静止状态的待检测设备的多个面且将待检测设备用对应于检测区域的画框标出；所述多张动态样本图片分别含有旋转状态的待检测设备的多个面且将待检测设备用对应于检测区域的画框标出。所述旋转目标检测模型可通过机器学习算法(例如，神经网络算法)，用所述训练数据集训练形成。形成的所述旋转目标检测模型能够针对实时采集得到的当前帧检测图片，得出待检测设备的位置，并根据待检测设备的位置截取检测区域图片。例如，待检测设备的旋转速度
可进一步大于375r/min，并且不能被1500整除。例如，对于钻井平台的一般情况下，视频每秒25帧～30帧，取极值每秒25帧考虑，那么最低每分钟25*60＝1500帧，如果旋转速度能被1500整除，则说明每一帧图片(或每1/25秒)，设备发生一次完整的旋转，则每一帧均为同一张图片，同一张图片之间毫无差异，本发明在图片毫无差异时无法判断设备是否发生旋转。
30.读取摄像头实时数据，提取当前帧检测图片。例如，实时数据指摄像头实时拍摄的图片。例如，对于钻井作业平台，可读取该平台摄像头的实时监测数据，提取不同时刻的多个当前帧图片备用。
31.将所述当前帧检测图片输入所述旋转目标检测模型，所述旋转目标检测模型能够得出待检测设备的位置，并根据待检测设备的位置截取检测区域图片。例如，可分别将不同时刻的多个当前帧帧检测图片，输入旋转目标检测模型，并判断出待检测设备的位置，从而截取出检测区域图片。例如，同一当前帧检测图片中也可存在多个待检测设备，且每个待检测设备均在旋转目标检测模型具有对应的位置和对应的检测区域图片。例如，待检测设备可包括钻井作业平台上的钻杆本身、能够与钻杆配合的卡瓦和钳具中的一种或多种。
32.将所述检测区域图片转换为灰度图，然后计算不同时刻对应的灰度图的灰度平均值g
t
，其中，s
t
为t时刻灰度图上所有的像素点的像素值遍历累加求和所得，n为该灰度图中的像素点个数，所述像素值在0～255范围内。这里，优选地，所述计算不同时刻对应的灰度图的灰度平均值的步骤可涵盖待检测设备的一个或两个以上旋转周期中各个时刻的灰度图。
33.统计所述不同时刻的灰度平均值的差异。例如，所述差异为均方差σ
g
，其中，s
g
＝∑g
t
，s
g
代表所述不同时刻灰度图的灰度平均值g
t
的和，代表所述不同时刻灰度图的灰度平均值g
t
的算术平均值。
34.判断所述差异是否超过预先给定的阈值，如果是，则说明待检测设备在旋转；否则，说明待检测设备未旋转。
35.图1示出了本发明的设备旋转工作状态的视频检测方法的一个示例性实施例的流程示意图。在本发明的另一个示例性实施例中，如图1所示，设备旋转工作状态的视频检测方法可具体通过以下内容实现。
36.训练数据集中存放着对应于经过标注的多张样本图片，这些图片涵盖旋转部件不同的旋转姿态，样本图片中将旋转部件通过画框的方式进行标注。训练数据集经训练得出目标检测模型，如faster r
‑
cnn、ssd或yolo目标检测模型。基于训练数据集和目标检测模型对设备旋转工作状态进行视频检测，具体过程可以为：
37.(1)读取摄像头实时数据，得到当前帧检测图片。
38.(2)将当前帧检测图片输入目标检测模型中，得出待检测设备的位置，然后根据待检测设备的位置截取检测区域图片；检测区域图片包含待检测设备，待检测设备是由人为预先设定的旋转部件。
39.(3)将检测区域图片转换为灰度图，然后计算灰度图各时刻的灰度平均值g
t
:
[0040][0041]
其中，s
t
为t时刻灰度图上所有的像素点的像素值(0～255)遍历累加求和所得，n为该灰度图中的像素点个数。
[0042]
(4)统计各时刻的灰度平均值g
t
的均方差σ
g
：
[0043][0044]
其中：
[0045][0046]
s
g
＝∑g
t
。
[0047]
其中，s
g
代表灰度图各时刻的灰度平均值g
t
的和，代表灰度图各时刻的灰度平均值g
t
的平均值，n为该灰度图中的像素点个数。
[0048]
(5)判断均方差σ
g
是否超过预先给定的阈值，如果是，则说明待检测设备在旋转；否则，说明待检测设备未旋转。所以如果旋转设备(或称旋转部件)没有发生旋转，理想状态下，旋转部件的灰度平均值的均方差值应无限接近于零；而当其发生旋转，旋转部件的灰度平均值的均方差值会与某个阈值存在着预定的大小关系，所以可以通过这种大小关系判断旋转部件是否发生旋转。这种大小关系或者阈值可以使用旋转目标检测模型对验证数据集中的多张静态样本图片和多张动态样本图片的比较得到。验证数据集中存储整个原视频所包含的所有连续性的图片，训练数据集在验证数据集中提取了部分图片进行训练得出目标检测模型。
[0049]
实际应用情况下待检测设备的表面可以是不均匀的，如旋转部件表面有各种污点、贴有标签等，但这并不妨碍本发明的应用。此外，本发明的方法亦可包含将已处理过的当前帧检测图片及其对应的旋转判断结果，更新加入训练数据集和旋转目标检测模型的步骤。
[0050]
综上所述，本发明的设备旋转工作状态的视频检测方法和装置能达到如下效果：
[0051]
a.精准检测设备的旋转状态，提供工矿企业现场作业违章行为判别的关键信息；
[0052]
b.所涉及的策略与算法不含非常复杂的数学理论与公式，运算效率高、便于实施、易于扩展。
[0053]
另外，本发明还提供了一种用实时视频数据判断是否存在违章作业行为的方法及其系统。所述方法采用如上文中任意一项示例性实施例所述的设备旋转工作状态的视频检测方法，来确定待检测设备是否处于旋转状态，进而再结合相关操作章程或规则判断视频所对应的现场作业行为是否违章。所述用实时视频数据判断是否存在违章作业行为的系统可包括综合判断单元和如上文中任意一项示例性实施例所述的设备旋转工作状态的视频检测装置，所述综合判断单元接收所述视频检测装置对待检测设备是否旋转的判断结果，进而在结合相关操作章程或规则判断视频所对应的现场作业行为是否违章。
[0054]
尽管上面已经结合示例性实施例及附图描述了本发明，但是本领域普通技术人员应该清楚，在不脱离权利要求的精神和范围的情况下，可以对上述实施例进行各种修改。