厂区场景临空面防护设备异常状态检测方法、装置和设备与流程

1.本发明属于人工智能、模式识别应用技术领域，具体涉及一种厂区场景临空面防护设备异常状态检测方法、装置和设备。


背景技术：

2.随着企业规模的不断扩大，厂区中影响人员与生产安全的因素日益增多，其中对临空面防护设备的状态进行管控至关重要。以往人工巡查的方式，一方面巡查的效率低下，无法满足现代企业生产发展的需求；另一方面安全隐患对巡查人员的人身安全造成威胁。急需要一种厂区场景临空面防护设备异常状态检测系统，实现对临空区域的实时监测。
3.随着传感器技术、人工智能技术、模式识别技术、嵌入式处理技术的发展，利用计算机视觉算法对厂区场景临空面防护设备的实时图像的进行异常状态识别，并将异常信息和数据及时发送到监控中心，使得全天候、实时异常监测成为现实。
4.因此，基于上述问题，本发明提供一种厂区场景临空面防护设备异常状态检测方法、装置和设备。


技术实现要素：

5.发明目的：本发明的目的是提供一种厂区场景临空面防护设备异常状态检测方法、装置和设备，以实现对厂区临空面防护设备的全天候、实时异常状态检测。
6.技术方案：本发明的第一方面提供一种厂区场景临空面防护设备异常状态检测方法，包括以下步骤，步骤1、获取临空面防护设备的全天候实时视频数据，将视频图片进行预处理，得到预处理图片。步骤2、将预处理图片输入至空间包络特征提取模型中进行特征提取，得到临空面防护设备的特征向量。步骤3、基于预设特征向量库，用异常识别模型对特征向量进行分类，判断画面中临空面防护设备是否出现异常，如断裂破损、异常打开、人为破坏、违规翻越等。
7.本技术方案的，所述获得待检测的临空面防护设备图片，为通过预设的接口获取网络摄像机采集的视频流，将所述视频流转化为3通道矩阵格式的图片，将转化后的图片作为待检测的场景图片。
8.本技术方案的，将所述设备图片进行预处理，首先选取基于预设的感兴趣区域，裁剪所述图片的感兴趣区域部分，再将裁剪后的图片转换为单通道灰度图并归一化处理，最后再将所述归一化处理后的图片缩放为预设的宽度和高度。
9.本技术方案的，所述空间包络特征向量提取模型，包括：扩边和去伪影，构造滤波器，白化，局部对比度归一化，二次扩边，傅里叶变换，遍历gabor核函数提取特征向量。
10.本技术方案的，所述基于预设特征向量库，训练异常识别模型，对所述场景特征向量进行分类，包括：将所述预设特征向量库按预设的比例分为训练集与测试集，训练支持向量机模型，作为异常识别模型；将所述场景特征向量输入所述异常识别模型，预测场景是否出现异常。
11.本技术方案的，所述训练支持向量机模型，作为异常识别模型，包括：所述支持向量机模型使用高斯核，预设多个超参数gamma和c，基于所述训练集，训练多个不同超参数的模型，并在所述测试集上计算模型准确率，最后选择准确率最高的模型，作为所述异常识别模型。
12.本发明的第二方面提供一种厂区场景临空面防护设备异常状态检测装置，包括预处理模块、特征提取模块、异常识别模块和图片发送模块；所述预处理模块，用于获取待检测的场景图片，将所述临空面防护设备图片进行预处理，得到预处理图片；所述特征提取模块，用于将所述预处理图片输入空间包络特征向量提取模型中，获取场景特征向量；所述异常识别模块，用于将所述临空面防护设备特征向量输入特征向量分类模型，预测所述图片是否出现异常，如断裂破损、异常打开、人为破坏、违规翻越等；所述图片发送模块，用于将所述出现异常的临空面防护设备图片通过网络发送到远程监控中心。
13.本技术方案的，所述特征提取模块的空间包络特征向量提取模型，包括：扩边和去伪影，构造滤波器，白化，局部对比度归一化，二次扩边，傅里叶变换，遍历gabor核函数提取特征向量。
14.本技术方案的，所述异常识别模块的特征向量分类模型，包括：基于预设特征向量库，训练高斯核支持向量机模型，作为所述特征向量分类模型。
15.本发明的第三方面提供一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-6中任一所述的厂区场景临空面防护设备异常状态检测方法，该电子设备包括但不限于计算机、嵌入式移动计算设备、平板电脑、服务器等。
16.与现有技术相比，本发明的一种厂区场景临空面防护设备异常状态检测方法、装置和设备的有益效果在于：实现对厂区临空面防护设备的全天候、实时异常状态检测，作业安全、可靠和稳定。
附图说明
17.图1是本发明的一种厂区场景临空面防护设备异常状态检测方法的流程示意图；图2和图3是本发明的一种厂区场景临空面防护设备异常状态检测装置的模块及作业流程示意图。
具体实施方式
18.下面结合附图和具体实施例，进一步阐明本发明。
19.实施例一图1为本发明提供的一种厂区场景临空面防护设备异常状态检测方法的流程示意图，该方法可以由本发明实施例提供的厂区场景临空面防护设备异常状态检测装置来执行，且该装置可配置于本发明实施例提供的电子设备中。该方法具体包括如下步骤：1、获取临空面防护设备的全天候实时视频数据，将视频图片进行预处理，得到预处理图片。
20.其中，电子设备获取的待检测的临空面防护设备图片，可以是电子设备本地存储的场景图片，还可以是与电子设备进行通讯的图像采集模块实时采集的场景图片。其中，电
子设备对图片进行预处理，可以包括但不限于切割、缩小、放大、转化为灰度图和像素归一化等。其中，电子设备可以包括但不限于手机、平板电脑、计算机、智能摄像机和服务器等。
21.获取待检测图片，包括：通过预设接口获取网络摄像机采集的视频流，将视频流转化为3通道矩阵格式的图片，将转化完成的图片作为待检测的厂区场景图片。
22.其中，网络摄像机（ip camera，ipc）是一种由传统摄像机与网络技术结合所产生的新一代摄像机。ipc可用于对监控区域进行抓拍，生成包含厂区场景的数字视频流（例如动态图像专家组（moving picture experts group，mpeg）格式的视频流），并将包含厂区场景的视频流通过预设有线网络接口或无线网络接口传输至电子设备。其中，电子设备获取包含厂区场景的数字视频流之后，可通过调用opencv内置的模块，将ipc发送的视频流格式的数据转化为opencv可支持的图片矩阵格式的数据，从而实现了待检测的厂区场景图片的获取。
23.将所述场景图片进行预处理，包括：基于预设的感兴趣区域，裁剪所述图片的感兴趣区域部分，并将裁剪后的图片转换为单通道灰度图并归一化处理。再将所述归一化处理后的图片缩放为预设的宽度和高度。
24.2、将预处理图片输入至空间包络特征提取模型中进行特征提取，得到临空面防护设备的特征向量。
25.所述空间包络特征向量提取模型，包括：扩边和去伪影，构造滤波器，白化，局部对比度归一化，二次扩边，傅里叶变换，遍历gabor核函数提取特征向量。
26.其中，扩边和去伪影是为了减小图片的边界效应，从而提高提取特征向量的准确率；白化是为了去除数据之间的冗余信息；局部对比度归一化是为了减小局部信息对整体特征的干扰。
27.空间包络特征包括gist特征，是一种宏观意义的场景特征描述，有五种对空间包络特征的描述方法，包括：（1）自然度：场景中包含水平和垂直线的程度；（2）开放度：空间包络是否是封闭（或围绕）的；（3）粗糙度：构成成分的颗粒大小。这取决于每个空间中元素的尺寸；（4）膨胀度：平行线的收敛程度；（5）险峻度：即相对于水平线的偏移。
28.3、基于预设特征向量库，用异常识别模型对特征向量进行分类，判断画面中临空面防护设备是否出现异常，如断裂破损、异常打开、人为破坏、违规翻越等。
29.其中，将所述预设特征向量库按预设的比例分为训练集与测试集，预设多个超参数gamma和c，训练多个高斯核支持向量机（svm）模型，将准确率最高的所述模型作为异常识别模型；将所述场景特征向量输入所述异常识别模型，预测场景是否出现异常。
30.其中，svm是一种用于解决凸优化问题的分类模型，是定义在特征向量空间上的间隔最大的分类器。svm的学习策略是将不同类别的特征向量之间的间隔最大化。利用高斯核，可以使svm支持线性不可分的特征向量，增强其分类的鲁棒性。
31.预设的厂区场景临空面安全设备异常数据集，可以通过以下方式获得：现场采集图像，并进行人工标注是否为异常；将采集后的图像按照如前所述方式预处理并提取空间包络特征向量，从而得到特征向量集合；加上对应的标注，得到最终的数据集。将得到的数
据集按预设的比例分为训练集和测试集，预设多个超参数gamma和c，用训练集训练多个高斯核支持向量机（svm）模型，用测试集测试模型准确率，将准确率最高的模型作为最终的异常识别模型。训练后的svm模型可以对图像的空间包络特征向量进行分类，分为异常或者正常，从而判断图片中临空面安全设备是否出现断裂破损、异常打开、人为破坏、违规翻越等异常情况，达到异常状态检测识别的目的。
32.本实施例提供的厂区场景临空面防护设备异常状态检测方法，服务器获取待检测的临空面安全设备图片，将所述图片进行预处理，得到预处理图片；将预处理图片输入至空间包络特征向量提取模型中进行场景特征提取，得到场景特征向量；基于预设特征向量库，训练异常识别模型，对所述场景特征向量进行分类，判断图片场景是否出现异常。
33.实施例二图2和图3是本发明实施例二提供的一种厂区场景临空面防护设备异常状态检测装置的结构示意图。该装置包括：1、预处理模块210：用于获取待检测的临空面防护设备图片，将所述图片进行预处理，得到预处理图片。
34.通过预设的接口获取网络摄像机采集的视频流，将所述视频流转化为3通道矩阵格式的图片，将转化后的图片作为待检测的场景图片。
35.将所述场景图片进行预处理，包括：基于预设的感兴趣区域，裁剪所述图片的感兴趣区域部分，并将裁剪后的图片转换为单通道灰度图并归一化处理。再将所述归一化处理后的图片缩放为预设的宽度和高度。
36.2、特征提取模块220：用于将所述预处理图片输入空间包络特征向量提取模型中，获取场景特征向量。
37.扩边和去伪影，构造滤波器，白化，局部对比度归一化，二次扩边，傅里叶变换，遍历gabor核函数提取特征向量。
38.3、异常识别模块230：用于将所述临空面防护设备特征向量输入特征向量分类模型，预测所述图片是否出现异常，如断裂破损、异常打开、人为破坏、违规翻越等。
39.基于预设特征向量库，训练异常识别模型，对所述场景特征向量进行分类，包括：将所述预设特征向量库按预设的比例分为训练集与测试集，预设多个超参数gamma和c，训练多个高斯核支持向量机模型，将准确率最高的模型作为异常识别模型；将所述场景特征向量输入所述异常识别模型，预测场景是否出现断裂破损、异常打开、人为破坏、违规翻越等异常情况。
40.4、图片发送模块240：用于将所述出现异常的临空面防护设备图片通过网络发送到远程监控中心。
41.使用python内置的request模块来发送http请求。
42.其中，厂区场景临空面防护设备异常状态检测装置还包括前端视频采集装置110（包括但不限于实时监控相机），用于实时采集作业现场的监控视频流数据；存储装置150：用于保存报警信息和报警图片到磁盘；报警装置160：用于将所述出现异常的临空面防护设备图片通过网络发送到远程监控中心，并对作业人员进行声、光警示。
43.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应
视为本发明的保护范围。