一种基于视频的皮带运行状态检测方法与流程

1.本发明涉及皮带机维管技术领域，具体地说，涉及一种基于视频的皮带运行状态检测方法。


背景技术：

2.皮带输送机是很多企业使用的通过摩擦驱动以连续方式运输物料的机械设备之一，广泛应用于冶金、选矿、石油、化工、轻工、建材、钢厂、港口等领域，并且日益朝着高速度、大规模、超长距离的方向发展。在电力、石化、水泥、冶炼和加工等行业，装备着大量皮带输送机进行散装物料的输送工作。输送皮带是皮带输送机的重要组成部分，其成本占整机的比例高，但是皮带撕裂的事故时有发生，价值高昂的输送皮带一旦发生纵向撕裂，被输送物料侵入到设备机械系统造成设备损伤，甚至造成人员伤害等重大事故及巨大的经济损失；同时，皮带输送装置运输过程中，驱动电机故障、皮带跑偏、过载、空载、杂物障碍等异常运行情况，不仅影响皮带机的工作效率，造成物料及资源的浪费，而且可能引起严重的机械故障。因此，皮带输送机设备的正常运行是安全生产的关键要素。
3.然而，现有技术中，对于皮带输送机的检测主要涉及设备组成部件或异常物料等方面，对设备的运行状态的监测主要依靠借助人力巡检来完成，不仅耗费大量人力和时间，检测效率低，而且容易疏忽错漏，从而极大制约了皮带输送机输送系统的作业效率和调度自动化水平的提高。因此，若可以引入视频监控、图像识别及ai智能分析技术，则有望提高皮带输送装置的安全监管的自动化水平。鉴于此，我们提出了一种基于视频的皮带运行状态检测方法。


技术实现要素：

4.本发明的目的在于提供一种基于视频的皮带运行状态检测方法，以解决上述背景技术中提出的问题。
5.为实现上述技术问题的解决，本发明的目的之一在于，提供了一种基于视频的皮带运行状态检测方法，包括如下步骤：s1、在皮带输送装置的皮带附近布设相应的视频摄像模组和各类传感器，在皮带输送装置的近端或远端布设视频处理计算机组件；s2、结合布设的装置及传感器，搭建皮带运行状态的系统架构，配置检测系统的运行环境，建设皮带运行状态检测系统；s3、启用基于视频的皮带运行状态检测装置，对皮带输送装置的运行状态进行实时监控；s4、基于实时摄录的视频数据，通过ai智能分析技术、图像识别技术及神经网络学习方法，对皮带输送装置的设备运行状态、异常故障情况进行检测识别；s5、结合各类传感器实时采集的状态参数，对皮带输送装置的运行状态进行准确判断，并依据预设的评分标准，对判识出的异常情况对设备运行安全性能的影响程度进行
打分；s6、针对可能出现的异常的皮带运行状态，设定相应的安全保护机制，当皮带输送装置出现异常情况，则按照预设程序执行安全保护机制的措施，及时输出报警信号，并针对检修作业进行调度安排。
6.作为本技术方案的进一步改进，所述s1中，在皮带输送装置附近布设的视频摄像模组包括但不限于：视野覆盖皮带输送装置整体的高清摄像头、以一定俯角安装于皮带上方处针对皮带进行拍摄的高清摄像头、安装于驱动电机附近针对驱动电机进行拍摄且附带录音功能的高清摄像头等；在皮带输送装置附近布设的各类传感器包括但不限于：分别安装于皮带输送装置头尾两端的料流检测装置、分别安装于皮带输送装置头尾两端的速度传感器、分别安装于皮带输送装置头尾两端端承重托辊下部的称重传感器、与驱动电机电性连接的电压检测装置等；计算机组件包括但不限于：处理器、显示器、网络交换机、云服务器、视频/图像识别程序模块、ai智能分析终端等。
7.作为本技术方案的进一步改进，所述s4中，通过图像识别技术对图像进行识别时，需要对目标图像进行降维、彩色二值化、图像分割等预处理，其采用的方法及相关算法如下：图像降维采用pca降维算法，其步骤如下：输入：训练样本集，低维空间维数；算法过程：step1、对所有样本进行中心化，即去均值操作：；step2、计算样本的协方差矩阵；step3、对协方差矩阵做特征值分解；step4、取最大的个特征值所对应的特征向量；step5、将原样本矩阵与投影矩阵相乘：，即为降维后的数据集，其中为维，为维；输出：降维后的数据集；彩色二值化处理采用大津阈值法，其算法表达式如下：对于图像，前景（即目标）和背景的分割阈值记作t，属于前景的像素点数占整幅图像的比例记为，其平均灰度；背景像素点数占整幅图像的比例为，其平均灰度为；图像的总平均灰度记为，类间方差记为g；假设图像的背景较暗，并且图像的大小为，图像中像素的灰度值小于阈值t的像素个数记作，像素灰度大于阈值t的像素个数记作，则有：；；；
；；；将式（5）代入式（6），得到等价公式：；式（7）为类间方差，采用遍历的方法得到时类间方差g最大的阈值t，即为所求；图像分割处理采用分水岭算法，其算法表达式如下：；；；其中，自下而上的模拟泛洪过程是一个递归过程，式（1）属于递归过程的初始条件，使图像i中灰度值为最小值的像素点；式（2）是一个递归过程；式中，h表示灰度值的范围，为灰度值范围最小值，为灰度值范围最大值；是灰度值及海拔高度为上的所有像素点，表示此点属于新产生盆地最小值点，即在此海拔高度又产生了新的盆地；表示点与点相交，为点所在的盆地，故点为点与点同在一个盆地的点；通过此递归过程，将图像i中的所有像素点划分盆地。
8.作为本技术方案的进一步改进，所述s4中，皮带输送装置的异常故障情况包括但不限于：驱动电机故障、皮带跑偏、皮带撕裂、大块料障碍、金属杂物磨损等。
9.作为本技术方案的进一步改进，所述s5中，皮带输送装置的运行状态包括但不限于：启动/停止、空载、带载、过载、撒料、输送速度过快/过慢、料流源/尾位置变化、带载启动等。
10.本发明的目的之二在于，提供了一种基于视频的皮带运行状态检测系统，包括：视频处理模块、监控检测模块、判识评分模块和信号输出模块；视频处理模块的信号输出端与监控检测模块的信号输入端连接，监控检测模块的信号输出端与判识评分模块的信号输入端连接，判识评分模块的信号输出端与信号输出模块的信号输入端连接；其中：视频处理模块用于对皮带输送装置的整体及皮带、驱动电机等各部件的运行情况进行实时的视频摄录及存储；监控检测模块用于对摄录的视频、从视频中截取的图像进行识别，筛选出存在异常情况的特征视频并传入判识评分模块；判识评分模块用于根据异常情况的特征视频，通过神经网络方法判识异常情况的类型，并按照预设的评分规则对该异常类型对皮带输送装置运行过程安全性能的影响程度进行打分评估；信号输出模块用于输出检测出的异常情况及其评分数据，执行预设的安全保护机
制并输出报警信号。
11.作为本技术方案的进一步改进，视频处理模块还包括视频采集子模块、视频传输子模块和视频存储子模块；视频采集子模块的信号输出端与视频传输子模块的信号输入端连接，视频传输子模块的信号输出端与视频存储子模块的信号输入端连接；视频采集子模块用于通过布设在皮带输送装置附近的视频摄像模组实时摄录其视野内皮带运行状况的视频；视频传输子模块用于通过有线/无线的传输技术将实时摄录的视频传输至处理器进行处理；视频存储子模块用于将原始视频数据及处理识别出的异常视频传输至本地/云端存储中进行存储；其中，视频存储子模块为本地存储或云端存储。
12.作为本技术方案的进一步改进，监控检测模块还包括ai智能分析子模块、图像识别子模块和传感数据管理子模块；ai智能分析子模块、图像识别子模块与传感数据管理子模块依次通过网络通信连接且并列运行；ai智能分析子模块用于通过ai智能分析技术对视频流进行分析，检测出皮带运行状况存在异常情况的视频；图像识别子模块用于通过图像识别技术，截取存在异常情况的视频中的图像进行进一步的识别判断；传感数据管理子模块用于获取各传感器采集的状态参数，对传感参数进行整理、统计、分析及存储管理。
13.作为本技术方案的进一步改进，判识评分模块还包括神经网络算法子模块、状态判识子模块和安全影响评分子模块；神经网络算法子模块的信号输出端与状态判识子模块的信号输入端连接，状态判识子模块的信号输出端与安全影响评分子模块的信号输入端连接；神经网络算法子模块用于采用神经网络方法，对视频中可通过肉眼识别的皮带运行异常情况进行监测判断；状态判识子模块用于结合与皮带异常情况同一时间点的传感数据，对皮带输送装置的运行状态进行判识，并可粗略分析皮带出现异常的原因；安全影响评分子模块用于依据预先设定的评分规则，对上述判识出的皮带异常情况对皮带输送装置运行安全性能的影响程度进行评估打分。
14.作为本技术方案的进一步改进，信号输出模块还包括安全机制子模块、警报信号子模块和检修调度子模块；安全机制子模块、警报信号子模块与检修调度子模块依次通过网络通信连接且并列运行；安全机制子模块用于根据皮带输送装置运行过程中可能出现的异常类型及异常情况对安全性能的影响程度，设定相应的包括停机在内的安全保护机制，并在达到预设条件时自动执行安全保护程序；警报信号子模块用于在检测到皮带输送装置出现异常的运行状况时，通过多种方式发出报警信号；检修调度子模块用于按照一定的规则或顺序对异常的运行状况进行检修维护的调度安排。
15.其中，安全保护机制的保护程序包括但不限于：停机（如电机故障、皮带严重撕裂等）、降低输送速度（如皮带跑偏、撒料等）、降低驱动电机功率（如驱动电机电压过高等）、减小输送量（如皮带轻微撕裂，撒料、过载、带载启动等）等。
16.其中，报警方式包括但不限于：闪屏、弹窗、蜂鸣、警示灯、短信通知等。
17.其中，检修调度依照的规则或顺序可以为：以时间先后、以安全影响程度大小、以位置高低/前后、以维修难度等。
18.本发明的目的之三在于，提供了一种基于视频的皮带运行状态检测系统的运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的基于视频的皮带运行状态检测方法的步骤。
19.本发明的目的之四在于，提供了一种计算机可读存储介质，所述计算机可读存储
介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的基于视频的皮带运行状态检测方法的步骤。
20.与现有技术相比，本发明的有益效果：1.该基于视频的皮带运行状态检测方法通过在皮带输送装置附近布设视频摄像模组和各类传感器，搭建自动化的计算机架构并建设检测系统，结合ai智能分析、图像识别技术，以监控视频为基础，实时检测、判识皮带输送装置的运行状态；2.该基于视频的皮带运行状态检测方法通过神经网络算法，检测判断皮带机运行过程中存在异常的情况，并按照一定规则评估异常情况对皮带机安全性能的影响程度，从而准确评估皮带机运行状态，不需人工巡检，节省大量人力和时间，提高检测效率并减少疏忽错漏；3.该基于视频的皮带运行状态检测方法通过预设安全保护机制，系统检测到异常情况时自动执行并发出报警，可以有效降低生产安全隐患，减少物料及资源的浪费，便于及时对故障情况进行维护修补，保证生产安全运行。
附图说明
21.图1为本发明中整体方法的流程图；图2为本发明中检侧系统的整体架构图；图3为本发明中示例性电子计算机产品装置的结构示意图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.实施例1如图1-图3所示，本实施例提供了一种基于视频的皮带运行状态检测方法，包括如下步骤：s1、在皮带输送装置的皮带附近布设相应的视频摄像模组和各类传感器，在皮带输送装置的近端或远端布设视频处理计算机组件；s2、结合布设的装置及传感器，搭建皮带运行状态的系统架构，配置检测系统的运行环境，建设皮带运行状态检测系统；s3、启用基于视频的皮带运行状态检测装置，对皮带输送装置的运行状态进行实时监控；s4、基于实时摄录的视频数据，通过ai智能分析技术、图像识别技术及神经网络学习方法，对皮带输送装置的设备运行状态、异常故障情况进行检测识别；s5、结合各类传感器实时采集的状态参数，对皮带输送装置的运行状态进行准确判断，并依据预设的评分标准，对判识出的异常情况对设备运行安全性能的影响程度进行打分；s6、针对可能出现的异常的皮带运行状态，设定相应的安全保护机制，当皮带输送
装置出现异常情况，则按照预设程序执行安全保护机制的措施，及时输出报警信号，并针对检修作业进行调度安排。
24.本实施例中，s1中，在皮带输送装置附近布设的视频摄像模组包括但不限于：视野覆盖皮带输送装置整体的高清摄像头、以一定俯角安装于皮带上方处针对皮带进行拍摄的高清摄像头、安装于驱动电机附近针对驱动电机进行拍摄且附带录音功能的高清摄像头等；在皮带输送装置附近布设的各类传感器包括但不限于：分别安装于皮带输送装置头尾两端的料流检测装置、分别安装于皮带输送装置头尾两端的速度传感器、分别安装于皮带输送装置头尾两端端承重托辊下部的称重传感器、与驱动电机电性连接的电压检测装置等；计算机组件包括但不限于：处理器、显示器、网络交换机、云服务器、视频/图像识别程序模块、ai智能分析终端等。
25.本实施例中，s4中，通过图像识别技术对图像进行识别时，需要对目标图像进行降维、彩色二值化、图像分割等预处理，其采用的方法及相关算法如下：图像降维采用pca降维算法，其步骤如下：输入：训练样本集，低维空间维数；算法过程：step1、对所有样本进行中心化，即去均值操作：；step2、计算样本的协方差矩阵；step3、对协方差矩阵做特征值分解；step4、取最大的个特征值所对应的特征向量；step5、将原样本矩阵与投影矩阵相乘：，即为降维后的数据集，其中为维，为维；输出：降维后的数据集；彩色二值化处理采用大津阈值法，其算法表达式如下：对于图像，前景（即目标）和背景的分割阈值记作t，属于前景的像素点数占整幅图像的比例记为，其平均灰度；背景像素点数占整幅图像的比例为，其平均灰度为；图像的总平均灰度记为，类间方差记为g；假设图像的背景较暗，并且图像的大小为，图像中像素的灰度值小于阈值t的像素个数记作，像素灰度大于阈值t的像素个数记作，则有：；；；；；
；将式（5）代入式（6），得到等价公式：；式（7）为类间方差，采用遍历的方法得到时类间方差g最大的阈值t，即为所求；图像分割处理采用分水岭算法，其算法表达式如下：；；；其中，自下而上的模拟泛洪过程是一个递归过程，式（1）属于递归过程的初始条件，使图像i中灰度值为最小值的像素点；式（2）是一个递归过程；式中，h表示灰度值的范围，为灰度值范围最小值，为灰度值范围最大值；是灰度值及海拔高度为上的所有像素点，表示此点属于新产生盆地最小值点，即在此海拔高度又产生了新的盆地；表示点与点相交，为点所在的盆地，故点为点与点同在一个盆地的点；通过此递归过程，将图像i中的所有像素点划分盆地。
26.本实施例中，s4中，皮带输送装置的异常故障情况包括但不限于：驱动电机故障、皮带跑偏、皮带撕裂、大块料障碍、金属杂物磨损等。
27.本实施例中，s5中，皮带输送装置的运行状态包括但不限于：启动/停止、空载、带载、过载、撒料、输送速度过快/过慢、料流源/尾位置变化、带载启动等。
28.如图2所示，本实施例提供了一种基于视频的皮带运行状态检测系统，包括：视频处理模块、监控检测模块、判识评分模块和信号输出模块；视频处理模块的信号输出端与监控检测模块的信号输入端连接，监控检测模块的信号输出端与判识评分模块的信号输入端连接，判识评分模块的信号输出端与信号输出模块的信号输入端连接；其中：视频处理模块用于对皮带输送装置的整体及皮带、驱动电机等各部件的运行情况进行实时的视频摄录及存储；监控检测模块用于对摄录的视频、从视频中截取的图像进行识别，筛选出存在异常情况的特征视频并传入判识评分模块；判识评分模块用于根据异常情况的特征视频，通过神经网络方法判识异常情况的类型，并按照预设的评分规则对该异常类型对皮带输送装置运行过程安全性能的影响程度进行打分评估；信号输出模块用于输出检测出的异常情况及其评分数据，执行预设的安全保护机制并输出报警信号。
29.本实施例中，视频处理模块还包括视频采集子模块、视频传输子模块和视频存储子模块；视频采集子模块的信号输出端与视频传输子模块的信号输入端连接，视频传输子模块的信号输出端与视频存储子模块的信号输入端连接；视频采集子模块用于通过布设在
皮带输送装置附近的视频摄像模组实时摄录其视野内皮带运行状况的视频；视频传输子模块用于通过有线/无线的传输技术将实时摄录的视频传输至处理器进行处理；视频存储子模块用于将原始视频数据及处理识别出的异常视频传输至本地/云端存储中进行存储；其中，视频存储子模块为本地存储或云端存储。
30.本实施例中，监控检测模块还包括ai智能分析子模块、图像识别子模块和传感数据管理子模块；ai智能分析子模块、图像识别子模块与传感数据管理子模块依次通过网络通信连接且并列运行；ai智能分析子模块用于通过ai智能分析技术对视频流进行分析，检测出皮带运行状况存在异常情况的视频；图像识别子模块用于通过图像识别技术，截取存在异常情况的视频中的图像进行进一步的识别判断；传感数据管理子模块用于获取各传感器采集的状态参数，对传感参数进行整理、统计、分析及存储管理。
31.本实施例中，判识评分模块还包括神经网络算法子模块、状态判识子模块和安全影响评分子模块；神经网络算法子模块的信号输出端与状态判识子模块的信号输入端连接，状态判识子模块的信号输出端与安全影响评分子模块的信号输入端连接；神经网络算法子模块用于采用神经网络方法，对视频中可通过肉眼识别的皮带运行异常情况进行监测判断；状态判识子模块用于结合与皮带异常情况同一时间点的传感数据，对皮带输送装置的运行状态进行判识，并可粗略分析皮带出现异常的原因；安全影响评分子模块用于依据预先设定的评分规则，对上述判识出的皮带异常情况对皮带输送装置运行安全性能的影响程度进行评估打分。
32.其中，结合与皮带异常情况同一时间点的传感数据，对皮带输送装置的运行状态进行判识并粗略分析皮带出现异常的原因，可能的原因包括但不限于：空载/过载/带载启动导致皮带跑偏、输送速度过快/过慢导致皮带跑偏、过载导致皮带撕裂/撒料、大块料障碍导致输送速度过慢/皮带跑偏/驱动电机故障、电压过高导致驱动电机故障、料流源/尾位置变化导致皮带跑偏/大块料障碍、大块料障碍/金属杂物磨损导致皮带撕裂等。
33.本实施例中，信号输出模块还包括安全机制子模块、警报信号子模块和检修调度子模块；安全机制子模块、警报信号子模块与检修调度子模块依次通过网络通信连接且并列运行；安全机制子模块用于根据皮带输送装置运行过程中可能出现的异常类型及异常情况对安全性能的影响程度，设定相应的包括停机在内的安全保护机制，并在达到预设条件时自动执行安全保护程序；警报信号子模块用于在检测到皮带输送装置出现异常的运行状况时，通过多种方式发出报警信号；检修调度子模块用于按照一定的规则或顺序对异常的运行状况进行检修维护的调度安排。
34.其中，安全保护机制的保护程序包括但不限于：停机（如电机故障、皮带严重撕裂等）、降低输送速度（如皮带跑偏、撒料等）、降低驱动电机功率（如驱动电机电压过高等）、减小输送量（如皮带轻微撕裂，撒料、过载、带载启动等）等。
35.其中，报警方式包括但不限于：闪屏、弹窗、蜂鸣、警示灯、短信通知等。
36.其中，检修调度依照的规则或顺序可以为：以时间先后、以安全影响程度大小、以位置高低/前后、以维修难度等。
37.如图3所示，本实施例还提供了一种基于视频的皮带运行状态检测系统的运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
38.处理器包括一个或一个以上处理核心，处理器通过总线与存储器相连，存储器用
于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于视频的皮带运行状态检测方法的步骤。
39.可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。
40.此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于视频的皮带运行状态检测方法的步骤。
41.可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于视频的皮带运行状态检测方法的步骤。
42.本领域普通技术人员可以理解，实现上述实施例的全部或部分步骤的过程可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
43.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。