一种矿业AR智能设备巡检系统的制作方法

一种矿业ar智能设备巡检系统
技术领域
1.本发明涉及巡检系统技术领域，具体来说，涉及一种矿业ar智能设备巡检系统。


背景技术：

2.随着煤矿智能化开采的要求越来越高，如何保障煤矿生产的安全在煤矿开采管理工作中越来越重要。而在煤矿开采过程中煤矿安全一旦出现问题，将对开采进度和效益造成极大的影响，甚至危及人员安全。因此，在煤矿生产现场需要配备大量的维修人员对故障设备进行及时有效的故障诊断与维护。
3.目前，传统的巡检方法是，根据煤矿基本情况确定检查路线，各检查人使用文字、照片、录音、录像等记录检查路线上发现的问题，检查结束后，将检查记录人工汇总形成检查报告，该方法费时费力，巡检过程难以追踪，且容易出现漏检和错检。且由于巡检人员携带材料有限，在巡检过程中不能及时获取需要的辅助巡检信息资源，不能快速诊断出煤矿问题和矿用设备故障，效率低。
4.而ar技术能够将信息(无论是文本、数字字符、图像还是图表)叠加在现实环境背景上，将虚拟内容照射进现实世界之中，在巡检人员眼前实时增添有价值的信息。ar远程专家能“零距离”和远程专家沟通，通过远程视频通话设备，巡检人员可实时在线咨询远程专家，获得专家指导；设备遇到故障时，使用ar智能眼镜扫一扫，即可快速发现问题，排除问题。因此，为了解决传统巡检方法存在的巡检效果差及效率低的问题，本发明提出了一种矿业ar智能设备巡检系统。


技术实现要素：

5.针对相关技术中的问题，本发明提出一种矿业ar智能设备巡检系统，以克服现有相关技术所存在的上述技术问题。
6.为此，本发明采用的具体技术方案如下：
7.一种矿业ar智能设备巡检系统，包括远程专家端、控制中心及ar巡检端，且该远程专家端、控制中心及ar巡检端之间相互通信连接；
8.远程专家端包括第一音频交互模块、标绘指导模块、资料共享模块及第一显示模块；
9.第一音频交互模块用于远程专家端与控制中心及ar巡检端之间的语音及视频沟通；
10.标绘指导模块用于通过立体标绘功能将专家的虚拟标绘内容呈现在真实世界，叠加出混合现实效果；
11.资料共享模块用于实现地面上的专家的标绘指导与资料共享，并实时发送至井下ar巡检端；
12.第一显示模块用于显示ar巡检端采集的实时画面；
13.控制中心包括巡检内容定义模块、设备数据整理模块、运行数据监测预警模块、第
二显示模块、第二音视频交互模块、报告生成模块及数据库；
14.巡检内容定义模块用于根据企业自身情况自定义编辑巡检区域、巡检路线及巡检清单；
15.设备数据整理模块用于对各类设备进行分类整理，并提供设备资料的增删查改；
16.运行数据监测预警模块用于通过脉冲耦合神经网络对巡检对象进行实时运行数据监测及预警；
17.第二显示模块用于显示ar巡检端采集的实时画面；
18.第二音视频交互模块用于控制中心与远程专家端及ar巡检端之间的语音及视频沟通；
19.报告生成模块用于基于巡检内容生成巡检报告单；
20.数据库用于巡检数据的存储；
21.ar巡检端包括第三音视频交互模块、定位模块、语音指令控制模块、远程指导模块、第三显示模块、巡检内容调用模块及巡检内容记录上传模块；
22.第三音视频交互模块用于ar巡检端与远程专家端及控制中心之间的语音及视频沟通；
23.定位模块用于对佩带ar智能眼镜的巡检人员进行定位；
24.语音指令控制模块用于巡检人员利用语音命令控制ar智能眼镜操作；
25.远程指导模块用于随时连线地面上的领导或专家，并将远程指导意见全息实时呈现在ar智能眼镜上；
26.第三显示模块用于将远程指导意见全息实时呈现在巡检人员佩带的ar智能眼镜上；
27.巡检内容调用模块用于根据巡检场所即时调用查看控制中心发送的安全巡检内容；
28.巡检内容记录上传模块用于将巡检内容通过图片及视频的形式实时记录、存储及上传。
29.进一步的，运行数据监测预警模块包括图像获取模块、图像识别模块及检测结果输出预警模块；
30.图像获取模块用于获取ar巡检端在巡检过程中实时采集的巡检图像；
31.图像识别模块用于利用脉冲耦合神经网络对巡检图像中巡检设备仪表盘上的仪表数据进行识别；
32.检测结果输出预警模块用于根据巡检设备中仪表盘上仪表数据的识别结果输出该巡检设备的运行数据，并在运行数据异常时发出预警。
33.进一步的，图像识别模块在利用脉冲耦合神经网络对巡检图像中巡检设备仪表盘上的仪表数据进行识别时包括以下步骤：
34.采用颜色图像区域搜索算法对巡检设备中的目标仪表图像区域进行定位，并通过中值滤波去除目标图像噪声；
35.采用脉冲耦合神经网络对仪表图像数据显示盘中的数字字符进行分割和二值化处理；
36.通过样本匹配算法匹配仪表图像样本的数字字符，实现巡检设备仪表盘上的仪表
数据的识别。
37.进一步的，采用脉冲耦合神经网络对仪表图像数据显示盘中的数字字符进行分割和二值化处理还包括以下步骤：
38.计算仪表图像数据显示盘中每个数字字符的质心坐标，并连接每个质心计算斜率；
39.基于计算得到的倾斜率判断该字符是否倾斜，若是，则调整字符，若否，则通过水平竖直投影法获取仪表读数。
40.进一步的，仪表图像样本中包括所有巡检设备的仪表读数及该读数对应的设备运行状态。
41.进一步的，数据库包括巡检问题数据库、巡检设备数据库及专家数据库，巡检问题数据库中包含有历史巡检过程中出现的问题及其对应的解决方案。
42.进一步的，语音指令控制模块包括语音采集模块、验证识别模块、语音处理模块、音频编解码模块及指令执行模块；
43.语音采集模块用于采集巡检过程中的语音信号；
44.验证识别模块用于通过vq码本结合svm分类模型对采集的语音信号进行识别；
45.语音处理模块用于采用小波频带阈值消噪算法对识别后的语音信号进行处理；
46.音频编解码模块用于对消噪后的语音信号进行编码及解码，实现语音信号的模数转换；
47.指令执行模块用于根据转换后的语音信号执行相应的语音指令。
48.进一步的，验证识别模块包括特征提取模块及模型训练识别模块；
49.特征提取模块用于提取采集语音信号中的12维mel倒谱及其一阶差分作为特征矢量；
50.模型训练识别模块用于利用svm分类模型对采集的语音信号进行识别。
51.进一步的，模型训练识别模块在利用svm分类模型对采集的语音信号进行识别时包括以下步骤：
52.利用训练好的vq码本对采集的待测语音进行分类，得到m个与该待测语音距离最近的候选说话人；
53.将待测语音输入至由该m个说话人构建的svm分类模型一对一模式中，利用一对一组合分类原理，得到待测语音的识别结果。
54.进一步的，语音处理模块在采用小波频带阈值消噪算法对识别后的语音信号进行处理时包括以下步骤：
55.对识别后的语音数据进行小波变换，得到n个频带；
56.设定识别后的语音数据中前0.1秒对应的数据为纯噪音数据，并基于该数据给出n个频带噪音最大值的估计m(i)，i＝0,
…
,n-1；
57.设定相对阈值k，令每个频带的阈值d(i)＝k*m(i)；
58.对第i个频带的系数x(j)进行软滤波，得到新的小波系数x(j)：
59.x(j)＝sgn[x(i)]*max{abs[x(i)]-d(i),0}
[0060]
式中，sgn表示符号函数，返回参数的正负，max表示最大值，abs表示绝对值；
[0061]
对新的小波系数进行反小波变换，最终得到语音增强信号。
[0062]
本发明的有益效果为：
[0063]
1)通过利用ar交互、ai识别、实时通信、互联网等技术，建设基于ar智能眼镜的端到端(井下到地面)协作平台与应用系统，在满足井上下远程音视频沟通的同时还可以在语音指令控制模块的作用下解放巡检人员的双手，从而方便巡检人员对于巡检信息的记录及上传，此外，还可以在远程指导模块的作用下实时获得故障诊断所需要的辅助信息及专家指导意见，从而可以有效地提高巡检人员的巡检效率及质量。
[0064]
2)通过设置有运行数据监测预警模块，从而可以利用ar智能眼镜采集的实时巡检图像结合脉冲耦合神经网络对巡检对象进行实时运行数据监测及预警，此外，本发明不仅可以通过中值滤波去除目标图像的噪声，而且还可以利用脉冲耦合神经网络对巡检图像进行分割及二值化处理，再配合样本匹配算法来实现对巡检图像的快速实现，从而可以有效地提高识别准确率，提高识别效果。
[0065]
3)通过设置有验证识别模块及语音处理模块，从而不仅可以在验证识别模块的作用下利用vq码本结合svm分类模型实现对巡检人员语音的识别，避免其他语音或噪音对语音指令控制的影响，而且还可以在语音处理模块的作用下对巡检人员的语音信号进行噪音消除处理，提高语音质量，从而可以有效地避免因噪音而给巡检人员语音控制带来的影响，进而可以在噪音环境下实现巡检人员的定向语音识别，更好地满足于矿井下的巡检需求。
附图说明
[0066]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0067]
图1是根据本发明实施例的一种矿业ar智能设备巡检系统的结构框图；
[0068]
图2是根据本发明实施例的一种矿业ar智能设备巡检系统中运行数据监测预警模块的结构框图；
[0069]
图3是根据本发明实施例的一种矿业ar智能设备巡检系统中数据库的结构框图；
[0070]
图4是根据本发明实施例的一种矿业ar智能设备巡检系统中语音指令控制模块的结构框图；
[0071]
图5是根据本发明实施例的一种矿业ar智能设备巡检系统中验证识别模块的结构框图。
[0072]
图中：
[0073]
1、远程专家端；11、第一音频交互模块；12、标绘指导模块；13、资料共享模块；14、第一显示模块；2、控制中心；21、巡检内容定义模块；22、设备数据整理模块；23、运行数据监测预警模块；231、图像获取模块；232、图像识别模块；233、检测结果输出预警模块；24、第二显示模块；25、第二音视频交互模块；26、报告生成模块；27、数据库；271、巡检问题数据库；272、巡检设备数据库；273、专家数据库；3、ar巡检端；31、第三音视频交互模块；32、定位模块；33、语音指令控制模块；331、语音采集模块；332、验证识别模块；3321、特征提取模块；3322、模型训练识别模块；333、语音处理模块；334、音频编解码模块；335、指令执行模块；34、远程指导模块；35、第三显示模块；36、巡检内容调用模块；37、巡检内容记录上传模块。
具体实施方式
[0074]
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
[0075]
根据本发明的实施例，提供了一种矿业ar智能设备巡检系统。
[0076]
现结合附图和具体实施方式对本发明进一步说明，如图1-5所示，根据本发明实施例的矿业ar智能设备巡检系统，包括远程专家端1、控制中心2及ar巡检端3，且该远程专家端1、控制中心2及ar巡检端3之间相互通信连接；
[0077]
其中，远程专家端1包括第一音频交互模块11、标绘指导模块12、资料共享模块13及第一显示模块14；
[0078]
第一音频交互模块11用于远程专家端与控制中心及ar巡检端之间的语音及视频沟通；
[0079]
通过ar、mr智能穿戴设备，应急救援人员或地面现场工作人员可以以第一人称视角形式与专家实现远程双向音视频沟通，巡检人员佩戴轻便的智能眼镜，在通讯时无需手持额外设备，远程协作、手上工作两不误，实时分享第一视角画面，远程用户如同亲临现场，达到你所见即我所见的交互体验，大幅提升工作效率。
[0080]
标绘指导模块12用于通过立体标绘功能将专家的虚拟标绘内容呈现在真实世界，叠加出混合现实效果；
[0081]
资料共享模块13用于实现地面上的专家的标绘指导与资料共享，并实时发送至井下ar巡检端；
[0082]
第一显示模块14用于显示ar巡检端采集的实时画面；
[0083]
其中，控制中心2包括巡检内容定义模块21、设备数据整理模块22、运行数据监测预警模块23、第二显示模块24、第二音视频交互模块25、报告生成模块26及数据库27；
[0084]
巡检内容定义模块21用于根据企业自身情况自定义编辑巡检区域、巡检路线及巡检清单，从而可以避免巡检盲区，避免隐患的积少成多，实现巡检业务的标准化作业；
[0085]
设备数据整理模块22用于对各类设备进行分类整理，并提供设备资料的增删查改；
[0086]
具体的，针对每个设备，可管理其相关知识资料，包括说明书、图册等，例如针对变电所开关，则资料库中至少包含该开关以下内容：厂家、型号、使用手册、电气原理及电气图册(数张至十几张)。
[0087]
针对每个设备，可上传与管理其故障知识库，每条故障记录都包括其故障描述、可能原因、处理方法。
[0088]
通过该管理模块，建立起企业知识库云文档，让专家对资料文档进行有效管理，做到实时共享，移动办公。
[0089]
运行数据监测预警模块23用于通过脉冲耦合神经网络对巡检对象进行实时运行数据监测及预警；
[0090]
具体的，运行数据监测预警模块23包括图像获取模块231、图像识别模块232及检测结果输出预警模块233；
[0091]
图像获取模块231用于获取ar巡检端在巡检过程中实时采集的巡检图像；
[0092]
图像识别模块232用于利用脉冲耦合神经网络对巡检图像中巡检设备仪表盘上的仪表数据进行识别；
[0093]
检测结果输出预警模块233用于根据巡检设备中仪表盘上仪表数据的识别结果输出该巡检设备的运行数据，并在运行数据异常时发出预警。
[0094]
其中，图像识别模块232在利用脉冲耦合神经网络对巡检图像中巡检设备仪表盘上的仪表数据进行识别时包括以下步骤：
[0095]
采用颜色图像区域搜索算法对巡检设备中的目标仪表图像区域进行定位，并通过中值滤波去除目标图像噪声；
[0096]
具体的，通过获得目标仪表图像区域，观察仪表图像中数字表盘区域，此时读取仪表中的数字会受到电信号的影响不能直接用于识别，因此对图像实行滤波。中值滤波的工作流程为如下：依照数值的大小对某一像素点领域内的灰度值实行排列；找到该序列中的中值，使得该值和这一像素实行交换。
[0097]
采用脉冲耦合神经网络对仪表图像数据显示盘中的数字字符进行分割和二值化处理；
[0098]
其中，脉冲耦合神经网络以迭代算法为主，是一种新型神经网络。采用脉冲耦合神经网络释放同步脉冲即单层网络，且神经元和图像中的像素点存在对应的关系，当一个神经元受到激发，则邻近的神经元也会受到影响，因此会释放同步脉冲。采用脉冲耦合神经网络的这个特点，对仪表数字字符进行分割。
[0099]
通过样本匹配算法匹配仪表图像样本的数字字符，实现巡检设备仪表盘上的仪表数据的识别。
[0100]
其中，由于，采集的巡检图像可能收到外界环境的干扰或影响而造成采集到的仪表图像发生倾斜，因此需要通过质心位置来判断仪表图像中的数字字符是否发生倾斜，具体的，采用脉冲耦合神经网络对仪表图像数据显示盘中的数字字符进行分割和二值化处理还包括以下步骤：
[0101]
计算仪表图像数据显示盘中每个数字字符的质心坐标，并连接每个质心计算斜率；
[0102]
基于计算得到的倾斜率判断该字符是否倾斜，若是，则调整字符，若否，则通过水平竖直投影法获取仪表读数。
[0103]
其中，仪表图像样本中包括所有巡检设备的仪表读数及该读数对应的设备运行状态。
[0104]
第二显示模块24用于显示ar巡检端采集的实时画面；
[0105]
第二音视频交互模块25用于控制中心与远程专家端及ar巡检端之间的语音及视频沟通；
[0106]
报告生成模块26用于基于巡检内容生成巡检报告单；
[0107]
数据库27用于巡检数据的存储；
[0108]
具体的，数据库27包括巡检问题数据库271、巡检设备数据库272及专家数据库273，且巡检问题数据库271中包含有历史巡检过程中出现的问题及其对应的解决方案。
[0109]
其中，ar巡检端3包括第三音视频交互模块31、定位模块32、语音指令控制模块33、
远程指导模块34、第三显示模块35、巡检内容调用模块36及巡检内容记录上传模块37；
[0110]
第三音视频交互模块31用于ar巡检端与远程专家端及控制中心之间的语音及视频沟通；
[0111]
定位模块32用于对佩带ar智能眼镜的巡检人员进行定位；
[0112]
语音指令控制模块33用于巡检人员利用语音命令控制ar智能眼镜操作；
[0113]
其中，语音指令控制模块33包括语音采集模块331、验证识别模块332、语音处理模块333、音频编解码模块334及指令执行模块335；
[0114]
语音采集模块331用于采集巡检过程中的语音信号；
[0115]
验证识别模块332用于通过vq码本(矢量量化)结合svm(支持向量机)分类模型对采集的语音信号进行识别；
[0116]
具体的，验证识别模块332包括特征提取模块3321及模型训练识别模块3322；
[0117]
特征提取模块3321用于提取采集语音信号中的12维mel倒谱及其一阶差分作为特征矢量；
[0118]
模型训练识别模块3322用于利用svm分类模型对采集的语音信号进行识别。
[0119]
其中，模型训练识别模块3322在利用svm分类模型对采集的语音信号进行识别时包括以下步骤：
[0120]
利用训练好的vq码本对采集的待测语音进行分类，得到m(m《n，n为参考说话人)个与该待测语音距离最近的候选说话人；
[0121]
将待测语音输入至由该m个说话人构建的svm分类模型一对一模式中，利用一对一组合分类原理，得到待测语音的识别结果。
[0122]
支持向量机(support vector machine，svm)是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器(generalized linear classifier)，其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane)。svm使用铰链损失函数(hinge loss)计算经验风险(empirical risk)并在求解系统中加入了正则化项以优化结构风险(structural risk)，是一个具有稀疏性和稳健性的分类器。svm可以通过核方法(kernel method)进行非线性分类，是常见的核学习(kernel learning)方法之一。
[0123]
语音处理模块333用于采用小波频带阈值消噪算法对识别后的语音信号进行处理；
[0124]
其中，语音处理模块333在采用小波频带阈值消噪算法对识别后的语音信号进行处理时包括以下步骤：
[0125]
对识别后的语音数据进行小波变换，得到n个频带；
[0126]
设定识别后的语音数据中前0.1秒对应的数据为纯噪音数据，并基于该数据给出n个频带噪音最大值的估计mi，i＝0,
…
,n-1；
[0127]
设定相对阈值k，令每个频带的阈值di＝k*mi；
[0128]
对第i个频带的系数x(j)进行软滤波，得到新的小波系数x(j)：
[0129]
x(j)＝sgn[x(i)]*max{abs[x(i)]-d(i),0}
[0130]
式中，sgn表示符号函数，返回参数的正负，max表示最大值，abs表示绝对值；
[0131]
对新的小波系数进行反小波变换，最终得到语音增强信号。
[0132]
音频编解码模块334用于对消噪后的语音信号进行编码及解码，实现语音信号的模数转换；
[0133]
指令执行模块335用于根据转换后的语音信号执行相应的语音指令。
[0134]
远程指导模块34用于随时连线地面上的领导或专家，并将远程指导意见全息实时呈现在ar智能眼镜上；
[0135]
具体的，巡检过程中发现较为严重的问题时，可以及时通过智能眼镜进行连线汇报，并实时传输现场情况供远程会诊，第一时间处理隐患，提升巡检效率。
[0136]
第三显示模块35用于将远程指导意见全息实时呈现在巡检人员佩带的ar智能眼镜上；
[0137]
巡检内容调用模块36用于根据巡检场所即时调用查看控制中心发送的安全巡检内容；
[0138]
巡检内容记录上传模块37用于将巡检内容通过图片及视频的形式实时记录、存储及上传。
[0139]
具体的，巡检内容记录上传模块可以将巡检中发现的问题及疑似问题，及时通过照片、视频等形式记录上传，以便管理人员对巡检情况的掌握分析，解决现场人员知识单一的问题，解决现场人员感情用事的问题，问责溯源。
[0140]
综上所述，借助于本发明的上述技术方案，通过利用ar交互、ai识别、实时通信、互联网等技术，建设基于ar智能眼镜的端到端(井下到地面)协作平台与应用系统，在满足井上下远程音视频沟通的同时还可以在语音指令控制模块的作用下解放巡检人员的双手，从而方便巡检人员对于巡检信息的记录及上传，此外，还可以在远程指导模块的作用下实时获得故障诊断所需要的辅助信息及专家指导意见，从而可以有效地提高巡检人员的巡检效率及质量。
[0141]
同时，通过设置有运行数据监测预警模块，从而可以利用ar智能眼镜采集的实时巡检图像结合脉冲耦合神经网络对巡检对象进行实时运行数据监测及预警，此外，本发明不仅可以通过中值滤波去除目标图像的噪声，而且还可以利用脉冲耦合神经网络对巡检图像进行分割及二值化处理，再配合样本匹配算法来实现对巡检图像的快速实现，从而可以有效地提高识别准确率，提高识别效果。
[0142]
同时，通过设置有验证识别模块及语音处理模块，从而不仅可以在验证识别模块的作用下利用vq码本结合svm分类模型实现对巡检人员语音的识别，避免其他语音或噪音对语音指令控制的影响，而且还可以在语音处理模块的作用下对巡检人员的语音信号进行噪音消除处理，提高语音质量，从而可以有效地避免因噪音而给巡检人员语音控制带来的影响，进而可以在噪音环境下实现巡检人员的定向语音识别，更好地满足于矿井下的巡检需求。
[0143]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。