一种电铲斗齿脱落监测方法及系统与流程

1.本发明属于电铲斗齿技术领域，具体涉及一种电铲斗齿脱落监测方法及系统。


背景技术：

2.电铲在生产过程中，因为冲击和磨损等原因，有时候会发生电铲斗齿脱落的问题。
3.电铲斗齿脱落既影响生产效率，脱落的斗齿输送到下游，会对下游破碎机、皮带机等设备带来极大的危害，甚至危及工作人员人身安全。由于电铲驾驶室到铲斗存在盲区，电铲驾驶员并不能在驾驶室看见所有的斗齿，电铲斗齿脱落也就不能被驾驶员即时发现，因此如何对电铲斗齿脱落进行及时发现并报警是需要解决的技术难题。


技术实现要素：

4.本发明为了解决上述问题，提出了一种电铲斗齿脱落监测系统及方法。
5.根据一些实施例，本发明采用如下技术方案：
6.第一方面，本发明提供了一种电铲斗齿脱落监测方法，包括：
7.通过监控摄像头对斗齿进行图像采集；并将采集的斗齿图像预处理后形成历史斗齿图像，所述历史斗齿图像包括完整斗齿图像和具有斗齿脱离的图像，将历史斗齿图像分为测试集和训练集；
8.将历史斗齿图像建立目标检测网络，所述目标检测网络用于提取目标图像的特征图，将特征图进行模型训练；
9.将训练集的目标图像输入到目标检测网络中进行训练，获得训练好的目标检测模型；将验证集的目标图像输入到训练好的目标检测模型中进行验证，获得斗齿脱落识别模型；
10.将图像采集模块的实时斗齿图像输入斗齿脱落识别模型，获得斗齿是否存在脱落的检测结果，若检测结果判断为斗齿存在脱离则进行警报。
11.第二方面，本发明提供了一种如第一方面所述的电铲斗齿脱落监测系统，包括图像采集模块、数据处理模块和斗齿脱离检测模块；
12.图像采集模块，被配置为对斗齿进行图像采集获得斗齿图像；
13.数据处理模块，被配置为将采集的斗齿图像预处理后形成历史斗齿图像，所述历史斗齿图像包括完整斗齿图像和具有斗齿脱离的图像，将历史斗齿图像分为测试集和训练集；
14.斗齿脱离检测模块，被配置为将历史斗齿图像建立目标检测网络，所述目标检测网络用于提取目标图像的特征图，将特征图进行模型训练；将训练集的目标图像输入到目标检测网络中进行训练，获得训练好的目标检测模型；将验证集的目标图像输入到训练好的目标检测模型中进行验证，获得斗齿脱落识别模型；将图像采集模块的实时斗齿图像输入斗齿脱落识别模型，获得检测结果。
15.第三方面，本发明提供了一种计算机可读存储介质，用于存储计算机指令，所述计
算机指令被处理器执行时，完成如第一方面所述的电铲斗齿脱落监测方法。
16.第四方面，本发明提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如第一方面所述的电铲斗齿脱落监测方法。
17.与现有技术相比，本发明的有益效果为：
18.本发明采用监控摄像头对斗齿进行图像采集；并将采集的斗齿图像预处理后形成历史斗齿图像，所述历史斗齿图像包括完整斗齿图像和具有斗齿脱离的图像，将历史斗齿图像分为测试集和训练集；建立目标检测网络，经过训练集和测试集训练后的目标检测网络形成斗齿脱落识别模型，将图像采集模块的实时斗齿图像输入斗齿脱落识别模型，获得检测结果，基于视觉分析、深度学习技术，实时监控斗齿，即时识别斗齿脱落，避免斗齿脱落发现不及时造成严重安全隐患，解决了如何对电铲斗齿脱落进行及时发现并报警的问题，可以准确地判断斗齿运行状态，一旦发现斗齿脱落立即自动报警提示，通过斗齿脱落报警信号发送至监控系统，同时，安装在驾驶室中的灯光报警器与蜂鸣报警器同时启动，提醒司机斗齿脱落情况。
19.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
20.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
21.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
22.图1为电铲斗齿脱落监测方法的流程图。
具体实施方式：
23.下面结合附图与实施例对本发明作进一步说明。
24.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
25.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
26.实施例一：
27.如图1所示，本实施例提供了一种电铲斗齿脱落监测方法，包括：
28.通过监控摄像头对斗齿进行图像采集；并将采集的斗齿图像预处理后形成历史斗齿图像，所述历史斗齿图像包括完整斗齿图像和具有斗齿脱离的图像，将历史斗齿图像分为测试集和训练集；
29.将历史斗齿图像建立目标检测网络，所述目标检测网络用于提取目标图像的特征
图，将特征图进行模型训练；所述目标图像为斗齿；
30.将训练集的目标图像输入到目标检测网络中进行训练，获得训练好的目标检测模型；将验证集的目标图像输入到训练好的目标检测模型中进行验证，获得斗齿脱落识别模型；
31.将图像采集模块的实时斗齿图像输入斗齿脱落识别模型，获得检测结果。
32.所述监控摄像头在动臂上靠近天轮附近进行，用于白天和夜晚拍摄到完整的斗齿画面；监控摄像头可采用800万像素4k星光级监控摄像机。
33.所述将采集的斗齿图像预处理后形成历史斗齿图像，所述历史斗齿图像包括完整斗齿图像和具有斗齿脱离的图像步骤包括，通过历史检测中存在的斗齿具有缺失的图像以及完整图像作为训练图像集，若缺失图像不足可采用图像处理软件将采集到的斗齿图像中的利用软件去除部分斗齿后生成新的缺失图像，利用缺失图像作为新图像并形成训练集进行训练。
34.将训练集的目标图像输入到目标检测网络中进行训练步骤包括：
35.将训练集中的图像输入特征提取网络，保存提取出的n层的目标图像，并输入到rpn中；rpn采用聚类方法对训练集中的边界框做聚类分析，得到更加适合检测目标数据集的锚框尺度和比例。对锚框使用逻辑回归模型进行分类，使用交并比大小比较的方式进行nms非极大值抑制，并最终生成若干个候选推荐框，生成不同层的提案箱；
36.将rpn生成的提案箱和特征图传送到感兴趣区域池化层中，经过感兴趣区域池化归一化得到方案特征图。
37.所述将验证集的目标图像输入到训练好的目标检测模型中进行验证，获得斗齿脱落识别模型包括，将方案特征图传给全连接层，通过全连接层计算出每个目标图像的具体类别位置以及概率信息并获得每个目标图像的位置偏移量用于边框回归，再次使用nms方法保留效果最好的预测框，通过预测结果和验证集比对再通过反向传播调整网络的权重参数；
38.多次训练后取在验证集上效果最好的模型保存：通过调整学习率等超参数多次训练，每经过一定时期保存一次模型，选择在验证集上取得综合准确率和召回率考量效果最好的模型。
39.所述将斗齿图像输入斗齿脱落识别模型，获得检测结果包括，
40.通过监控摄像头在斗齿上方进行拍摄，将监控摄像头的实时斗齿图像输入斗齿脱落识别模型，获得检测结果，检测结果为斗齿是否缺失以及缺失区域，输出识别出含有检测缺失斗齿的图像信息。
41.本实施例基于ai图像识别、红外成像以及机器视觉技术，研发了一套斗齿防脱落监测系统；通过高清摄像机外加激光红外补光装置来实时采集电铲斗齿的图像信息，图像信息传输到卓微软件平台，通过ai视觉图像对比和智能分析，实时判断视频图像中斗齿的特征点与属性，并将所有斗齿的信息全部呈现在安装与驾驶室内的显示屏上。通过ai视觉图像标定和智能分析可以准确地判断斗齿运行状态，一旦发现斗齿脱落立即自动报警提示。
42.安装方案：在动臂靠近天轮附近，新增800万像素4k星光级监控摄像机，以便白天和夜晚都能拍摄到完整的斗齿画面；基于视觉分析、深度学习技术，实时监控斗齿，即时识
别斗齿脱落；斗齿脱落报警信号发送至监控系统，同时，安装在驾驶室中的灯光报警器与蜂鸣报警器同时启动，提醒司机斗齿脱落情况。后台监控系统中记录斗齿脱落的时间区间，此区间的影像保存至硬盘录像机。
43.硬件指标：1、摄像机分辨率不低于4k星光级相机，提供防护罩，具备防尘防水功能；2、摄像机镜头可更换；
44.软件指标：1、斗齿缺失识别正确率不低于98％；2、识别速度不低于100ms；3、系统识别出斗齿缺失后可自动告警(驾驶室内灯光或蜂鸣器报警，后台报警)。
45.实施例二：
46.本实施例提供了一种电铲斗齿脱落监测系统，包括：图像采集模块、数据处理模块和斗齿脱离检测模块；
47.图像采集模块，被配置为对斗齿进行图像采集获得斗齿图像；
48.数据处理模块，被配置为将采集的斗齿图像预处理后形成历史斗齿图像，所述历史斗齿图像包括完整斗齿图像和具有斗齿脱离的图像，将历史斗齿图像分为测试集和训练集；
49.斗齿脱离检测模块，被配置为将历史斗齿图像建立目标检测网络，所述目标检测网络用于提取目标图像的特征图，将特征图进行模型训练；将训练集的目标图像输入到目标检测网络中进行训练，获得训练好的目标检测模型；将验证集的目标图像输入到训练好的目标检测模型中进行验证，获得斗齿脱落识别模型；将图像采集模块的实时斗齿图像输入斗齿脱落识别模型，获得检测结果。
50.所述图像采集模块采用监控摄像头，监控摄像头可采用800万像素4k星光级监控摄像机，通过监控摄像头对斗齿进行图像采集。并将采集的斗齿图像传输至数据处理模块；
51.所述图像采集模块、数据处理模块、斗齿脱离检测模块所被配置的具体步骤对应实施例一的电铲斗齿脱落监测方法。
52.进一步的，所述电铲斗齿脱落监测系统还包括报警模块，报警模块通过蜂鸣器进行报警，以提醒工作人员对斗齿脱离现场识别，以进一步处理，避免造成严重设备损坏问题。
53.进一步的，所述所述电铲斗齿脱落监测系统还包括励磁电流电压采集模块，在电铲自带的分流器处加装带数据传输功能的电流电压采集器，并将数据传输至处理器，通过处理器判断电流电压是否出现异常，如果出现异常可以进一步判断是否存在电铲斗齿缺失问题。
54.实施例三
55.本实施例提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如实施例一所述的电铲斗齿脱落监测方法。
56.实施例四
57.本实施例提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如实施例一所述的电铲斗齿脱落监测方法。
58.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不
需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。