一种矿山爆破安全监控预警系统的制作方法

1.本发明涉及安全监控领域，特别涉及一种看矿山爆破安全监控预警系统。


背景技术：

2.爆破施工现场环境比较复杂，常规的远程监控设备和人为管理很难做到无死角安全监管，监控多偏重于个别重点区域，不能全程动态对施工现场进行实时报告。爆破作业均需要合理设计爆破警戒范围并进行爆破安全警戒，传统的警戒方式对周围道路实行封锁，布置警戒点、拉警戒线，禁止通行。
3.但在实践中，爆破警戒范围较大、地形复杂、视野狭窄以及周边交通环境复杂时，用口哨、警戒旗、对讲机等建立的爆破安全警戒调度指挥系统时常存在漏洞，不能做到全面的监控排查，同时因警戒信息分散且不直观，容易因警戒盲区造成危险。爆破警戒总指挥对警戒状态及效果缺乏宏观掌控，无法直观获取监控数据，不利于科学合理决策并指挥爆破安全警戒工作。
4.现有技术中，无人机因其拍摄精度高、成像快、操作灵活等优势，若将爆破区域的监控与无人机结合实现远程动态监控，则可以快速监控爆破区域内的各种数据，方便监控调度等，提高爆破区域的安全。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提供一种矿山爆破安全监控预警系统及方法，基于无人机和5g通信技术来实现对应于矿山爆破区域内的安全监控。
6.为了实现上述目的，本发明采用的技术方案为：一种矿山爆破安全监控预警系统，包括：视频监控无人机、ai监控中心，所述视频监控无人机用于按照预先设置的飞行线路进行视频监控，所述视频监控无人机通过5g网络将采集的视频数据发送至ai监控中心，所述ai监控中心通过ai算法分析监控视频内的画面并识别出报警信息后发出报警操作。
7.ai算法采用yolov5模型。是一种将图像分割成网格系统的目标检测算法。包括确定图像中存在某些对象的位置，以及对这些对象进行分类。以前的方法，比如r-cnn和它的变种，使用一个管道在多个步骤中执行这个任务。这可能运行缓慢，也很难优化，因为每个单独的组件都必须单独训练。yolo，只用一个神经网络就能解决，简单地说，拿一个图像作为输入，通过一个看起来像普通cnn的神经网络，得到一个在输出中包含边界框和类别预测的向量。
8.所述监控无人机内置视频采集用摄像头以及通信用5g通信芯片，所述摄像头采集的视频数据经5g通信芯片与5g通信基站通信连接，所述5g通信基站将实时视频流数据发送至ai监控中心。
9.所述视频监控无人机支持遥控器遥控，所述遥控器根据用户遥控信号进行飞行路径的控制。
10.所述ai监控中心通过ai算法分析识别处爆破区域内的人、车并发出报警信号；和
或所述ai监控中心通过ai算法分析识别出视频中的人、车并在画面上标注出识别到的人、车；和或所述所述ai监控中心用于将识别到的人、车信息以及视频数据中标注人车后的视频通过实时画面进行播放。
11.所述ai监控中心通过ai算法识别出人车信息后进行报警，所述报警模块集成在视频监控无人机中。
12.所述视频监控无人机中预置喊话音频，所述无人机的控制系统根据ai监控中心反馈的分析识别结合以及报警信息来控制喊话音频的播放。
13.所述无人机内置文字语音转换模块，用于将自定义喊话文字转换成语音。
14.所述监控预警系统还包括ai推理平台，所述ai推理平台包括无人机设备管理模块、ai算法管理与服务调度模块、报警规则设置模块、报警日志与算法日志查询模块。ai推理平台的各功能模块：
15.1)无人机设备管理模块：
16.对接无人机开放平台，实现对无人机飞控以及飞行信息的获取。
17.2)ai算法与服务调度模块：
18.当无人机飞行时，实时取无人机的rtsp流，
19.实时处理rtsp流，将流转成图像帧推送至ai推理服务进行分析。
20.并将推理日志以及预警日志写入数据库。
21.3)报警规则：
22.设置分类以及置信度等推理参数
23.4)报警日志与算法日志查询模块：
24.根据无人机飞行时间，推理分类查询报警及算法日志。
25.所述ai监控中心包括云端服务器以及本地服务器、监控中心管理配置系统，所述云端服务器分别连接本地服务器和监控中心管理配置系统，所述本低服务器通过显示屏进行监控数据展示。
26.监控中心：
27.1)实时在大屏上展示无人机的飞控状态、在地图上展示位置信息、绘制飞行轨迹。可设置无人机的飞行轨迹等。
28.2)实时在大屏上展示无人机拍摄的画面(红外 可见光)
29.3)大屏采用html5、rtmp/hls、rest以及websocket等方式实现。
30.所述无人机内的自定义喊话文字由ai监控中心配置后传递至无人机的控制系统中。
31.本发明的优点在于：通过无人机实现监控预警，提升对爆破区域内的矿区监控，提高安全，减少矿区爆破区域内的安全事故；通过无人机对煤矿爆破区域进行动态化巡检，可以远程实现实时视频的监控；采用5g进行实时视频数据流的传输，延时少，传递快，能够做到实时监控；通过ai监控中心服务器运行ai算法识别巡检区域内的人车，识别到人车后可以直接报警或者通过监控中心的本地监控大屏进行监控展示；无人机支持语音喊话功能，可以远程语音喊话驱离。
附图说明
32.下面对本发明说明书各幅附图表达的内容及图中的标记作简要说明：
33.图1为本发明预警系统的部署结构框架。
具体实施方式
34.下面对照附图，通过对最优实施例的描述，对本发明的具体实施方式作进一步详细的说明。
35.本发明利用无人机的拍摄精度高、成像快、操作灵活等优势，同时利用ai技术对爆破警戒区进行智能识别和报警，能实现对爆破施工的安全监管，提升工作效率，规避安全事故的发生。具体方案如下：
36.如图1所示，一种矿山爆破安全监控预警系统，包括：视频监控无人机、ai监控中心，视频监控无人机用于按照预先设置的飞行线路进行视频监控，采集飞行路径上矿区内的视频数据；视频监控无人机通过5g网络将采集的视频数据发送至ai监控中心，采用5g通信方式可以做到数据的快速且可靠的低延时的发送至ai监控中心；视频监控无人机包括无人机及集成在无人机上的视频采集用的摄像头模块以及5g通信芯片，无人机具备无人机控制系统，无人机控制系统分别连接摄像头模块和5g通信芯片，无人机控制系统用于控制无人机的飞行路径以及通过摄像头模块采集视频数据、通过5g通信芯片将数据采用5g网络发送至ai监控中心中进行监控。
37.监控无人机内置视频采集用摄像头以及通信用5g通信芯片，所述摄像头采集的视频数据经5g通信芯片与5g通信基站通信连接，所述5g通信基站将实时视频流数据发送至ai监控中心。
38.ai监控中心接收通过5g网络发来的视频数据，ai监控中心通过ai算法分析监控视频内的画面并识别出报警信息后发出报警操作。识别出的报警信息是指识别出在矿区内的车、人信息，报警操作包括发出报警信号、控制监控大屏显示报警信息、控制监控大屏将视频中的车、人标记出来进行展示：
39.ai监控中心通过ai算法分析识别处爆破区域内的人、车并发出报警信号，可以通过ai监控中心的显示屏进行图像画面报警或者通过ai监控中心的语音模块发出语音报警；
40.ai监控中心包括服务器、监控大屏，服务器用于实现ai算法分析处理数据，监控大屏用于发出报警画面信息，ai监控中心的服务器通过ai算法分析识别出视频中的人、车并在画面上标注出识别到的人、车，并将标识处车辆、人的视频通过监控大屏进行展示，从而实现远程实时画面监控，进一步地可以将服务器连接用语音报警系统从而发出语音报警信号；ai监控中心将识别到的人、车信息以及视频数据中标注人车后的视频通过实时画面进行播放，由于接收到的5g视频流数据速度较快，可以做到实时监控的目的。ai算法集成在服务器中用于进行识别分析处理。
41.进一步地，ai监控中心通过ai算法识别出人车信息后进行报警，报警模块可以集成在视频监控无人机中。无人机的控制系统输出端连接报警模块，无人机控制系统通过驱动控制的方式控制报警模块发出报警信号，如报警声等。视频监控无人机中预置喊话音频，无人机的控制系统根据ai监控中心反馈的分析识别结合以及报警信息来控制喊话音频的播放。报警模块采用语音模块，ai监控系统分析到人、车信息后发出报警控制信号经5g网络
至无人机控制系统，无人机控制系统接收到报警控制信号后控制报警模块发出语音报警，语音报警模块识别预先设置的喊话音频，然后将音频进行播放从而达到报警的目的。无人机内的自定义喊话文字由ai监控中心配置后传递至无人机的控制系统中。喊话文字可以由ai监控中心的外设(人机交互设备)输入后经5g网络传输至无人机控制系统中或者由无人机遥控器等输入。从而实现了喊话可自定义，提高喊话内容的可以识别性，也可以做到喊话与矿区内的人员进行沟通交流及时驱离。
42.ai算法采用yolov5模型，是一种将图像分割成网格系统的目标检测算法。包括确定图像中存在某些对象的位置，以及对这些对象进行分类。以前的方法，比如r-cnn和它的变种，使用一个管道在多个步骤中执行这个任务。这可能运行缓慢，也很难优化，因为每个单独的组件都必须单独训练。yolo，只用一个神经网络就能解决，简单地说，拿一个图像作为输入，通过一个看起来像普通cnn的神经网络，你就会得到一个在输出中包含边界框和类别预测的向量。
43.在本技术中无人机的飞行路径可以通过遥控器进行遥控设置，视频监控无人机支持遥控器遥控，通过遥控器手动遥控或者通过遥控器预先设置飞行路径来控制无人机的飞行区域和路径。
44.监控预警系统还包括ai推理平台，ai推理平台包括无人机设备管理模块、ai算法管理与服务调度模块、报警规则设置模块、报警日志与算法日志查询模块。ai推理平台包括：
45.1)无人机设备管理模块：
46.对接无人机开放平台，实现对无人机飞控以及飞行信息的获取。
47.2)ai算法与服务调度模块：
48.当无人机飞行时，实时取无人机的rtsp流，
49.实时处理rtsp流，将流转成图像帧推送至ai推理服务进行分析。
50.并将推理日志以及预警日志写入数据库。
51.3)报警规则：
52.设置分类以及置信度等推理参数
53.4)报警日志与算法日志查询模块：
54.根据无人机飞行时间，推理分类查询报警及算法日志。
55.无人机管理模块用于对无人机进行管理和系统配置，可以远程设置无人机的配置、运行路线等。
56.ai监控中心包括云端服务器以及本地服务器、监控中心管理配置系统，云端服务器分别连接本地服务器和监控中心管理配置系统，本地服务器通过显示屏进行监控数据展示。
57.监控中心：
58.1)实时在大屏上展示无人机的飞控状态、在地图上展示位置信息、绘制飞行轨迹。可设置无人机的飞行轨迹等。
59.2)实时在大屏上展示无人机拍摄的画面(红外 可见光)
60.3)大屏采用html5、rtmp/hls、rest以及websocket等方式实现。
61.本方法的特点是5g ai集成：
62.(1)支持5g的网络连接，实现高带宽、低时延的无人机网络视频直播；
63.(2)自主ai识别方案，定制化算法优化，实现无人机矿山巡检高清、高效的ai分析与落地。
64.ai算法检测包含人员、车辆等移动物体，无人机按照既定轨迹进行区域巡逻，ai算法对实时回传的视频进行自动检测，检测到目标即告警，报警信息展示在本地部署的算法演示平台。
65.ai监控中心：
66.基于专业无人机平台，定制化开发及ai分析，可以实现以下场景：
67.执行巡检/爆破任务：实现无人机起飞并进行矿区安全监控；
68.(1)ai算法分析：矿区人车巡检——识别人车、爆破区人车预警——划定爆破警戒区域，在该区域内重点检测人车并报警；
69.ai算法采用yolov5模型。是一种将图像分割成网格系统的目标检测算法。包括确定图像中存在某些对象的位置，以及对这些对象进行分类。以前的方法，比如r-cnn和它的变种，使用一个管道在多个步骤中执行这个任务。这可能运行缓慢，也很难优化，因为每个单独的组件都必须单独训练。yolo，只用一个神经网络就能解决，
70.简单地说，拿一个图像作为输入，通过一个看起来像普通cnn的神经网络，你就会得到一个在输出中包含边界框和类别预测的向量。
71.原理如下图：
72.(2)监控中心实时画面：展示无人机实时画面，并标注画面中的人、车信息；
73.(3)监控中心实时预警：发现人车，在爆破区域发现人车；
74.(4)无人机喊话：无人机预置喊话音频，提醒工人及车辆及时避险。(部分机型支持自定义喊话内容，支持文字转语音等)
75.ai推理平台：
76.ai推理平台，是支撑无人机智能巡检落地的重要管理系统，以其高可用系统架构，确保系统各项功能运转正常，包括以下功能：
77.(1)无人机设备管理；
78.对接无人机云开放平台，实现对无人机飞控以及飞行信息的获取，包括无人机状态、位置等信息的获取。
79.(2)ai算法管理与服务调度；
80.当无人机飞行时，实时取无人机的rtsp流，
81.实时处理rtsp流，将流转成图像帧推送至ai推理服务进行分析。
82.并将推理日志以及预警日志写入数据库。
83.(3)报警规则设置:
84.设置分类以及置信度等推理参数
85.(4)报警日志与算法日志查询；
86.根据无人机飞行时间，推理分类查询报警及算法日志。
87.具有5g ai特色的无人机矿山解决方案拟解决以下痛点问题：
88.1)人工巡检效率低下：人工在矿山、尾矿区等地方巡检难度大、效率低，存在夜间巡视不便等问题。
89.2)无法全场监控：传统巡检效率低、导致巡检区复险概率提高，无法及时监控到位。
90.3)爆破区域危险性高：矿上爆破作业为常规作业，但相关区域巡检危险性高、难度大。
91.4)系统联动性低：无法与其他系统如采矿管理、远程爆破等系统共同监控或联动，无法做到更高的安全联动与巡检记录查询。
92.ai推理平台，是支撑无人机智能巡检落地的重要管理系统，以其高可用系统架构，确保系统各项功能运转正常：
93.(1)高可用架构：采用容器化技术，快速落地；采用k8s进行集群化管理，确保系统可用性；
94.(2)高效算法训练：专业的算法全套训练与落地方案，相似场景最快3小时算法落地记录；
95.(3)定制化摄像头布局：为每个摄像头点位建立档案，设定专属摄像头角度、打光、清晰度、焦距等建设方案；
96.(4)高可用ai中央管理系统：统一调度无人机、摄像头、ai算法，实时推送ai分析结果并在终端大屏展示，稳定2s内分析结果输出。
97.(5)高效的算法训练：ai算法采用yolov5模型。是一种将图像分割成网格系统的目标检测算法。包括确定图像中存在某些对象的位置，以及对这些对象进行分类。以前的方法，比如r-cnn和它的变种，使用一个管道在多个步骤中执行这个任务。这可能运行缓慢，也很难优化，因为每个单独的组件都必须单独训练。yolo，只用一个神经网络就能解决，
98.简单地说，拿一个图像作为输入，通过一个看起来像普通cnn的神经网络，你就会得到一个在输出中包含边界框和类别预测的向量。
99.具备类似efficientnet网络的设计规则，(输入、宽度、深度)、跨邻域网格的匹配策略，可以在多个数据集上快速收敛，模型可定制性强。
100.(6)算法部署：本地化训练、云服务器推理。资深算法工程师进行根据实际场景进行本地化的模型训练，在得到模型后，上传至云端供系统推理。
101.显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，均在本发明的保护范围之内。