一种基于智能机器狗的作业现场数字化监督系统及方法与流程

1.本发明属于智能监控技术领域，特别是涉及一种基于智能机器狗的作业现场数字化监督系统及方法。


背景技术：

2.目前，围绕智能化安全管控，现有技术主要是从平台端和现场端进行技术创新，通过信息系统平台和智能安全终端实施远程监控和现场管控，但远程安全监控受限于网络通道和现场作业规模，在及时性和有效性方面存在制约，而以智能安全工器具、安全机器人、可穿戴设备为代表的智能安全终端，虽然种类多样，但缺乏有效整合，未能形成管控现场的合力。
3.因此，如何解决上述现有技术存在的缺陷成为了该领域技术人员努力的方向。


技术实现要素：

4.本发明的目的就是提供一种基于智能机器狗的作业现场数字化监督系统及方法，本发明基于智能机器狗实现现场作业监督，智能机器狗技术属于机器人技术范畴，不仅具备普通机器人面对突发险情减少人身伤亡的优势，还具有更优秀的运动性、稳定性、可拓展性，更适用于崎岖不平的道路状况，满足偏远现场的管控需求。并且，智能机器狗搭载边缘计算主机是智能处理现场违章情况的“大脑”，边缘计算作为一种新兴技术，具有低时延、高可靠、海量连接等特点，并在边缘侧发起，以产生更快的服务响应，满足现场实时业务需求。将边缘计算依托智能机器狗应用于现场安全管控，具备了有效关联后台数据、整合前端装备的功能，结合搭载的智能算法，将安全管控工作的重心落到现场、落到一线，可有效解决平台端和现场端存在的问题和不足，既大大减少网络带宽压力，减轻后台工作量，缩小安全管控死角，又能聚集各类智能终端的安全管控合力，切实提升作业现场的数字化安全管控水平，能完全解决上述现有技术的不足之处。
5.本发明的目的通过下述技术方案来实现：
6.一种基于智能机器狗的作业现场数字化安全监督系统，包括智能机器狗、手持终端、智能安全工器具和监控中心；所述智能机器狗具有监控摄像头，并内置有边缘计算主机；所述智能安全工器具与机器狗通信，并向机器狗传输数据；所述手持终端与机器狗通信，机器狗、手持终端与监控中心通信。
7.进一步，所述智能安全工器具包括智能安全带、智能安全帽、电子围栏、移动式布控球和智能接地线。
8.进一步，所述智能机器狗具有四个腿部，且每个腿部均具有髋关节、膝关节和脚踝关节。
9.一种基于智能机器狗的作业现场数字化安全监督方法，包括上述的监督系统，智能机器狗对作业人员、设备所在区域、方位、环境、地形进行测距和图像识别，并生成预设巡视路线，智能机器狗沿巡视路线对工作区域进行视频监控，并将监控图像传输给边缘计算
主机进行分析判断，边缘计算主机根据分析判断结果，对应控制智能机器狗的行为，同时智能机器狗接收各智能安全工器具传输的数据，并通过边缘计算主机进行分析判断后输出结果。
10.作为优选，所述巡视路线上设置4
‑
6个监控点，监控点与工作区域之间的距离为5
‑
15米。
11.作为优选，所述智能机器狗在移动过程中遇到障碍物，将自动避开障碍物。
12.作为优选，所述智能机器狗通过监控摄像头抓拍图片，并将图片传输给边缘计算主机，边缘计算主机采用视频分析算法对图片进行分析，步骤如下：
13.a.图片输入后，先进入场景识别模块判断是室内场景还是室外场景；
14.b.对功能项进行划分，根据目标检测的复杂程度将图片放入不同的目标检测模块；
15.c.对送入目标检测模块的图片检测出目标中心位置和尺寸大小，对需要进行细化分类的目标类型，抠出图片；
16.d.根据分类任务的是单标签还是多标签分别送入目标识别模块或多标签分类模块；
17.e.将得到的目标中心位置、尺寸大小、目标类型、整图场景类型、人体关键点送入功能逻辑判断模块，对功能进行判断输出结果。
18.作为优选，所述步骤c中如果图片尺寸过小或者过于模糊，则进行超分辨率重建或者对监控摄像头控制调整。
19.作为优选，所述边缘计算主机包括有负样本库，目标检测后发现为负样本，负样本库模块对召回率较高的负样本异常结果进行清除。
20.与现有技术相比，本发明的有益效果在于：
21.1.将智能机器狗与边缘计算主机有机的结合，运用智能机械狗的运动能力和避障能力适应各种复杂条件下的作业现场，同时在识别到现场作业条件的一些异常情况下，整套系统可以自动判断当前是否需要监控或者是否需要移动，从而适时的调整监控角度和位置，达到更好地监控识别效果；
22.2.智能机器狗与各智能安全工器具实现实时通信，时刻监测现场工作人员的工作情况，减少由作业不规范、工器具本身损伤、意外隐患等不确定因素所引发的安全事故；
23.3.发明能根据目标检测的复杂程度自适应地选择相应的目标检测算法，降低计算量的同时能保持检测性能；
24.4.本发明能进行摄像头控制或者超分辨率重建来提升目标的尺寸和分辨率；
25.5.本发明通过负样本库模块能自适应地对重复出现的负样本进行快速消除。
附图说明
26.图1是本发明的总体结构框图；
27.图2是本发明中的智能机器狗的结构示意图；
28.图3是智能机器狗巡视路线示意图；
29.图4是智能机器狗的工作流程框图；
30.图5是电子围栏的结构示意图；
31.图6是电子围栏的现场作业示意图；
32.图7是本发明中视频分析算法的结构框图。
具体实施方式
33.下面结合具体实施例和附图对本发明作进一步的说明。
34.如图1至图7所示，一种基于智能机器狗的作业现场数字化安全监督系统，包括智能机器狗、手持终端、智能安全工器具和监控中心。
35.所述智能安全工器具与机器狗通信，并向机器狗传输数据；所述手持终端与机器狗通信，机器狗、手持终端与监控中心通信。
36.所述智能机器狗包括头部1、躯干2、四个腿部3和柔性尾部4，所述躯干 2两端对应安装头部1和柔性尾部4，躯干2下方设置四个腿部3，所述每个腿部3均具有髋关节5、膝关节6和脚踝关节7。在躯干2内设有柔性脊柱8、柔索9、伺服马达10以及可拆卸式边缘计算主机11。柔索9分别连接伺服马达10 和四个腿部3，伺服马达10通过正反转以及速度变化调整柔索9的收缩张紧度，以达到控制四个腿部3活动的目的。该智能机器狗一共使用16个伺服马达10，达到16个自由度，伺服马达10输出端分别连接至头部1、柔性脊柱8、柔性尾部4以及四个腿部3的髋关节5、膝关节6和脚踝关节7。智能机器狗每条腿有 3个自由度，共计12个自由度。关节由大功率直流电机、精密减速机构和绝对式旋转编码器组成，可提供强大的关节动力、良好的力控性能以及高精度的角度反馈信息，可以满足各种高动态运动控制和步态规划开发的需要，包括：爬行、行走、跑跳等。
37.智能机器狗包括有运动控制单元、检测单元、信息输出模块、通信模块、定位导航模块、电源模块和控制单元,并且运动控制单元、检测单元、信息输出模块、通信模块、定位导航模块、电源模块、分别与控制单元双向通信。
38.所述检测单元包括红外传感器、电量传感器和语音识别单元,且红外传感器安装在头部的顶面,电量传感器安装在躯干顶面靠近柔性尾部的位置,语音识别单元安装在躯干的顶面。信息输出模块包括语音输出单元和图像输出单元,其中语音输出单元安装在头部的两侧,图像输出单元安装在头部的顶面,图像输出单元为led液晶显示屏，实现智能化人机互动。
39.所述通信模块包括无线单元和手机控制单元,其中无线单元包括无线天线，并且设置在柔性尾部内,该柔性尾部的一端与所躯干连接,另一端安装有开关键, 手机控制单元安装在躯干顶面靠近柔性尾部的位置，实现可靠的无线通信，能使用终端远程控制机械狗。
40.所述定位导航模块包括视觉单元和超声探测单元,其中视觉单元和超声探测单元均安装在头部的前端面,头部的前端面还安装有照明灯。定位导航模块和控制单元进行双向通信,由控制单元统一控制,实现对智能机器狗的位置进行实时检测及位置锁定。所述视觉单位采用监控摄像头。
41.所述边缘计算主机具备各类信息、数据泛在接入能力，一方面关联后台数据库，在线接收与现场作业相关的作业计划、作业人员、安全工器具等各类信息，另一方面整合现场智能终端信息，实时接收现场各类设备、传感器、视频图像、人员定位等信息，边缘计算主机可搭载各类智能算法，实现现场作业管控、违章识别、风险提示等功能，边缘计算主机集成
各项功能装载于机械狗躯干内侧，可拓展、功耗小、可一键组网、可拆卸方便组装。
42.所述边缘计算主机上加载基于图像识别的违章识别算法(即视频分析算法)，通过边缘计算主机关联现场各类视频设备，控制智能机器狗自动选取识别违章的最佳角度和位置，提高违章识别的准确性。
43.该智能机器狗识别的违章类型及精度如下表所示：
44.45.[0046][0047]
所述智能机器狗的工作过程如下：
[0048]
将机器狗放置在作业现场，开机后系统自动启动监控摄像头和场景识别程序，对作业人员、设备所在区域、方位、环境、地形进行测距和图像识别，并生成预设巡视路线。
[0049]
智能机器狗将环绕作业工作区域，进行定期环绕一周的巡视。巡视路线上设置4
‑
6个监控点，在每个监控点驻留一段时间(5
‑
10分钟)。监控点与工作区的距离在5
‑
15米之间，具体根据现场的地形条件自动判断。
[0050]
在监控点驻留期间，摄像头对准工作区，运行基于人工智能的违章识别算法，对作业现场进行视频监控。若发现违章，将自动发声提醒。
[0051]
当发现作业人员违章后不及时整改的，将对其进行重点跟踪，调整当前巡视路线，适当靠近该作业人员进行跟踪监控，并加大提醒力度。
[0052]
智能机器狗移动过程中若遇到障碍物，将自动避障，绕开障碍物到达下一个监控点。
[0053]
所述智能安全工器具包括智能安全带、智能安全帽、电子围栏、移动式布控球和智能接地线。
[0054]
所述智能安全带是在传统安全带加装拉力传感器、低挂高用检测器、电池、通信等模块，实现拉力检测、低挂高用检测、无线传输数据功能。可广泛用于电力生产作业施工基建、运检、农网等需要高处作业的现场，提升高坠防护效果。所述通信模块与边缘计算主机通信。所述智能安全带为现有技术，具体结构在此不再赘述。
[0055]
功能如下：
[0056]
低挂高用检测：检测安全带腰带是否低挂高用，检测到低挂高用则发出告警信号提醒作业人员纠正。低挂高用检测模块包括液体检测管、指示灯、告警模块。液体检测管是在安全带腰带与后备绳中安装基于大气压强检测的高度检测器，当安全带腰带低挂高用时，播放告警音，提示使用人员。
[0057]
拉力检测：在安全带腰带挂绳与腰带的交点处、安全带后备绳挂钩处、安全带腿带与腰带交点处安装拉力传感器，用于检测安全带在人员使用过程中的拉力值，一是检测到拉力值才会开启低挂高用检测，防止低挂高用检测信号误报；二是如果检测到异常大的拉力值(超过50kg)，表明发生人员坠落险情，发出告警信息，并发送到后台管理系统。
[0058]
所述智能安全帽包括帽壳和位于帽壳外侧的照明灯，帽壳上设有供电模块，壳体内嵌入有与供电模块连接的近电警报模块、摄像头、语音对讲模块、定位模块和控制模块，供电模块、电警报模块、摄像头、语音对讲模块、定位模块分别与控制模块相连，控制模块通
过无线通信网络与后台指挥中心进行数据通信。摄像头与边缘计算主机通信，该智能安全帽为现有技术。
[0059]
相关功能包括：
[0060]
现场视频：当工作人员需要光照补充时，可打开照所述摄像头内置图像采集单元，图像采集单元对安全帽周围环境进行全时况采集，并实时将采集数据发送至控制模块，控制模块通过互联网网络连接至后台或者移动终端，实现对摄像头的关闭和打开，方便后台指挥人员查看工作人员的工作进度；
[0061]
近电检测：当工作人员工作人员佩戴智能安全帽，在电场工作时工作，如果遇到前方电场异常变化，所述近电警报装置对周围环境工频电场进行采样，如采样结果分析得到工频电场产出标准工作强度值，则会发出警报。
[0062]
语音对讲：后台工作人员可通过语音对讲模块与现场工作人员进行数据沟通，语音对讲模块包括微型耳麦，微型耳麦，为工作人员较好的语音信号，提高工作效率。
[0063]
人员定位：工作人员可在手机移动终端上点开相应的定位模块包括gps/北斗导航定位单元、通讯单元，实时记录人员所在位置，并通过通讯模块实时发送位置信息至后台指挥中心；后台指挥中心对位置信息进行轨迹统计，方便后台工作人员及时了解到现场工作人员的工作状态。
[0064]
所述电子围栏包括固定支架21、立柱22、水平横杆23、电池模块24、无线充电模块25、红外发射模块26、红外接收板27、温湿度传感器28、通讯单元29、控制芯片30、警示灯31、有源rfid32、天线33、音响34和摄像头35。所述固定支架21上安装电池模块24，该电池模块24上配置有无线充电模块25，在电池模块25上设有立柱22，在立柱22上安装有红外接收板27、红外发射模块26、温湿度传感器28、通讯单元29和控制芯片30，所述红外发射模块26转动连接在立柱22上，水平横杆23固定在立柱22顶端，水平横杆22的一端安装警示灯31，另一端安装有源rfid32，在水平横杆23上设置音响34和天线33，摄像头35固定在音响34上，摄像头35与边缘计算主机通信。
[0065]
所述摄像头用于采集现场实时工作图像数据，通过通讯单元上传边缘计算主机及监控中心，用于智能机器狗和后台对现场工作人员进行行为违章识别。对于现场违章作业行为，及时通过音响提醒违章人员，能实现无人监控现场作业。本电子围栏通过红外发射模块、红外接收板，以建立虚拟的警戒围栏，可构建多形状作业区域，本电子围栏通过转动红外发射模块以调节红外发射模块与红外接收板之间的角度。此外，在电子围栏上设计警示灯时刻闪烁以提示非工作人员勿进入作业区域。通过有源rfid读取模块以实现远距离识别作业人员个人信息(单位，班组，姓名等)。电池模块，以实现对装置所有单元的供电，当蓄电池电量不足时，可通过无线充电模块进行电池能量补充。为实时采集现场作业环境温湿度，引入温湿度传感器，实时采集数据并通过无线模块上传后台。
[0066]
参见图6所示，当作业区域为长方形时，在长方形的四个角处分别设置电子围栏a、b、c、d，调节红外发射模块与红外接收板角度为90度。从图中可以看出，当电子围栏a与b之间有人员通过时，身体挡住电子式围栏a发射的红外线，以致电子围栏b红外接收板无法接受到相应红外，进而触发音响发出语音报警，提醒工作人员超出作业范围。为给作业人员预留正常作业通道，通过关闭电子围栏c的红外发射模块和电子围栏d的红外接受板，以实现电子围栏c、 d之间的通道屏蔽，不误发报警信号。
[0067]
所述移动式布控球和智能接地线均为现有技术在此不再赘述。
[0068]
上述的智能安全工器具均能与智能机器狗上的边缘计算主机实现通信，从而实现现场实时监控。
[0069]
一种基于智能机器狗的作业现场数字化安全监督方法，包括上述的监督系统，智能机器狗对作业人员、设备所在区域、方位、环境、地形进行测距和图像识别，并生成预设巡视路线，所述巡视路线上设置4
‑
6个监控点，监控点与工作区域之间的距离为5
‑
15米。智能机器狗沿巡视路线对工作区域进行视频监控，并将监控图像传输给边缘计算主机进行分析判断，边缘计算主机根据分析判断结果，对应控制智能机器狗的行为，同时智能机器狗接收各智能安全工器具传输的数据，并通过边缘计算主机进行分析判断后输出结果。
[0070]
所述智能机器狗在移动过程中遇到障碍物，将自动避开障碍物。
[0071]
所述智能机器狗通过监控摄像头抓拍图片，并将图片传输给边缘计算主机，边缘计算主机采用视频分析算法对图片进行分析，步骤如下：
[0072]
a.图片输入后，先进入场景识别模块判断是室内场景还是室外场景，场景识别模块跟着摄像头ip地址和视频流编号判断当前输入图片是室内场景还是室外场景；
[0073]
b.对功能项进行划分，根据目标检测的复杂程度将图片放入不同的目标检测模块；具体的讲，图片输入后同时进入目标检测模块，对产品功能所涉及的检测项进行分类，对于待检测目标比较密集、各种类型目标重合比较多的检测项，则选用精度更好、鲁棒性更强的fpn faster rcnn检测算法；对于待检测目标比较分散、各种目标重合比较少的检测项，采用yolo v5轻量级检测算法。这样，既可以保证比较复杂的检测项的检测精度，又能够提高比较简单的检测项的检测速度；
[0074]
c.对送入目标检测模块的图片检测出目标中心位置和尺寸大小，对需要进行细化分类的目标类型，抠出图片；
[0075]
d.根据分类任务的是单标签还是多标签分别送入目标识别模块或多标签分类模块；目标识别模块采用shufflenet v2和efficientnet两种识别模型，目标识别模块对涉及到人员和场景的比较细节的功能进行精细识别。
[0076]
faster rcnn和yolo v5检测算法中，位置回归分支和识别分支耦合在一
[0077]
起共用特征网络，且识别种类较多，因此识别精度较低。为了提高识别的准确率，对涉及到人员和场景比较细节的功能进行精细识别，对于比较简单的分类任务，如安全帽颜色分类，采用轻量级分类模型shufflenet v2进行识别；对于比较复杂的分类任务，如搬运梯子情况分类，采用efficientnet进行识别；
[0078]
e.将得到的目标中心位置、尺寸大小、目标类型、整图场景类型、人体关键点送入功能逻辑判断模块，对功能进行判断输出结果。功能逻辑判断模块的输入信息为工作人员的位置、运动状态、身份信息、动作行为以及衣服穿着等，现场设备的位置、类型信息、摆放状态等，现场设施的位置、类型信息、运行状态等，结合这些信息，将数量众多比较复杂的识别功能项拆分为基本信息的组合逻辑，然后结合基本信息以及逻辑对各个识别功能项进行判断。
[0079]
例如：“绝缘梯有人工作时无人扶梯”识别功能项，可以拆分为绝缘梯检测和人员检测的组合逻辑，因此，相关的检测和识别结果输出为：类型为绝缘梯的检测结果的位置，类型为人员的检测结果的位置。根据绝缘梯和人员的相对位置，判断有人在绝缘梯上工作，
如绝缘梯下面没有人员扶持，最后输出“绝缘梯有人工作时无人扶梯”。
[0080]
所述步骤c中如果图片尺寸过小或者过于模糊，则进行超分辨率重建或者对监控摄像头控制调整。
[0081]
所述边缘计算主机包括有负样本库，目标检测后发现为负样本，负样本库模块对召回率较高的负样本异常结果进行清除。对于重复出现以及持续出现的样本，加入负样本库，通过轻量级网络提取样本特征，送入特征库，然后对检测结果送入负样本特征库中进行比对，从而消除重复虚警。对检测结果图像通过shufflenet提取特征，与负样本库中图像的特征进行相似度计算，计算公式如下：
[0082][0083]
其中，f
del
为检测结果图像特征，f
neg
为负样本库图象特征，
·
为内积，||为求模(第二范数) 运算。若满足以下条件：
[0084]
θ＞θ
th
[0085]
其中，θ
th
为设定的相似度阙值。则此检测结果为虚警，在结果中去除。
[0086]
所述视频分析算法能够在复杂的场景下，在不同的硬件计算资源条件下，完成多功能项的智能视频解析，同时，能够对变化的应用场景进行快速学习，对新环境的异常结果进行快速纠正。该算法基于python语言做前期构建，实现算法从图像预处理，深度学习算法，及后续逻辑处理。算法部署根据实际服务器及边缘计算设备需求进行相应模型转化，转化后进行模型部署。根据实际检测需求，针对解决实际问题，在模型训练效率方面，可以在48小时内完成10 万张素材训练。
[0087]
边缘计算主机可根据目标检测的复杂程度自适应地选择相应的目标检测算法，降低计算量的同时能保持检测性能。
[0088]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0089]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0090]
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所
包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0091]
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0092]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。