应用AR/VR技术监控行车运行环境的控制系统及其控制方法与流程

应用ar/vr技术监控行车运行环境的控制系统及其控制方法
技术领域
1.本发明属于ar/vr控制技术来控制云台、智能摄像机的技术领域，特别涉及应用ar/vr技术监控行车运行环境的控制系统及其控制方法。


背景技术：

2.目前，ar/vr产业正处于快速发展阶段，产业发展前景非常广阔。从ar/vr技术的核心应用场景由娱乐并逐渐渗透到工业及自动化控制领域。传统的起重设备需要人员在驾驶室操作控制手柄控制其运动并进行现场观察，驾驶人员需要爬上、爬下进行现场观察，存在安全风险；吊装过程有可能存在盲区，存在安全隐患；冶金等行业的高低温恶劣环境、化工行业具有有毒有害环境给操作人员身体健康带来一定的影响。因此，改善传统的化工行业行车起重生产现状，将ar/vr技术应用于行车生产非常有必要。


技术实现要素：

3.本发明的目的在于克服现有行车操作技术上的缺陷，提供一种改善操作人员工作环境，提高企业自动化水平和远程控制技术，有效消除安全隐患、降低劳动强度、提高劳动生产效率、降低劳动成本，应用ar/vr技术实现异地操作的控制系统及其控制方法的技术方案。
4.本发明采取的技术方案是：应用ar/vr技术监控行车运行环境的控制系统，其包括：信息采集模块、控制模块；所述信息采集模块包括人脸或物体识别服务器4和摄像机6，所述人脸或物体识别服务器4和摄像机6安装于行车8上，所述人脸或物体识别服务器4和摄像机6分别通过交换机连接pc服务器2，用于将摄像机6采集的现场图像信号通过pc服务器2传送至所述控制模块，且接收pc服务器2的控制指令；所述控制模块包括ar/vr设备1，所述ar/vr设备1上安装语言识别控制系统5，所述ar/vr设备1和语言识别控制系统5分别通过所述交换机连接所述pc服务器2，用于将pc服务器2传送的现场图像信号传送至ar/vr设备1，并将ar/vr设备1发出的动作信号和语言识别控制系统5发出的语音信号作为控制指令通过pc服务器2传送至摄像机6。
5.上述的应用ar/vr技术监控行车运行环境的控制系统，其还包括存储处理模块，所述存储处理模块通过所述交换机连接所述pc服务器（2），用于记录及处理控制数据。
6.上述的应用ar/vr技术监控行车运行环境的控制系统，其所述存储处理模块包括硬盘录像机、具有存储功能的可视化模块。
7.上述的应用ar/vr技术监控行车运行环境的控制系统，其所述ar/vr设备1通过识别佩戴人员的动作，按照1:1的比例发出控制指令控制安装在行车上的摄像机6同步做出相应的转动。
8.上述的应用ar/vr技术监控行车运行环境的控制系统，其所述的摄像机6包括智能球摄像机、带控制云台的枪式摄像机。
9.上述的应用ar/vr技术监控行车运行环境的控制系统，其所述信息采集模块、控制模块、输出模块与所述交换机、pc服务器2之间采用有线网络或无线网络连接。
10.应用ar/vr技术监控行车运行环境的控制系统的控制方法，其包括以下步骤：a.将所述人脸或物体识别服务器4和摄像机6安装于行车8上；将所述语言识别控制系统5安装于ar/vr设备1；b.将所述ar/vr设备1、人脸或物体识别服务器4、语言识别控制系统5、摄像机6、硬盘录像机3分别通过交换机连接pc服务器2；c.操作人员佩戴所述ar/vr设备1；d.所述摄像机6采集现场图像信号，并将所述图像信号经过网络传送至所述交换机，所述交换机将图像信息转换成电信号传送至pc服务器2处理；e.所述pc服务器2将上述处理后的电信号通过网络传送给交换机，所述交换机将上述电信号转换成现场图像信号并传送至ar/vr设备1进行显示；f.操作人员根据ar/vr设备1显示的图像，通过头部、肢体动作发出控制指令通过网络传送至交换机，所述交换机将上述控制指令转换成电信号传送至pc服务器2处理；g.所述pc服务器2将处理后的控制指令通过网络传送至交换机，所述交换机通过网络将电信号转换成控制指令传送至摄像机6，并驱动摄像机6同步做出相应动作。
11.上述的应用ar/vr技术监控行车运行环境的控制系统的控制方法，其上述步骤d至g中，所述pc服务器2接收、传送的现场图像信号和控制指令均被输出至硬盘录像机3。
12.上述的应用ar/vr技术监控行车运行环境的控制系统的控制方法，其所述步骤d中，当出现移动的人员时，所述人脸或物体识别服务器4自动捕捉锁定该移动人员，通过控制系统使行车停止工作，并发出语音报警。
13.上述的应用ar/vr技术监控行车运行环境的控制系统的控制方法，其还包括摄像机镜头的推进和收回步骤，当操作人员需要查看吊钩或者细小的部位时，操作人员发出指令使摄像机同步做出相应动作后，操作人员发出“放大”或“缩小”的指令，所述指令通过交换机、pc服务器处理后推动摄像机镜头放大或缩小镜头。
14.有益效果：本发明综合利用ar/vr技术、遥控及远控技术、网络和5g技术使行车设备的操作人员离开被操作设备本身，实现在远离现场的任意地点对行车进行远程操作，可改善操作人员工作环境，提高操作人员的驾驶感受、舒适性；操作人员不必身处危险现场，提高了操作人员的安全性；有效的避免了上下起重设备，降低了操作人员的劳动强度，提高工作效率，降低了生产成本，本发明结构合理、便于操作、易于维修、投资少。
附图说明
15.图1为本发明控制系统的结构示意图。
16.图2为本发明控制系统的模块连接示意图。
17.图3为本发明控制流程图。
18.图中：1为ar/vr设备、2为pc机服务器、3为硬盘录像机、4为人脸物体识别设备、5为语言识别控制系统、6为摄像机、7为无线网络、8为行车。
具体实施方式
19.为使本发明实施方式的目的、技术方案和优点更加清楚，此处所描述的具体实施实例行车为例仅仅用以解释本发明技术，并不用于限定本发明技术。
20.实施例1参照附图1-2，本发明的应用ar/vr技术监控行车运行环境的控制系统，包括：信息采集模块、控制模块、存储处理模块；信息采集模块包括人脸或物体识别服务器4和智能球摄像机6，所述人脸或物体识别服务器4和智能球摄像机6安装于行车8，所述人脸或物体识别服务器4和智能球摄像机6分别通过交换机连接pc服务器2，用于将智能球摄像机6采集的现场图像信号通过pc服务器2传送至所述控制模块，且接收pc服务器2的控制指令；控制模块包括ar/vr设备1，ar/vr设备1可以是ar/vr眼镜、智能头盔、移动终端、手机以及基于软件开发的智能设备。所述ar/vr设备1上安装语言识别控制系统5，所述ar/vr设备1和语言识别控制系统5分别通过所述交换机连接所述pc服务器2，用于将pc服务器2传送的现场图像信号传送至ar/vr设备1，并将ar/vr设备1发出的动作信号和语言识别控制系统5发出的语音信号作为控制指令通过pc服务器2传送至智能球摄像机6。ar/vr设备1通过识别佩戴人员的动作，按照1:1的比例发出控制指令控制安装在行车上的摄像机6同步做出相应的转动。
21.存储处理模块，本实施例中，存储处理模块包括硬盘录像机3，硬盘录像机3通过所述交换机连接所述pc服务器2，用于记录控制数据。
22.所述信息采集模块、控制模块、存储处理模块与所述交换机、pc服务器2之间采用有线网络或无线网络连接。
23.作为进一步的改进，ar/vr设备与pc服务器信号连接，可以是无线连接，例如wifi、蓝牙或者5g网络，pc服务器用于接收现场控制反馈信号和图像视频信号并进行计算处理，以形成实际控制信号和视频的显示，在具体实施过程中，在根据点云形成实际现场的情况及位置。
24.作为进一步的改进，所述的摄像机6还可以是带控制云台的枪式摄像机。
25.参照图3，本发明的控制方法包括以下步骤：a.将所述人脸或物体识别服务器4和摄像机6安装于行车8上；将所述语言识别控制系统5安装于ar/vr设备1；b.将所述ar/vr设备1、人脸或物体识别服务器4、语言识别控制系统5、摄像机6、硬盘录像机3分别通过交换机连接pc服务器2；c.操作人员佩戴所述ar/vr设备1；d.所述摄像机6采集现场图像信号，并将所述图像信号经过网络传送至所述交换机，所述交换机将图像信息转换成电信号传送至pc服务器2处理；e.所述pc服务器2将上述处理后的电信号通过网络传送给交换机，所述交换机将上述电信号转换成现场图像信号并传送至ar/vr设备1进行显示；f.操作人员根据ar/vr设备1显示的图像，通过头部、肢体动作发出控制指令通过网络传送至交换机，所述交换机将上述控制指令转换成电信号传送至pc服务器2处理；g.所述pc服务器2将处理后的控制指令通过网络传送至交换机，所述交换机通过网络
将电信号转换成控制指令传送至摄像机6，并驱动摄像机6同步做出相应动作。
26.上述步骤d至g中，所述pc服务器2接收、传送的现场图像信号和控制指令均被输出至硬盘录像机3。
27.情形一：通过ar/vr设备控制摄像机做出相应动作的控制方法如上步骤，ar/vr设备通过采集佩戴者的动作把位置和角度信号转换成相应的nvr和pc服务器能够识别的控制电信号，控制电信号通过24口智能交换机和nvr以及pc服务器连接，在服务器内部进行数据处理，处理后的信息经过智能交换机和网络设备传输到行车上的智能球摄像机，智能球摄像机在经过数据的解码、编译、转换之后进行控制智能球摄像机进行动作。
28.当操作人员佩戴ar/vr智能设备向左进行转动30
°
时，智能球摄像机将跟随相应的方向向左转动30
°
；当操作人员做出低头、抬头或向右转动的动作时，现场的智能球摄像机跟随相应的角度同步旋转相同的角度。
29.情形二：通过ar/vr设备调整摄像机镜头的推进和收回的方法当操作人员需要查看吊钩或者细小的部位时，操作人员发出指令使摄像机同步做出相应动作后，操作人员发出“放大”或“缩小”的指令，所述指令通过交换机、pc服务器处理后推动摄像机镜头放大或缩小镜头。
30.如上述步骤，ar/vr设备佩戴者通过发出放大、缩小的语音指令，ar/vr设备把声音信号通过解码、编码等处理转换成语音系统能够识别的电信号，电信号在经过pc服务器进行处理，转换成语音信号的电信号经过智能交换机和网络系统传输到智能球摄像机网络的接收端，在接收端把电信号经过解码、转换后驱动智能摄像机镜头的推进和收回，做到场景的放大和缩小显示。
31.情形三：紧急情况下行车停车的控制方法如上所述步骤d中，当出现移动的人员时，所述人脸或物体识别服务器4自动捕捉锁定该移动人员，通过控制系统使行车停止工作，并发出语音报警。
32.当操作人员正在按照步骤d正在操作时，在划定的工作区域内出现移动的人员，这时人脸识别系统自动捕捉并锁定当前人员，并通过控制系统使行车停止工作，同时在操作人员的ar/vr设备上进行报警增强显示并在现场发出：“你已进入危险区域，请立即离开”的警示；当现场人员离开后操作人员才能取消报警继续操作。
33.本发明通过现场摄像机6采集对应的现场图像，图像经过无线网络7传送到pc服务器2，在pc服务器2处理后传送到ar/vr设备1进行显示，操作人员佩戴ar/vr设备1通过头部动作和语音，将指令经过pc服务器2、无线网络6对现场摄像机5形成闭环控制，达到控制使用需求。
34.实施例2本实施例与实施例1的区别之处在于，输出设备采可视化视频处理平台等。
35.ar/vr设备1通过无线网络接收摄像机画面信息，这个画面可作为操作现场设备的视频信号来源。ar/vr设备并通过网络平台实时将头部或肢体动作，如转头、抬头、低头等传递给智能球摄像机旋转平台进行实时动作。
36.本发明创造的工作原理：当操作人员佩戴ar/vr设备操作行车时，通过摄像机采集对应的现场图像，图像经过网络传送到服务器，在服务器处理后传送到控制ar/vr设备进行
显示，操作人员佩戴ar/vr设备根据现场实际情况通过头部动作和语音，将指令经过pc服务器、无线网络对现场摄像机形成闭环控制，达到控制使用需求。
37.以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。