一种沉浸式港口设施智能巡检方法与流程

本发明属于港口巡检技术领域，尤其涉及一种沉浸式港口设施智能巡检方法。

背景技术：

港区巡检工作是及时发现和排除安全隐患、保障港区安全稳定运转的必要工作之一。传统的港区巡检方式主要以人工定时定点巡检为主，一线工作人员携带纸质标准巡检作业书，到达指定地点后，通过个人判断以及手持红外热像仪、相机等相关配套检测装置对港口基础设施、机械设备等进行检测，确认是否存在安全隐患。

由于港区范围较大、设施设备较多、人工检测耗费时间较长且由于巡检人员可能存在经验不足等情况，所以人工巡检的过程中有可能存在检测不及时、误判、错判的现象。此外，通过人工巡检方式获得的数据较为零散，对获取的大量巡检数据无法进行科学有效的分析，也没有足够的能力对长期巡检下来的历史数据进行全方面的对比，无法及时有效发现安全隐患。随着港区内基础设施、设备数量的不断增多，且覆盖面不断扩大，日常巡检的任务也日益繁重，人工巡检的劣势愈加明显。另一方面，随着机器人技术的长足发展，采用自动巡检机器人代替现有的人工巡检操作逐渐得到了应用。具体地，机器人自动巡检可以减少户外恶劣环境条件下人员前往的次数，减轻工作人员的工作强度；自动巡检机器人可以有效监测当前环境的相关信息，对关注区域进行拍照数据留存，将采集的数据通过后台分析后可以传送到后台管理系统，当发生异常时可进行报警提醒，提高了港区的安全性；巡检机器人可以统一规划好巡检路径、巡检时间，不会出现巡检顺序混乱的状况。

然而，无论是人工巡检还是机器人巡检，最终的目的是令港区安全巡检运维人员更准确、更直观地获知巡检情况，从而得出巡检结论。然而如前所述，无论是人工巡检的方法还是机器人巡检的方法，都存在巡检人员无法准确、直观地获知巡检情况的弊端。

因此，需要对港口设施的巡检方法进行设计，规避人工巡检方式下巡检效率低、误判错判等问题，同时规避人工巡检方式和机器人巡检方式下巡检信息不够直观形象等问题。在人工巡检的模式下，巡检人员能够较为准确地获取巡检信息并且易于将巡检信息与设施做好位置上的对应，因此新的巡检方法应该更贴近于人工巡检的方法，只是需要采用技术手段克服人工巡检模式下的低效、误判等问题。

技术实现要素：

本发明为解决公知技术中存在的技术问题而提供一种沉浸式港口设施智能巡检方法，在充分模拟人工巡检模式的基础上，令巡检人员足不出户就能够直观形象地获知巡检情况，提升巡检的效率，减少误判等问题。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种沉浸式港口设施智能巡检方法包括以下步骤，(1)对真实港口场景和需巡检港口设施的位置进行测绘，将测绘数据存储至数据服务器，为每个需巡检的港口设施建立参数标签页，参数标签页中含有反映港口设施状态信息的多个状态属性参数；(2)采用巡检信息获取装置持续获取真实港口场景中需巡检港口设施的状态信息，将港口设施的状态信息发送至数据服务器并对相应的状态属性参数进行更新；(3)采用数据处理器从数据服务器中查询、调用数据信息并对数据信息进行分析计算，实时生成虚拟港口场景并将虚拟港口场景在前端显示器上进行显示，位于巡检活动区域内的巡检人员通过前端显示器获取虚拟港口场景中的视野；(4)巡检人员手持交互采集器，在巡检活动区域内进行沉浸式巡检操作，采用定位传感器对交互采集器进行定位检测，初始条件下，虚拟港口场景中的巡检人员位于设定的起始巡检位置；(5)巡检人员在巡检活动区域内产生移动操作指令，定位传感器对前述移动操作指令进行获取并传输给数据处理器，数据处理器接收移动操作指令，前端显示器上显示的、巡检人员在虚拟港口场景内的视野作出与移动操作指令相适的移动；(6)巡检人员在巡检活动区域内对视野内的港口设施产生交互操作指令，数据处理器接收交互操作指令，在前端显示器的显示界面上弹出参数标签页，巡检人员对状态属性参数进行查阅，完成该处港口设施的巡检；(7)重复步骤(5)和步骤(6)，完成全部港口设施的沉浸式巡检工作。

本发明的优点和积极效果是：

本发明提供了一种沉浸式港口设施智能巡检方法，与现有的港口设施巡检方法相比，本发明中的方法通过在数据服务器内基于测绘得到的真实港口场景数据和港口设施位置数据构建了虚拟港口场景，通过采用巡检信息获取装置持续获取真实港口场景中港口设施的状态信息并将状态信息更新到虚拟港口场景内，为巡检人员提供了一个虚拟化的、沉浸式的巡检场景，巡检人员以漫游的方式在虚拟港口场景中模拟人工巡检的操作模式，到港口设施所在的位置触发交互，获取港口设施的巡检信息。

因此，本沉浸式的智能巡检方法令巡检人员足不出户就能够完成对港口设施的巡检工作，与现有的真实港口场景下的人工巡检方式相比，沉浸式的巡检方式能够降低巡检人员的工作负担，由于在前端显示器上显示的设施状态信息更易于准确和快速的读取，因此提升了巡检的效率，也能够避免由于信息读取问题导致的巡检误判问题。另一方面，由于港口的区域面积通常较大，在真实场景下完成巡检工作耗时费力，本发明中通过令巡检人员在有限的巡检活动区域内作出巡检移动并通过定位传感器检测前述移动、令巡检人员通过交互采集器产生交互指令，实现了在虚拟港口场景中的路径移动和交互响应，巡检人员在巡检活动区域移动较小距离即可对应虚拟港口场景中和真实港口场景中的较大距离，因此能够实现快速巡检，也是降低巡检人员工作强度的重要技术手段。通过在前端显示器上显示虚拟港口场景以及移动、交互信息，令巡检信息的显示更直观化和形象化，提升了沉浸式巡检时的沉浸感和代入感，保证巡检的效果。

优选地：步骤(1)中还为需巡检的港口设施建立图像标签页，图像标签页上显示采集获取的港口设施图像信息，在步骤(6)中数据处理器接收交互操作指令后，在前端显示器的显示界面上同步弹出图像标签页。

优选地：步骤(2)中的巡检信息获取装置包括现场获取装置和以设定路径方式或者自主规划路径方式作巡检移动的巡检机器人，两者与数据服务器无线通信连接；现场获取装置包括安装在需巡检的港口设施位置的状态传感器和/或状态仪表以及用于从状态传感器和/或状态仪表接收港口设施状态信息的多个港口设施状态采集器；巡检机器人包括移动底盘，在移动底盘上安装有图像采集器。

优选地：步骤(5)中，巡检人员通过在巡检活动区域内移动交互采集器的位置或者触发交互采集器上设置的移动按键来产生所述移动操作指令。

优选地：步骤(6)中，巡检人员通过触发交互采集器上设置的交互按键来产生所述交互操作指令。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹举以下实施例详细说明。

本发明的沉浸式港口设施智能巡检方法，包括以下步骤：

(1)对真实港口场景和需巡检港口设施的位置进行测绘，将测绘数据存储至数据服务器，为每个需巡检的港口设施建立参数标签页，参数标签页中含有反映港口设施状态信息的多个状态属性参数；在本步骤中，还为需巡检的港口设施建立图像标签页，图像标签页上显示采集获取的港口设施图像信息。

数据服务器包括数据服务器主机和数据库软件系统，前述测绘得到的真实港口场景数据、港口设施的位置数据中准确地在数据服务器中进行录入和标定，参数标签页上显示的状态属性参数应充分涵盖港口设施的全部可获取参数项，图像标签页可包括多个独立的页面，分别显示获取的不同图像。

前述参数标签页显示的状态属性参数和图像标签页显示的图像信息，综合反应港口设施的运行状态，其中状态属性参数可以是温度、湿度、压力、流量等参数，图像信息可以包括自然光照片、红外成像照片、超声波成像照片等。

(2)采用巡检信息获取装置持续获取真实港口场景中需巡检港口设施的状态信息，将港口设施的状态信息发送至数据服务器并对相应的状态属性参数进行更新；如前所示，由于也为港口设施建立了图像标签页，因此还通过巡检信息获取装置获取港口设施的图像信息，图像信息发送至数据服务器并对相应的图像标签页进行更新。

本步骤中，巡检信息获取装置包括现场获取装置和以设定路径方式或者自主规划路径方式作巡检移动的巡检机器人，两者与数据服务器无线通信连接；现场获取装置包括安装在需巡检的港口设施位置的状态传感器和/或状态仪表以及用于从状态传感器和/或状态仪表接收港口设施状态信息的多个港口设施状态采集器；巡检机器人包括移动底盘，在移动底盘上安装有图像采集器。

具体地，现场获取装置的状态传感器是指为了检测港口设施运行状态的传感器，如温度传感器、压力传感器等，状态仪表是指港口设施自身配备的一些仪表，如管道流量计、管道压力计等，上述状态传感器和状态仪表测量的信息综合反映港口设施的运行工况，如港口管道内的介质流量、介质压力、介质温度等，这些状态信息处于设定的范围内则代表港口设施处于正常运转的状态，超出范围则代表处于非正常运转的状态，巡检人员通过巡检操作来获取港口设施的前述运行状态。

港口设施状态采集器从状态传感器和/或状态仪表获取数据，结构上：港口设施状态采集器包括处理器模块、电源模块、存储模块、模数转换模块和无线通信模块，其中模数转换模块用于将状态传感器和/或状态仪表发送来的模拟信号转换为数字信号，电源模块用于为整个采集器提供电源，通常包括交直流转换电路和稳压稳流电路等，存储模块用于对检测获取的状态数据进行本地存储，无线通信模块用于采集器与数据服务器之间的无线通信，将状态数据上行发送，处理器模块用于对获取的数据进行处理，向无线通信模块发送指令以完成前述数据上行发送的操作。

具体地，巡检机器人基于移动式底盘进行搭建，由于巡检机器人的移动范围较广，因此通常采用可充电电池提供电源，在巡检机器人的底盘上可以设置嵌入式控制器和用于获取巡检信息的多种传感器，如用于获取图像的可见光摄像头、用于对场景进行扫描的激光雷达、用于红外成像的红外热像仪等，还可以设置激光雷达传感器和超声波传感器等。巡检机器人与数据服务器之间以无线通信的方式进行通信连接，将获取的巡检信息上传到数据服务器，用于构建虚拟港口场景以及更新港口设施状态信息。

巡检机器人可以采用设定路线的方式在真实港口场景中巡检移动，具体地可以通过划定导航路线的方式或者在地面设置可识别的移动路径的方式为巡检机器人规定巡检路线。在巡检路线上、需要巡检的港口设施附近，巡检机器人作短暂停留，采用设定的手段对港口设施进行检测以获取运行状态数据，完成当前位置设施的数据获取之后沿着设定的路线移动至下一位置，重复检测操作。

(3)采用数据处理器从数据服务器中查询、调用数据信息并对数据信息进行分析计算，实时生成虚拟港口场景并将虚拟港口场景在前端显示器上进行显示，位于巡检活动区域内的巡检人员通过前端显示器获取虚拟港口场景中的视野；

前端显示器可以选取为屏幕或者头戴式显示器。当前端显示器为屏幕时，屏幕可以设置在巡检操作室内，壁挂安装。执行沉浸式巡检操作时，巡检人员位于屏幕的前方，则前述视野显示在屏幕上，当巡检人员在活动区域内移动或者通过交互手柄触发移动指令时，屏幕上显示的视野随着巡检人员在虚拟港口场景内的位置变化而同步变化，因而到达需要巡检的港口设施附近时，屏幕上也显示该港口设施，巡检人员通过交互手柄触发交互指令后，在屏幕上该港口设施可以高亮显示并在侧方位弹出一个状态信息显示子界面，通过港口设施状态采集器采集得到的、已经在数据服务器内更新过的设施状态数据信息显现出来，完成该港口设施的巡检。当前端显示器为头戴式显示器时，巡检人员在进行巡检操作时将头戴式显示器进行佩戴，通过头戴式显示器观察前方视野内的场景，移动方式以及对虚拟港口场景内的设施交互指令其操作方式与前述相同。

屏幕方式与头戴式显示器方式相比，前者为敞开式显示方式，即其他人也可以同时观察显示的内容，后者为封闭式显示方式，即只有巡检人员可以观察显示内容，可以根据具体需求选择两种方式之一或者同时配备两种显示方式，相较而言，头戴式显示器方式下的沉浸式体验更好。

(4)巡检人员手持交互采集器，在巡检活动区域内进行沉浸式巡检操作，采用定位传感器对交互采集器进行定位检测，初始条件下，虚拟港口场景中的巡检人员位于设定的起始巡检位置；

数据处理器接收定位传感器发送的位置数据，并作出巡检人员移动方向和移动距离的计算。同时数据处理器接收交互手柄发送的指令信息，并作出巡检人员移动方向和移动距离的计算，类似vr游戏中的体验，当交互手柄的方向按键持续被触发时，巡检人员在虚拟港口场景中的移动路径上持续前进，直至释放对交互手柄上方向按键的触发。数据处理器的另一个功能是从数据服务器中查询、调用数据信息，并对数据信息进行分析计算，实时生成虚拟港口场景，该虚拟港口场景反映巡检人员在虚拟港口场景中某一位置时其正前方的视野，若这个位置有需要巡检的设施，则该港口设施位于视野范围内。

数据处理器可以选取为计算机，由于需要进行数据查询调用以及图像生成、图像输出等操作，因此需要具备较强的运算能力和图像处理能力，即计算机的cpu、内存和显卡配置需要满足前述数据处理的要求。

定位传感器选取为光学定位摄像头，交互采集器选取为带有光学定位标记以及操作按键的交互手柄。巡检人员在虚拟港口场景内的巡检操作通常在巡检操作室内进行，因此定位传感器安装设置在巡检操作室内，光学定位摄像头指向巡检人员活动的区域，当巡检人员持有交互手柄在区域内活动时(如前进、后退、左右平移、转向等)，光学摄像头感知交互手柄的位置变化，该位置变化情况发送给数据处理器进行处理，判断巡检人员在虚拟港口场景中的位置移动趋势，将巡检人员在活动区域内的活动映射转化为在虚拟港口场景中的移动动作。

交互手柄上设置的按键通常包括方向按键和选取/确认按键，因此巡检人员在虚拟港口场景中的移动动作也可以通过前述方向按键给出，如触发前进方向按键时，巡检人员在虚拟港口场景内向当前所在位置的前方移动，选取/确认按键用于在虚拟港口场景中选取港口设施并触发交互事件，触发交互事件后，该港口设施的运行状态信息以图形化、文字化等方式进行直观显示，供巡检人员查看。

(5)巡检人员在巡检活动区域内产生移动操作指令，定位传感器对前述移动操作指令进行获取并传输给数据处理器，数据处理器接收移动操作指令，前端显示器上显示的、巡检人员在虚拟港口场景内的视野作出与移动操作指令相适的移动；

在本步骤中，巡检人员通过在巡检活动区域内移动交互采集器的位置或者触发交互采集器上设置的移动按键来产生所述移动操作指令。具体地，“移动交互采集器”是指巡检人员携带交互采集器在巡检活动区域内移动，如向前走、向后退等，“触发交互采集器上设置的移动按键”是指巡检人员在巡检活动区域内不发生位置移动，而是通过触发交互采集器上的方向按键来产生移动操作指令，如触发前进按键则前进、触发后退按键则后退。

(6)巡检人员在巡检活动区域内对视野内的港口设施产生交互操作指令，数据处理器接收交互操作指令，在前端显示器的显示界面上弹出参数标签页，巡检人员对状态属性参数进行查阅，完成该处港口设施的巡检；在本步骤中，数据处理器接收交互操作指令后，在前端显示器的显示界面上同步弹出图像标签页。

在本步骤中，巡检人员通过触发交互采集器上设置的交互按键来产生所述交互操作指令。具体地，在虚拟港口场景中巡检人员移动到了需要巡检的港口设施附近时(也就是该港口设施落入巡检人员的视野内)，应停止移动，之后触发交互采集器上的交互按键，与该港口设施对应的状态信息被数据处理器从数据服务器中查询、调用出来，在前端显示器的显示界面上进行显示，包括参数标签页和图像标签页，上述页面标注最近一次更新的时间信息。

(7)重复步骤(5)和步骤(6)，完成全部港口设施的沉浸式巡检工作。