一种基于增强现实技术的国网数字换流站运维系统的制作方法

1.本发明涉及国网运维技术领域，具体为一种基于增强现实技术的国网数字换流站运维系统。


背景技术：

2.随着大数据平台、人工智能、工业机器人等一大批代表着先进生产力的技术逐步落地，更大规模的基建、数字基建展开，在国网运维现场传统的设备、系统将逐步被取代。一方面，现有技术工人自我学习的能力受到科技浪潮带来的巨大冲击，先进的技术装备给生产工作带来便利的同时，也把内在的复杂隐藏了起来，使得工业企业更多的依赖设备商提供的技术服务，自身技术人员对生产系统的支撑呈现衰弱趋势。另一方面，现场设备、传感器网络、智能化平台的数量都在逐年递增，一线运维人员要面对平台系统数量逐年增多的现状。企业保有的中高级技术人员数量跟不上平台系统发展的步调，过渡保有人力资源又会产生巨大的企业负担，使得“降本增效”愈发的困难。
3.随着新装备的列装,维修理论的发展,维修管理信息化的推进，电网运维质量控制工作会有更大的发展机遇和空间，同时也将面临巨大的挑战。
4.对运维人员的衡量指标是运维效率，即单位时间内，每人可以覆盖多少设备的运维工作。按照目前的发展趋势，每年会有一些新增站点和老站扩容，年增长率接近10％。基层运维需要更全面的知识覆盖，效率更高的检测手段。在换流站运维工作一线存在如下问题：
5.1.现场调阅后台运维数据困难；
6.2.远程协助效率低；
7.3.压板核验效率低；
8.4.现场运维人员获取标准操作演示流程繁琐；
9.5.现场获取设备备件信息过程繁琐；
10.6.现场调阅设备运维步骤、查阅设备信息效率低；
11.7.运维过程测温留证操作复杂；
12.8.现场核验非作业人员车辆准入手续较繁琐；
13.9.设备、装置指示灯状态判断效率低。
14.在当前有必要引入新的技术装备，来纠正电网运维工作中长期存在“老习惯”、“土办法”，严格坚持法规制度，提高质控工作正规化水平。为了适应新装备的发展，积极推行科学维修管理方式，引入增强现实技术装备，在运维质控环节丰富“读卡”检查方式，提升“依卡”执行的效率，规范“按卡”操作的要求，对维修培训进行全过程监控，可历史追述，显得尤为必要。
15.增强现实技术已经在工业现场崭露头角。通过空间定位技术、机器视觉技术等，为工业现场的点巡检工作、技能培训工作带来工作方式的改变和效率的提升。通过空间标注，可以让现场工人快速理解在当前工作区域的工作内容和工作要求，对于特殊操作要求，通
过空间悬挂动画的方式，展示操作要领。在实操培训阶段，会通过远程协助系统，利用增强现实技术提供的双向音视频、空间标注、图纸悬挂、远程桌面等多种工具，大幅度提升远程指导效率。事后研判环节，会通过第一视角音视频记录，为实操训练效果进行客观评判，做出改进计划。通过这一系列的科技手段，工业现场培训、运维工作有了改头换面的新气象，很值得我们学习和借鉴。
16.引入增强现实技术，就是我们创新质控管理与时俱进的新手段。我们可以在运维环节的源头，有计划的进行标准化质控素质的培养。电网运维信息化建设是未来发展的趋势，通过引入增强现实装备，使我们在质控工作中有了新的技术手段。在日常工作中注重提高质控工作的“三个能力”，即量化分析、精确计划、预想预测能力。通过量化分析，为电网运维提供量化决策依据；通过精确计划,提高电网运维效率；通过科学预想预测，提高电网运维的针对性。
17.基于此，本发明设计了一种基于增强现实技术的国网数字换流站运维系统，引入增强现实技术，对进一步丰富质控管理手段、提高质控管理水平，激发全员质控意识，都有着非常积极的作用，以解决上述提到的问题。


技术实现要素：

18.本发明的目的在于提供一种基于增强现实技术的国网数字换流站运维系统，通过智能眼镜，结合机器视觉技术、深度学习技术、空间定位技术以及智能交互技术，研发一套智能化运维系统，辅助运维人员在工作现场快速调阅运维手册、安全规程、历史运维数据、压板标准状态图形数据等，更加精准完成既定运维工作，提升工作效率；集成热成像技术与空间标注技术，研究一套高效的运维测温设备。简化现场测温流程，快速记录异常数据，强化运维留证工作；通过对现场设备、装置的指示灯状态的识别，对比后台数据，快速核验现场设备、装置工作状态，提升运维效率；研究一套便携式运维装备，通过人脸识别技术、车牌识别技术，在运维现场简化核验人员与工程车辆身份信息流程，降低安全事故发生概率；研究一套全新的平台系统，通过音视频互动、ar标签、桌面共享等方式，为运维远程协助提供一个更加友好的工作平台，提升远程协助效率。
19.为实现上述目的，本发明提供如下技术方案：一种基于增强现实技术的国网数字换流站运维系统，包括服务器系统和移动终端设备系统，所述服务器系统包括应用服务器、数据库服务器、管理服务器以及数据服务器，所述应用服务器、数据库服务器和管理服务器私有化部署于国网内网，然后通过网闸从数据服务器获取相应运维数据，最后通过认证服务器、加密网关和防火墙等设备与互联网连接，移动终端设备系统通过接入认证与国网内网各服务器数据互联互通。
20.优选的，上述一种基于增强现实技术的国网数字换流站运维系统中，所述服务器包括
21.软总线平台，用于负责在广域网或者专有网络中，将系统各类数据实时送达；
22.系统上联模块，用于实现与其它应用系统的协议层互联；
23.硬件适配模块，用于实现对扩展板卡所需驱动程序、通讯协议适配功能；
24.web服务模块，为应用客户端提供基于浏览器的访问服务；
25.数据库，用于承担系统各数据的存储和增、删、改、查功能；
26.设备管理模块，用于提供系统对各接入硬件设备的管理；
27.资源管理模块，用于管理系统的内存和硬盘使用状态；
28.音视频模块，用于为系统提供统一的音视频交互通道，对音视频交互过程中产生的数据进行记录管理；
29.设备场景管理模块，用于管理由智能眼镜扫描建模的零散空间信息；
30.识别服务模块，用于对应用程序提供的各类物体的识别算法服务；
31.人脸识别模块，用于对人脸识别过程中产生的人员信息、告警信息进行云端管理和同步；
32.标签管理模块，用于向应用程序提供文本标签、视频标签、表格标签、图形标签以及模型标签标准访问接口，同时向应用程序提供标签编辑、标签的增、删、改、查功能；
33.模型管理模块，用于对系统接入的各数据模型治理，使之成为标准的数据格式，并分类管理；
34.人员管理应用模块，用于完成目标单位人员组织架构的梳理；
35.工单管理应用模块，用于按照目标单位的工作流程和具体要求设定维修维护工作计划和细节流程，对工单实施和后续追述统计提供支撑；
36.设备管理应用模块，用于按照系统设定，登记设备归属情况，实时监测设备运行状态，记录设备使用信息；
37.远程协作应用模块，用于为多个前端设备提供的服务应用，通过音视频互动平台，接入多个用户，利用对第一视角视频的增强现实标注、动画演示、桌面共享；
38.ar运维模块，用于以增强现实标签的形式，明确工作目标、工作流程和工作要求；以视频标签的形式为现场工作人员展示操作视频；以文档标签形式为现场工作人员提供工具书籍资料调阅服务；以动态表格标签形式，为现场工作人员展示实时运维数据；热成像测温；压板状态比对；离线人脸识别、车牌识别；设备、装置指示灯状态识别；
39.报告管理模块，用于将运维人员、设备、运维记录、仪器仪表产生数据，按照用户要求，生成相应格式的报告。
40.优选的，上述一种基于增强现实技术的国网数字换流站运维系统中，所述移动终端设备系统包括移动终端设备和ar运维应用单元，所述移动终端设备为智能眼镜、电脑、pad或者手机设备，所述ar运维应用单元包括
41.实时运维数据模块，用于通过智能眼镜实时查看当前设备信息、运行参数、历史缺陷记录以及当前仪表数据与后台数据差异；
42.强化操作模块，用于通过智能眼镜扫描设备或者装置上的二维码，查看运维须知、运维规程以及历史运维信息，所述信息以文本增强现实标签的形式悬挂在设备周边；
43.多方远程协助模块，用于将现场巡检人员、远程专家、外协专家整合在一个平台上工作，通过标记、展示图纸、白板研讨以及共享桌面多种方式，进行远程协助；
44.压板状态对比模块，用于通过佩戴的智能眼镜，扫描压板柜二维码，应用程序会展示该压板柜开关的正确状态，运维人员通过比对标准图形和压板状态完成压板柜核验；
45.二次设备测温模块，用于通过佩戴的智能眼镜，对二次设备机房设备进行实时红外测温，系统自动记录超越阈值的视频信息，同时给出声音报警，事后方便运维人员调阅告警音视频数据；
46.人员车辆核验模块；用于通过佩戴的智能眼镜，对工作现场出现的车辆和人员进行快速身份核验、记录告警信息，方便事后调阅；
47.核验指示灯状态模块，通过佩戴智能眼镜，扫描机柜二维码，一方面，调阅该设备指示灯状态数据，另一方面通过机器视觉方式识别当前设备指示灯状态，通过与后台数据比对，给出当前设备工作状态评价。
48.优选的，上述一种基于增强现实技术的国网数字换流站运维系统中，所述智能眼镜主要由主控模块、通讯模块、定位模块、imu、其它传感器、显示模块、图像采集模块和mic/spk模块组成；
49.所述主控模块用于完成数据采集、图形渲染、音视频编解码、人机交互命令处理、电源管理以及各模块间的数据互通；
50.所述通讯模块用于完成智能眼镜接入网络；
51.所述显示模块通过lvds总线与主控模块相连接；
52.所述图像采集模块用于完成可见光和红外图像采集；
53.所述mic/spk模块采用麦克风阵列降噪设计，spk模块支持背景降噪；
54.所述定位模块支持gps、北斗双模；
55.所述imu模块为增强现实应用核心模块，主要包含三轴角速度计、三轴加速度计；
56.所述其他传感器模块包含测距传感器、光线传感器以及温度传感器，测距传感器为构建空间测量算法提供数据支撑；光线传感器测量实时环境亮度，配合系统调节近眼显示模块亮度；温度传感器实时测量环境温度，配合测温应用调节测量环境参数；
57.所述电池模块为智能眼镜提供持续稳定电力，配合外接适配器为电池充电，与主控模块电源管理单元配合，为智能眼镜各功能模块提供相应工作电压，同时具备数据通讯模块，向系统报告实时电量、温度、充放电次数相关数据。
58.与现有技术相比，本发明的有益效果是：
59.1、拉通前后台数据，将现场设备的概况信息、实时运行参数、历史缺陷信息从后台抓取并以增强现实标签的方式展示给现场运维人员，方便工作人员现场决策。同时感知现场设备工作状态，记录数据。
60.2、规范运维流程，运维检修人员通过佩戴智能眼镜，进入工作区后，通过智能眼镜携带的摄像头快速扫描机柜标识，在机柜相应位置展示本次运维的安全须知、技术要领和运维历史记录。通过运维人员对以上信息的学习，规范标准操作、强化工作习惯、了解运维历史信息。
61.3、现场工具类数据支撑，运维人员通过语音命令触发动画演示，配合语音讲解，为运维人员详细介绍操作要领和技术要求；通过文档标签方式，展示必要工具类文档，方便现场人员调阅；以文本标签形式展示当前设备备件存储位置、数量等相关信息；以文本标签形式展示当前设备历史运维记录、故障记录等信息。
62.4、压板比对，在电网运维过程中，压板柜各开关状态相对固定，通常需要运维巡检人员通过阅读开关状态描述文件与实际开关状态逐一比对，效率低。也曾尝试过通过机器视觉来自动判读开关状态，但由于受到工业现场光线、角度、距离限制，识别率最高为95％。机器视觉不能达到100％的情况下，在本应用场景不具备使用价值。因此，我们采用标准图形比对的方式，为现场运维检修降低劳动强度，提升比对效率。
63.5、多方远程协助，现场运维检修人员通过远程协助系统，接受远程专家技术指导。远程专家通过实时增强标签标注、语音对讲、白板、冻屏、悬挂视频、桌面共享等多种方式与现场人员沟通，必要时还可以引入第三方、第四方人员远程会诊。通过多种沟通手段，提升远程协助效率，强化记录留证。
64.6、安全管控，在现实作业现场中，对外来人员和车辆身份核实手流程较为繁琐。通过现场运维检修人员佩戴的智能眼镜，对作业区域人员和车辆进行快速识别核验，杜绝外来人员车辆对安全生产带来的隐患。
65.7、热成像筛查，在二次设备机房，对所有目力所及的设备、仪器、装置进行热成像筛查，自动记录高温点，视频留证，提升运维效率。
66.8、装置指示灯识别，在巡检运维现场，通过智能眼镜对机柜、装置指示灯亮灭状态识别，比对后台数据，给出判断结果，辅助运维人员提升工作效率。
附图说明
67.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
68.图1为本发明系统框架结构示意图；
69.图2为本发明服务器框架结构示意图；
70.图3为本发明ar运维应用单元框架结构示意图；
71.图4为本发明智能眼镜框架结构示意图。
具体实施方式
72.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
73.请参阅图1，本发明提供的一种实施例：一种基于增强现实技术的国网数字换流站运维系统，包括服务器系统和移动终端设备系统，所述服务器系统包括应用服务器、数据库服务器、管理服务器以及数据服务器，所述应用服务器、数据库服务器和管理服务器私有化部署于国网内网，然后通过网闸从数据服务器获取相应运维数据，最后通过认证服务器、加密网关和防火墙等设备与互联网连接，移动终端设备系统通过接入认证与国网内网各服务器数据互联互通。
74.请参看说明书附图中图2：所述服务器包括
75.系统软总线主要负责在广域网或者专有网络中，将系统各类数据实时送达(依据现有物理传输介质特性，尽最大可能性传送)。系统软总线将各类数据抽象分类、对网络重传机制、qos、以及各类型设备、常用传输协议进行封装，便于后续系统通过标准接口快速接入，实现数据的互联互通。
76.系统上联模块主要实现本系统和其它应用系统的协议层互联。为后续系统功能扩
展，实现多个第三方协议和行业通用协议，方便与其它应用系统交互数据。
77.硬件适配模块主要实现对扩展板卡所需驱动程序、通讯协议等适配功能。一方面，当服务器扩容，新增未知硬件设备，需要开发相应的驱动程序和通讯协议。另一方面，当智能眼镜侧需要与新增仪器、仪表、功能模块互联互通时，可从服务器侧下载相应的驱动程序和通讯协议。
78.web服务为应用客户端提供基于浏览器的访问服务。
79.数据库服务是系统常见通用模块。主要承担系统各数据的存储和增、删、改、查等功能。本模块是其它服务及应用的基础。标准统一的数据库服务，有利于系统应用的快速开发和系统的稳定运行。
80.设备管理服务主要提供系统对各接入硬件设备的管理。实时同步各硬件设备的工作状态、能力访问、告警管理等功能。良好的设备管理，是系统协调运行的关键，属于本系统的基础服务。
81.资源管理服务主要管理系统的内存和硬盘使用状态。为了防止资源碎片化导致系统运行迟缓，资源管理模块将内存分段管理，统一提供申请、释放等功能接口。同时对系统存储服务进行管理，将系统数据、业务数据、模型数据、应用数据等分类管理，实现灾难备份功能。
82.音视频服务为系统提供统一的音视频交互通道，保证在各种网络状态下的音视频畅通，向应用程序提供点对点、点对多点、多点对多点的音视频交互服务，对音视频交互过程中产生的数据进行记录管理。具备通话质量管理接口，不同级别通道具备不同的抢占策略和丢弃策略。
83.设备场景管理模块主要管理由智能眼镜扫描建模的零散空间信息。设备场景模块关联场景中的标识信息，如字符、二维码、条形码、特征点等，同时也关联设备场景中的标签信息。对于标签信息，分级管理，为应用提供统一数据接口。对设备场景数据分类保存，为应用程序提供增、删、改、查接口。
84.识别服务是系统对应用程序提供的各类物体的识别算法服务。应用程序可以调用相应算法模型，将现实物体转化为数据信息，配合应用逻辑，快速生成应用程序。
85.人脸识别服务分为两个部分，即人脸检测和人脸识别。本服务向应用程序提供统一的人脸检测和人脸识别接口，满足各应用开发需求。对人脸识别过程种产生的人员信息、告警信息进行云端管理和同步。
86.标签管理服务模块主要向应用程序提供文本标签、视频标签、表格标签、图形标签以及模型标签等标准访问接口，同时向应用程序提供标签编辑、标签的增、删、改、查等功能。
87.模型管理服务主要完成对系统接入的各数据模型治理，使之成为标准的数据格式，并分类管理。为应用程序提供统一的访问接口，为管理后台提供增、删、改、查等操作接口。
88.人员管理应用是系统后台应用，主要完成目标单位人员组织架构的梳理。完成各班组人员信息和组织关系信息的录入整理。按照单位运维流程和权限设定，为使用人员提供权限配置。
89.工单管理应用是系统后台应用。按照目标单位的工作流程和具体要求设定维修维
护工作计划和细节流程，对工单实施和后续追述统计提供支撑。
90.设备管理应用是系统后台应用。按照系统设定，登记设备归属情况，实时监测设备运行状态，记录设备使用信息等。
91.远程协作应用是系统后台为多个前端设备提供的服务应用。通过音视频互动平台，接入多个用户，利用对第一视角视频的增强现实标注、动画演示、桌面共享，提高远程协助效率。
92.ar运维模块，按照操作工艺卡的描述，以增强现实标签的形式，明确工作目标、工作流程和工作要求；以视频标签的形式为现场工作人员展示操作视频；以文档标签形式为现场工作人员提供工具书籍资料调阅服务；以动态表格标签形式，为现场工作人员展示实时运维数据；热成像测温；压板状态比对；离线人脸识别、车牌识别；设备、装置指示灯状态识别。
93.报告管理模块，在系统使用过程中由运维人员、设备、运维记录、仪器仪表等产生数据，按照用户要求，生成相应格式的报告，方便用户打印存档、历史查询。
94.请参看说明书附图中图3：所述移动终端设备系统包括移动终端设备和ar运维应用单元，所述移动终端设备为智能眼镜、电脑、pad或者手机设备，所述ar运维应用单元包括
95.实时运维数据模块，运维人员通过智能眼镜，实时查看当前设备信息、运行参数、历史缺陷记录以及当前仪表数据与后台数据差异。
96.强化操作模块，运维巡检人员通过智能眼镜扫描设备或者装置上的二维码，查看运维须知、运维规程以及历史运维信息等。该信息以文本增强现实标签的形式悬挂在设备周边。
97.多方远程协助模块，通过远程协助系统，将现场巡检人员、远程专家、外协专家整合在一个平台上工作。通过标记、展示图纸、白板研讨以及共享桌面多种等方式，提升远程协助效率，降低维护成本。
98.压板状态对比模块，现场运维人员通过佩戴的智能眼镜，扫描压板柜二维码，应用程序会展示该压板柜开关的正确状态。运维人员通过比对标准图形和压板状态完成压板柜核验。
99.二次设备测温模块，运维人员佩戴智能眼镜对二次设备机房设备进行实时红外测温。系统自动记录超越阈值的视频信息，同时给出声音报警。事后方便运维人员调阅告警音视频数据。
100.人员车辆核验模块；现场运维人员可以通过智能眼镜对工作现场出现的车辆和人员进行快速身份核验、记录告警信息，方便事后调阅。
101.核验指示灯状态模块，现场运维人员通过佩戴智能眼镜，扫描机柜二维码。一方面，调阅该设备指示灯状态数据，另一方面通过机器视觉方式识别当前设备指示灯状态，通过与后台数据比对，给出当前设备工作状态评价。
102.请参看说明书附图中图4：系统专用硬件主要为智能眼镜，所述智能眼镜主要由主控模块、通讯模块、定位模块、imu、其它传感器、显示模块、图像采集模块和mic/spk模块组成；
103.所述主控模块用于完成数据采集、图形渲染、音视频编解码、人机交互命令处理、电源管理以及各模块间的数据互通；
104.通讯模块主要完成智能眼镜接入网络，连通其他应用软件和数据库。通信模块支持wifi和蓝牙两个局域通信模式，并支持4g或5g公网、4g或5g专网、自组网等方式。
105.显示模块通过lvds总线与主控模块相连接，是智能眼镜的“显示器”，具有分辨率不低于800x600、视场角不小于20
°×
30
°
、高对比度和高亮度等特点，满足日光下正常使用要求。
106.图像采集模块完成可见光和红外图像采集，是智能眼镜的“眼睛”。像素不小于1300万，最大采样率不小于30帧。
107.mic/spk模块是智能眼镜的“耳朵”，采用麦克风阵列降噪设计，spk模块支持背景降噪。
108.定位模块支持gps、北斗双模，定位精度10米以内。
109.imu模块为增强现实应用核心模块，主要包含三轴角速度计、三轴加速度计。为空间重定位、空间扫描、空间测量提供数据支撑。
110.其它传感器模块包含测距传感器、光线传感器以及温度传感器等。测距传感器为构建空间测量算法提供数据支撑。光线传感器测量实时环境亮度，配合系统调节近眼显示模组亮度。温度传感器实时测量环境温度，配合测温应用调节测量环境参数。
111.电池模块为智能眼镜提供持续稳定电力。配合外接适配器为电池充电，与主控模块电源管理单元配合，为智能眼镜各功能模块提供相应工作电压。具备数据通讯能力，向系统报告实时电量、温度、充放电次数等相关数据。
112.在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
113.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。