基于虚拟现实的特高压换流站远程智能巡检的方法及系统与流程

1.本发明涉及特高压换流站智能巡检技术领域，具体地涉及一种特高压换流站远程智能巡检的方法及系统。


背景技术：

2.基于虚拟现实的特高压换流站远程巡检技术中的“现实”泛指在物理意义上或功能意义上存在于世界上的任何事物或环境，它可以是实际上可实现的，也可以是实际上难以实现的或根本无法实现的。而“虚拟”是指用计算机生成的意思。因此，虚拟现实是指用计算机生成的一种特殊环境，人可以通过使用各种特殊装置将特高压换流站巡检的流程及结果“投射”到这个环境中，并查看、操作、控制环境，实现远程巡检的目的，保障特高压换流站安全运行。
3.为了实现远程巡检的目的，当前最常用的技术是物联网技术，即通过信息传感设备，按约定的协议，将任何物体与网络相连接，物体通过信息传播媒介进行信息交换和通信，以实现智能化识别、定位、跟踪、监管等功能。
4.核心技术可以包括：1、传感器技术，这也是计算机应用中的关键技术。绝大部分计算机处理的都是数字信号。自从有计算机以来就需要传感器把模拟信号转换成数字信号计算机才能处理。
5.2、rfid标签也是一种传感器技术，rfid技术是融合了无线射频技术和嵌入式技术为一体的综合技术，rfid在自动识别、物品物流管理有着广阔的应用前景。
6.3、嵌入式系统技术：是综合了计算机软硬件、传感器技术、集成电路技术、电子应用技术为一体的复杂技术。经过几十年的演变，以嵌入式系统为特征的智能终端产品随处可见；航天航空的卫星系统。嵌入式系统正在改变着人们的生活，推动着工业生产以及国防工业的发展。如果把物联网用人体做一个简单比喻，传感器相当于人的眼睛、鼻子、皮肤等感官，网络就是神经系统用来传递信息，嵌入式系统则是人的大脑，在接收到信息后要进行分类处理。这个例子很形象的描述了传感器、嵌入式系统在物联网中的位置与作用。
7.4、智能技术：是为了有效地达到某种预期的目的，利用知识所采用的各种方法和手段。通过在物体中植入智能系统，可以使得物体具备一定的智能性，能够主动或被动的实现与用户的沟通，也是物联网的关键技术之一。
8.经过以上技术构建，通过传感网络，可以采集所需的信息，顾客在实践中可运用rfid读写器与相关的传感器等采集其所需的数据信息，当网关终端进行汇聚后，可通过无线网络运程将其顺利地传输至指定的应用系统中。此外，传感器还可以运用zigbee与蓝牙等技术实现与传感器网关有效通信的目的。市场上常见的传感器大部分都可以检测到相关的参数，包括压力、湿度或温度等。
9.但是，现有的巡检技术只能针对已经有相关前端监测传感器的特定环境和要素进行监测和控制，应用场景窄；且只能通过前端系统读取相关的数值，不够直观可视，不能对于现场情况、位置等进行直观展示。
10.本技术发明人在实现本发明的过程中发现，现有技术的上述方案具有应用场景窄和不便于对现场情况进行直观展示的缺陷。


技术实现要素：

11.本发明实施例的目的是提供一种基于虚拟现实的特高压换流站远程智能巡检的方法及系统，该基于虚拟现实的特高压换流站远程智能巡检的方法及系统能够便于巡检人员直观了解换流站的现场情况，以提高企业对设备的保养维护能力。
12.为了实现上述目的，本发明实施例一方面提供一种基于虚拟现实的特高压换流站远程智能巡检的方法，包括：
13.获取换流站的点云数据，其中，所述点云数据包括几何位置、色彩信息；
14.对所述点云数据进行去噪和格式转换以生成点云网格文件；
15.根据所述点云网格文件进行三维建模以生成虚拟模型；
16.对所述虚拟模型中的摄像头进行标定；
17.获取所述换流站中所述摄像头的视频信息；
18.将所述视频信息与所述虚拟模型进行融合；
19.对投影后的所述虚拟模型进行监测和识别。
20.可选地，根据所述点云网格文件进行三维建模以生成虚拟模型包括：
21.构建整线三维地图高精度模型；
22.对所述整线三维地图高精度模型进行uv拆分和规划操作；
23.对所述整线三维地图高精度模型进行材质绘制操作；
24.对所述整线三维地图高精度模型进行贴图绘制操作；
25.根据所述uv拆分和规划操作、所述材质绘制操作以及所述贴图绘制操作集成以形成所述虚拟模型。
26.可选地，对所述虚拟模型中的摄像头进行标定包括：
27.获取所述换流站中摄像头的世界坐标系；
28.根据公式(1)计算所述摄像头的投影坐标系，
[0029][0030]
其中，为所述投影坐标系，x
′
、y
′
、z
′
分别为所述投影坐标系的三个坐标轴，为变换矩阵，为所述世界坐标系，x、y、z分别为所述摄像头的物理坐标系三个坐标轴。
[0031]
可选地，对所述虚拟模型中的摄像头进行标定还包括：
[0032]
获取所述摄像头的镜头焦距以及感光芯片短边长度；
[0033]
根据公式(2)计算所述摄像头的焦距视口，
[0034]
fov＝2*actan(y/2f)*180
°
/π，
ꢀꢀꢀ
(2)
[0035]
其中，fov为所述焦距视口，f为所述摄像头的镜头焦距，y为所述摄像头的感光芯片短边长度；
[0036]
根据所述焦距视口获取所述摄像头的画面；
[0037]
获取所述画面与所述虚拟模型中视椎体相交的所有网格；
[0038]
对所述所有网格进行渲染。
[0039]
可选地，将所述视频信息与所述虚拟模型融合包括：
[0040]
获取需要投影的投影区域；
[0041]
将所述视椎体覆盖所述投影区域；
[0042]
将所述视椎体的画面和所述投影区域匹配以获得待重构模型区域；
[0043]
对所述待重构模型区域进行裁剪以获得重构模型区域；
[0044]
将所述重构模型区域的uv坐标映射到0～1之间；
[0045]
剪裁0～1中uv坐标之外的空间区域；
[0046]
根据公式(3)计算剪裁空间的顶点坐标，
[0047]
o.pos＝mul(unity_maxtrix_mvp,v.vertex)，
[0048]
o.texc＝mul(unity_projector,v.vertex)，
ꢀꢀꢀ
(3)
[0049]
其中，o.pos为所述剪裁空间的顶点坐标，unity_maxtrix_mvp为模型观察投影矩阵，v.vertex为模型空间顶点坐标，unity_projector为projector组件传入到材质球的投影矩阵，o.texc为所述剪裁空间的纹理坐标。
[0050]
可选地，将所述视频信息与所述虚拟模型融合还包括：
[0051]
将所述摄像头的视角的顶点变换到投影平面；
[0052]
获取当前视角下的屏幕深度所生成的深度图；
[0053]
比较所述深度图和当前空间中模型的深度，剔除所述模型的背面，以融合所述视频信息和所述模型。
[0054]
可选地，对投影后的所述虚拟模型进行监测和识别包括：
[0055]
构建卷积神经网络模型；
[0056]
获取训练数据；
[0057]
对所述训练数据进行预处理；
[0058]
将预处理后的所述训练数据输入所述卷积神经网络以训练所述卷积神经网络。
[0059]
可选地，对所述高质量数据进行预处理包括：
[0060]
对所述训练数据去噪处理；
[0061]
对所述训练数据进行图像增强和图像修复；
[0062]
对所述训练数据进行归一化处理。
[0063]
另一方面，本发明还提供一种基于虚拟现实的特高压换流站远程智能巡检的系统，包括：
[0064]
多个摄像头，设置在换流站的多个顶点位置，用于获取所述换流站的实时画面；
[0065]
控制器，与多个所述摄像头连接，用于将多个所述摄像头的实时画面同步到所述换流站的三维模型中，且用于执行如上任一所述的方法。
[0066]
再一方面，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，所述指令用于被控制器读取以使得所述控制器执行如上任一所述的控制方法。
[0067]
通过上述技术方案，本发明提供的基于虚拟现实的特高压换流站远程智能巡检的方法及系统通过构建换流站的虚拟模型，并对换流站中的摄像头的视频信息进行处理以实现视频信息和虚拟模型融合，进而便于巡检人员能够直观了解换流站现场的情况，实现了巡检人员远程巡检的目的；同时，也提高了企业对换流站设备的保养维护能力，降低了设备维护检修成本。
[0068]
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0069]
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
[0070]
图1是根据本发明的一个实施方式的基于虚拟现实的特高压换流站远程智能巡检的方法的流程图；
[0071]
图2是根据本发明的一个实施方式的基于虚拟现实的特高压换流站远程智能巡检的方法中三维建模的流程图；
[0072]
图3是根据本发明的一个实施方式的基于虚拟现实的特高压换流站远程智能巡检的方法中标定摄像头的流程图；
[0073]
图4是根据本发明的一个实施方式的基于虚拟现实的特高压换流站远程智能巡检的方法中标定摄像头的流程图；
[0074]
图5是根据本发明的一个实施方式的基于虚拟现实的特高压换流站远程智能巡检的方法中视频信息和虚拟模型融合的流程图；
[0075]
图6是根据本发明的一个实施方式的基于虚拟现实的特高压换流站远程智能巡检的方法中视频信息和虚拟模型融合的流程图；
[0076]
图7是根据本发明的一个实施方式的基于虚拟现实的特高压换流站远程智能巡检的方法中虚拟模型的监测和识别的流程图；
[0077]
图8是根据本发明的一个实施方式的基于虚拟现实的特高压换流站远程智能巡检的方法中换流站虚拟模型的示例图；
[0078]
图9是根据本发明的一个实施方式的基于虚拟现实的特高压换流站远程智能巡检的方法中换流站虚拟模型的物联网监测数据的示例图；
[0079]
图10是根据本发明的一个实施方式的基于虚拟现实的特高压换流站远程智能巡检的方法中视觉智能识别的示例图。
具体实施方式
[0080]
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此
处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
[0081]
图1是根据本发明的一个实施方式的基于虚拟现实的特高压换流站远程智能巡检的方法的流程图。在图1中，该基于虚拟现实的特高压换流站远程智能巡检的方法可以包括：
[0082]
在步骤s10中，获取换流站的点云数据，其中，点云数据包括几何位置、色彩信息。其中，需要提前获取换流站的点云数据，以利于后续的三维建模操作。具体地，采用激光扫描仪对需要建模的换流站场景及设备进行扫描，采集几何位置、色彩信息等点云数据。在扫描换流站设备的点云数据时，确保扫描仪是建立在一个稳定的环境中确保三维扫描结果不会受到外部因素的影响，设置好扫描的间隔及精度保证数据完整性。此外，对于换流站设备用房等重要空间(换流变、阀厅等)，需要进行二次扫描，需要提前设置好扫描的间隔及精度保证数据完整性。在使用扫描仪对换流站扫描时，需要依次从不同的角度进行连续不间断的扫描，并更改扫描仪摆放位置，以保证定位球体依次更换，实现对换流站的全方位的扫描。
[0083]
在步骤s11中，对点云数据进行去噪和格式转换以生成点云网格文件。其中，在获取到采集的点云数据后，还需要对该点云数据进行预处理。具体地，该预处理包括了对点云数据的去噪以及文件格式标准转换的两个部分。具体地，点云数据的去噪操作主要是对换流站点云数据进行场景修复，并对场景中的多余的点云数据进行修剪，删除异常点云数据。在对换流站扫描完成后，将激光扫描仪扫描的点云数据进行人工手动拼接，以生成换流站的三维点云地图，操作人员对三维点云地图中的三维点云数据进行除噪，并对其进行稀化平滑处理。点云数据的标准格式转换是将采集的原生点云数据格式转换成建模软件可用的数据格式，即点云网格文件。
[0084]
在步骤s12中，根据点云网格文件进行三维建模以生成虚拟模型。其中，在获取点云网格文件之后，即可通过三维建模软件工具将预处理后的点云数据转变成三维模型。
[0085]
在步骤s13中，对虚拟模型中的摄像头进行标定。其中，为了让虚拟模型能够投射换流站中摄像头的画面更加精确，还需要对虚拟模型中的摄像头的位置以及视口进行标定。
[0086]
在步骤s14中，获取换流站中摄像头的视频信息。其中，为了能够将现实中换流站的状态实时投影到虚拟模型中，还需要获取现实状态下换流站中摄像头的视频信息。
[0087]
在步骤s15中，将视频信息与虚拟模型进行融合。其中，在获取现实状态下换流站中摄像头的视频信息后，就需要将换流站中的摄像头监控到的视频信息与虚拟模型中的模型进行融合，以便于巡检人员能远程观察换流站的实时情况。
[0088]
在步骤s16中，对投影后的虚拟模型进行监测和识别。其中，在视频信息和虚拟模型融合后，虚拟模型即可直观地展示现实状态下换流站的具体情况，此时，可通过巡检人员或者视觉识别设备对虚拟模型进行实时监测和识别，以实现远程巡检的目的。
[0089]
在步骤s10至步骤s16中，采用激光扫描仪对换流站场景及设备进行扫描以获得点云数据，对点云数据进行去噪以及格式转换以生成三维建模软件可用的点云网格文件，并通过三维建模软件建模以生成虚拟模型。在获取虚拟模型后，对虚拟模型中的摄像头进行位置和视口的标定，再获取换流站中摄像头的视频信息，将视频信息与虚拟模型进行融合，以将现实中换流站的情况通过虚拟模型显示。最后通过巡检人员或者别设备对虚拟模型进
行实时监测和识别，以实现远程巡检的目的。
[0090]
传统的远程巡检常采用的物联网技术，即通过信息传感设备，按约定的协议，将任何物体与网络相连接，以实现智能化识别、定位、跟踪、监管等功能。但是该种远程巡检的方法局限性强，仅能适用已有相关前端监测传感器的特定环境和要素进行监测和控制；同时，该种远程巡检的方法不够直观，不便于巡检人员使用。在本发明的该实施方式中，采用三维建模软件对换流站进行建模，并将换流站中摄像头的视频信息和虚拟模型融合的方式，能够在满足巡检人员远程巡检的目的的同时，能够更加直观地显示换流站地实时状态，也解决了传统物联网无法识别或检测的各类巡检问题，极大地拓展了远程巡检的检查内容。同时，该种方式进一步提高了企业对换流站设备的保养维护能力、基础故障排查能力以及检修能力；同步也提高了人员的技能素质，降低了换流站设备的维护检修成本，减少了因设备错误使用而造成的损失。
[0091]
在本发明的该实施方式中，为了获取换流站的虚拟模型，还需将预处理后的点云数据传输至三维建模软件中，以生成三维虚拟模型。具体地，该方法还可以包括如图2所示的步骤。在图2中，该方法还可以包括：
[0092]
在步骤s20中，构建整线三维地图高精度模型。其中，三维地图高精度模型构建使用目前市场最先进的pbr流程(physically-based rendering基于物理渲染)模型构建技术。使用pbr有以下几个优点：第一，用pbr方法创建换流站三维地图材质更容易，创建材质属性时不再需要猜测，而是根据真实换流站数据设置，可以最大限度还原换流站数字模型材质；第二，材质在所有换流站光照条件下看起来都是正确的，符合多环境场景使用要求；第三，pbr提供了一种稳定的美术工作流程，提高了换流站三维地图数字模型构建效率。在准备完前期的各种三维地图建模所必须的素材后，就需要将这些素材导入进dcc(digital content creation数字模型创建)软件中，然后参考三维地图点云网格数据进行一比一拓扑从而获得换流站三维地图数字模型的高精度位置信息。三维地图数字模型的构建严格遵守目前数字模型设计规范，合理构建点、线、面，以最少的资源消耗构建一个最佳效果的三维地图数字模型。
[0093]
在步骤s21中，对整线三维地图高精度模型进行uv拆分和规划操作。其中，为了使每个换流站三维地图数字模型都有正确的纹理显示效果，需要对换流站三维地图模型进行uv拆分与规划。需要使用目前主流的uv拆分工具，严格按照设计规范拆分uv，合理排布uv，做到不浪费任何uv空间，在有限的空间中尽可能的提高贴图使用率。
[0094]
在步骤s22中，对整线三维地图高精度模型进行材质绘制操作。其中，整线三维地图高精度模型材质绘制需要借助pbr流程，通过观察实物的纹理、质感，在dcc软件中复刻实物的这些属性。
[0095]
在步骤s23中，对整线三维地图高精度模型进行贴图绘制操作。其中，三维地图高精度模型在制作完材质之后，将换流站三维地图模型的高度信息、基础纹理信息、环境光遮蔽信息、法线信息、金属度信息、粗糙度信息存储到对应的diffuse、ao、normal、matellic、glossness纹理图中，后期将matellic、glossness、ao合并成一张mask图片，通过预存这些信息减少计算机动态实时计算的性能消耗。
[0096]
在步骤s24中，根据uv拆分和规划操作、材质绘制操作以及贴图绘制操作集成以形成虚拟模型。其中，将建成好的三维模型组件集成完整的区域模型，在完成整个建模工作的
过程中，该模型集成需要满足以下模型规范：
[0097]
(1)轴向归正，保证模型轴向正确，方便后期与换流站实时数据做出正确的交互效果。
[0098]
(2)数字模型缩放信息重置，重置模型缩放信息，使物体在引擎中正常显示。
[0099]
(3)清除多余材质和处理未命名材质，提高场景可维护性和性能。
[0100]
(4)贴图路径指定，模型的贴图要指定到同一个文件夹中去，防止贴图路径信息丢失。
[0101]
(5)优化模型结构，减少点线面数量。
[0102]
(6)相同模型使用相同材质贴图。
[0103]
(7)模型命名规范，方便后期开发。
[0104]
(8)贴图尺寸大小合理，内容清晰。
[0105]
(9)dcc软件中的层组信息明了，方便后期维护。
[0106]
(10)模型单位调整成符合实际物体单位。
[0107]
在确认好以上规范时，即可实现对特高压换流站建设数字孪生三维模型，为远程智能虚拟巡检提供应用载体。
[0108]
在步骤s20至步骤s24中，先构建整线三维地图高精度模型，然后依次对该模型进行uv拆分与规划、模型材质绘制以及模型贴图绘制，在绘制完成后，按照模型规范要求进行集成以形成换流站的虚拟模型。该种建模方式精度高、模型还原准确，以便于后续巡检人员的远程巡检。
[0109]
在本发明的该实施方式中，为了便于后续将换流站中摄像头的视频信息与虚拟模型融合，还需要对虚拟模型中摄像头的投影坐标进行标定。具体地，该方法还可以包括如图3所示的步骤。具体地，在图3中，该方法还可以包括：
[0110]
在步骤s30中，获取换流站中摄像头的世界坐标系。其中，构建换流站的虚拟模型时，每个模型都位于其自身的局部坐标系中，而无论在现实世界还是在计算机的虚拟空间中，物体都必须和一个固定的坐标原点进行参照才能够确定自己所在的位置。因此，为了准确标定虚拟模型中摄像头的投影坐标，需要通过激光扫描仪点云扫描以获取到换流站中摄像头的物理位置，即摄像头的世界坐标系。
[0111]
在步骤s31中，根据公式(1)计算摄像头的投影坐标系，
[0112][0113]
其中，为投影坐标系，x
′
、y
′
、z
′
分别为投影坐标系的三个坐标轴，
为变换矩阵，为世界坐标系，x、y、z分别为摄像头的物理坐标系三个坐标轴。通过矩阵变换，坐标从世界坐标空间变换到投影器的屏幕坐标空间中，映射到投影器的屏幕坐标空间中的点在做渲染时替换成待融合的视频像素，从而实现视频融合的效果。
[0114]
在步骤s30至步骤s31中，巡检人员通过激光扫描仪点云扫描以获取到换流站中摄像头的物理位置，即摄像头的世界坐标系，并将该世界坐标系转换成虚拟模型中摄像头的投影坐标，进而实现了对虚拟模型中摄像头的投影坐标的标定，以便于后续视频信息与虚拟模型的融合。
[0115]
在本发明的该实施方式中，为了便于后续将换流站中摄像头的视频信息与虚拟模型融合，还需要对虚拟模型中摄像头的位置进行标定。具体地，该方法还可以包括如图4所示的步骤。具体地，在图4中，该方法还可以包括：
[0116]
在步骤s40中，获取摄像头的镜头焦距以及感光芯片短边长度。其中，对于摄像头的监控点位的标定除了镜头焦距以及感光芯片的短边长度，还需要监控的物理位置以及画面的分辨率。监控物理位置和画面分辨率作用是保证视频投影位置和虚拟模型位置精准匹配，监控焦距作用是记录当前视频，便于通过虚拟模型的视角缩放进一步控制监控画面缩放，同样是为了增强视频融合效果。
[0117]
在步骤s41中，根据公式(2)计算摄像头的焦距视口，
[0118]
fov＝2*actan(y/2f)*180
°
/π，
ꢀꢀꢀ
(2)
[0119]
其中，fov为焦距视口，f为摄像头的镜头焦距，y为摄像头的感光芯片短边长度。
[0120]
在步骤s42中，根据焦距视口获取摄像头的画面。其中，在确定摄像头的焦距视口后，即可获取焦距视口内部的画面。
[0121]
在步骤s43中，获取画面与虚拟模型中视椎体相交的所有网格。其中，视椎体即为虚拟模型中摄像头的投影范围。
[0122]
在步骤s44中，对所有网格进行渲染。其中，在所有网格正常渲染结束后，再渲染一次，使用decal的shader。向shader中传入一个cliptodecal的矩阵，并在fs中计算映射到decal框中的坐标。可以将xy坐标作为uv坐标，裁剪掉uv坐标0～1之外的部分，并将decal渲染出来。在我们对监控进行点位标定以后，我们就可以对传输进来的图像进行视频融合了。
[0123]
在步骤s40至步骤s44中，先获取摄像头的镜头焦距以及感光芯片短边长度，并根据摄像头的镜头焦距以及感光芯片短边长度计算出摄像头的焦距视口。其次，再根据摄像头的焦距视口获取其画面内部相交的所有网格，并对所有网格的顶点进行渲染以及二次渲染。通过该种对摄像头的监控位置标定的操作，能够利于后续视频画面与虚拟模型的融合。
[0124]
在本发明的该实施方式中，为了将摄像头的视频信息与虚拟模型进行融合，还需要对摄像头的视椎体内的网格进行重构。具体地，该方法还可以包括如图5所示的步骤。具体地，在图5中，该方法还可以包括：
[0125]
在步骤s50中，获取需要投影的投影区域。其中，根据实际的投影规划情况依次确定投影区域。
[0126]
在步骤s51中，将视椎体覆盖投影区域。其中，将摄像头的视椎体覆盖投影区域，以便于后续视椎体的网格重构。
[0127]
在步骤s52中，将视椎体的画面和投影区域匹配以获得待重构模型区域。其中，首先我们要判断哪些物体与我们的投影区域相交，对于任何两个凸物体如果存在一个轴上他们的投影没有相交，则这两个物体是没有相交；反之，如果任何两个凸物体在所有的投影轴上都相交，这两个物体相交。根据该方法我们可以获得换流站的摄像头的视频信息与投影区域相交的模型。
[0128]
在步骤s53中，对待重构模型区域进行裁剪以获得重构模型区域。其中，在获得待重构模型区域进行逐边裁剪即可获得重构模型区域。
[0129]
在步骤s54中，将重构模型区域的uv坐标映射到0～1之间。其中，u和v的作用域和值域都是[0,1]，uv是一组记录着模型上的贴图应该怎么贴，贴在那里的数据。uv坐标为一个个二维0-1的坐标，每一个坐标对应其mesh网格的顶点数据，坐标中用0-1表示贴图百分比的位置。以一个正方形网格举例，如果想让一张贴图全部铺满，只需要将mesh网格中的4个顶点的uv分别设置为(0，0)左下角、(0，1)右下角、(1，0)左上角、(1，1)右上角，这样分别对应贴图的四个角。
[0130]
在步骤s55中，剪裁0～1中uv坐标之外的空间区域。
[0131]
在步骤s56中，根据公式(3)计算剪裁空间的顶点坐标，
[0132]
o.pos＝mul(unity_maxtrix_mvp,v.vertex)，
[0133]
o.texc＝mul(unity_projector,v.vertex)，
ꢀꢀꢀ
(3)
[0134]
其中，o.pos为剪裁空间的顶点坐标，unity_maxtrix_mvp为模型观察投影矩阵，v.vertex为模型空间顶点坐标，unity_projector为projector组件传入到材质球的投影矩阵，o.texc为剪裁空间的纹理坐标。在顶点着色器中unity_projector矩阵被用来构造投影坐标，和普通的空间投影转换矩阵mvp(model view project)不同的是，其中的v是projector空间的相关矩阵，即projector组件所属的transform的worldtolocalmatrix变量；而p则是和projector远近裁切相关的矩阵。用unity_projector矩阵计算出vertex(顶点)在投影空间中的坐标后，我们就可以以此坐标为uv坐标绘制物体了。顶点在经过多个坐标空间的转换才能够渲染在屏幕上，顶点总共需要经过模型空间、世界空间、观察空间，最后转换到剪裁空间；此外，视椎体对渲染图元进行裁剪操作，保留可见范围内的图元区域。
[0135]
在步骤s50至步骤s56中，先获取虚拟模型中需要投影的区域，并将摄像头的视椎体覆盖投影区域，匹配投影区域和摄像头的视椎体的画面以获得待重构模型区域。将该待重构模型区域进行逐边裁剪以获得重构模型区域，将重构模型区域的uv坐标映射到0～1之间，并裁剪掉0～1中uv坐标之外的空间区域。最后计算出剪裁空间的顶点坐标，以便于后续绘制物体。
[0136]
在本发明的该实施方式中，为了实现视频信息和虚拟模型的融合，还需要处理屏幕的深度。具体地，该方法还可以包括如图6所示的步骤。具体地，在图6中，该方法还可以包括：
[0137]
在步骤s60中，将摄像头的视角的顶点变换到投影平面。其中，将摄像头的视角的顶点变换到投影平面时，同时将坐标变换到uv值域下，进而能够方便获取投影面的深度图。
[0138]
在步骤s61中，获取当前视角下的屏幕深度所生成的深度图。
[0139]
在步骤s62中，比较深度图和当前空间中模型的深度，剔除模型的背面，以融合视频信息和模型。其中，将深度图与当前空间中模型的深度进行比较，能够发现当前空间模型的深度与深度图中差异较大的部分，并将该模型的背面差异的部分剔除，进而实现了融合视频信息和虚拟模型的目的。具体地，换流站的视频信息和虚拟模型的融合示例可以如图8和图9所示。
[0140]
在步骤s60至步骤s62中，先将摄像头的视角的顶点变换到投影平面，再获取该投影平面的深度图，并将该深度图与当前空间中模型的深度进行比较，以找出深度差异的部分并提出该部分，即可实现视频信息和虚拟模型的融合，进而便于巡检人员进行远程检查。
[0141]
在本发明的该实施方式中，在调节每个摄像头的参数以实现视频信息和三维模型有效融合时，记录该参数并保存至数据库中。在需要观看某个摄像头的视频时，读取保存好的参数，自动调节摄像头的参数，将该摄像头的视频信息投射到三维模型中并与该模型融合，进而能够实现换流站实时情况的直观展示。
[0142]
在本发明的该实施方式中，为了提高该换流站巡检的智能化，还需要对虚拟模型的实时情况进行视觉识别。具体地，该方法还可以包括如图7所示的步骤。具体地，在图7中，该方法还可以包括：
[0143]
在步骤s70中，构建卷积神经网络模型。
[0144]
在步骤s71中，获取训练数据。其中，该训练数据为换流站所有的故障问题及其分类的数据。
[0145]
在步骤s72中，对训练数据进行预处理。其中，预处理可以包括去噪处理、图像增强、图像修复以及归一化处理。去噪处理能够提高训练数据的信噪比，以降低干扰；图像增强和图像修复主要针对不够清晰或有破损缺失的图像，以提升图像的完整性；归一化处理一方面是为了减小开销，提高算法的性能，另一方面则是为了能够成功使用深度学习等算法，深度学习等算法必须使用归一化处理操作。
[0146]
在步骤s73中，将预处理后的训练数据输入卷积神经网络以训练卷积神经网络。其中，再获得预处理后的训练数据时，将该数据输入至卷积神经网络模型中以训练该模型，进而能够通过该卷积神经网络模型识别换流站中不同种类的故障，以实现智能巡检的目的。具体地，视觉智能识别故障的示例可以如图10所示。
[0147]
在步骤s70至步骤s73中，先构建卷积神经网络模型，再获取换流站所有的故障问题及其分类的数据作为训练数据，并将该训练数据依次经过噪处理、图像增强、图像修复以及归一化处理，最后输入至卷积神经网络模型并训练该模型。该卷积神经网络模型能够实时监控换流站的三维虚拟模型的故障情况，进而能够降低巡检人员的工作量，并提高对换流站故障巡检的及时性和准确性。
[0148]
另一方面，本发明还提供一种基于虚拟现实的特高压换流站远程智能巡检的系统。具体地，该系统可以包括多个摄像头和控制器。
[0149]
多个摄像头设置在换流站的多个顶点位置，用于获取换流站的实时画面。控制器与多个摄像头连接，用于将多个摄像头的实时画面同步到换流站的三维模型中，且用于执行如上任一的方法。
[0150]
再一方面，本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以存储有指令，该指令用于被控制器读取以使得该控制器执行如上任一的控制方法。
[0151]
通过上述技术方案，本发明提供的基于虚拟现实的特高压换流站远程智能巡检的方法及系统通过构建换流站的虚拟模型，并对换流站中的摄像头的视频信息进行处理以实现视频信息和虚拟模型融合，进而便于巡检人员能够直观了解换流站现场的情况，实现了巡检人员远程巡检的目的；同时，也提高了企业对换流站设备的保养维护能力，降低了设备维护检修成本。
[0152]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0153]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0154]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0155]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0156]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0157]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0158]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0159]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包
括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0160]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。