存储器、管线巡检视频增强现实显示方法、装置和设备与流程

1.本发明涉及管线管理领域，特别涉及存储器、管线巡检视频增强现实显示方法、装置和设备。


背景技术：

2.随着油气开发的不断深入，石油天然气的管道（即油气管道）输送已成为油气集输的主要方式，在役油气管线遍布全国，涵盖井场集输管网、城市燃气管网、长距离输送管线等。油气管道一般采用金属管材并多埋于地下，腐蚀无法避免。
3.若油气管道腐蚀发生泄漏，会造成环境污染、经济损失甚至引发重大安全事故。油气管道企业会对油气管线进行日常巡检作业。传统的人工管道巡检效率低，且在穿越河流、山坡等复杂地区巡检难度大。目前，使用无人机代替人进行油气管道巡检作业正在各油气管道企业逐步推行。
4.发明人经过研究发现，应用无人机进行油气管道巡检作业时，由于油气管道埋于地下，且地面标识的“三桩一牌”在无人机拍摄画面中显示特征不明显，使得管线管理人员不容易从飞行画面中直观分辨管道位置及高后果区等关键信息。特别是在使用固定翼或复合翼无人机进行高空、高速巡检作业时，飞机盘旋和飞行角度变化会进一步加大管线管理人员对管线位置等的识别难度，从而使得油气管道的无人机巡检作业难度较大且容易出现漏检和误检。
5.公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。


技术实现要素：

6.本发明的目的在于降低管线管理人员对油气管道的管线位置等的识别难度，从而降低油气管道的无人机巡检作业难度且提高无人机巡检作业的效率和效果。
7.本发明提供了一种管线巡检视频增强现实显示方法，包括步骤：根据巡检区域内油气管道的管线路由数据确定预设关键点的地理坐标数据和特定区域的地理坐标数据；获取无人机所采集的视频数据，和，所述无人机的镜头信息；对所述视频数据进行抽帧获取特定视频帧，并获取所述特定视频帧的位置与姿态测量系统pos数据；根据所述特定视频帧的pos数据计算地面分辨率，并计算所述特定视频帧中图像的四角地理坐标；根据所述四角地理坐标，以及，所述预设关键点的地理坐标数据和特定区域的地理坐标数据，确定所述管线或所述特定区域在所述特定视频帧的图像中的位置；在视频数据中所述管线或所述特定区域的位置添加预设标识。
8.在本发明中，所述关键点包括巡检区域内的管线的拐点；
所述特定区域包括巡检区域内的高后果区。
9.在本发明中，所述镜头信息包括：所述无人机的视频采集装置的焦距、镜头分辨率和感光元件尺寸。
10.在本发明中，所述计算地面分辨率后，还包括：对所述特定视频帧中图像进行图像正射纠正。
11.在本发明中，所述图像正射纠正的方式包括：共线方程式、反解数字微分、正解数字微分、改进多项式、有理函数和神经网络中的一种及其任意组合。
12.在本发明中，所述确定所述管线或所述特定区域在所述特定视频帧的图像中的位置，包括：根据两个相邻拐点的地理坐标数据计算所述管线的管段的地理坐标数据。
13.在本发明中，所述预设标识包括：文字标识和/或图形标识。
14.在本发明中，所述在视频数据中所述管线或所述特定区域的位置添加预设标识，包括：根据抽帧频率，在视频数据中预设个数的视频帧中相同的位置添加同一预设标识。
15.在本发明的另一面，还提供了一种巡检视频增强现实显示装置，包括：位置标识单元，用于确定巡检区域内油气管道的管线路由、关键点和特定区域的地理坐标数据；数据获取单元，用于获取无人机所采集的视频数据，和，所述无人机的镜头信息；抽帧单元，用于对所述视频数据进行抽帧获取特定视频帧，并获取所述特定视频帧的位置与姿态测量系统pos数据；分辨率计算单元，用于根据所述特定视频帧的pos数据计算地面分辨率，并计算所述特定视频帧中图像的四角地理坐标；位置确定单元，用于根据所述四角地理坐标，以及，所述预设关键点的地理坐标数据和特定区域的地理坐标数据，确定所述管线或所述特定区域在所述特定视频帧的图像中的位置；标识附加单元，用于在视频数据中所述管线或所述特定区域的位置添加预设标识。
16.在本发明中，还包括：图像正射纠正单元，用于对所述特定视频帧中图像进行图像正射纠正。
17.在本发明中，所述位置确定单元，包括：管段计算模块，用于根据两个相邻拐点的地理坐标数据计算所述管线的管段的地理坐标数据。
18.在本发明的另一面，还提供了一种存储器，包括软件程序，所述软件程序适于由处理器执行上述管线巡检视频增强现实显示方法的步骤。
19.本发明实施例的另一面，还提供了一种管线巡检视频增强现实显示设备，所述巡检视频增强现实显示设备包括存储在存储器上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以上各个方面所述的方法，并实现相同的技术效果。
20.与现有技术相比，本发明具有如下有益效果：本发明中，首先根据巡检时需重点观测的巡检对象和巡检位置，确定油气管道的管线结构中特定位置的地理坐标数据，以及，如高后果区等特定区域的地理坐标数据；然后根据无人机所采集的视频数据和无人机的镜头信息来计算视频帧中图像的四角地理坐标；结合管线的结构中特定位置的地理坐标数据和特定区域的地理坐标数据，可以根据图像的四角地理坐标确定出视频中需要管线管理人员重点观测的巡检对象和巡检位置的具体位置；接着，再通过图层叠加等方式，在视频中相应的位置上加入管线或是高后果区等需关注位置的标识；从而使管线管理人员在根据视频数据进行油气管道巡检作业时，可以方便的从视频中辨识出需重点观测的巡检对象和巡检位置，这样，就极大的降低了管线管理人员对油气管线位置和特定区域等巡检对象的识别难度，从而也就降低油气管道的无人机巡检作业难度、提高了无人机巡检作业的效率和效果。
21.为了减少对于巡检对象中需重点观测的巡检对象和巡检位置的地理坐标数据的存储数量，提高确定管线或特定区域在特定视频帧的图像中的位置时的计算效率，进一步的，在本发明实施例中，还可以将巡检区域内的管线的拐点作为关键点，并根据两两相邻拐点的地理坐标数据来计算出管线中各管段的地理坐标。
22.上述说明仅为本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段并可依据说明书的内容予以实施，同时为了使本发明的上述和其他目的、技术特征以及优点更加易懂，以下列举一个或多个优选实施例，并配合附图详细说明如下。
附图说明
23.图1是本发明中所述巡检视频增强现实显示方法的步骤图；图2是本发明中所述巡检视频增强现实显示装置结构示意图；图3是本发明中所述巡检视频增强现实显示设备结构示意图。
具体实施方式
24.下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
25.除非另有其他明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其他元件或其他组成部分。
26.在本文中，术语“第一”、“第二”等是用以区别两个不同的元件或部位，并不是用以限定特定的位置或相对关系。换言之，在一些实施例中，术语“第一”、“第二”等也可以彼此互换。
27.实施例一为了降低管线管理人员对管线位置等的识别难度，从而降低油气管道的无人机巡检作业难度且提高无人机巡检作业的效率和效果，如图1所示，在本发明实施例中提供了一种巡检视频增强现实显示方法，包括步骤：s11、根据巡检区域内油气管道的管线路由数据确定预设关键点的地理坐标数据和特定区域的地理坐标数据；
本发明实施例是基于无人机视频采集的远程巡检方案的，具体来说，设有视频采集装置的无人机通过视频采集，来获得巡检区域的视频数据，管线管理人员可以通过观看视频，来实现无人机巡检作业。在实际应用中，用于无人机巡检作业的视频数据可以是实时采集数据，也可以是存储在预设处理设备中的离线视频数据。
28.油气管道中会存在方向改变或是设置支路的情况，在本发明实施例中，将改变方向或是设置支路的位置称为拐点；由于经过拐点后会容易造成油气管道在无人机的视频数据中的位置改变，因此在本发明实施例中将拐点作为了关键点，根据油气管道的管线路由数据，可以获得各个拐点的地理坐标数据。
29.在巡检作业中，还需要管线管理人员关注诸如高后果区等一些特定区域，为此，在本发明实施例中，还需要获得这些特定区域的地理坐标数据。
30.s12、获取无人机所采集的视频数据和无人机的镜头信息；本发明实施例是基于无人机视频采集的远程巡检方案的，为了将视频数据图像与实际的地理坐标进行对应，本发明实施例在获取视频数据的同时，还要获取无人机的镜头信息，其中包括焦距，镜头分辨率和感光元件尺寸等信息。
31.s13、对所述视频数据进行抽帧获取特定视频帧，并获取所述特定视频帧的位置与姿态测量系统pos数据；为了根据视频数据中的图像（特定视频帧）计算地面分辨率，需要获取与特定视频帧对应的位置与姿态测量系统pos数据，也就是在获得该视频帧时的无人机的视频采集装置的位置与pos数据。
32.需要说明的是，在本发明实施例中，特定视频帧时指对视频数据进行抽帧时所获得的视频帧；此外，本领域技术人员可以根据视频数据中画面的变化速度和计算处理设备的运算能力来设定抽帧的间隔，在此并不做具体的限定。
33.s14、根据所述特定视频帧的pos数据计算地面分辨率，并计算所述特定视频帧中图像的四角地理坐标；通过计算地面分辨率，可以进一步的计算出特定视频帧中图像的四角地理坐标，进而可以使视频数据中的图像与实际的地理坐标具有对应关系。
34.优选的，为了进一步的提高视频帧中图像与实际的地理坐标具有对应关系的精确性，在本发明实施例中，在计算地面分辨率后，还可以进一步包括图像正射纠正的步骤；具体来说，图像正射纠正的具体方式可以是采用共线方程式、反解数字微分、正解数字微分、改进多项式、有理函数和神经网络中的一种及其任意组合。这样，在运行处理性能足够，或是对增强显示元素定位精度要求较高的场景下，可以通过图像正射纠正来提高对于特定视频帧的图像的定位精度。
35.s15、根据所述四角地理坐标，以及，所述预设关键点的地理坐标数据和特定区域的地理坐标数据，确定所述管线或所述特定区域在所述特定视频帧的图像中的位置；在本发明实施例中，已经确定了关键点的地理坐标数据和特定区域的地理坐标数据，接着根据特定视频帧的四角地理坐标，就可以计算确定出管线或特定区域在特定视频帧的图像中的具体位置了。在实际应用中，可以首先判断视频帧的图像中上是否存在关键点的地理坐标或特定区域的地理坐标，当判断结果为是时，进一步的确定出管线或特定区域在特定视频帧的图像中的具体位置。
36.优选的，为了减少对于巡检对象中需重点观测的巡检对象和巡检位置的地理坐标数据的存储数量，提高确定管线或特定区域在特定视频帧的图像中的位置时的计算效率，进一步的，在本发明实施例中，还可以将巡检区域内的管线的拐点作为关键点，并根据两两相邻拐点的地理坐标数据来计算出管线中各管段的地理坐标。具体来说，由于油气管道中两个相邻拐点之间的管段一般都为直线，因此，可以根据两个相邻的拐点的地理坐标数据，计算出两者之间管段的地理坐标数据，进而也就可以计算出相应管段在特定视频帧的图像的具体位置。
37.s16、在视频数据中所述管线或所述特定区域的位置添加预设标识。
38.在确定出管线或特定区域在特定视频帧的图像中的具体位置后，可以通过图层叠加等方式，在视频中相应的位置上加入管线或是高后果区等需关注位置的标识；从而使得最终呈现给管线管理人员的视频中，在管线或是高后果区等需关注位置通过显示相应的标识来提醒管线管理人员。
39.在实际应用中，预设标识可以是文字标识或图形标识，比如，可以是高后果区的名称，或是，覆于油气管道的管段之上的线段等。
40.综上所述，本发明实施例中，首先根据巡检时需重点观测的巡检对象和巡检位置，确定油气管道的管线结构中特定位置的地理坐标数据，以及，如高后果区等特定区域的地理坐标数据；然后根据无人机所采集的视频数据和无人机的镜头信息来计算视频帧中图像的四角地理坐标；结合管线的结构中特定位置的地理坐标数据和特定区域的地理坐标数据，可以根据图像的四角地理坐标确定出视频中需要管线管理人员重点观测的巡检对象和巡检位置的具体位置；接着，再通过图层叠加等方式，在视频中相应的位置上加入管线或是高后果区等需关注位置的标识；从而使管线管理人员在根据视频数据进行油气管道巡检作业时，可以方便的从视频中辨识出需重点观测的巡检对象和巡检位置，这样，就极大的降低了管线管理人员对油气管线位置和特定区域等巡检对象的识别难度，从而也就降低油气管道的无人机巡检作业难度、提高了无人机巡检作业的效率和效果。
41.实施例二在本发明实施例的另一面，还提供了一种管线巡检视频增强现实显示装置，图2示出本发明实施例提供的管线巡检视频增强现实显示装置的结构示意图，所述管线巡检视频增强现实显示装置为与图1所对应实施例中所述管线巡检视频增强现实显示方法对应的装置，即，通过虚拟装置的方式实现图1所对应实施例中管线巡检视频增强现实显示方法，构成所述管线巡检视频增强现实显示装置的各个虚拟模块可以由电子设备执行，例如网络设备、终端设备、或服务器。具体来说，本发明实施例中的巡检视频增强现实显示装置包括：位置标识单元01，用于确定巡检区域内的管线路由、关键点和特定区域的地理坐标数据；数据获取单元02，用于获取无人机所采集的视频数据，和，所述无人机的镜头信息；抽帧单元03，用于对所述视频数据进行抽帧获取特定视频帧，并获取所述特定视频帧的位置与姿态测量系统pos数据；分辨率计算单元04，用于根据所述特定视频帧的pos数据计算地面分辨率，并计算所述特定视频帧中图像的四角地理坐标；位置确定单元05，用于根据所述四角地理坐标，以及，所述预设关键点的地理坐标数据
和特定区域的地理坐标数据，确定所述管线或所述特定区域在所述特定视频帧的图像中的位置；标识附加单元06，用于在视频数据中所述管线或所述特定区域的位置添加预设标识。
42.进一步的，在本发明实施例中，还可以包括图像正射纠正单元（图中未示出），用于对特定视频帧中图像进行图像正射纠正。
43.在本发明实施例中，位置确定单元05可以进一步包括管段计算模块（图中未示出），用于根据两个相邻拐点的地理坐标数据计算管线的管段的地理坐标数据。
44.由于本发明实施例中管线巡检视频增强现实显示装置的工作原理和有益效果已经在图1所对应的管线巡检视频增强现实显示方法中也进行了记载和说明，因此可以相互参照，在此就不再赘述。
45.实施例三在本发明实施例中，还提供了一种存储器，其中，存储器包括软件程序，软件程序适于处理器执行图1所对应的管线巡检视频增强现实显示方法中的各个步骤。
46.本发明实施例可以通过软件程序的方式来实现，即，通过编写用于实现图1所对应的管线巡检视频增强现实显示方法中的各个步骤的软件程序（及指令集），所述软件程序存储于存储设备中，存储设备设于计算机设备中，从而可以由计算机设备的处理器调用该软件程序以实现本发明实施例的目的。
47.实施例四本发明实施例中，还提供了一种管线巡检视频增强现实显示设备，该管线巡检视频增强现实显示设备所包括的存储器中，包括有相应的计算机程序产品，所述计算机程序产品所包括程序指令被计算机执行时，可使所述计算机执行以上各个方面所述的管线巡检视频增强现实显示方法，并实现相同的技术效果。
48.图3是本发明实施例作为电子设备的管线巡检视频增强现实显示设备的硬件结构示意图，如图3所示，该设备包括一个或多个处理器610、总线630以及存储器620。以一个处理器610为例，该设备还可以包括：输入装置640、输出装置650。
49.处理器610、存储器620、输入装置640和输出装置650可以通过总线或者其他方式连接，图3中以通过总线连接为例。
50.存储器620作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器610通过运行存储在存储器620中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
51.存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
52.输入装置640可接收输入的数字或字符信息，以及产生信号输入。输出装置650可包括显示屏等显示设备。
53.所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行：根据巡检区域内的管线路由数据确定预设关键点的地理坐标数据和特定区域的地理坐标数据；获取无人机所采集的视频数据，和，所述无人机的镜头信息；对所述视频数据进行抽帧获取特定视频帧，并获取所述特定视频帧的位置与姿态测量系统pos数据；根据所述特定视频帧的pos数据计算地面分辨率，并计算所述特定视频帧中图像的四角地理坐标；根据所述四角地理坐标，以及，所述预设关键点的地理坐标数据和特定区域的地理坐标数据，确定所述管线或所述特定区域在所述特定视频帧的图像中的位置；在视频数据中所述管线或所述特定区域的位置添加预设标识。
54.上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
55.在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
56.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
57.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
58.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储设备中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储设备包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、reram、mram、pcm、nand flash，nor flash，memristor、磁碟或者光盘等各种可以存储程序代码的介质。
59.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。