多种管道数据的联合显示方法及装置与流程

1.本发明涉及管道测量技术领域，尤其涉及一种多种管道数据的联合显示方法及装置。


背景技术：

2.管道数据，通常包括全景图像数据、视频数据、三维模型、二维色谱模型和三维纹理模型。
3.目前，是通过显示整个管道的上述数据，辅助用户观察。用户需要逐个操作上述数据，进行对比，才能对同一部位进行分析。因此，现有技术存在显示的效率较低。


技术实现要素：

4.本发明提供一种多种管道数据的联合显示方法及装置，用以解决现有技术中效率较低的缺陷，实现更高效的多种管道数据的联合显示。
5.本发明提供一种多种管道数据的联合显示方法，包括：
6.识别目标管道的检测视频中的缺陷标记，基于所述缺陷标记确定缺陷位置；
7.获取所述缺陷位置前后设定区间的点云数据和全景图像数据，所述点云数据为管道检测机器人在目标管道内行进时通过二维雷达对管道内壁进行二维测距获得的若干二维点云数据；
8.基于所述点云数据，获取缺陷位置前后设定区间的所述目标管段的三维点云模型、三维纹理模型和二维色谱模型中的一种或多种；
9.在目标界面内显示所述目标管段的三维点云模型、三维纹理模型和二维色谱模型，以及所述缺陷位置的视频数据、所述缺陷位置的全景图像数据中的一种或多种。
10.根据本发明提供的一种多种管道数据的联合显示方法，所述检测视频为所述管道检测机器人在目标管道内行进时获取的；
11.基于所述缺陷标记确定缺陷位置，具体包括：
12.确定所述缺陷标记对应的视频帧在所述检测视频中的位置，基于所述视频帧在所述检测视频中的位置以及所述管道机器人的行进速度确定管道检测机器人距检测起点的行进距离。
13.根据本发明提供的一种多种管道数据的联合显示方法，基于所述点云数据，获取缺陷位置前后设定区间的所述目标管段的三维点云模型，具体包括：
14.基于测量顺序将所述二维点云数据合并为二维点云序列；
15.对所述点云数据序列中所有二维点云数据进行中心拟合，确定二维点云数据的圆心；
16.确定所述二维雷达的行驶轨迹，并基于所述二维雷达进行二维测距的距离间隔依次将所述点云数据序列中二维点云数据的圆心与所述行驶轨迹重合，以建立所述目标管道的三维点云模型；
17.基于所述三维点云模型确定所述目标管道内壁上各点的形变量；
18.基于各点在所述目标管道内壁的位置信息，以及各点的形变量、各形变量区间与各颜色之间的映射关系，将所述三维点云模型转换为三维色谱模型。
19.根据本发明提供的一种多种管道数据的联合显示方法，所述二维轮廓数据包括对所述目标管道内壁进行环向扫描测距得到若干距离值以及每个距离值对应的扫描角度；
20.获取缺陷位置前后设定区间的所述目标管段的三维纹理模型，具体包括：
21.连接所述三维点云模型中同一二维轮廓数据中任意相邻的两个点云；
22.将所述三维点云模型中任意相邻两个二维轮廓数据中同一扫描角度的两个点云相连，得到所述目标管道的三维纹理模型。
23.根据本发明提供的一种多种管道数据的联合显示方法，还包括：
24.基于所述全景图像数据建立所述目标管道内壁的二维实景平面展开图，基于所述二维实景平面展开图对所述三维纹理模型进行贴图处理。
25.根据本发明提供的一种多种管道数据的联合显示方法，获取缺陷位置前后设定区间的所述目标管段的二维色谱模型，具体包括：
26.基于所述二维轮廓数据确定所述目标管道内壁上各点的形变量；
27.基于各点在所述目标管道内壁的位置信息，以及各点的形变量、各形变量区间与各颜色之间的映射关系，绘制所述目标管道内壁的二维色谱模型。
28.根据本发明提供的一种多种管道数据的联合显示方法，还包括：
29.建立所述三维点云模型、所述三维纹理模型、所述二维色谱模型、所述视频数据中视频帧和所述全景图像数据的映射关系。
30.本发明还提供一种多种管道数据的联合显示装置，包括：
31.位置确定模块，用于识别目标管道的检测视频中的缺陷标记，基于所述缺陷标记确定缺陷位置；
32.第一获取模块，用于获取所述缺陷位置前后设定区间的点云数据和全景图像数据，所述点云数据为管道检测机器人在目标管道内行进时通过二维雷达对管道内壁进行二维测距获得的若干二维点云数据；
33.第二获取模块，用于基于所述点云数据，获取缺陷位置前后设定区间的所述目标管段的三维点云模型、三维纹理模型和二维色谱模型中的一种或多种；
34.联合显示模块，用于在目标界面内显示所述目标管段的三维点云模型、三维纹理模型和二维色谱模型，以及所述缺陷位置的视频数据、所述缺陷位置的全景图像数据中的一种或多种。
35.本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的多种管道数据的联合显示方法的步骤。
36.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的多种管道数据的联合显示方法的步骤。
37.本发明提供的多种管道数据的联合显示方法及装置，通过基于目标管道的检测视频，确定缺陷位置，基于缺陷位置，将目标管段的三维点云模型、三维纹理模型、二维色谱模型、缺陷部位的视频数据以及缺陷部位的全景图像数据进行关联，在目标界面内显示联合
目标管段的三维点云模型、目标管段的三维纹理模型、目标管段的二维色谱模型、缺陷部位的视频数据以及缺陷部位的全景图像数据中的一种或多种，方便用户同时查看缺陷部位及其周边的情况，显示的效率更高。
附图说明
38.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本发明提供的多种管道数据的联合显示方法的流程示意图；
40.图2是本发明提供的多种管道数据的联合显示装置的结构示意图；
41.图3是本发明提供的电子设备的结构示意图。
具体实施方式
42.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.在本发明实施例的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性，且不涉及顺序。
44.在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。
45.为了克服现有技术的上述问题，本发明提供一种多种管道数据的联合显示方法及装置，其发明构思是，基于目标管道中的缺陷位置，获取缺陷位置前后设定区间的目标管段的三维点云模型、三维纹理模型和二维色谱模型中的一种或多种，在目标界面内显示联合目标管段的三维点云模型、三维纹理模型、二维色谱模型、缺陷位置的视频数据以及缺陷位置的全景图像数据中的一种或多种，可以方便用户同时查看缺陷部位及其周边的情况，显示的效率更高。
46.图1是本发明提供的一种多种管道数据的联合显示方法的流程示意图。下面结合图1描述本发明实施例的多种管道数据的联合显示方法。如图1所示，该方法包括：步骤101、识别目标管道的检测视频中的缺陷标记，基于缺陷标记确定缺陷位置。
47.具体地，目标管道的检测视频，是在检测过程中，基于图像传感器采集的目标管道的内表面的视频数据。目标管道是具有一定长度的管道。
48.目标管道的检测视频，可以包括多个视频帧。
49.在检测过程中，可以对检测到的目标管道的缺陷进行标记，生成检测视频中的缺陷标记。
50.可以基于图像识别方法，分别对目标管道的检测视频中的各帧进行识别，识别出目标管道的检测视频中的缺陷标记。
51.可选地，可以并行地或者依次对目标管道的检测视频中的各帧进行识别。
52.缺陷标记，可以用于标记缺陷的位置。因此，可以通过缺陷标记，确定缺陷位置。
53.可选地，缺陷位置，可以用缺陷距离目标管道中的某个基准点之间距离表示。
54.基准点，可以根据实际情况选取。例如，基准点可以为目标管道的端点或中点。对于基准点具体为哪个点，本发明实施例不进行具体限定。
55.步骤102、获取缺陷位置前后设定区间的点云数据和全景图像数据，点云数据为管道检测机器人在目标管道内行进时通过二维雷达对管道内壁进行二维测距获得的若干二维点云数据。具体地，确定缺陷位置之后，可以将缺陷位置前后的设定区间确定为目标管段。可以理解的是，目标管段是目标管道中包括缺陷部位在内的、一定长度的管段。
56.确定设定区间之后，可以获取设定区间的点云数据和全景图像数据。
57.设定区间，可以根据实际情况预先设定。对于设定区间，本发明实施例不进行具体限定。
58.可选地，缺陷部位位于目标管段的中心。以目标管道的某一端点为坐标原点，缺陷部位的坐标为n，目标管段的坐标范围可以为[n-m，n m]。其中，n和m均为正数。通常情况下，n大于m。
[0059]
在缺陷部位的坐标为n，目标管段的坐标范围可以为[n-m，n m]的情况下，可以获取目标管道的二维点云数据中[n-m，n m]段的点云数据和目标管道的全景图像数据中[n-m，n m]段的全景图像数据。
[0060]
目标管道的二维点云数据，可以是设置有二维雷达的管道检测机器人在目标管道内行进时，二维雷达向管道内壁发射雷达信号对管道内壁进行二维测距，获得的一个或多个二维点云数据。
[0061]
目标管道的全景图像数据，是基于图像传感器采集的目标管道的内表面的全景图像数据。
[0062]
步骤103、基于点云数据，获取缺陷位置前后设定区间的目标管段的三维点云模型、三维纹理模型和二维色谱模型中的一种或多种。
[0063]
具体地，可以基于通常的任一种三位重建方法，基于点云数据进行三维重建，得到目标管段的三维点云模型。
[0064]
可以基于目标管段的三维点云模型中同一二维轮廓数据中任意相邻的两个点云和相邻两个二维轮廓数据中相同扫描角度的两个点云，得到目标管段的三维纹理模型。
[0065]
基于点云数据，可以获取目标管段的内表面相应位置的形变量；基于目标管段的内表面相应位置的形变量，可以得到目标管段的二维色谱模型。
[0066]
目标管段的二维色谱模型，用于通过颜色表征目标管段的内表面各位置的形变
量。
[0067]
步骤104、在目标界面内显示目标管段的三维点云模型、三维纹理模型和二维色谱模型，以及缺陷位置的视频数据、缺陷位置的全景图像数据中的一种或多种。
[0068]
具体地，在目标界面内显示通过步骤102和步骤103得到的各种数据，将目标管段的三维点云模型、目标管段的三维纹理模型、目标管段的二维色谱模型、缺陷位置的视频数据以及缺陷位置的全景图像数据中一种或多种联合显示在同一界面中，方便用户同时查看缺陷部位及其周边的情况。
[0069]
需要说明的是，步骤103中，还可以基于全景图像数据建立所述目标管道内壁的二维实景平面展开图。相应地，在目标界面内显示的数据可以包括目标管段的三维点云模型、目标管段的三维纹理模型、目标管段的二维色谱模型、目标管段的二维实景平面展开图、缺陷位置的视频数据以及缺陷位置的全景图像数据中一种或多种。
[0070]
需要说明的是，步骤101得到的缺陷位置为至少一个。对于每一缺陷部位，均分别执行步骤102至步骤104，实现对每一缺陷位置的各种数据的联合显示。
[0071]
本发明实施例通过基于目标管道的检测视频，确定缺陷位置，基于缺陷位置，将目标管段的三维点云模型、目标管段的三维纹理模型、目标管段的二维色谱模型、缺陷部位的视频数据以及缺陷部位的全景图像数据进行关联，在目标界面内显示联合目标管段的三维点云模型、三维纹理模型、二维色谱模型、缺陷部位的视频数据以及缺陷部位的全景图像数据中的一种或多种，方便用户同时查看缺陷部位及其周边的情况，显示的效率更高。
[0072]
基于上述任一实施例的内容，检测视频为管道检测机器人在目标管道内行进时获取的。
[0073]
具体地，管道检测机器人上还可以设置有图像传感器。
[0074]
管道检测机器人在目标管道内行进的过程中，图像传感器可以对目标管道的内表面进行实时的视频记录，得到目标管道的检测视频。
[0075]
基于缺陷标记确定缺陷位置，具体包括：确定缺陷标记对应的视频帧在检测视频中的位置，基于视频帧在检测视频中的位置以及管道机器人的行进速度确定管道检测机器人距检测起点的行进距离。
[0076]
具体地，可以基于图像识别方法，分别对目标管道的检测视频中的各视频帧进行识别，识别出目标管道的检测视频中的缺陷标记，确定出现缺陷标记的视频帧，并进一步确定出现缺陷标记的视频帧在检测视频中的位置(指出现缺陷标记的视频帧是检测视频中的第几帧)。
[0077]
基于检测视频中各相邻视频帧之间的时间间隔，可以确定进行缺陷标记的时刻与检测的开始时刻之间的时长。
[0078]
可以理解的是，从检测的开始时刻开始，管道检测机器人从检测起点出发，在目标管道中行进。
[0079]
基于进行缺陷标记的时刻与检测的开始时刻，对管道机器人的行进速度进行定积分，可以确定进行缺陷标记时，管道检测机器人距检测起点的行进距离。
[0080]
优选地，管道检测机器人匀速行进，可以将进行缺陷标记的时刻与检测的开始时刻之间的时长，与管道机器人的行进速度的乘积，确定为上述管道检测机器人距检测起点的行进距离。
[0081]
以检测起点为基准点，可以将上述管道检测机器人距检测起点的行进距离，确定为缺陷位置。
[0082]
本发明实施例通过管道检测机器人在目标管道内行进获取检测视频，确定缺陷标记对应的视频帧在检测视频中的位置，基于视频帧在检测视频中的位置以及管道机器人的行进速度确定管道检测机器人距检测起点的行进距离，得到缺陷位置，能更快速、准确地确定缺陷位置。
[0083]
基于上述任一实施例的内容，基于点云数据，获取缺陷位置前后设定区间的目标管段的三维点云模型，具体包括：基于测量顺序将二维点云数据合并为二维点云序列。
[0084]
具体地，二维雷达在各测量点分别进行测量，得到二维点云数据。测量顺序，指二维点云数据的采集时间的先后顺序。
[0085]
基于测量顺序，将各测量点处采集的二维点云数据进行合并，得到二维点云序列。
[0086]
对点云数据序列中所有二维点云数据进行中心拟合，确定二维点云数据的圆心。
[0087]
具体地，由于目标管道的截面通常为圆形，可以分别对每一二维点云数据进行中心拟合，拟合的到的中心为该二维点云数据的圆心。
[0088]
确定二维雷达的行驶轨迹，并基于二维雷达进行二维测距的距离间隔依次将点云数据序列中二维点云数据的圆心与行驶轨迹重合，以建立目标管段的三维点云模型。
[0089]
具体地，可以基于管道检测机器人上设置的惯性测量单元采集的各测量点的位姿数据，确定二维雷达的行驶轨迹。实例性地，确定二维雷达的行驶轨迹的具体过程如下：
[0090]
基于相邻两个测量点中前一测量点处位姿数据中的俯仰角和偏航角确定二维雷达的运动方向；
[0091]
基于后一测量点与前一测量点的距离，确定相邻两个测量点的轨迹；
[0092]
基于每相邻两个测量点的轨迹确定二维雷达的移动轨迹，以及后一测量点的位置。
[0093]
确定二维雷达的行驶轨迹之后，基于各测量点之间的距离间隔，依次移动二维点云数据，将每一二维点云数据的圆心与行驶轨迹重合。所有二维点云数据的圆心均与行驶轨迹重合之后，可以得到目标管段的三维点云模型。
[0094]
基于三维点云模型确定目标管道内壁上各点的形变量。
[0095]
具体地，通常情况下，目标管道的内径是预先确定的。基于三维点云模型，可以确定目标管道内壁上各点所在截面的圆心之间的距离与内径之间的偏差，作为目标管道内壁上各点的形变量。
[0096]
基于各点在目标管道内壁的位置信息，以及各点的形变量、各形变量区间与各颜色之间的映射关系，将三维点云模型转换为三维色谱模型。
[0097]
具体地，对于目标管道内壁上的每个点，可以基于该点的形变量，各形变量区间与各颜色之间的映射关系，确定该点对应的颜色。
[0098]
基于各点在目标管道内壁的位置信息，将三维点云模型进行转换，在模型中通过颜色表征每个点的形变量，得到三维色谱模型。
[0099]
需要说明是，步骤103中，还可以获取目标管段的三维色谱模型。相应地，在目标界面内显示的数据可以包括目标管段的三维点云模型、目标管段的三维纹理模型、目标管段的三维色谱模型、目标管段的二维色谱模型、目标管段的二维实景平面展开图、缺陷位置的
视频数据以及缺陷位置的全景图像数据中一种或多种。
[0100]
本发明实施例通过确定二维雷达的行驶轨迹，依次将二维点云数据的圆心与行驶轨迹重合，建立目标管段的三维点云模型，能获取更准确的三维点云模型。进一步地，基于三维点云模型确定目标管道内壁上各点的形变量，将三维点云模型转换为三维色谱模型，能获取更准确的三维色谱模型。
[0101]
基于上述任一实施例的内容，二维轮廓数据包括对目标管道内壁进行环向扫描测距得到若干距离值以及每个距离值对应的扫描角度。
[0102]
具体地，在每一测量点处，该测量点处的二维轮廓数据可以包括对目标管道内壁进行环向扫描测距得到若干距离值以及每个距离值对应的扫描角度。
[0103]
获取缺陷位置前后设定区间的目标管段的三维纹理模型，具体包括：连接三维点云模型中同一二维轮廓数据中任意相邻的两个点云。
[0104]
具体地，对于三维点云模型中的每一二维轮廓数据，将该二维轮廓数据中任意相邻的两个点云进行连接。
[0105]
将三维点云模型中任意相邻两个二维轮廓数据中同一扫描角度的两个点云相连，得到目标管段的三维纹理模型。
[0106]
具体地，对于三维点云模型中任意相邻的两个二维轮廓数据，将上述两个二维轮廓数据中扫描角度相同的两个点云进行连接，从而可以得到目标管段的三维纹理模型。
[0107]
本发明实施例通过连接三维点云模型中同一二维轮廓数据中任意相邻的两个点云，以及连接三维点云模型中任意相邻两个二维轮廓数据中同一扫描角度的两个点云，得到目标管段的三维纹理模型，能获取更准确的三维纹理模型。
[0108]
基于上述任一实施例的内容，多种管道数据的联合显示方法还包括：基于全景图像数据建立目标管道内壁的二维实景平面展开图，基于二维实景平面展开图对三维纹理模型进行贴图处理。
[0109]
可选地，可以基于目标管道的走向，对全景图像数据进行展开，得到目标管道内壁的二维实景平面展开图。
[0110]
获取目标管道内壁的二维实景平面展开图后，可以基于通常的任一种贴图方法，基于目标管道内壁的二维实景平面展开图中目标管段的全景图像数据进行圆柱纹理贴图，将相应位置的图像贴至目标管段的三维纹理模型的内表面，使得三维纹理模型更接近目标管道内壁的真实情况。
[0111]
本发明实施例通过基于全景图像数据建立目标管道内壁的二维实景平面展开图，基于二维实景平面展开图对三维纹理模型进行贴图处理，能获取更接近目标管道内壁的真实情况的三维纹理模型。
[0112]
基于上述任一实施例的内容，获取缺陷位置前后设定区间的目标管段的二维色谱模型，具体包括：基于二维轮廓数据确定目标管道内壁上各点的形变量。
[0113]
具体地，二维轮廓数据是一系列的测距值，包括多组距离值。
[0114]
每一组距离值是从二维雷达到管道内表面扫描360
°
后得到内表面上若干扫描点(简称“点”)与雷达之间的距离值的集合。
[0115]
对于每一扫描点，该扫描点与轮廓圆的圆心到该扫描点的距离相对应。
[0116]
基于每一组距离值拟合，可以得到管道一圈的轮廓圆及该轮廓圆的圆心，并确定
该圆心到各扫描点的距离。
[0117]
基于圆心到各扫描点的距离，以及预设的目标管道的内径的范围，可以确定各扫描点的形变量。
[0118]
基于各点在目标管道内壁的位置信息，以及各点的形变量、各形变量区间与各颜色之间的映射关系，绘制目标管道内壁的二维色谱模型。
[0119]
具体地，对于每一组距离值，可以分别基于该组中各距离值对应的扫描点的形变量，以及形变量与颜色之间的映射关系，确定各扫描点的颜色。
[0120]
基于各组距离值中各扫描点的颜色和各点在目标管道内壁的位置信息，可以构建目标管段的二维色谱模型。
[0121]
本发明实施例通过基于目标管段的二维轮廓数，确定各目标管道内壁上各点的形变量，基于形变量与颜色之间的映射关系，以及各扫描点的形变量，构建目标管段的二维色谱模型，能获得更接近真实情况的二维色谱模型，目标管段的二维色谱模型的准确率更高，建模速度更快。
[0122]
基于上述任一实施例的内容，多种管道数据的联合显示方法还包括：建立三维点云模型、三维纹理模型、二维色谱模型、视频数据中视频帧和全景图像数据的映射关系。
[0123]
具体地，可以基于目标管道内壁上各点的位置信息，确定每一点在三维点云模型、三维纹理模型、二维色谱模型、视频数据中视频帧和全景图像数据中的位置；基于相同的点在三维点云模型、三维纹理模型、二维色谱模型、视频数据中视频帧和全景图像数据中的位置，可以建立三维点云模型、三维纹理模型、二维色谱模型、视频数据中视频帧和全景图像数据的映射关系。
[0124]
本发明实施例通过建立三维点云模型、三维纹理模型、二维色谱模型、视频数据中视频帧和全景图像数据的映射关系，更便于对不同的管道数据进行联合显示。
[0125]
下面对本发明提供的多种管道数据的联合显示装置进行描述，下文描述的多种管道数据的联合显示装置与上文描述的多种管道数据的联合显示方法可相互对应参照。
[0126]
图2是根据本发明实施例提供的多种管道数据的联合显示装置的结构示意图。基于上述任一实施例的内容，如图2所示，该装置包括位置确定模块201、第一获取模块202、第二获取模块模块203和联合显示模块204，其中：
[0127]
位置确定模块201，用于识别目标管道的检测视频中的缺陷标记，基于缺陷标记确定缺陷位置；
[0128]
第一获取模块202，用于获取缺陷位置前后设定区间的点云数据和全景图像数据，点云数据为管道检测机器人在目标管道内行进时通过二维雷达对管道内壁进行二维测距获得的若干二维点云数据；
[0129]
第二获取模块203，用于基于点云数据，获取缺陷位置前后设定区间的目标管段的三维点云模型、三维纹理模型和二维色谱模型中的一种或多种；
[0130]
联合显示模块204，用于在目标界面内显示目标管段的三维点云模型、三维纹理模型和二维色谱模型，以及缺陷位置的视频数据、缺陷位置的全景图像数据中的一种或多种。
[0131]
具体地，位置确定模块201、第一获取模块202、第二获取模块203和联合显示模块204顺次电连接。
[0132]
位置确定模块201可以基于图像识别方法，分别对目标管道的检测视频中的各帧
进行识别，识别出目标管道的检测视频中的缺陷标记；通过缺陷标记，确定缺陷位置。
[0133]
确定缺陷位置之后，第一获取模块202可以确定缺陷位置前后的设定区间，获取设定区间的点云数据和全景图像数据。
[0134]
第二获取模块203可以基于通常的任一种三位重建方法，基于点云数据进行三维重建，得到目标管段的三维点云模型。
[0135]
第二获取模块203可以基于目标管段的三维点云模型中同一二维轮廓数据中任意相邻的两个点云和相邻两个二维轮廓数据中相同扫描角度的两个点云，得到目标管段的三维纹理模型。
[0136]
第二获取模块203基于点云数据，可以获取目标管段的内表面相应位置的形变量；基于目标管段的内表面相应位置的形变量，可以得到目标管段的二维色谱模型。
[0137]
联合显示模块204将目标管段的三维点云模型、目标管段的三维纹理模型、目标管段的二维色谱模型、缺陷位置的视频数据以及缺陷位置的全景图像数据中一种或多种联合显示在同一界面(即目标界面)中，方便用户同时查看缺陷部位及其周边的情况。
[0138]
可选地，检测视频为管道检测机器人在目标管道内行进时获取的；
[0139]
位置确定模块201可以包括：
[0140]
距离确定单元，用于确定缺陷标记对应的视频帧在检测视频中的位置，基于视频帧在检测视频中的位置以及管道机器人的行进速度确定管道检测机器人距检测起点的行进距离。
[0141]
可选地，第二获取模块203可以包括三维点云模型获取单元；
[0142]
三维点云模型获取单元具体用于：
[0143]
基于测量顺序将二维点云数据合并为二维点云序列；
[0144]
对点云数据序列中所有二维点云数据进行中心拟合，确定二维点云数据的圆心；
[0145]
确定二维雷达的行驶轨迹，并基于二维雷达进行二维测距的距离间隔依次将点云数据序列中二维点云数据的圆心与行驶轨迹重合，以建立目标管道的三维点云模型；
[0146]
基于三维点云模型确定目标管道内壁上各点的形变量；
[0147]
基于各点在目标管道内壁的位置信息，以及各点的形变量、各形变量区间与各颜色之间的映射关系，将三维点云模型转换为三维色谱模型。
[0148]
可选地，二维轮廓数据包括对目标管道内壁进行环向扫描测距得到若干距离值以及每个距离值对应的扫描角度；
[0149]
第二获取模块203可以包括三维纹理模型获取单元；
[0150]
三维纹理模型获取单元具体用于：
[0151]
连接三维点云模型中同一二维轮廓数据中任意相邻的两个点云；
[0152]
将三维点云模型中任意相邻两个二维轮廓数据中同一扫描角度的两个点云相连，得到目标管道的三维纹理模型。
[0153]
可选地，多种管道数据的联合显示装置还可以包括：
[0154]
贴图模块，用于基于全景图像数据建立目标管道内壁的二维实景平面展开图，基于二维实景平面展开图对三维纹理模型进行贴图处理。
[0155]
可选地，第二获取模块203可以包括二维色谱模型获取单元；
[0156]
二维色谱模型获取单元具体用于：
[0157]
基于二维轮廓数据确定目标管道内壁上各点的形变量；
[0158]
基于各点在目标管道内壁的位置信息，以及各点的形变量、各形变量区间与各颜色之间的映射关系，绘制目标管道内壁的二维色谱模型。
[0159]
可选地，多种管道数据的联合显示装置还可以包括：
[0160]
映射模块，用于建立三维点云模型、三维纹理模型、二维色谱模型、视频数据中图像帧和全景图像数据的映射关系。
[0161]
本发明实施例提供的多种管道数据的联合显示装置，用于执行本发明上述多种管道数据的联合显示方法，其实施方式与本发明提供的多种管道数据的联合显示方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
[0162]
该多种管道数据的联合显示装置用于前述各实施例的多种管道数据的联合显示方法。因此，在前述各实施例中的多种管道数据的联合显示方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
[0163]
本发明实施例通过基于目标管道的检测视频，确定缺陷位置，基于缺陷位置，将目标管段的三维点云模型、目标管段的三维纹理模型、目标管段的二维色谱模型、缺陷部位的视频数据以及缺陷部位的全景图像数据进行关联，在目标界面内显示联合目标管段的三维点云模型、三维纹理模型、二维色谱模型、缺陷部位的视频数据以及缺陷部位的全景图像数据中的一种或多种，方便用户同时查看缺陷部位及其周边的情况，显示的效率更高。
[0164]
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储在存储器330中并可在处理器310上运行的逻辑指令，以执行上述各方法实施例提供的多种管道数据的联合显示方法，该方法包括：识别目标管道的检测视频中的缺陷标记，基于缺陷标记确定缺陷位置；获取缺陷位置前后设定区间的点云数据和全景图像数据，点云数据为管道检测机器人在目标管道内行进时通过二维雷达对管道内壁进行二维测距获得的若干二维点云数据；基于点云数据，获取缺陷位置前后设定区间的目标管段的三维点云模型、三维纹理模型和二维色谱模型中的一种或多种；在目标界面内显示目标管段的三维点云模型、三维纹理模型和二维色谱模型，以及缺陷位置的视频数据、缺陷位置的全景图像数据中的一种或多种。
[0165]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0166]
本发明实施例提供的电子设备中的处理器310可以调用存储器330中的逻辑指令，其实施方式与本发明提供的多种管道数据的联合显示方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
[0167]
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的多种管道数据的联合显示方法，该方法包括：识别目标管道的检测视频中的缺陷标记，基于缺陷标记确定缺陷位置；获取缺陷位置前后设定区间的点云数据和全景图像数据，点云数据为管道检测机器人在目标管道内行进时通过二维雷达对管道内壁进行二维测距获得的若干二维点云数据；基于点云数据，获取缺陷位置前后设定区间的目标管段的三维点云模型、三维纹理模型和二维色谱模型中的一种或多种；在目标界面内显示目标管段的三维点云模型、三维纹理模型和二维色谱模型，以及缺陷位置的视频数据、缺陷位置的全景图像数据中的一种或多种。
[0168]
本发明实施例提供的计算机程序产品被执行时，实现上述多种管道数据的联合显示方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
[0169]
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的多种管道数据的联合显示方法，该方法包括：识别目标管道的检测视频中的缺陷标记，基于缺陷标记确定缺陷位置；获取缺陷位置前后设定区间的点云数据和全景图像数据，点云数据为管道检测机器人在目标管道内行进时通过二维雷达对管道内壁进行二维测距获得的若干二维点云数据；基于点云数据，获取缺陷位置前后设定区间的目标管段的三维点云模型、三维纹理模型和二维色谱模型中的一种或多种；在目标界面内显示目标管段的三维点云模型、三维纹理模型和二维色谱模型，以及缺陷位置的视频数据、缺陷位置的全景图像数据中的一种或多种。
[0170]
本发明实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述多种管道数据的联合显示方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
[0171]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0172]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0173]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。