一种异型管道全景成像装置及全景成像方法与流程

1.本发明涉及一种可用于异型管道内的环形阵列式可变焦全景成像检测设备，特别涉及一种管道内壁全景成像装置及全景成像方法。


背景技术：

2.异型管道是指由自由曲面或多种非自由曲面组成的，具有横截面形状不规则或不一致，即在径向方向具有尺寸不均衡特征的一类管道，这类异型管道包括但不限于航空发动机s型进气道、大型船舶发动机进气歧管、变形受损的油气管道以及与之相似的各类截面呈不规则形状的坑道、洞穴、低扁狭长通道等。上述异型管道的健康情况直接影响着设备工作的安全性、可靠性，及时发现这类异型管道内表面缺陷对安全生产、维护人民群众生命财产利益至关重要。
3.针对此类异型通道，特别是各类航空发动机的进气道，传统的人工检查（目视、视频影像查看）方法效率低、安全性差，工作环境对人体不利且无法持续跟踪记录；而通过使用非接触式成像装置对其内表面进行全景成像，有助于工作人员快速了解其工作状态，及时发现其表面缺陷（如腐蚀、裂纹、凹坑）。相比于人工目视检查（或视频检测）的方式，全景成像技术所生成的全景图便于直接定位缺陷位置，可进行多次比对和反复研究以及长期跟踪观察，可以大幅提高检测效率，降低因个体经验差异而引起的误判、漏判几率；同时可配合适用于检测机器人进行相应场景下的内表面缺陷自动检测。
4.对异型管道内壁进行全景成像并分析，是实现异型管道内表面非接触式检测的一种方式。由于异型管道内不同位置处横截面之间的差异导致内部各位置尺寸不均衡，在采集全景图像时，由于在同一轴线不同位置处的成像景深差异，同一焦距不能适用于所有位置的清晰成像—尤其要实现内表面细小裂纹等的检测。目前，还没有专门针对异型管道内表面进行全景成像的装置或相关发明、技术被公开或发表，针对异型管道内表面进行全景成像的相关研究成果暂时处于空白状态。
5.目前，针对截面形状规则的管道所进行内表面成像的各种技术大体分为三类。第一类是沿管道轴向获取图像（轴向法），如中国发明专利cn111192198a公开了一种基于管道机器人的管道全景扫描方法，该专利提出了一种将沿管道轴向取景的图像进行“有效截面区域”提取，并将多幅该“有效截面区图像”柱面展开后的内壁图像进行拼接从而得到管道内壁全景图。这项专利是沿管道轴向采集图像，对距离大于某阈值的目标能够成像；但是根据相机成像原理，对处于不同距离的侧向目标，在图像采样过程中存在信息采集丢失的问题—比如较远处目标的表面信息压缩严重，较近处目标成像模糊（焦平面以内），不利于管道内表面缺陷信息的显现与检测；由于面对管径尺寸变化的异型管道内壁检查时，会产生非焦平面景深范围内目标的模糊成像问题，上述方式无法很好适用。
6.第二类是利用多个图像采集装置沿径向直接对内壁进行图像采集后进行拼接得到全景图（径向法），如中国发明专利201210556545.1公开了一种管道内壁全景图显示与缺陷定位方法，通过用呈环形阵列排布的光锥将多个影像引至一片成像传感器，并依次采样
来获得管道内壁不同径向方位的图像，之后对各不同方位图像进行缩放、旋转、配准等操作，最后融合为一张全景图像，与中国发明专利cn111192198a类似，该装置及方法适用于标准圆截面管道.对于截面变化的管道，由于不同轴向位置在径向的景深不同—截面小的成像面离镜头近，截面大的成像面离镜头远，造成光锥成像的图像虚化乃至不可用。另外，与该方法类似的还有采用多相机360
°
全景成像技术，这些研究均通过先使用一个相机拍摄不同方位的多张图片或使用多个相机同时获取不同方位的图像，再对这些图像进行融合、拼接等操作，最终得到所需要的全景图。上述多相机全景成像的研究往往是不同于管道场景的大视场，大景深场景，对这类场景，往往采用泛焦相机、鱼眼相机、定焦相机等成像设备即可满足成像需要，但在小视场、变景深的异型管道场景下，这些方法均不能很好的满足无畸变且清晰的技术要求，将其直接用于管道图像全景扫描，效果较差，难以适用。
7.第三类是混合型装置，如中国实用新型专利cn 208540017 u公开的一种高清可调焦全景摄像头，将一种可变焦相机布置在能够进行水平（360
°
）与竖直（180
°
）转动的机械结构之上，从未实现对不同管径的管道进行清晰成像，其原理上具备异型管道图像采集能力，但其结构十分复杂，体型大，不能用于狭窄管道的检测，同时其依赖单个摄像头在水平（360
°
）与竖直（180
°
）方向进行转动来获得拼接全景所需要图像，对于异型管道内尺寸不均衡情况需要不断执行转动-调焦-图像采样动作，效率低，实时性差。
8.综上所述，异型管道全景成像的关键技术难点在于截面形状变化所引起轴向法的成像位置的变化或径向法成像面景深的变化，当需要从工作效率、成像清晰度、成像视角等方面全面分析考虑时，已有的多种方案均不能获得很好的结果。要解决这一问题的关键就在于，开发一种适应异型管道内表面成像位置或成像景深的变化图像采集装置及相应的图像处理方法。


技术实现要素：

9.本发明的目的是设计一种能够实现异型管道内表面全景高清成像的异型管道全景成像装置及全景成像方法，以解决背景技术中所提出的目标模糊、畸变大、分辨力差、效率低以及适用场景受限等问题。
10.为解决上述技术问题，本发明的实施例提供一种异型管道全景成像装置，包括外壳和具有测距-变焦功能的测距-变焦摄像头模块，多个测距-变焦摄像头模块沿周向均布于外壳的壳壁上；每一所述测距-变焦摄像头模块包含前后设置于同一平面上的测距传感器和变焦摄像头；所述外壳的前部设有可观察管道前方工况的轴向摄像头，尾部设有法兰瑞盖；所述法兰瑞盖的底部设有排线孔。
11.其中，所述测距-变焦摄像头模块采用内置音圈电机调焦方式，调焦迅速、结构紧凑，可根据所用场景及相机尺寸灵活选择。
12.优选的，所述轴向摄像头选用大广角鱼眼摄像头。
13.本发明还提供一种异型管道全景成像方法，包括如下步骤：（1）异型管道全景高清图像的采集，采集流程为：在系统启动后，嵌入式硬件控制各测距-变焦摄像头模块进行视野范围内物距的测距检测，结合拍照指令、当前物距数值及物距-调焦参数方程进行高实时的n个模块同步变焦拍照，并等待指令进行下一次拍照；
所述的物距-调焦参数方程如下：，其中，l为物距，k1、k2、k3、k4、d1以及d2为变焦标定实验结果拟合参数；（2）异型管道全景高清图像的拼接融合，包括径向环形图拼接与轴向全景拼接，包括如下步骤：（2.1）图像预处理：对所需要拼接的图像预处理，主要包括对图像的畸变校正、曝光校正，以及在图像拼接时需要进行的图像投影坐标转换；（2.2）基于尺度不变特征的异型管道内壁尺度不均衡图像拼接（2.2.1）首先使用sift算法对由于异型管道尺寸不均衡所造成的相邻尺度不均衡图像进行检测并生成用于配准的特征点，获得图像间特征描述符后；（2.2.2）在获得图像间特征描述符后，进行图像拼接所需变换矩阵求取；（2.2.3）根据变换矩阵进行全景图拼接并使用线性加权平滑算法消除拼接缝隙；（2.3）基于改进的拉普拉斯金字塔方法的不均衡曝光图像间的全局亮度均衡：使用改进的拉普拉斯金字塔方法对由于不同位置的摄像头参数（曝光水平、白平衡）差异、补光差异等所造成的不同图像间亮度不均衡现象进行亮度均衡化处理。
14.其中，所述的异型管道全景成像方法还包括步骤（1）之前的成像装置参数关系的确定：测距-变焦摄像头模块的数量n（n为整数）可根据最小成像管径ρ及所用图像拼接算法对于相邻图像重叠率cr的要求并摄像头参数（视场角2γ）等合理设置，若摄像头视场角小于90
°
，故n≥4，此时n具体应满足：；或最小成像管径ρ：；式中：n为测距-变焦摄像头模块的数量，ρ为最小成像管径，r为相机外形内接圆半径，2γ为摄像头视场角（h），θ为相邻图像重叠区角度，cr为相邻图像重叠率。
15.其中，步骤（2.2.1）的具体步骤为：（2.2.1.1）构建高斯金字塔；（2.2.1.2）相邻图层极值点求取；（2.2.1.3）对极值点进行精确的定位；（2.2.1.4）生成所需极值点特征描述符；（2.2.1.5）使用rancsac算法对匹配结果进行进一步优化。
16.其中，步骤（2.2.2）的具体步骤为：（2.2.2.1）随机提取四对匹配的特征点对计算获得初始的变换矩阵；
（2.2.2.2）在初始的图像变换矩阵基础上，计算其他匹配的特征点对的误差函数值，筛选获得内外点数量；（2.2.2.3）重复步骤（2.2.2.1）获得内点数量更多的迭代变换矩阵；（2.2.2.4）不断更新迭代特征点及变换矩阵至遍历完所有匹配特征点；（2.2.2.5）获得最终变换矩阵。
17.其中，步骤（2.3）的具体步骤为：（2.3.1）根据相位一致性、色彩饱和度和曝光良好度计算每幅图像的权重图；（2.3.2）对图像进行高斯和拉普拉斯金字塔分解；（2.3.3）金字塔重建与融合；（2.3.4）获得最终全景图像。
18.本发明与现有技术相比，具有如下优点：1、本发明实现异型管道及相似不规则通道内全景成像，填补空白。
19.2、本发明解决了异型管道拼接图片之间尺度不均衡问题。
20.3、本发明弥补以往管道全景成像装置及技术畸变大，分辨力低的缺点，具有高分辨率同时具有更高的分辨力且没有畸变。
21.4、本发明结构简单紧凑，体积小巧，适用不同管径、不同截面形状、不同场景，范围广泛。
22.5、本发明集成轴向鱼眼摄像头，有利于观察管道前方工况。
附图说明
23.图1为本发明中相邻的测距-变焦摄像头模块重成像示意图；图2为本发明中异型管道全景图像采集流程图；图3为本发明中异型管道全景图拼接示意图；图4为本发明的结构示意图；图5为本发明的结构分解图；图6为本发明中测距-变焦摄像头模块的结构放大图；图7为本发明中排线孔处的结构示意图。
24.附图标记说明：1、外壳；2、测距-变焦摄像头模块；21、测距传感器；22、变焦摄像头；3、轴向摄像头；4、法兰瑞盖；5、排线孔。
具体实施方式
25.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
26.如图4、图5所示，本发明提供一种异型管道全景成像装置，包括外壳1和具有测距-变焦功能的测距-变焦摄像头模块2，多个测距-变焦摄像头模块2沿周向均布于外壳1的壳壁上。如图6所示，每一所述测距-变焦摄像头模块2包含前后设置于同一平面上的测距传感器21和变焦摄像头22。
27.所述测距-变焦摄像头模块2的工作原理为：测距-变焦摄像头模块由激光测距传
感器与可变焦高清摄像头组成，通过嵌入式硬件实现激光测距下的高清摄像头的快速调焦与拍照功能—将激光测距传感器与摄像头安置在同一平面上，利用嵌入式硬件采集激光测距传感器的测距值（即物距），根据已标定的“物距-调焦参数”方程获取调焦参数，利用摄像头音圈马达控制器快速调节焦距并拍照，获取清晰成像。
28.所述外壳1的前部设有可观察管道前方工况的轴向摄像头3，尾部设有法兰瑞盖4，所述轴向摄像头3优选大广角鱼眼摄像头。所述法兰瑞盖4的底部设有排线孔5（见图7）。
29.本实施例中，所述测距-变焦摄像头模块采用内置音圈电机调焦方式，调焦迅速、结构紧凑，可根据所用场景及相机尺寸灵活选择。
30.本发明还提供一种异型管道全景成像方法，包括如下步骤：（1）异型管道全景高清图像的采集，如图2所示，采集流程为：在系统启动后，嵌入式硬件控制各测距-变焦摄像头模块进行视野范围内物距的测距检测，结合拍照指令、当前物距数值及物距-调焦参数方程进行高实时的n个模块同步变焦拍照，并等待指令进行下一次拍照。
31.所述的物距-调焦参数方程如下：，其中，l为物距，k1、k2、k3、k4、d1以及d2为变焦标定实验结果拟合参数；与选用镜头、变焦模块参数相关。
32.（2）异型管道全景高清图像的拼接融合：本发明所述“异型管道全景图成像技术”是由前述“异型管道全景成像装置”所获取的包含异型管道内壁高清、无畸变且具有一定相邻图像重合率的图像进行全景图构筑的技术，主要包括径向环形图拼接与轴向全景拼接。其中，径向拼接与轴向拼接技术具有相似性与一致性，其主要处理步骤包括：图像预处理、基于尺度不变特征的异型管道内壁尺度不均衡图像拼接、基于改进的拉普拉斯金字塔方法的不均衡曝光图像间的全局亮度均衡。异型管道全景图拼接示意图如图3所示。
33.（2.1）图像预处理：对所需要拼接的图像预处理，主要包括对图像的畸变校正、曝光校正，以及在图像拼接时需要进行的图像投影坐标转换；（2.2）基于尺度不变特征的异型管道内壁尺度不均衡图像拼接（2.2.1）首先使用sift算法对由于异型管道尺寸不均衡所造成的相邻尺度不均衡图像进行检测并生成用于配准的特征点，获得图像间特征描述符后；具体步骤为：（2.2.1.1）构建高斯金字塔；（2.2.1.2）相邻图层极值点求取；（2.2.1.3）对极值点进行精确的定位；（2.2.1.4）生成所需极值点特征描述符；（2.2.1.5）使用rancsac算法对匹配结果进行进一步优化。
34.（2.2.2）在获得图像间特征描述符后，进行图像拼接所需变换矩阵求取；具体步骤为：（2.2.2.1）随机提取四对匹配的特征点对计算获得初始的变换矩阵；（2.2.2.2）在初始的图像变换矩阵基础上，计算其他匹配的特征点对的误差函数
值，筛选获得内外点数量；（2.2.2.3）重复步骤（2.2.2.1）获得内点数量更多的迭代变换矩阵；（2.2.2.4）不断更新迭代特征点及变换矩阵至遍历完所有匹配特征点；（2.2.2.5）获得最终变换矩阵。
35.（2.2.3）根据变换矩阵进行全景图拼接并使用线性加权平滑算法消除拼接缝隙；（2.3）基于改进的拉普拉斯金字塔方法的不均衡曝光图像间的全局亮度均衡：使用改进的拉普拉斯金字塔方法对由于不同位置的摄像头参数（曝光水平、白平衡）差异、补光差异等所造成的不同图像间亮度不均衡现象进行亮度均衡化处理；具体步骤为：（2.3.1）根据相位一致性、色彩饱和度和曝光良好度计算每幅图像的权重图；（2.3.2）对图像进行高斯和拉普拉斯金字塔分解；（2.3.3）金字塔重建与融合；（2.3.4）获得最终全景图像。
36.所述的异型管道全景成像方法还包括步骤（1）之前的成像装置参数关系的确定：测距-变焦摄像头模块的数量n（n为整数）可根据最小成像管径ρ及所用图像拼接算法对于相邻图像重叠率cr的要求并摄像头参数（视场角2γ）等合理设置，若摄像头视场角小于90
°
，故n≥4，此时n具体应满足：；或最小成像管径ρ：；式中：n为测距-变焦摄像头模块的数量，ρ为最小成像管径，r为相机外形内接圆半径，2γ为摄像头视场角（h），θ为相邻图像重叠区角度，cr为相邻图像重叠率；其示意如图1，其中，劣弧c
al-c
ar
为相机a成像区域，劣弧c
bl-c
br
为相机b成像区域，劣弧c
al-c
br
为相机a-b重叠成像区域。
37.本发明通过呈一定规则布置的n个测距-变焦摄像头模块对异型管道内壁或其他相似场景内表面实现快速同步拍照，对获取的包含内表面全景信息的图片使用全景拼接算法获得异型管道或其他相似场景内表面的全景图。
38.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。