一种图像拼接方法、电子设备、存储介质及程序产品与流程

本技术涉及隧道检测，具体而言，涉及一种图像拼接方法、电子设备、存储介质及程序产品。

背景技术：

1、随着我国交通基础设施建设的快速发展，城市地铁、公路隧道等地下工程数量日益增多。隧道在长期运营过程中，受地质条件、地下水渗流、车辆荷载及环境侵蚀等因素影响，衬砌表面易出现裂缝、渗漏水、剥落、钢筋外露等病害，严重威胁行车安全与结构稳定。因此，定期对隧道衬砌表面进行全覆盖、高精度巡检具有重要意义。

2、相关技术中，人工巡检方式效率低、危险性高、覆盖面有限且主观性强。近年来，基于图像采集的隧道巡检系统逐渐替代人工巡检。线阵相机（即线扫相机）具有高分辨率、高行频、适合运动连续采集等优点，被广泛应用于隧道衬砌表面图像采集。在实际工程中，通常采用多个线扫相机沿隧道环向（即断面周向）布置，配合搭载车辆沿隧道纵向（即隧道延伸方向，也称水平方向）匀速行驶，实现对隧道全断面的图像覆盖。

3、对于u形隧道断面，由于断面形状不规则（底部平坦、两侧弧形上扬、顶部拱起），9个线扫相机沿环向布置时，各相机拍摄角度、与衬砌表面的距离各不相同，导致相邻相机之间的环向重叠比并不一致，每个重叠比均不相同。同时，隧道内照明条件复杂，各相机所处位置的光照角度和强度存在差异，加之隧道衬砌表面反射率不均匀，使得各相机采集的图像在亮度、对比度、色调等方面存在明显差异。此外，隧道结构存在盾构法和非盾构法（如矿山法、明挖法等）两种施工方式，盾构隧道管片拼装衬砌呈规则的弧面分段结构，非盾构隧道衬砌表面相对粗糙且纹理不均，两种结构在断面形状、表面反射特性、光照分布等方面存在显著差异，导致重叠比和光照条件在不同隧道区段呈现不同特征。

4、在相关隧道图像拼接技术中，通常采用特征点匹配结合加权融合的方法。具体而言，首先在相邻相机图像的重叠区域内提取sift（尺度不变特征变换，scale-invariantfeature transform）或surf（加速稳健特征，speeded-up robust features）特征点，通过最近邻距离比（nndr，nearest neighbor distance ratio）方法进行匹配，然后采用ransac（随机采样一致性，random sample consensus）算法剔除误匹配点，估计几何变换参数，最后通过加权平均或线性融合完成拼接。部分方案在拼接前引入直方图均衡化或gamma校正等光照预处理来减轻光照差异。

5、但相关隧道图像拼接技术不能解决u形断面下环向重叠比非均匀问题、不能消除多相机光照差异导致的拼接缝、不能自适应盾构与非盾构隧道结构差异、不能同时兼顾环向非均匀重叠+变光照+双结构类型+水平无重叠这一组合工况、不能解决水平方向（即纵向）无重叠条件下的稳定拼接问题。

技术实现思路

1、本技术实施例的目的在于提供一种图像拼接方法、电子设备、存储介质及程序产品，用以实现生成覆盖全断面全长度且无明显错位和光照变化交界的高质量隧道巡检图像的技术效果。

2、本技术实施例第一方面提供了一种图像拼接方法，所述方法包括：

3、获取沿隧道环向布置的多个线阵相机同步采集的隧道衬砌图像以及编码器输出的脉冲数据；

4、基于所述脉冲数据，计算每行所述隧道衬砌图像对应的隧道纵向物理位置；

5、将所述隧道衬砌图像进行隧道结构类型识别，确定当前图像区段所属的隧道结构类型；

6、基于所述隧道结构类型，确定环向相邻的线阵相机之间的重叠比；

7、基于所述重叠比，确定环向相邻的线阵相机各自采集的图像之间的重叠区域；

8、将所述重叠区域进行图像配准，将各线阵相机采集的图像对齐至统一的全局坐标系中，得到对齐图像；

9、基于所述隧道结构类型，确定所述隧道结构类型对应的光照参数集；

10、利用所述光照参数集对所述对齐图像进行光照校正，得到校正后图像；

11、将所述校正后图像在所述重叠区域内进行多频段融合，得到环向无缝拼接图像；

12、基于所述脉冲数据与所述隧道纵向物理位置，将沿隧道纵向采集的多段所述环向无缝拼接图像按物理位置进行纵向拼接，得到完整隧道巡检图像。

13、在上述实现过程中，通过结构类型识别、非均匀重叠比动态估计、全局光照联合校正、多频段差异化融合、以及编码器辅助纵向定位，使得能自适应盾构与非盾构两种不同结构类型的隧道断面，处理环向各线阵相机重叠比各不相同、光照条件差异显著的复杂工况，输出覆盖全断面全长度且无明显错位和光照变化交界的高质量隧道巡检图像，为隧道病害检测提供可靠的图像数据。

14、进一步地，所述将所述隧道衬砌图像进行隧道结构类型识别，确定当前图像区段所属的隧道结构类型，包括：

15、对当前图像区段提取多类图像特征并拼接为特征向量，利用预设的归一化参数对当前特征向量进行归一化；所述多类图像特征包括灰度统计特征、局部纹理特征、灰度共生矩阵纹理特征、以及频域特征；所述灰度统计特征包括灰度均值、标准差、偏度、以及峰度；所述局部纹理特征是采用局部二值模式提取的，半径为第一预设值、采样点数为第二预设值；所述灰度共生矩阵纹理特征用于在不同方向上计算对比度、能量、同质性、以及相关性；所述频域特征用于通过对当前图像区段进行傅里叶变换后提取各频带能量分布及主频信息；

16、将归一化后的特征向量输入分类器模型，得到当前图像区段的结构类型标签；所述分类器模型是通过以下步骤训练得到的：获取已知结构类型的隧道衬砌图像样本并标注结构类型标签，提取各隧道衬砌图像样本的多类图像特征并拼接为特征向量，对训练集所有样本的特征向量进行归一化处理，以归一化后的特征向量为输入，以标注的结构类型标签为输出训练初始分类器模型，得到已训练的所述分类器模型及归一化参数。

17、在上述实现过程中，在特征设计上，从灰度分布、局部纹理、灰度共生关系、频域特性四个维度构建了特征向量，从不同层面综合刻画盾构与非盾构隧道衬砌表面的差异，确保了分类器模型能够有效区分两种结构类型。训练阶段与推理阶段特征提取参数一致，并复用归一化参数，保证了分类器模型在线推理时的分类准确性和稳定性。

18、进一步地，所述基于所述隧道结构类型，确定环向相邻的线阵相机之间的重叠比，包括：

19、基于各线阵相机的安装标定参数和隧道断面轮廓数据，通过几何投影计算各相邻线阵相机对的理论重叠比；

20、在所述理论重叠比的邻域范围内，对相邻线阵相机图像的边缘条带进行粗定位，得到初始重叠宽度；

21、在所述初始重叠宽度附近遍历候选重叠宽度，计算各候选重叠宽度下相邻线阵相机重叠区域的归一化互相关值；

22、将所述归一化互相关值最大时对应的重叠宽度作为目标重叠宽度，根据所述目标重叠宽度与图像宽度的比值计算所述重叠比。

23、在上述实现过程中，实现了u形隧道断面下环向各相邻线阵相机对重叠比的精确估计，解决了相关技术中基于固定重叠比假设或统一模型无法适应非均匀重叠分布的缺陷。其中，几何粗估计将搜索范围限定在理论值附近，这提高了搜索效率；粗定位在理论值邻域内给出像素级的初始估计，这缩小了精匹配的搜索范围；归一化互相关精匹配在初始值附近进行逐像素精细搜索，其归一化互相关值对灰度线性变化具有鲁棒性，能够在光照不一致条件下给出准确的匹配结果。三者结合使重叠比估计误差控制在较小范围内，为后续图像配准提供了精确的重叠区域边界，消除了因重叠比估计偏差导致的拼接错位和重影问题。

24、进一步地，所述将所述重叠区域进行图像配准，将各线阵相机采集的图像对齐至统一的全局坐标系中，得到对齐图像，包括：

25、以拱顶位置处的线阵相机作为参考基准，将拱顶位置处线阵相机的变换矩阵作为单位矩阵；

26、针对拱顶位置处线阵相机一侧的各线阵相机，通过依次左乘相邻线阵相机变换矩阵的逆矩阵得到各线阵相机的全局变换矩阵；

27、针对拱顶位置处线阵相机另一侧的各线阵相机，通过依次右乘相邻线阵相机变换矩阵得到各线阵相机的全局变换矩阵；

28、基于各线阵相机的所述全局变换矩阵，将各线阵相机采集的图像变换至所述全局坐标系中，得到所述对齐图像。

29、在上述实现过程中，通过以拱顶位置处线阵相机为参考基准建立全局坐标系，采用两侧分别进行变换矩阵传递的策略，实现了多相机图像的高精度空间对齐。拱顶线阵相机视角最正、畸变最小，以该线阵相机为基准将配准误差向左右两侧对称传播，有效避免了单侧累积误差过大的问题。两侧分别采用左乘和右乘的运算方式，保证了坐标变换在环向不同方向上的正确合成。

30、进一步地，所述利用所述光照参数集对所述对齐图像进行光照校正，得到校正后图像，包括：

31、利用校正模型对各线阵相机的对齐图像进行校正，每个线阵相机的校正后图像像素值根据线阵相机的增益系数和偏置系数对所述对齐图像像素值进行线性变换后得到；

32、以拱顶位置处的线阵相机作为参考基准，固定拱顶位置处线阵相机的增益系数和偏置系数；

33、以所有相邻线阵相机对在重叠区域校正后的灰度差异平方和最小化为优化目标，在增益系数归一化约束下联合求解所有线阵相机的增益系数和偏置系数；

34、根据求解得到的各线阵相机的增益系数和偏置系数分别对各线阵相机的对齐图像进行校正，得到所述校正后图像。

35、在上述实现过程中，以拱顶线阵相机为参考基准，使校正方向明确且以质量最优的图像为参照；以所有相邻线阵相机在重叠区域校正后的灰度差异平方和最小化为目标函数，将光照校正从独立的单点处理提升为全局一致性优化；增益归一化约束的引入保证了优化问题解的唯一性和数值稳定性。经上述校正后，环向各线阵相机间的灰度跳变幅度大幅降低，环向灰度一致性提升，为后续多频段融合提供了灰度分布均匀的输入图像，消除了因光照差异产生的视觉拼接缝。

36、进一步地，所述将所述校正后图像在所述重叠区域内进行多频段融合，得到环向无缝拼接图像，包括：

37、将各线阵相机的校正后图像分别构建多层金字塔，将每个校正后图像分解为不同频段的分量；

38、针对低频段分量，在重叠区域内根据各像素位置到所述重叠区域的中心位置的距离确定融合权重，采用所述融合权重对相邻两个线阵相机的校正后图像在所述重叠区域内的像素值进行加权融合；

39、针对高频段分量，在所述重叠区域内计算各像素邻域内的梯度能量，确定梯度能量较大一侧的校正后图像的像素值作为像素位置处的融合结果；

40、将融合后的各频段分量逐层重构，得到所述环向无缝拼接图像。

41、在上述实现过程中，通过多频段分解与差异化融合，解决了拼接图像中消除拼接缝与保持清晰度之间的矛盾。低频段分量采用基于距离的加权融合，使整体光照在重叠区域内平滑过渡，有效消除了残留的光照跳变；高频段分量采用基于局部梯度能量的择优融合，在每一像素位置保留纹理更清晰、边缘更锐利的一侧信息，避免了加权平均导致的高频细节模糊。重构后的环向拼接图像既实现了视觉上的无缝过渡，又最大限度地保留了隧道衬砌表面的细微纹理特征。

42、进一步地，所述基于所述脉冲数据与所述隧道纵向物理位置，将沿隧道纵向采集的多段所述环向无缝拼接图像按物理位置进行纵向拼接，得到完整隧道巡检图像，包括：

43、基于所述脉冲数据和标定系数，确定各段环向无缝拼接图像在纵向画布上的起始位置；

44、在相邻两段环向无缝拼接图像的纵向接缝处，提取上一段末尾预设行数的第一行灰度均值序列和下一段首部预设行数的第二行灰度均值序列；

45、计算所述第一行灰度均值序列与所述第二行灰度均值序列在不同偏移量下的归一化互相关值；

46、将归一化互相关值最大时对应的偏移量作为纵向偏移修正量；

47、基于所述偏移修正量，将下一段环向无缝拼接图像的起始行位置进行微调；

48、在纵向接缝处，对上一段末尾预设行数和下一段首部预设行数进行线性渐变加权融合，得到所述完整隧道巡检图像。

49、在上述实现过程中，编码器位置映射提供了基于物理距离的初步定位，使各段图像在画布上按正确顺序排列；一维互相关运动补偿通过比较接缝两侧的行灰度分布，在编码器定位基础上对车辆速度波动导致的定位误差进行精细修正，消除了行错位现象；线性渐变加权融合通过平滑过渡消除接缝处的灰度跳变，使拼接结果在视觉上自然连续。在不依赖图像特征匹配的条件下实现了稳定可靠的纵向拼接，保证了完整隧道巡检图像在纵向方向上的行对齐精度和视觉连续性。

50、本技术实施例第二方面提供了一种电子设备，所述电子设备包括：

51、处理器；

52、用于存储处理器可执行指令的存储器；

53、其中，所述处理器调用所述可执行指令时实现第一方面任一所述的方法。

54、本技术实施例第三方面提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现第一方面任一所述的方法。

55、本技术实施例第四方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法。