基于稠密光流场估计的拼接相机局部网格自适应形变系统的制作方法

本发明涉及图像处理，是基于稠密光流场估计的拼接相机局部网格自适应形变系统。

背景技术：

1、多相机拼接是计算机视觉与图像处理领域的基础技术之一，广泛应用于全景成像、视频监控、自动驾驶环境感知等场景。其核心任务是将多个相机在同一时刻采集的具有重叠区域的图像，通过几何对齐与融合，生成一幅无缝的宽视场拼接图像。

2、现有拼接方法多基于网格形变框架，其典型流程为：在图像重叠区域内构建控制网格，利用图像匹配算法（如特征点匹配或稠密光流估计）建立网格顶点的对应关系，通过最小化由数据项和正则化项组成的能量函数求解各顶点的位移量，最后基于求解得到的形变网格对图像进行映射与融合。其中，apap（as-projective-as-possible）等方法通过局部单应性变换有效处理了视差引起的对齐误差，已成为该领域的代表性方案。

3、然而，当重叠区域内存在运动物体时，上述方法面临根本性困难。运动物体在两相机成像平面上的投影位置因物体自身运动而产生差异，导致该区域内的光流矢量在幅值和方向上与静态背景区域存在显著不连续。传统网格形变框架假设整个场景可由一个全局光滑的位移场描述，在遭遇运动边界时，正则化项的平滑约束会将运动物体的位移量强制传播至邻近的静态背景区域，造成背景在运动物体周围出现非物理的扭曲变形；同时，运动物体自身轮廓处也因位移不连续而产生拉丝、锯齿和黑边等明显伪影。

4、针对动态场景拼接，现有技术尝试引入网格割裂策略，即沿运动边界将原始控制网格的拓扑关系切断，使前景和背景分别独立形变。该类方法在一定程度上缓解了形变误差跨边界扩散的问题，但网格拓扑的断裂破坏了形变能量矩阵的对称正定性，可能引入矩阵奇异性，同时断裂处两侧的网格顶点缺乏法向方向上的有效约束，容易产生亚像素级错位，导致拼接结果中出现黑边或空洞。此外，网格割裂后的前景与背景在边界处的过渡处理也较为困难，硬边界融合极易产生肉眼可见的锯齿伪影。

5、因此，如何在保持控制网格拓扑完整性的前提下，有效隔离运动前景与静态背景之间的形变干扰，实现运动边界两侧位移的独立建模与连续过渡，已成为该领域需要解决的关键技术问题。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、为了克服背景技术中指出的现有技术中存在的问题，本发明提出了基于稠密光流场估计的拼接相机局部网格自适应形变系统，包括如下模块：

3、光流场计算模块，用于获取重叠区域左、右视图的稠密光流场，对稠密光流场进行高斯平滑处理后，计算每个像素点的空间梯度并构造光流梯度结构张量，求解该结构张量的最大特征值，得到最大特征值分布；

4、运动边界检测模块，用于将所述最大特征值分布作为灰度响应图，将图像平面划分为多个互不重叠的局部块，在每个局部块内独立计算二值化阈值并结合全局阈值进行二值化，对二值化结果执行非极大值抑制和细化，得到单像素宽的运动边界线；

5、各向异性形变约束模块，用于在图像平面上构建控制网格，判断每条网格边是否与运动边界线相交；对于相交的网格边，获取交点处运动边界线的局部切线方向和法线方向，并为该网格边构造各向异性形变约束矩阵，该矩阵在法线方向上的约束响应大于在切线方向上的约束响应；对于未相交的网格边，保持各向同性约束；

6、双自由度控制点构建模块，用于在运动边界线所经过的网格顶点处，构建共享同一初始坐标但具有独立前景偏移量和背景偏移量的双自由度控制点，前景偏移量和背景偏移量作为两个独立自由度参与形变求解，且不改变原始控制网格的拓扑邻接关系；

7、双分支图像融合模块，用于根据求解得到的前景偏移量和背景偏移量分别对原图像进行重采样，得到前景对齐图和背景对齐图，并基于每个像素点到最近运动边界线的带符号距离，利用带符号距离的sigmoid型函数计算非线性融合权重，对两幅对齐图进行加权融合，得到最终拼接图像。

8、优选地，所述运动边界检测模块中，所述全局阈值按整幅灰度响应图的均值与标准差加权求和确定，加权系数的取值范围为2.5至3.5；所述局部块的划分数量根据图像分辨率自适应设置。

9、优选地，所述各向异性形变约束模块中，交点处运动边界线的切线方向和法线方向通过对边界线像素序列进行主成分分析获得；所述各向异性形变约束矩阵由法向约束权重和切向约束权重共同决定，其中法向约束权重与切向约束权重的比值不小于100。

10、优选地，所述双自由度控制点构建模块中，运动边界线所经过的网格顶点的判定条件为：与该顶点相连的网格边中至少有一条被判定为与运动边界线相交。

11、优选地，所述拼接相机局部网格自适应形变系统还包括形变求解模块，用于构建能量函数并求解全部控制点的偏移量；

12、所述形变求解模块利用运动边界线将稠密光流场分割为前景光流场和背景光流场，分割依据为每个像素点到运动边界线的带符号距离；

13、所述能量函数包括数据项和正则化项；在数据项中，对于双自由度控制点，其前景控制子的目标位置由前景光流场在对应坐标处的值确定，其背景控制子的目标位置由背景光流场在对应坐标处的值确定；在正则化项中，对于跨越运动边界线的网格边，将其两端控制点的位移差沿边界线法向和切向分解为法向分量和切向分量，法向分量受较高的法向约束权重约束，切向分量受较低的切向约束权重约束；

14、通过最小化该能量函数，求解全部普通顶点的单一偏移量以及全部双自由度控制点的前景偏移量和背景偏移量。

15、优选地，所述数据项中还包括每个控制点的局部置信度权重，该权重由光流估计置信度和图像纹理丰富度的乘积确定；其中光流估计置信度基于归一化互相关代价计算，图像纹理丰富度基于该控制点邻域的梯度幅值计算；当该控制点邻域的梯度幅值低于整幅图像平均梯度幅值的一半时，降低该控制点的局部置信度权重。

16、优选地，所述能量函数由数据项和正则化项分别乘以数据项权重和正则化项权重后求和构成，所述数据项权重与正则化项权重的比值范围为0.1至10.0。

17、优选地，所述双分支图像融合模块中：

18、对于普通网格顶点，其前景偏移量和背景偏移量均取为该顶点的单一偏移量；对于双自由度控制点，分别取其独立求解的前景偏移量和背景偏移量；

19、通过双线性插值获得每个像素点的前景总偏移和背景总偏移，进而得到前景映射坐标和背景映射坐标，经双三次反向重采样获得前景对齐图和背景对齐图；

20、所述带符号距离中，符号正负的确定方式为：取运动边界线两侧预设宽度范围内的像素的光流矢量进行二类聚类，将平均光流幅值较大的簇对应的一侧判定为前景侧，赋予正符号；另一侧判定为背景侧，赋予负符号；距离数值为该像素点到最近运动边界线的欧氏距离。

21、优选地，所述sigmoid型函数具有控制过渡带陡峭程度的陡峭参数和调节过渡带中心的偏置参数，其中陡峭参数的取值范围为0.5至3.0。

22、与现有技术相比，本发明的技术效果如下：

23、第一，通过引入双自由度控制点机制，使运动边界线所经过的网格顶点同时具备前景偏移量和背景偏移量两个独立自由度，在不改变原始网格拓扑邻接关系的条件下，实现了运动前景与静态背景的形变解耦。这从根本上避免了传统网格割裂方案中因拓扑重构导致的矩阵奇异性问题，保证了形变求解的数值稳定性。

24、第二，通过各向异性形变约束矩阵的设计，对跨越运动边界线的网格边施加法向强约束、切向弱约束的差异化约束策略。法向方向上的高约束权重迫使边界两侧位移投影趋于一致，差异控制在亚像素级别，有效防范了因错位导致的背景黑边或空洞；切向方向上的低约束权重则允许边界两侧产生相对滑移，完整保留了运动物体相对于背景的位移不连续性。

25、第三，在图像融合阶段，采用基于带符号距离的sigmoid型非线性权重函数替代传统硬边界融合或固定权重融合。融合过渡带的宽度和陡峭度由参数连续可调，能够自适应匹配运动边界两侧的位移差异幅值，在保留边界清晰度的同时实现了平滑过渡，消除了硬边缘处的锯齿和拉丝状伪影。

26、综合而言，本发明在计算开销可控的前提下，显著提升了动态场景拼接中运动物体边界处的图像质量，边界过渡带内的峰值信噪比和结构相似性指数均优于现有技术，边界可见伪影得到有效消除，具有良好的实用价值。