一种基于视口驱动的嵌入式全景选择性拼接方法及系统与流程

摘要: 本发明涉及图像拼接,尤其涉及一种基于视口驱动的嵌入式全景选择性拼接方法及系统。背景技术:1、现有全景图像拼接通常以多路相机采集的图像序列为输入,对相邻图像或全局...
一种基于视口驱动的嵌入式全景选择性拼接方法及系统与流程

本发明涉及图像拼接,尤其涉及一种基于视口驱动的嵌入式全景选择性拼接方法及系统。

背景技术:

1、现有全景图像拼接通常以多路相机采集的图像序列为输入,对相邻图像或全局图像进行特征提取与匹配,估计几何变换关系,确定重叠区域,并采用加权融合、多频段融合等方式生成全景图像。该技术路线通常以整幅全景图像或全部潜在重叠区域为处理对象,拼接范围与融合策略在采集端或处理端预先设定,用户当前观看区域及运动趋势通常不参与拼接决策。其依赖的条件包括:完整的全景图像数据可被连续读写、处理平台具备与全景分辨率相匹配的算力与存储带宽、各路图像在光照和色彩上具有较好一致性,以及场景内容在拼接过程中保持相对静止或运动平缓。由于拼接处理范围与全景图像全域绑定,且拼接决策与用户当前观看区域及运动趋势相互独立,系统需要对大量非关注区域执行同样的特征匹配、几何计算与融合操作,这成为系统复杂度高、资源开销大的根本原因。

2、在上述全域处理模式下,当应用场景中出现视口频繁移动、快速扫描或反向运动等动态变化时,拼接处理仍需覆盖整幅全景图像,计算量与数据读写量随全景分辨率提高而持续增长,导致嵌入式平台上的处理延迟、功耗和存储带宽压力被进一步放大。同时,融合区域通常按固定规则或全图重叠关系确定,难以随视口运动趋势同步调整,在视口快速变化时可能导致融合区域滞后或与实际观看范围错位,造成画面卡顿、局部模糊或拼接缝进入可视区域。在光照变化、运动遮挡和纹理贫乏等复杂条件下,全域拼接中的特征匹配稳定性下降,鬼影、色彩偏差和几何错位等问题会在整幅全景图像中累积和传播,进而影响全景显示的实时性、视觉一致性与完整性。

技术实现思路

1、本发明提供一种基于视口驱动的嵌入式全景选择性拼接方法及系统,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供的一种基于视口驱动的嵌入式全景选择性拼接方法,包括:

3、pt.1、获取全景图像序列、视口边界矩形及视口运动参数,对所述全景图像序列中的相邻图像进行特征匹配,识别出待拼接重叠区域的位置信息;

4、pt.2、判断所述视口边界矩形与所述待拼接重叠区域是否存在交集,依据潜在重合部分的几何尺度、所述视口边界矩形在全景图像中的位置及所述潜在重合部分的纹理丰富度进行二次筛选,生成指示预设重叠区域的检测结果;

5、pt.3、当所述检测结果指示需要处理时,提取所述视口边界矩形与所述预设重叠区域的几何重合部分作为交集区域,依据所述视口运动参数对所述交集区域进行位置偏移,生成预融合区域,并从所述全景图像序列中获取与所述预融合区域对应的多路局部图像块;

6、pt.4、对所述多路局部图像块进行自适应无缝融合,生成针对所述预融合区域的已拼接局部图像块,并写入全景图像中与所述预融合区域对应的位置。

7、为了解决上述问题,本发明还提供一种基于视口驱动的嵌入式全景选择性拼接系统,所述系统包括:

8、特征配准模块,用于获取全景图像序列、视口边界矩形及视口运动参数,对所述全景图像序列中的相邻图像进行特征匹配,识别出待拼接重叠区域的位置信息;

9、重叠筛选模块,用于判断所述视口边界矩形与所述待拼接重叠区域是否存在交集,依据潜在重合部分的几何尺度、所述视口边界矩形在全景图像中的位置及所述潜在重合部分的纹理丰富度进行二次筛选,生成指示预设重叠区域的检测结果;

10、区域提取模块,用于当所述检测结果指示需要处理时,提取所述视口边界矩形与所述预设重叠区域的几何重合部分作为交集区域,依据所述视口运动参数对所述交集区域进行位置偏移,生成预融合区域,并从所述全景图像序列中获取与所述预融合区域对应的多路局部图像块;

11、融合回填模块,用于对所述多路局部图像块进行自适应无缝融合,生成针对所述预融合区域的已拼接局部图像块,并写入全景图像中与所述预融合区域对应的位置。

12、与现有技术相比,本发明具有以下有益效果:

13、1.本发明通过引入视口边界矩形及视口运动参数作为拼接决策依据,对特征匹配得到的待拼接重叠区域进行交集判断,并依据潜在重合部分的几何尺度、视口边界矩形在全景图像中的位置及纹理丰富度进行二次筛选,仅提取预设重叠区域与视口边界的几何重合部分作为交集区域,再依据视口运动参数对交集区域进行位置偏移生成预融合区域,仅对预融合区域对应的多路局部图像块进行自适应无缝融合并回填,使拼接处理范围由全景图像全域收敛至视口关注区域及其运动趋势所及范围,从根源上克服了全域处理模式下拼接决策与视口状态相互独立、大量非关注区域被重复运算与读写所导致的系统复杂度高、资源开销大的缺陷。

14、2.本发明通过瞬时速度矢量与瞬时加速度矢量辨识当前视口运动态势,针对稳态匀速态势采用位移步长时域均值平滑处理得出后续帧视口边界位置,针对定向扫描态势采用中值滤波与线性递推生成预融合区域,使预融合区域的划定与当前运动态势相匹配,进一步提升了融合区域预判的准确性与适应性。

1.一种基于视口驱动的嵌入式全景选择性拼接方法,其特征在于,所述方法包括:

2.如权利要求1所述的一种基于视口驱动的嵌入式全景选择性拼接方法,其特征在于,所述对所述全景图像序列中的相邻图像进行特征匹配,识别出待拼接重叠区域的位置信息,包括:

3.如权利要求2所述的一种基于视口驱动的嵌入式全景选择性拼接方法,其特征在于,所述视口运动参数,包括:

4.如权利要求1所述的一种基于视口驱动的嵌入式全景选择性拼接方法,其特征在于,所述依据潜在重合部分的几何尺度、所述视口边界矩形在全景图像中的位置及所述潜在重合部分的纹理丰富度进行二次筛选,生成指示预设重叠区域的检测结果,包括:

5.如权利要求4所述的一种基于视口驱动的嵌入式全景选择性拼接方法,其特征在于,所述潜在重合部分的纹理丰富度,包括:

6.如权利要求1所述的一种基于视口驱动的嵌入式全景选择性拼接方法,其特征在于,所述依据所述视口运动参数对所述交集区域进行位置偏移,生成预融合区域,包括:

7.如权利要求1所述的一种基于视口驱动的嵌入式全景选择性拼接方法,其特征在于,所述从所述全景图像序列中获取与所述预融合区域对应的多路局部图像块,包括:

8.如权利要求1所述的一种基于视口驱动的嵌入式全景选择性拼接方法,其特征在于,所述对所述多路局部图像块进行自适应无缝融合,生成针对所述预融合区域的已拼接局部图像块,包括:

9.如权利要求8所述的一种基于视口驱动的嵌入式全景选择性拼接方法,其特征在于,所述写入全景图像中与所述预融合区域对应的位置之后,还包括:

10.一种基于视口驱动的嵌入式全景选择性拼接系统,其特征在于,用于实现权利要求1所述的一种基于视口驱动的嵌入式全景选择性拼接方法,所述系统包括: