全景视频拼接方法、装置和电子设备与流程

摘要: 本发明涉及计算机视觉与视频处理,尤其涉及一种全景视频拼接方法、装置和电子设备。背景技术:1、全景视频拼接技术是现代视觉感知、智能安防与虚拟现实等领域的核心支撑技...
全景视频拼接方法、装置和电子设备与流程

本发明涉及计算机视觉与视频处理,尤其涉及一种全景视频拼接方法、装置和电子设备。

背景技术:

1、全景视频拼接技术是现代视觉感知、智能安防与虚拟现实等领域的核心支撑技术。随着多相机阵列与4k超高清视频设备的普及,行业对多路视频流的实时处理能力与无缝拼接质量提出了极高要求。

2、然而,现有拼接技术在实际工程应用中仍面临显著的技术瓶颈。传统的特征提取算法通常进行全图检索,且过度追求尺度与旋转不变性;但在全景相机组相对位置固定的场景下,这种冗余的不变性计算导致了极大的时空资源浪费,严重制约了特征提取效率。在图像消除接缝阶段,传统的多波段融合主要针对静态图像进行空间平滑,忽略了视频帧在时间轴上的连续性,导致动态视频流在重叠区域极易出现画面闪烁、纹理断裂及亮度突变。此外,面对超高清视频海量的矩阵运算,常规中央处理器(central processing unit,cpu)架构已面临算力瓶颈;而现有的图形处理器(graphics processing unit,gpu)加速方案多局限于简单的线程级并发,未能充分挖掘多路视频流异步并行的潜力,极易引发数据交互阻塞与gpu资源闲置。

技术实现思路

1、本发明提供一种全景视频拼接方法、装置和电子设备,用以解决现有技术中的全景视频拼接方法精度低、效率低、实时性差的缺陷。

2、本发明提供一种全景视频拼接方法,应用于全景视频拼接系统,所述系统包括图形处理器gpu并行计算平台,所述方法包括:

3、获取全景相机组同步采集的多个原始全景视频帧,对多个所述原始全景视频帧进行预处理,得到多个全景视频帧,确定多个所述全景视频帧之间的第一重叠区域;

4、对每一所述全景视频帧的第一重叠区域进行特征提取,得到每一所述全景视频帧的候选特征点和所述候选特征点的描述信息;

5、基于各所述候选特征点的描述信息,对各所述候选特征点进行匹配,得到用于图像变换的最优单应性矩阵;

6、由所述gpu并行计算平台,基于所述最优单应性矩阵对多个所述全景视频帧进行并行几何变换与重投影,得到对齐至统一全景坐标系的多个重投影后的全景视频帧,确定多个所述重投影后的全景视频帧的第二重叠区域;

7、对多个所述重投影后的全景视频帧的第二重叠区域进行多尺度多波段融合和平滑处理,得到无接缝的全景融合视频帧。

8、在一些实施例中,所述对每一所述全景视频帧的第一重叠区域进行特征提取,得到每一所述全景视频帧的候选特征点和所述候选特征点的描述信息,包括:

9、针对每一所述全景视频帧的第一重叠区域内的像素,分别计算水平方向梯度、垂直方向梯度,以及所述水平方向梯度与所述垂直方向梯度的梯度乘积;

10、对所述水平方向梯度的平方、所述垂直方向梯度的平方和所述梯度乘积进行高斯加权,生成harris矩阵;

11、检测每一所述全景视频帧的第一重叠区域内的加速分段测试特征fast角点,基于所述harris矩阵计算每一所述fast角点的harris响应值;

12、将每一所述全景视频帧内所有所述fast角点的harris响应值按照从高到低进行排序,筛选出所述harris响应值排在前n的所述fast角点作为所述候选特征点,n为正整数;

13、提取所述候选特征点的二进制鲁棒独立基本特征brief描述子,作为所述候选特征点的描述信息。

14、在一些实施例中,所述基于各所述候选特征点的描述信息,对各所述候选特征点进行匹配,得到用于图像变换的最优单应性矩阵,包括:

15、对每一所述候选特征点的描述信息进行哈希映射,探测查询每一所述候选特征点的哈希桶邻域,获取每一所述候选特征点的各近似候选特征点;

16、基于汉明距离计算每一所述候选特征点与各所述近似候选特征点的相似度,将所述相似度大于预设阈值的点对作为初始特征点匹配对;

17、将多个所述初始特征点匹配对按相似度从高到低排序,选取前k个所述初始特征点匹配对构建匹配样本子集,k为正整数;

18、按相似度从高到低的顺序,从所述匹配样本子集中选取目标匹配对,基于所述目标匹配对计算候选单应性矩阵,统计所有所述初始特征点匹配对中符合所述候选单应性矩阵的内点的数量,所述内点的重投影误差小于预设误差阈值;

19、选取内点的数量最多的候选单应性矩阵作为所述最优单应性矩阵,将所有所述初始特征点匹配对中不属于所述内点的匹配对剔除。

20、在一些实施例中,所述系统还包括中央处理器cpu,所述由所述gpu并行计算平台,基于所述最优单应性矩阵对多个所述全景视频帧进行并行几何变换与重投影,包括:

21、结合统一内存矩阵umat建立所述gpu并行计算平台与所述中央处理器cpu之间的数据交互通道;

22、融合统一计算设备架构cuda的块并行、线程并行以及流并行策略,将多个所述全景视频帧的几何变换与重投影任务分配至多个cuda流中进行异步并行处理。

23、在一些实施例中,所述对多个所述重投影后的全景视频帧的第二重叠区域进行多尺度多波段融合和平滑处理,得到无接缝的全景融合视频帧,包括:

24、对每一所述重投影后的全景视频帧的第二重叠区域构建高斯金字塔和拉普拉斯金字塔,将所述第二重叠区域分解为不同尺度的波段;

25、在所述拉普拉斯金字塔的每一层,结合多个所述重投影后的全景视频帧的时间连续性,计算所述第二重叠区域内各像素在空间维度与时间维度的融合权重;

26、基于所述融合权重,对所述拉普拉斯金字塔各层的第二重叠区域的像素进行加权求和,将经过加权求和的拉普拉斯金字塔的各层进行重构,得到所述无接缝的全景融合视频帧。

27、在一些实施例中,所述对多个所述原始全景视频帧进行预处理,得到多个全景视频帧,包括:

28、基于预先标定的相机内参及畸变系数,对多个所述原始全景视频帧进行畸变校正,得到多个校正后的全景视频帧;

29、根据所述全景相机组的预校正位置参数,对多个所述校正后的全景视频帧进行图像粗对齐,得到多个所述全景视频帧。

30、本发明还提供一种全景视频拼接装置,应用于全景视频拼接系统,所述系统包括图形处理器gpu并行计算平台,所述装置包括:

31、预处理单元,用于获取全景相机组同步采集的多个原始全景视频帧,对多个所述原始全景视频帧进行预处理,得到多个全景视频帧,确定多个所述全景视频帧之间的第一重叠区域;

32、特征提取单元,用于对每一所述全景视频帧的第一重叠区域进行特征提取,得到每一所述全景视频帧的候选特征点和所述候选特征点的描述信息;

33、特征匹配单元,用于基于各所述候选特征点的描述信息,对各所述候选特征点进行匹配,得到用于图像变换的最优单应性矩阵;

34、变换单元,用于调用所述gpu并行计算平台,基于所述最优单应性矩阵对多个所述全景视频帧进行并行几何变换与重投影,得到对齐至统一全景坐标系的多个重投影后的全景视频帧,确定多个所述重投影后的全景视频帧的第二重叠区域;

35、融合单元,用于对多个所述重投影后的全景视频帧的第二重叠区域进行多尺度多波段融合和平滑处理,得到无接缝的全景融合视频帧。

36、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述全景视频拼接方法。

37、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述全景视频拼接方法。

38、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述全景视频拼接方法。

39、本发明提供的全景视频拼接方法、装置和电子设备,通过获取全景相机组同步采集的多个原始全景视频帧,对多个原始全景视频帧进行预处理,得到多个全景视频帧,确定多个全景视频帧之间的第一重叠区域;对第一重叠区域进行特征提取,得到各候选特征点和各候选特征点的描述信息,降低了特征提取的时空复杂度,提升了特征提取的效率;基于各候选特征点的描述信息,对各候选特征点进行匹配,得到用于图像变换的最优单应性矩阵,保障了视频拼接的对齐精度;由gpu并行计算平台,基于最优单应性矩阵对多个全景视频帧进行并行几何变换与重投影,确定多个重投影后的全景视频帧的第二重叠区域,提高了视频拼接的效率和实时性;对第二重叠区域进行多尺度多波段融合和平滑处理,有效消除了重叠区域的亮度突变与纹理断裂,得到无接缝的全景融合视频帧,提高了视频拼接的精度。