全景视频防抖方法、装置和存储介质与流程

本申请涉及图像处理，特别涉及一种全景视频防抖方法、装置和存储介质。

背景技术：

1、随着虚拟现实、全景直播和安防监控等领域的快速发展，全景视频因其能够提供360度沉浸式视觉体验而受到广泛关注。全景视频通常采用等距投影格式进行存储和传输，该格式将球面场景展开为矩形平面图像，具有数据结构规整、编码兼容性好的优点。然而，在实际拍摄过程中，由于摄像设备的抖动，全景视频往往会出现画面晃动、模糊等问题，严重影响观看体验。因此，针对全景视频的电子防抖技术成为研究热点。

2、现有的全景视频防抖方案通常分为两类：一类是基于惯性测量单元的硬件辅助防抖，另一类是基于纯视觉的软件防抖。硬件辅助防抖依赖陀螺仪等传感器，成本较高且易受电磁干扰，适用范围受限。基于纯视觉的软件防抖方案通常包括特征点提取与匹配、运动模型估计、以及帧间补偿等步骤。然而，此类方案大多针对普通平面视频设计，直接应用于全景视频时存在明显不足。具体而言，等距投影格式的全景视频帧在极区存在严重的几何畸变，导致在该区域提取的特征点难以在不同帧之间稳定匹配；此外，全景视频的运动本质上是球面上的三维旋转运动，而传统平面视频的仿射变换或单应性矩阵模型无法准确描述这种球面运动，从而导致运动估计偏差较大，防抖效果不佳。

技术实现思路

1、本申请提供一种全景视频防抖方法、装置和存储介质，消除极区畸变影响并精确估计球面旋转运动，实现高质量全景视频防抖。

2、一方面，本申请提供了一种全景视频防抖方法，所述方法包括：

3、构建用于将等距投影格式全景视频帧映射至立方体贴图各无畸变平面的查找表；

4、基于所述查找表，对当前帧与相邻帧进行重采样，得到对应的多组无畸变平面图像，并在各组所述无畸变平面图像上进行特征点检测与光流追踪，获取平面二维特征点对；

5、将所述平面二维特征点对反投影至三维空间，形成三维单位射线方向向量对，并基于所述三维单位射线方向向量对在三维旋转约束下，通过随机抽样一致性算法结合奇异值分解，估计相邻帧间的姿态旋转矩阵；

6、将所述姿态旋转矩阵转化为单位四元数以更新原始累计姿态轨迹，并对所述原始累计姿态轨迹进行球面线性插值滤波以获取平滑姿态轨迹，再根据所述平滑姿态轨迹与所述原始累计姿态轨迹计算补偿旋转矩阵，并应用所述补偿旋转矩阵对所述全景视频帧进行反向重采样，生成防抖后的稳定帧。

7、另一方面，本申请提供了一种全景视频防抖装置，所述装置包括：

8、构建模块，用于构建用于将等距投影格式全景视频帧映射至立方体贴图各无畸变平面的查找表；

9、获取模块，用于基于所述查找表，对当前帧与相邻帧进行重采样，得到对应的多组无畸变平面图像，并在各组所述无畸变平面图像上进行特征点检测与光流追踪，获取平面二维特征点对；

10、估计模块，用于将所述平面二维特征点对反投影至三维空间，形成三维单位射线方向向量对，并基于所述三维单位射线方向向量对在三维旋转约束下，通过随机抽样一致性算法结合奇异值分解，估计相邻帧间的姿态旋转矩阵；

11、生成模块，用于将所述姿态旋转矩阵转化为单位四元数以更新原始累计姿态轨迹，并对所述原始累计姿态轨迹进行球面线性插值滤波以获取平滑姿态轨迹，再根据所述平滑姿态轨迹与所述原始累计姿态轨迹计算补偿旋转矩阵，并应用所述补偿旋转矩阵对所述全景视频帧进行反向重采样，生成防抖后的稳定帧。

12、第三方面，本申请提供了一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述全景视频防抖方法。

13、第四方面，本申请提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述全景视频防抖方法。

14、从上述本申请提供的技术方案可知，一方面，通过构建查找表将等距投影格式的全景视频帧映射至立方体贴图的各无畸变平面，消除了极区畸变对后续处理的影响，使得特征点检测与光流追踪能够在近似平面的图像上进行，显著提高了特征匹配的稳定性和准确性；另一方面，将平面二维特征点对反投影至三维空间形成三维单位射线方向向量对，并在三维旋转约束下结合随机抽样一致性算法与奇异值分解进行姿态估计，能够精确拟合全景视频固有的球面旋转运动模型，克服了传统平面运动模型在描述球面运动时的模型失配问题，从而获得了更为准确的帧间姿态旋转矩阵；第三方面，通过将姿态旋转矩阵转化为单位四元数并更新原始累计姿态轨迹，结合球面线性插值滤波获得平滑姿态轨迹，再据此计算补偿旋转矩阵并进行反向重采样，实现了对全景视频帧的高质量稳定化处理，有效抑制了视频画面的抖动现象，提升了全景视频的视觉观感。综上，本申请的技术方案消除极区畸变影响并精确估计球面旋转运动，实现高质量全景视频防抖。

1.一种全景视频防抖方法，其特征在于，所述方法包括：

2.根据权利要求1所述的全景视频防抖方法，其特征在于，所述基于所述查找表，对当前帧与相邻帧进行重采样，得到对应的多组无畸变平面图像，并在各组所述无畸变平面图像上进行特征点检测与光流追踪，获取平面二维特征点对，包括：

3.根据权利要求2所述的全景视频防抖方法，其特征在于，所述将所述平面二维特征点对反投影至三维空间，形成三维单位射线方向向量对，并基于所述三维单位射线方向向量对在三维旋转约束下，通过随机抽样一致性算法结合奇异值分解，估计相邻帧间的姿态旋转矩阵，包括：

4.根据权利要求3所述的全景视频防抖方法，其特征在于，所述球面线性插值滤波采用平滑因子，所述平滑姿态轨迹通过以下方式获得：

5.根据权利要求4所述的全景视频防抖方法，其特征在于，所述应用所述补偿旋转矩阵对所述全景视频帧进行反向重采样包括：

6.根据权利要求3所述的全景视频防抖方法，其特征在于，在估计相邻帧间的姿态旋转矩阵之后，所述方法还包括：

7.根据权利要求3所述的全景视频防抖方法，其特征在于，所述基于方向向量之间的夹角残差评估内点数量包括：

8.一种全景视频防抖装置，其特征在于，所述装置包括：

9.一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述全景视频防抖方法。

10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述全景视频防抖方法。