一种全景视频防抖方法及装置、存储介质及电子设备与流程

本发明涉及视频处理，特别涉及一种全景视频防抖方法及装置、存储介质及电子设备。

背景技术：

1、全景相机作为可实现360°全方位成像的设备，广泛应用于运动拍摄、场景还原、vr内容制作等领域，其核心工作原理是通过至少两个对称布置的镜头（如前后双镜头、多镜头阵列）采集不同视角的图像，再通过拼接算法合成完整的全景画面。与普通单镜头相机不同，全景相机的防抖效果直接影响画面拼接精度和整体视觉体验，其面临的防抖挑战远高于普通相机。

2、当前的防抖方案大多单独使用惯性测量单元（inertial measurement unit，imu）数据或图像数据，仅对单个镜头进行防抖处理，无法适配多镜头画面的协同、拼接需求，导致多镜头的画面运动不同步，出现拼接重影、断层等影响全景视频的画面质量的问题。

技术实现思路

1、有鉴于此，本技术实施例提供一种全景视频防抖方法及装置、存储介质及电子设备，本技术提供的全景视频防抖方案通过将全景相机的运动信息与各镜头的图像融合，并且同时对多个镜头进行防抖，使得多镜头的画面运动同步，避免画面拼接出现重影、断层的问题，提高全景视频的画面质量。

2、为实现上述目的，本技术实施例提供如下技术方案：

3、一种全景视频防抖方法，包括：

4、获取与当前时刻对应的全景相机的运动信息以及所述全景相机的各镜头的图像；所述运动信息包括所述全景相机的整体运动信息和各个镜头之间的相对运动信息；

5、获取所述全景相机的镜头参数，并基于所述镜头参数和所述运动信息，得到各个镜头的运动补偿策略；

6、应用各个所述镜头的运动补偿策略，对各个所述镜头的图像进行一帧多镜头同步补偿，得到在所述当前时刻的各个所述镜头的补偿图像；

7、基于各个所述镜头的摄像传感器类型，对各个所述镜头在不同时刻的补偿图像进行裁剪以及拼接，输出防抖全景视频。

8、上述的方法，可选的，所述获取与当前时刻对应的全景相机的运动信息以及所述全景相机的各镜头的图像，包括：

9、通过imu传感器获取在当前时刻的全景相机的imu数据，以及获取各个所述镜头在当前时刻的图像；

10、对所述imu数据进行去噪处理，以及对所述imu传感器进行校准，并输出imu动态零偏校准数据；

11、将去噪后的imu数据和每个所述镜头的图像进行时间戳对齐；

12、对所述去噪后的imu数据进行积分，得到所述全景相机的运动轨迹；

13、基于预设的imu动态零偏校准频率，使用所述imu动态零偏校准数据对所述全景相机的运动轨迹进行误差修正，并基于修正后的运动轨迹和所述全景相机的镜头布局参数，得到所述全景相机的imu短期运动估计结果；所述imu短期运动估计结果包括全景相机的整体运动参数和各镜头之间的相对运动偏差；

14、采用轻量化卡尔曼滤波和所述imu动态零偏校准数据对所述imu短期运动估计结果进行处理，得到所述全景相机的运动信息，所述运动信息包括全景相机的整体运动信息和各镜头之间的相对运动信息。

15、上述的方法，可选的，所述基于所述镜头参数和所述运动信息，得到各个镜头的运动补偿策略，包括：

16、对所述运动信息中的整体运动信息和各个镜头之间的相对运动信息进行分解，得到每个所述镜头的独立运动信息，所述独立运动信息包括所述镜头的旋转矩阵和平移向量；

17、对所述镜头参数和目标像素坐标进行处理，得到镜头畸变校正策略，所述目标像素坐标为全景相机中参与全景图像运动映射计算的像素点的像素坐标；

18、对所述镜头畸变校正策略和每个所述镜头的独立运动信息进行处理，得到每个所述镜头的运动补偿策略。

19、上述的方法，可选的，所述对所述镜头参数和目标像素坐标进行处理，得到镜头畸变校正策略，包括：

20、应用所述镜头参数中的镜头焦距，将所述目标像素坐标转换为相机坐标系下坐标，得到归一化坐标；

21、应用所述镜头参数中的径向畸变参数和切向畸变参数，对所述归一化坐标进行校正，得到校正归一化坐标；

22、将所述校正归一化坐标转换为像素坐标系下的坐标，得到镜头畸变校正策略。

23、上述的方法，可选的，所述对所述镜头畸变校正策略和每个所述镜头的独立运动信息进行处理，得到每个所述镜头的运动补偿策略，包括：

24、提取每个所述镜头的独立运动信息中的旋转矩阵的二维分量，得到每个所述镜头的二维旋转矩阵；

25、将每个所述镜头的独立运动信息中的平移分量从三维转换到二维，得到每个所述镜头的二维平移分量；

26、应用每个所述镜头的二维旋转矩阵和二维平移分量构建矩阵，得到每个所述镜头的初始仿射变换矩阵；

27、获取imu动态零偏校准数据，并使用所述imu动态零偏校准数据对每个所述初始仿射变换矩阵进行校准，得到每个所述镜头的仿射变换矩阵；

28、基于所述镜头畸变校正策略和每个所述镜头的仿射变换矩阵，得到每个所述镜头的运动补偿策略。

29、上述的方法，可选的，所述应用各个所述镜头的运动补偿策略，对各个所述镜头的图像进行一帧多镜头同步补偿，得到在所述当前时刻的各个所述镜头的补偿图像，包括：

30、对于每个所述镜头的图像，使用所述镜头的运动补偿策略逐一对所述图像中的每个像素点执行补偿操作；

31、对于正在进行补偿的各个镜头的图像，实时采集各个镜头的补偿进度；对各个镜头进行两两配对得到各个镜头组合，确定各个所述镜头组合的补偿进度偏差，所述补偿进度偏差为所述镜头组合内两个镜头的补偿进度的差值的绝对值；当任一镜头组合的补偿进度偏差大于预设进度偏差阈值时，降低该镜头组合中补偿进度大的镜头的补偿速率，持续监测该镜头组合的补偿进度偏差，直至小于或等于所述预设进度偏差阈值时停止调整；

32、在各个所述镜头的图像完成补偿后，基于各个镜头补偿后的图像，获取抖动残留量；当所述抖动残留量不大于预设抖动残留阈值时，输出在所述当前时刻的各个镜头的补偿图像，当所述抖动残留量大于预设抖动残留阈值时，调整imu动态零偏校准频率，并重新获取每个所述镜头的运动补偿策略，使用重新获取的各个运动补偿策略再次对各个镜头的图像进行一帧多镜头同步补偿，直至抖动残留量不大于预设抖动残留阈值时，输出在所述当前时刻的各个镜头的补偿图像。

33、上述的方法，可选的，所述使用所述镜头的运动补偿策略逐一对所述图像中的每个像素点进行补偿，包括：

34、对于所述图像中的每个像素点，应用所述运动补偿策略中的镜头畸变校正策略对所述像素点进行畸变校正，得到与所述像素点对应的畸变校正坐标；

35、将所述像素点的畸变校正坐标和所述运动补偿策略中的仿射变换矩阵进行处理，得到所述像素点的补偿后坐标；

36、当所述像素点的补偿后坐标为整数坐标时，结束所述像素点的补偿操作；当所述像素点的补偿后坐标为非整数坐标时，采用双线性差值算法，对所述像素点的补偿后坐标进行灰度值填充处理，结束所述像素点的补偿操作。

37、一种全景视频防抖装置，包括：

38、第一获取单元，用于获取与当前时刻对应的全景相机的运动信息以及所述全景相机的各镜头的图像；所述运动信息包括所述全景相机的整体运动信息和各个镜头之间的相对运动信息；

39、第二获取单元，用于获取所述全景相机的镜头参数，并基于所述镜头参数和所述运动信息，得到各个镜头的运动补偿策略；

40、同步补偿单元，用于应用各个所述镜头的运动补偿策略，对各个所述镜头的图像进行一帧多镜头同步补偿，得到在所述当前时刻的各个所述镜头的补偿图像；

41、拼接单元，用于基于各个所述镜头的摄像传感器类型，对各个所述镜头在不同时刻的补偿图像进行裁剪以及拼接，输出防抖全景视频。

42、上述的装置，可选的，所述第一获取单元执行获取与当前时刻对应的全景相机的运动信息以及所述全景相机的各镜头的图像的过程，包括：

43、通过imu传感器获取在当前时刻的全景相机的imu数据，以及获取各个所述镜头在当前时刻的图像；

44、对所述imu数据进行去噪处理，以及对所述imu传感器进行校准，并输出imu动态零偏校准数据；

45、将去噪后的imu数据和每个所述镜头的图像进行时间戳对齐；

46、对所述去噪后的imu数据进行积分，得到所述全景相机的运动轨迹；

47、基于预设的imu动态零偏校准频率，使用所述imu动态零偏校准数据对所述全景相机的运动轨迹进行误差修正，并基于修正后的运动轨迹和所述全景相机的镜头布局参数，得到所述全景相机的imu短期运动估计结果；所述imu短期运动估计结果包括全景相机的整体运动参数和各镜头之间的相对运动偏差；

48、采用轻量化卡尔曼滤波和所述imu动态零偏校准数据对所述imu短期运动估计结果进行处理，得到所述全景相机的运动信息，所述运动信息包括全景相机的整体运动信息和各镜头之间的相对运动信息。

49、上述的装置，可选的，所述第二获取单元执行基于所述镜头参数和所述运动信息，得到各个镜头的运动补偿策略的过程，包括：

50、对所述运动信息中的整体运动信息和各个镜头之间的相对运动信息进行分解，得到每个所述镜头的独立运动信息，所述独立运动信息包括所述镜头的旋转矩阵和平移向量；

51、对所述镜头参数和目标像素坐标进行处理，得到镜头畸变校正策略，所述目标像素坐标为全景相机中参与全景图像运动映射计算的像素点的像素坐标；

52、对所述镜头畸变校正策略和每个所述镜头的独立运动信息进行处理，得到每个所述镜头的运动补偿策略。

53、上述的装置，可选的，所述第二获取单元执行对所述镜头参数和目标像素坐标进行处理，得到镜头畸变校正策略的过程，包括：

54、应用所述镜头参数中的镜头焦距，将所述目标像素坐标转换为相机坐标系下坐标，得到归一化坐标；

55、应用所述镜头参数中的径向畸变参数和切向畸变参数，对所述归一化坐标进行校正，得到校正归一化坐标；

56、将所述校正归一化坐标转换为像素坐标系下的坐标，得到镜头畸变校正策略。

57、上述的装置，可选的，所述第二获取单元执行对所述镜头畸变校正策略和每个所述镜头的独立运动信息进行处理，得到每个所述镜头的运动补偿策略的过程，包括：

58、提取每个所述镜头的独立运动信息中的旋转矩阵的二维分量，得到每个所述镜头的二维旋转矩阵；

59、将每个所述镜头的独立运动信息中的平移分量从三维转换到二维，得到每个所述镜头的二维平移分量；

60、应用每个所述镜头的二维旋转矩阵和二维平移分量构建矩阵，得到每个所述镜头的初始仿射变换矩阵；

61、获取imu动态零偏校准数据，并使用所述imu动态零偏校准数据对每个所述初始仿射变换矩阵进行校准，得到每个所述镜头的仿射变换矩阵；

62、基于所述镜头畸变校正策略和每个所述镜头的仿射变换矩阵，得到每个所述镜头的运动补偿策略。

63、上述的装置，可选的，所述同步补偿单元执行应用各个所述镜头的运动补偿策略，对各个所述镜头的图像进行一帧多镜头同步补偿，得到在所述当前时刻的各个所述镜头的补偿图像的过程，包括：

64、对于每个所述镜头的图像，使用所述镜头的运动补偿策略逐一对所述图像中的每个像素点执行补偿操作；

65、对于正在进行补偿的各个镜头的图像，实时采集各个镜头的补偿进度；对各个镜头进行两两配对得到各个镜头组合，确定各个所述镜头组合的补偿进度偏差，所述补偿进度偏差为所述镜头组合内两个镜头的补偿进度的差值的绝对值；当任一镜头组合的补偿进度偏差大于预设进度偏差阈值时，降低该镜头组合中补偿进度大的镜头的补偿速率，持续监测该镜头组合的补偿进度偏差，直至小于或等于所述预设进度偏差阈值时停止调整；

66、在各个所述镜头的图像完成补偿后，基于各个镜头补偿后的图像，获取抖动残留量；当所述抖动残留量不大于预设抖动残留阈值时，输出在所述当前时刻的各个镜头的补偿图像，当所述抖动残留量大于预设抖动残留阈值时，调整imu动态零偏校准频率，并重新获取每个所述镜头的运动补偿策略，使用重新获取的各个运动补偿策略再次对各个镜头的图像进行一帧多镜头同步补偿，直至抖动残留量不大于预设抖动残留阈值时，输出在所述当前时刻的各个镜头的补偿图像。

67、上述的装置，可选的，所述同步补偿单元执行使用所述镜头的运动补偿策略逐一对所述图像中的每个像素点进行补偿的过程，包括：

68、对于所述图像中的每个像素点，应用所述运动补偿策略中的镜头畸变校正策略对所述像素点进行畸变校正，得到与所述像素点对应的畸变校正坐标；

69、将所述像素点的畸变校正坐标和所述运动补偿策略中的仿射变换矩阵进行处理，得到所述像素点的补偿后坐标；

70、当所述像素点的补偿后坐标为整数坐标时，结束所述像素点的补偿操作；当所述像素点的补偿后坐标为非整数坐标时，采用双线性差值算法，对所述像素点的补偿后坐标进行灰度值填充处理，结束所述像素点的补偿操作。

71、一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上所述的全景视频防抖方法。

72、一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上指令实现如上所述的全景视频防抖方法。

73、与现有技术相比，本技术具有以下有益效果：

74、本技术提供一种全景视频防抖方法及装置、存储介质及电子设备，通过获取在当前时刻的全景相机的运动信息以及各镜头的图像；对运动信息和全景相机的镜头参数进行处理，得到每个镜头的运动补偿策略；应用每个镜头的运动补偿策略，对每个镜头的图像序列进行一帧多镜头同步补偿，从而可以同时对多个镜头进行防抖处理，得到在当前时刻的各镜头的补偿图像，并且基于各个镜头的摄像传感器类型，对各个镜头在不同时刻的补偿图像进行裁剪及拼接，得到防抖的全景视频。通过将全景相机的运动信息与各镜头的图像融合，并且同时对多个镜头进行防抖，使得多镜头的画面运动同步，避免画面拼接出现重影、断层的问题，提高全景视频的画面质量。