视频处理方法、设备及存储介质与流程

本技术涉及终端，尤其涉及视频处理方法、设备及存储介质。

背景技术：

1、随着终端技术的不断发展，手机、平板电脑、可穿戴设备等电子设备能够为用户提供多种类型的应用和服务。例如，电子设备支持用户安装各类游戏应用。

2、然而，用户使用电子设备中的游戏应用时，若游戏画面中的物体快速移动时，游戏画面会出现扭曲变形等问题，从而影响用户体验。

技术实现思路

1、本技术实施例提供一种视频处理方法、设备及存储介质，应用于终端技术领域，可提升游戏应用等视频画面的画质。

2、第一方面，本技术实施例提出一种视频处理方法。该方法包括：获取视频数据，视频数据包括连续的两张第一图像；若两张第一图像的运动幅度大于或等于预设阈值，分别对两张第一图像进行下采样处理，得到两张第一图像对应的两张第二图像；根据两张第二图像的光流场数据生成两张第一图像对应的光流场数据；根据两张第一图像对应的光流场数据以及两张第一图像，生成第三图像；在两张第一图像之间插入第三图像，得到处理后的视频数据；播放处理后的视频数据。

3、这样，若相邻两张第一图像的运动幅度大于或等于预设阈值，表明相邻两张第一图像中的场景或对象的运动幅度较大(即大尺度运动场景)，对此，电子设备通过对相邻两张第一图像进行下采样处理，以得到较低分辨率的两张第二图像，再根据较低分辨率的两张第二图像的光流场数据得到较高分辨率的两张第一图像的光流场数据，随后电子设备通过对较高分辨率的两张第一图像的光流场数据以及原始分辨率的两张第一图像进行融合处理，生成插入原始分辨率的两张第一图像之间的第三图像(即中间帧图像)。由于电子设备是对分辨率较低的两张第二图像进行光流估计的，因此能够较好地估计图像像素间的对应关系，降低像素匹配难度，从而生成高质量的中间帧图像，可有效降低设备播放的视频画面出现图像扭曲变形的可能性，提升视频画质。

4、在一种可能的实现方式中，通过比较两张第一图像的图像特征，确定第一参数；第一参数用于指示两张第一图像的运动幅度的大小。

5、这样，通过比较两张第一图像的图像特征确定第一参数(两张第一图像的运动幅度的大小)，可以为后续确定运动幅度大的两张第一图像之间的新的图像，或者确定运动幅度小的两张第一图像之间的新的图像做准备。

6、在一种可能的实现方式中，若两张第一图像的运动幅度大于或等于预设阈值，分别对两张第一图像进行下采样处理，得到两张第一图像对应的两张第二图像，包括：若第一参数指示的两张第一图像的运动幅度大于或等于预设阈值，根据第一参数确定第一尺度因子；根据第一尺度因子分别对两张第一图像进行下采样处理，得到两张第一图像对应的两张第二图像。

7、这样，通过针对运动幅度大的两张第一图像，可以根据运动幅度的大小确定对两张第一图像进行下采样处理的程度，通过下采样处理将两张第一图像的分辨率适当减小，可以使得两张第一图像的位移在后续光流估计中处于较小的范围，使得在相对较小的搜索范围内可以寻找第一图像中的对应像素点，从而有效降低电子设备播放的视频画面出现图像扭曲变形的可能性，从而提升用户体验。

8、在一种可能的实现方式中，通过比较两张第一图像的图像特征，确定第一参数，包括：获取两张第一图像的像素信息；通过比较两张第一图像的像素信息，确定两张第一图像的像素差异值；第一参数包括像素差异值，像素差异值用于指示两张第一图像的运动幅度的大小，像素差异值与运动幅度正相关。

9、这样，通过比较两张第一图像的像素信息，确定两张第一图像的像素差异值，可以为后续确定运动幅度大的两张第一图像之间的新的图像，或者确定运动幅度小的两张第一图像之间的新的图像做准备。

10、在一种可能的实现方式中，通过比较两张第一图像的像素信息，确定两张第一图像的像素差异值，包括：将两张第一图像的灰度值进行相减，获取两张第一图像的差值；确定两张第一图像的差值的绝对值；根据两张第一图像的差值的绝对值，确定两张第一图像的像素差异值。

11、这样，通过将两张第一图像的灰度值进行相减，获取两张第一图像的差值；确定两张第一图像的差值的绝对值；根据两张第一图像的差值的绝对值，确定两张第一图像的像素差异值，可以为后续确定运动幅度大小做准备，从而为后续确定运动幅度大的两张第一图像之间的新的图像，或者确定运动幅度小的两张第一图像之间的新的图像做准备。

12、在一种可能的实现方式中，若两张第一图像的运动幅度大于或等于预设阈值，分别对两张第一图像进行下采样处理，得到两张第一图像对应的两张第二图像，包括：若两张第一图像的像素差异值大于或等于第一阈值，分别对两张第一图像进行下采样处理，得到两张第一图像对应的两张第二图像。

13、这样，通过在两张第一图像的像素差异值大于或等于第一阈值(运动幅度大)时，对两张第一图像进行下采样处理，可以为后续在更小分辨率的第二图像上进行光流估计，从而为得到两张第一图像之间的新的图像做准备。

14、在一种可能的实现方式中，若两张第一图像的像素差异值大于或等于第一阈值，分别对两张第一图像进行下采样处理，得到两张第一图像对应的两张第二图像，包括：若两张第一图像的像素差异值大于或等于第一阈值，根据两张第一图像的像素差异值确定第二尺度因子；根据第二尺度因子，分别对两张第一图像进行下采样处理，得到两张第一图像对应的两张第二图像。

15、这样，通过针对运动幅度大的两张第一图像，根据两张第一图像的像素差异值确定第二尺度因子，也就是根据运动幅度的大小确定对两张第一图像进行下采样处理的幅度，通过下采样处理将两张第一图像的分辨率适当减小，可以使得两张第一图像的位移在后续光流估计中处于较小的范围，使得在相对较小的搜索范围内可以寻找第一图像中的对应像素点，从而有效降低电子设备播放的视频画面出现图像扭曲变形的可能性，从而提升用户体验。

16、在一种可能的实现方式中，通过比较两张第一图像的特征信息确定第一参数，包括：提取两张第一图像的特征信息；特征信息包括图像的以下至少一项特征：颜色，形状，纹理，对比度，亮度；根据两张第一图像的特征信息，确定两张第一图像的图像相似度；第一参数包括图像相似度，图像相似度用于指示两张第一图像的运动幅度，图像相似度与运动幅度负相关。

17、这样，通过根据两张第一图像的特征信息，确定两张第一图像的运动幅度，可以为后续确定运动幅度大的两张第一图像之间的新的图像，或者确定运动幅度小的两张第一图像之间的新的图像做准备。

18、在一种可能的实现方式中，若两张第一图像的运动幅度大于或等于预设阈值，分别对两张第一图像进行下采样处理，得到两张第一图像对应的两张第二图像，包括：若两张第一图像的图像相似度小于或等于第二阈值，分别对两张第一图像进行下采样处理，得到两张第一图像对应的两张第二图像。

19、这样，通过在两张第一图像的图像相似度小于或等于第二阈值(运动幅度大)时，对两张第一图像进行下采样处理，可以为后续在更小分辨率的第二图像上进行光流估计，从而为得到两张第一图像之间的新的图像做准备。

20、在一种可能的实现方式中，若两张第一图像的图像相似度小于或等于第二阈值，分别对两张第一图像进行下采样处理，得到两张第一图像对应的两张第二图像，包括：若两张第一图像的图像相似度小于或等于第二阈值，根据两张第一图像的图像相似度确定第三尺度因子；根据第三尺度因子，分别对两张第一图像进行下采样处理，得到两张第一图像对应的两张第二图像。

21、这样，通过针对运动幅度大的两张第一图像，可以根据两张第一图像的图像相似度确定第三尺度因子，也就是根据运动幅度的大小确定对两张第一图像进行下采样处理的幅度，通过下采样处理将两张第一图像的分辨率适当减小，可以使得两张第一图像的位移在后续光流估计中处于较小的范围，使得在相对较小的搜索范围内可以寻找第一图像中的对应像素点，从而有效降低电子设备播放的视频画面出现图像扭曲变形的可能性，从而提升用户体验。

22、在一种可能的实现方式中，还可以基于预设的流光估计算法，分别获取两张第二图像的光流场数据；根据两张第二图像的光流场数据生成两张第一图像对应的光流场数据，包括：分别对两张第二图像的光流场数据进行上采样处理，得到两张第一图像对应的光流场数据。

23、这样，针对运动幅度大的两张第一图像，通过将两张第二图像的光流场数据进行上采样处理，使得上采样后的图像的分辨率与第一图像的分辨率一致，可以使得后续能够根据两张第一图像对应的光流场数据以及两张第一图像，生成两张第一图像之间的新的图像。

24、在一种可能的实现方式中，两张第一图像包括第四图像和第五图像；根据两张第一图像对应的光流场数据以及两张第一图像，生成第三图像，包括：根据第四图像对应的光流场数据以及第四图像，生成第六图像；以及，根据第五图像对应的光流场数据以及第五图像，生成第七图像；对第六图像和第七图像进行图像融合，得到第三图像。

25、这样，通过先生成第六图像和第七图像，再将第六图像和第七图像进行图像融合，从而得到第三图像，可以降低第三图像缺失或不准确的可能性，提升第三图像的质量，有效降低设备播放的视频画面出现图像扭曲变形的可能性，从而提升用户体验。

26、在一种可能的实现方式中，若两张第一图像的运动幅度小于预设阈值，基于预设的流光估计算法，分别获取两张第一图像的光流场数据；根据两张第一图像的光流场数据以及两张第一图像，生成第八图像；在两张第一图像之间插入第八图像，得到处理后的视频数据；播放处理后的视频数据。

27、这样，在两张第一图像的物体发生小尺度运动时，分别对两张第一图像进行光流估计，得到两张第一图像对应的光流场数据，并且基于两张第一图像对应的光流场数据光流场数据以及两张第一图像确定第八图像，通过插值将第八图像插入两张第一图像之间，可以提高视频数据的帧率，提升视频画面的流畅性。

28、第二方面，本技术实施例提供一种电子设备，包括处理器和存储器，存储器用于存储代码指令，处理器用于运行代码指令，以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

29、第三方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

30、第四方面，本技术实施例提供一种包括计算机程序的计算机程序产品，当计算机程序在计算机上运行时，使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

31、第五方面，本技术提供一种芯片或者芯片系统，该芯片或者芯片系统包括至少一个处理器和通信接口，通信接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。其中，芯片中的通信接口可以为输入/输出接口、管脚或电路等。

32、在一种可能的实现中，本技术中上述描述的芯片或者芯片系统还包括至少一个存储器，该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元，例如，寄存器、缓存等，也可以是该芯片的存储单元(例如，只读存储器、随机存取存储器等)。

33、应当理解的是，本技术的第二方面至第五方面与本技术的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。