一种视频变焦方法及相关设备与流程

本技术涉及终端，尤其涉及一种视频变焦方法及相关设备。

背景技术：

1、目前手机、平板等电子设备一般包括多个物理相机(可简称为相机/摄像头，还可称为相机模组/摄像头模组)。不同相机的焦距可以不同。在录制视频的过程中，电子设备可以基于用户操作来切换相机，从而实现变焦。例如，电子设备变焦至1x以下时，可以使用超广角相机，而变焦至1x以上时，可以使用广角相机。在切换相机以实现变焦的过程中，由于相机安装位置的差异，比如不同相机中的镜头的位置存在差异，导致切换前后的相机出图的中心点有所偏移。

技术实现思路

1、本技术提供了一种视频变焦方法及相关设备。根据该方法，在电子设备录制视频的过程中，响应于触发变焦的操作，在获取视频帧的过程中，电子设备可以通过原相机和目标相机输出的其他多组双流图像来确定目标双流图像对应的视差，这样得到的视差更加准确，后续进行图像对齐的效果也更好，可以得到质量更高的视频帧。

2、第一方面，本技术提供了一种视频变焦方法。该方法可以应用于包括第一相机和第二相机的电子设备。该方法可以包括：在电子设备采用第一相机录制视频的过程中，响应于第一操作，电子设备可以通过第一相机和第二相机输出双流图像，该第一操作可以用于触发变焦；在基于双流图像获取视频帧的过程中，电子设备可以基于多组双流图像确定第一目标视差，该多组双流图像包括目标双流图像；电子设备还可以基于第一目标视差对目标双流图像进行处理，得到目标视频帧。

3、在本技术提供的方案中，用户可以在采用电子设备录制视频的过程中触发变焦，响应于该变焦操作，针对视频流，电子设备可以获取原相机和目标相机输出的多组双流图像，并基于该多组双流图像进行原相机fov中心移动轨迹的优化，即可以基于更多的全局信息来提升每一组双流图像的fov对齐效果，可以避免在对齐fov中心的过程中因单次图像差异而导致视差异常，进而导致整体移动轨迹不平滑，从而避免后续录制得到的视频中存在跳变明显的图像。并且，获取视频帧的过程中以基于双流图像获取的视差为准，相较于基于标定信息得到的视差，基于双流图像获取的视差更加准确，后续可以得到更高质量的视频帧。

4、另外，由于上述方案预留更多的全局信息，可以给算法效果进一步提供更大可能性，比如可以将不同相机输出的图像在变焦时进行图像内容对齐，ai场景对齐，图像ai融合等。

5、结合第一方面，在一种可能的实现方式中，上述多组双流图像可以包括原相机和目标相机在输出目标双流图像之前输出的至少一组双流图像，和/或原相机和目标相机在输出目标双流图像之后输出的至少一组双流图像。

6、在本技术提供的方案中，电子设备不仅可以结合未来图像信息来优化视差，还可以结合历史图像信息来优化视差，这样可以基于更多的全局信息来优化fov中心的移动轨迹，使得获取的视频帧与其前后的视频帧更加连贯和平滑。

7、结合第一方面，在一种可能的实现方式中，电子设备基于多组双流图像确定第一目标视差，具体可以包括：电子设备可以基于多组双流图像分别确定多个视差，该多个视差可以包括第一视差，第一视差为基于目标双流图像确定的视差；若第一视差满足第一条件，电子设备可以基于多个视差对第一视差进行处理，得到第一目标视差。

8、在本技术提供的方案中，电子设备可以基于原相机和目标相机输出的多组双流图像得到多个视差，并基于该多个视差来判断基于目标双流图像确定的视差是否为不合理视差，若判断该视差是不合理视差，则电子设备可以对基于该多组双流图像中的其他双流图像确定的视差进行处理，得到一个合理的视差，并基于该合理的视差来对目标双流图像进行处理，从而得到目标视频帧。这样可以结合多组双流图像来滤除计算得到的不合理视差，提升视差准确性，进而提升fov中心对齐的准确性，使得fov中心的移动轨迹更加平滑，进而使得后续录制结束后得到的视频更加平滑，可以避免其出现画面跳变的情况。

9、结合第一方面，在一种可能的实现方式中，若第一视差不满足第一条件，第一目标视差可以为第一视差。

10、在本技术提供的方案中，若电子设备基于该多个视差来判断基于目标双流图像确定的视差为合理视差，则可以直接采用该视差进行fov中心对齐，而不再进行其他处理，可以在一定程度上简化流程，节省能耗。

11、结合第一方面，在一种可能的实现方式中，电子设备基于多个视差对第一视差进行处理，得到第一目标视差，具体可以包括：电子设备可以滤除第一视差，并确定第一平均值，第一平均值为上述多个视差中的第一类视差的平均值，第一类视差为不满足第一条件的视差。其中，第一目标视差可以为第一平均值。

12、在本技术提供的方案中，若电子设备基于该多个视差来判断基于目标双流图像确定的视差为不合理视差，则电子设备可以将基于其他双流图像计算出来的视差的平均值来作为合理的视差，即结合全局信息确定视差，这样，可以得到更准确的视差，进而优化fov中心的移动轨迹，使得后续录制结束后得到的视频更加平滑，避免其出现画面跳变的情况。

13、结合第一方面，在一种可能的实现方式中，第一视差满足第一条件，具体可以包括：第一视差与第二平均值之间的差值大于第一阈值，第二平均值是上述多个视差的平均值。

14、在本技术提供的方案中，在基于该多个视差来判断基于目标双流图像确定的视差是否为不合理视差的过程中，可以基于该多个视差之间的差异程度来确定基于目标双流图像确定的视差，若基于目标双流图像确定的视差与其他视差存在明显差异，则电子设备可以确定基于目标双流图像确定的视差为不合理视差(或称异常视差)，这可能是由于异常抖动或卡顿等原因而导致的，这样可以及时将这些不合理视差筛除出来，保证后续fov中心对齐的准确性。

15、结合第一方面，在一种可能的实现方式中，该方法还可以包括：在基于双流图像获取视频帧的过程中，电子设备可以基于第一相机和第二相机输出的每一组双流图像确定一个视差，将得到的视差存入第一队列，并基于该视频帧的获取情况来更新第一队列。其中，第一队列中的视差数量大于第二阈值。

16、在本技术提供的方案中，电子设备可以以队列的形式来存放基于多组双流图像确定的多个视差，并且控制该队列的元素数量和入队出队规则，可以更有效的实现对该多个视差的管理和后续更多视差的更新。

17、结合第一方面，在一种可能的实现方式中，第一队列可以包括多个视差。电子设备基于多组双流图像确定第一目标视差，具体可以包括：电子设备可以对第一队列中的多个视差进行滤波处理，得到处理后的第一队列，该处理后的第一队列可以包括第一目标视差。

18、在本技术提供的方案中，电子设备基于新的一组双流图像获取新的视差之后，可以将其放入队列，并在队列元素数量满足要求的情况下对该队列中的视差进行滤波处理，从而实现对不合理视差的筛除，这样直接通过管理和维护队列就可以实现对不合理视差的筛除，更加高效。

19、结合第一方面，在一种可能的实现方式中，该方法还包括：在基于双流图像获取预览帧的过程中，电子设备可以基于标定信息和/或目标双流图像确定第二目标视差；电子设备还可以基于第二目标视差对目标双流图像进行处理，得到目标预览帧。

20、在本技术提供的方案中，用户可以在采用电子设备录制视频的过程中触发变焦，响应于该变焦操作，针对预览流，电子设备可以基于标定信息来确定视差，保证能够及时获取预览帧，保证画面显示实时性，并且还可以在能够及时获取双流图像的情况下，结合基于双流图像确定的视差来对基于标定信息确定的视差进行调整，在保证实时性的情况下也可以在一定程度上保证视差的准确性。

21、第二方面，本技术提供了一种电子设备，该电子设备包括一个或多个存储器和一个或多个处理器；该一个或多个存储器可以与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。

22、第三方面，本技术提供了一种计算机存储介质。该计算机存储介质包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。

23、第四方面，本技术实施例提供一种芯片。该芯片可以应用于电子设备，该芯片包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。

24、第五方面，本技术实施例提供一种芯片系统。该芯片系统可以应用于电子设备，该芯片系统包括至少一个处理器和接口，该接口用于接收指令，并传输至该至少一个处理器；该至少一个处理器运行该接收的指令，使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。

25、在本技术的一些实施例中，芯片系统可以为应用处理器(applicationprocessor，ap)，或者包括ap的片上系统(system on chip，soc)，上述第一方面或第一方面的任意一种实现方式所描述的方法可以由一个ap实施。

26、在本技术的又一些实施例中，芯片系统可以包括ap和其他模块。该其他模块可以为调制解调处理器(modem，也可称之为基带处理器)。

27、第六方面，本技术实施例提供一种包含指令的计算机程序产品。当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。

28、可理解，上述第二方面提供的电子设备、第三方面提供的计算机存储介质、第四方面提供的芯片、第五方面提供的芯片系统，以及第六方面提供的计算机程序产品均用于执行如第一方面或第一方面的任意一种实现方式所描述的方法。因此，其所能达到的有益效果可参考上述第一方面中任一种可能的实现方式的有益效果，此处不再赘述。