具有可变帧速率的自适应视觉聚焦感测系统的制作方法

摘要: 本公开整体涉及图像或帧的捕获和处理。例如,本公开的各方面涉及自适应注视点感测系统和技术。背景技术:1、相机可使用图像传感器接收光并捕获图像帧,诸如静止图像或视频...
具有可变帧速率的自适应视觉聚焦感测系统的制作方法

本公开整体涉及图像或帧的捕获和处理。例如,本公开的各方面涉及自适应注视点感测系统和技术。

背景技术:

1、相机可使用图像传感器接收光并捕获图像帧,诸如静止图像或视频帧。相机可利用各种图像捕获设置和/或图像处理设置来配置,以更改由此捕获的图像的外观。图像捕获设置可在捕获图像之前和/或在捕获图像时确定并应用,诸如iso、曝光时间(也称为曝光、曝光历时或快门速度)、光圈大小(也称为光圈值)、聚焦和增益(包括模拟和/或数字增益)等。此外,图像处理设置可被配置用于图像的后处理,诸如对比度、亮度、饱和度、锐度、级别、曲线和颜色等的更改。

技术实现思路

1、下文呈现与本文所公开的一个或多个方面相关的简化 技术实现要素: 。因此,以下发明内容既不应被认为是与所有构想的方面相关的详尽纵览,也不应被认为标识与所有构想的方面相关的关键性或决定性元素或描绘与任何特定方面相关联的范围。相应地,以下发明内容在以下呈现的详细描述之前以简化形式呈现与关于本文所公开的机制的一个或多个方面相关的某些概念。

2、本文描述了用于执行自适应视觉聚焦的系统和技术。根据本文中所描述的各方面,使用所公开的自适应视觉聚焦的设备可基于自适应地控制场景的不同区域的帧速率而减少带宽和功率消耗。

3、根据至少一个示例,提供了一种用于捕获一个或多个帧的方法。该方法包括:使用图像传感器以第一帧速率获得与场景相关联的第一多个帧,其中第一多个帧与图像传感器的第一区域相关联并且具有第一分辨率;使用图像传感器以不同于第一帧速率的第二帧速率获得与场景相关联的第二多个帧,其中第二多个帧与图像传感器的第二区域相关联并且具有不同于第一分辨率的第二分辨率;以及组合第一多个帧中的第一帧和第二多个帧中的第二帧以生成所组合的帧。

4、在另一示例中,提供了一种用于生成一个或多个帧的装置,该装置包括至少一个存储器和至少一个处理器(例如,在电路中实现),该至少一个处理器耦合到至少一个存储器并且被配置为:从图像传感器以第一帧速率获得与场景相关联的第一多个帧,其中第一多个帧与图像传感器的第一区域相关联并且具有第一分辨率;从图像传感器以不同于第一帧速率的第二帧速率获得与场景相关联的第二多个帧,其中第二多个帧与图像传感器的第二区域相关联并且具有不同于第一分辨率的第二分辨率;以及组合第一多个帧中的第一帧和第二多个帧中的第二帧以生成所组合的帧。

5、在另一示例中,提供了一种其上存储有指令的非暂态计算机可读介质,该指令在由至少一个处理器执行时使至少一个处理器:从图像传感器以第一帧速率获得与场景相关联的第一多个帧,其中第一多个帧与图像传感器的第一区域相关联并且具有第一分辨率;从图像传感器以不同于第一帧速率的第二帧速率获得与场景相关联的第二多个帧,其中第二多个帧与图像传感器的第二区域相关联并且具有不同于第一分辨率的第二分辨率;以及组合第一多个帧中的第一帧和第二多个帧中的第二帧以生成所组合的帧。

6、在另一示例中,提供了一种用于捕获一个或多个帧的装置,该装置包括:用于以第一帧速率获得与场景相关联的第一多个帧的部件,其中第一多个帧与图像传感器的第一区域相关联并且具有第一分辨率;用于以不同于第一帧速率的第二帧速率获得与场景相关联的第二多个帧的部件;其中第二多个帧与图像传感器的第二区域相关联并且具有不同于第一分辨率的第二分辨率;和用于组合第一多个帧中的第一帧和第二多个帧中的第二帧以生成所组合的帧的部件。

7、在一些方面,本文所描述的装置中的一个或多个装置是以下内容和/或包括以下内容和/或作为以下内容的一部分:扩展现实(xr)设备或系统(例如,虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备)、移动设备(例如,移动电话或其他移动设备)、可穿戴设备、无线通信设备、相机、个人计算机、膝上型计算机、交通工具或交通工具的计算设备或组件、服务器计算机或服务器设备(例如,基于边缘或云的服务器、充当服务器设备的个人计算机、诸如充当服务器设备的移动电话的移动设备、充当服务器设备的xr设备、充当服务器设备的交通工具、网络路由器或充当服务器设备的其他设备)、另一个设备或它们的组合。在一些方面,该装置包括用于捕获一个或多个图像的一个相机或多个相机。在一些方面,该装置还包括用于显示一个或多个图像、通知和/或其他可显示数据的显示器。在一些方面,上文所描述的装置可包括一个或多个传感器(例如,一个或多个惯性测量单元(imu),诸如一个或多个陀螺仪、一个或多个陀螺测试仪、一个或多个加速度计或它们的任何组合和/或其他传感器)。

8、该发明内容不旨在标识所要求保护的主题的关键或必要特征,其也不旨在孤立地用于确定所要求保护的主题的范围。本主题应当参考本专利的整个说明书的合适部分、任何或所有附图以及每项权利要求来理解。

9、前述内容以及其他特征和实施方案将在参考以下说明书、权利要求书和附图时变得更明显。

1. 一种用于生成一个或多个帧的装置,所述装置包括:

2.根据权利要求1所述的装置,其中所述第二区域大于所述第一区域。

3. 根据权利要求1所述的装置,其中所述至少一个处理器被配置为:

4.根据权利要求3所述的装置,其中所述至少一个处理器被配置为:

5.根据权利要求4所述的装置,其中所述特性包括照明特性。

6. 根据权利要求3所述的装置,其中所述至少一个处理器被配置为:

7.根据权利要求1所述的装置,其中所述至少一个处理器被配置为:

8.根据权利要求1所述的装置,其中所述至少一个处理器被配置为:

9. 根据权利要求1所述的装置,其中所述至少一个处理器被配置为:

10. 根据权利要求1所述的装置,其中所述至少一个处理器被配置为:

11.根据权利要求1所述的装置,所述至少一个处理器被配置为基于来自注视检测传感器的眼睛注视信息来确定所述第一区域。

12. 根据权利要求1所述的装置,其中所述至少一个处理器被配置为:

13.根据权利要求1所述的装置,其中所述至少一个处理器被配置为:

14.根据权利要求13所述的装置,其中所述至少一个处理器被配置为:以小于或等于所述第一帧速率的第三帧速率获得所述第三多个帧。

15.一种生成一个或多个帧的方法,所述方法包括:

16.根据权利要求15所述的方法,其中所述第二区域大于所述第一区域。

17.根据权利要求15所述的方法,所述方法还包括:

18.根据权利要求15所述的方法,所述方法还包括:

19.根据权利要求15所述的方法,其中组合所述第一帧和所述第二帧包括:

20. 根据权利要求15所述的方法,所述方法还包括: