扫描折叠相机中的光学防抖1.相关申请案2.本技术案主张2020年8月12日所申请的美国临时专利申请案号63/064,565的优先权的利益，其全部内容通过引用并入本文。
技术领域：
：3.本文公开的示例一般涉及数码相机，特别是涉及使用折叠数码相机获得的图像的校正。
背景技术：
：：4.已知具有折叠光学器件(foldedoptics)的紧凑型数码相机，也被称为“折叠相机”，例如参见共同拥有的国际专利申请pct/ib2016/057366。在诸如智能手机、平板电脑等手持电子装置(在本文中也称为“手持装置”)中，一折叠望远相机通常是一多相机的一部分，并伴有一个或多个附加的相机，例如一超广角相机和一广角相机。一超广角相机的视场(fovuw)比一广角相机大，所述广角相机具有比具有fovt的一望远相机更大的fovw(假设图像传感器尺寸相似)。5.图1a从一透视图中示意性地示出了编号为100的一折叠望远相机。相机100包括：具有一透镜光轴110的一透镜102、一光路折叠元件(opticalpathfoldingelement,opfe)104和一图像传感器106。光路折叠元件104将从一对象、场景或全景视图部分114沿基本上平行于x轴的轴108的一第一光路折叠成沿基本上平行于z轴的轴110的一第二光路。相机100被设计为使光路折叠元件104相对于所述图像传感器围绕轴110(x轴)旋转，即在y-z平面中，由一箭头112指示的旋转。也就是说，折叠望远相机100是一"扫描"望远相机(scanningtelecamera,stc)。图1b显示了从零位置旋转30度之后的光路折叠元件104。6.图1c显示了俯视图的包括具有透镜102、光路折叠元件104和图像传感器106的一stc100的一手持装置120。一装置法线(“n”)与装置120的一屏幕116正交并且朝向观察者。所述相机的光轴是平行于x轴。在其他例子中，stc100可以被包含在120中，因此所述相机的光轴是平行于y轴。7.图像是从一相机的某个视点(pointofview,pov)中获取的。所述视点是由所述矢量定义的方向，所述矢量以一相机的光圈位置为起点，以fov中心的一对象点为终点(见图3a，两个视点矢量324和328对应于两个fovt326和332)。除了视点矢量，还可以说fov中心方向矢量(fovcenterdirection,fovcd)。作为一个例子，在根据iso约定定义的球坐标(r,θ,φ)中，一相机在r＝0的所述视点是由(1,θ,φ)定义，极角θ和方位角φ定义所述对象点的位置在所述望远fov的中心。所述视点矢量的长度可能是1(单位矢量)或可能具有某个恒定长度(例如efl)或可能具有一可变长度，例如，使其位于特定平面上。8.例如在共同拥有的pct专利申请号pct/ib2016/057366中所描述并且参考图1a-1b，所述光路折叠元件的旋转可以围绕x轴和围绕y轴来执行，以在图1a-1b中的二维(2d)中利用fov进行“扫描”。9.手持装置中所包含的现代相机通常包括光学防抖(opticalimagestabilization,ois)，其用于缓解由一用户的手部运动(通常称为“手抖动”)引起的非期望的相机运动。对于ois，光学部件被移动以减少在一相机的图像传感器上成像对象的移动。可以移动所述透镜模块和/或所述图像传感器和/或所述光路折叠元件和/或整个相机。所述手持装置中包含的一惯性测量单元(inertialmeasurementunit,imu)提供沿6个自由度(degreesoffreedom)的运动数据，亦即且参考图1c，x-y-z中的线性运动、围绕z轴滚动(roll)“倾斜”、偏航(yaw)(围绕y轴倾斜)以及俯仰(pitch)(围绕x轴倾斜)。通常，ois仅用于俯仰和偏航旋转补偿，而不是用于滚动旋转，因为俯仰和偏航旋转占手抖引起的图像劣化的主要份额。所述imu、普通(即非扫描)相机以及所述包括手持装置的坐标系统可以被对齐并且不会随时间变化。对于一stc来说，这是无效的。当fov扫描被执行时，一手持装置的坐标系统与一stc的坐标系统之间的关系确实会发生变化。因此，本领域已知的ois不能被用于一stc中的手部运动补偿。10.需要用于扫描望远相机的ois，这将是有利的。技术实现要素：11.为了简单起见，术语“电子装置”、“电子手持装置”、“手持装置”或仅“装置”可互换地被使用。为了简单起见，术语“智能手机”可被用于表示具有扫描折叠相机的所有电子手持装置以及在本文描述的此类相机中实现ois的方法。12.在各种实施例中，提供了多种望远折叠相机，其用于补偿包括这种相机的一手持电子装置的一非期望的转动运动，其中所述补偿取决于所述非期望的转动运动以及取决于所述望远折叠相机的一视点(pointofview,pov)。13.在各种实施例中，一手持电子装置包括：14.一望远折叠相机，所述望远折叠相机包括：一光路折叠元件(opticalpathfoldingelement,opfe)，用于将来自一第一光路的光折叠朝向一第二光路，所述第一光路与所述装置的一法线(normal)形成小于90度的角度，所述第二光路基本上正交于所述装置的所述法线；一透镜，具有沿所述第二光路的一透镜光轴；以及一图像传感器，其中所述装置是一手持电子装置；一光路折叠元件致动器，用于在一个或多个方向上倾斜所述光路折叠元件，以将所述望远折叠相机的一视点(pointofview,pov)指向一场景的一部份；15.一运动传感器，用于感测所述装置的一非期望的转动运动；以及16.至少一致动器，用于移动所述望远折叠相机的至少一部件，以补偿所述装置的所述非期望的转动运动，其中所述补偿取决于所述装置的所述非期望的转动运动以及取决于所述望远折叠相机的视点。17.在一些实施例中，所述非期望的转动运动围绕所述装置法线。18.在一些实施例中，一装置还包括一广角相机，所述广角相机的一视场fovw(fieldofviewfovw)大于所述望远相机的一视场fovt。19.在一些实施例中，所述感测所述转动运动包括在三个方向上测量所述转动运动。20.在一些实施例中，用于移动所述望远折叠相机的所述部件以补偿所述装置的非期望的转动运动的所述致动器是所述光路折叠元件致动器，所述光路折叠元件致动器用于在一个或多个方向上倾斜所述光路折叠元件，以将所述望远折叠相机的一视点指向一场景的一部份。21.在一些实施例中，所述移动所述望远折叠相机的所述部件以补偿所述装置的非期望的转动运动包括移动所述透镜。22.在一些实施例中，所述移动所述望远折叠相机的所述部件以补偿所述装置的非期望的转动运动包括移动所述图像传感器。23.在一些实施例中，一装置还包括一处理单元，所述处理单元被配置为执行一座标变换，以将所述望远相机的座标对齐所述手持装置的座标，反之亦然。24.在一些实施例中，一装置还包括一处理单元，所述处理单元被配置为执行一座标变换，所述座标变换将一参考座标系统的座标对齐所述手持装置的座标和所述望远相机的座标。25.在一些实施例中，所述座标变换是使用罗德里格旋转公式(rodrigues'rotationformula)来执行。26.在一些实施例中，所述运动传感器包括一惯性测量单元(inertialmeasurementunit,imu)。27.在一些实施例中，一装置还包括一微控制器(microcontrollerunit,mcu)，所述微控制器被配置为读出所述运动传感器，且被配置为提供控制信号至所述转动运动补偿致动器。在一些实施例中，所述微控制器(mcu)被包含在一应用处理器(applicationprocessor,ap)中。28.在一些实施例中，一装置还包括一应用处理器，所述应用处理器被配置为向所述光路折叠元件致动器提供视点控制信号，以倾斜所述光路折叠元件。29.在各种实施例中，提供了多种方法，其包括：30.提供包括一望远折叠相机的一手持装置，所述望远折叠相机包括：一光路折叠元件(opfe)，用于将来自一第一光轴的光折叠朝向一第二光轴，所述第一光轴与所述装置的一法线形成小于90度的角度，所述第二光轴基本上正交于所述装置的一法线；一透镜，具有沿所述第二光轴的一透镜轴；以及一图像传感器；31.提供一光路折叠元件致动器，所述光路折叠元件致动器用于在一个或多个方向上倾斜所述光路折叠元件，以将所述望远折叠相机的一视点(pov)指向一场景的一部份；32.感测所述装置的一非期望的转动运动；以及33.补偿所述非期望的转动运动，其中所述补偿取决于所述非期望的转动运动以及取决于所述望远折叠相机的视点。34.在一些实施例中，所述补偿所述非期望的转动运动包括移动所述望远折叠相机的一部件。35.在一些实施例中，所述补偿所述非期望的转动运动包括补偿围绕所述装置的法线方向的一转动运动。36.在一些实施例中，一方法还包括执行一座标变换，以将所述望远相机的座标对齐一惯性测量单元(imu)的座标。37.在一些实施例中，一方法还包括执行一座标变换，以将所述惯性测量单元的座标对齐所述望远相机的座标。38.在一些实施例中，一方法还包括执行一座标变换，以将一参考座标系统的座标对齐所述惯性测量单元的座标和所述望远相机的座标。39.在一些实施例中，所述执行所述座标变换包括使用罗德里格旋转公式执行所述变换。40.在一些实施例中，所述感测所述装置的一非期望的转动运动包括在三个方向上感测所述非期望的转动运动。41.在一些实施例中，所述补偿所述装置的所述非期望的转动运动包括转动所述光路折叠元件。42.在一些实施例中，所述补偿所述装置的所述非期望的转动运动包括移动所述透镜。43.在一些实施例中，所述补偿所述装置的所述非期望的转动运动包括移动所述图像传感器。44.在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在所述x方向上计算由所述非期望的转动运动引起的一被改变的视点：pfp＝(pi·cos(hnd_pitch) cross(pi,rp)·sin(hnd_pitch) rp·(dot(pi,rp)·(1-cos(hnd_pitch))))。45.在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在所述y方向上计算由所述非期望的转动运动引起的一被改变的视点：pfy＝(pi·cos(hnd_yaw) cross(pi,ry)·sin(hnd_yaw) ry·(dot(pi,ry)·(1-cos(hnd_yaw))))。46.在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在所述x方向上计算由所述非期望的转动运动引起的一被改变的视点：pfr＝(pi·cos(hnd_roll) cross(pi,rr)·sin(hnd_roll) rr·(dot(pi,rr)·(1-cos(hnd_roll))))。47.在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在x、y和z方向上计算由所述非期望的转动运动引起的一被改变的视点的一方向：pf’＝pi (pi-pfp) (pi-pfy) (pi-pfr)。48.在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在x、y和z方向上计算由所述非期望的转动运动引起的一被改变的视点的一矢量：pf＝pf’·eflt/pf’z。附图说明49.本文中所公开的实施例的非限制性示例在下文中参考本文所附的附图进行描述，其在本段后面列出。附图和描述意在说明和阐明本文中所公开的实施例，并且不应被认为以任何方式限制。不同附图中的相同元件可以由相同的附图标记指示。50.图1a示意性地示出了一已知的折叠扫描相机的透视图；51.图1b示出了图1a的所述望远相机中的所述光路折叠元件从零位置旋转30度后的图。52.图1c示出了例如图1a-b中所示的一扫描相机，其集成为一智能手机中的“后向”或“面向世界(world-facing)”的相机；53.图2a示例性地示出了包括在零位置的一第一扫描望远相机以及一第二广角相机的一智能手机；54.图2b示出了图2a的所述智能手机，其中所述望远相机在非零位置；55.图2c示出了图2a的所述智能手机，其中所述望远相机在另一个非零位置；56.图3a示出了用于导出所述望远相机的一坐标系统的二维(2d)图表；57.图3b示出了手抖动引起的转动装置运动对图3a的2d图表的影响。58.图3c示出了用于扫描本文公开的望远相机ois的一方法的主要步骤流程图；59.图4a以框图示意性地示出了一手持装置的实施例，所述实施例包括具有至少一个本文公开的扫描望远相机的多光圈相机；以及60.图4b以框图示意性地示出了一手持装置的另一实施例，其包括具有至少一个本文公开的扫描望远相机的多光圈相机。具体实施方式61.图2a示例性地示出了一智能手机200，其包括处于零位置(zeroposition)的一stc202和一广角相机p204。广角相机204不是一扫描相机，且其视点(“povw”)是平行于所述智能手机的一装置法线n(平行于z轴)。装置法线n与智能手机200表面上面积最大的一法线平行(或反平行)。智能手机200的imu的一坐标系统(例如图4a和4b中的imu460，此处未示出)可以对齐智能手机200的一坐标系统，例如图2a中所示的所述坐标系统，其中所述坐标系统的三个轴平行于智能手机200的三个对称轴，以使imu(和智能手机200)的坐标系统的z轴平行于povw。stc202的所述视点(“povt”)指向其零位置(“povt,0”)，对应于如图1a所示的一光路折叠元件转动状态。povt在零位置时，imu的所述坐标系统、广角相机204和stc202对齐。62.在用于ois的第一示例性方法(“示例1”)中，考虑广角相机204的ois，其(为简单起见)仅可以对俯仰旋转进行校正。为了检测非期望的手部运动量，可以从imu(“ximu”)读出绕x轴的俯仰旋转值，并且通过一特定量移动例如一个特定方向(dir1)中的所述透镜，其中移动量(或行程)与ximu成正比，即，所述透镜行程sw满足sw＝cw·ximu(具有一些恒定的cw)。这同样适用于stc202在零位置的ois。通过在dir1中按st＝ct·ximu(具有一些恒定ct)移动所述透镜，可以补偿手部运动。63.图2b示出了stc202在非零位置的智能手机200。povt相对于povw具有α度角。例如，对于α＝30度，这对应于如图1b所示的一光路折叠元件转动状态。imu的所述坐标系统、广角相机204和stc202不再对齐。64.考虑stc202在非零位置的示例1(俯仰方向的手部运动)。广角相机204的ois可以如示例1中被执行。然而，对于stc202的ois，示例1的方法不再允许执行手部运动补偿，即(通常)没有ct，因此通过按st＝ct·ximu移动所述透镜，可以补偿手部运动。这是因为stc202的所述坐标系统和imu不再对齐。65.对于ois的一第二示例性方法(“示例2”)，请参阅图2c。与图2a相比，povt绕y轴旋转了90度，即povt和povw相互垂直。与示例1一样，我们考虑所述广角相机的ois仅用于俯仰旋转的校正。手部运动可以通过读取旋转ximu的imu值以及通过在dir1中按sw＝cw·ximu(具有一些恒定的cw)移动所述广角相机的一透镜(未显示)被完全地补偿。然而，手部运动不能通过在dir1中按st＝ct·ximu(具有一些恒定ct)移动stc的一透镜(未显示，但类似于透镜102)来补偿。相反，必须将旋转方向从dir1修改为与dir1不同的一特定方向dir2。所述手部运动可以通过在dir2中按st＝ct·ximu移动所述stc透镜来补偿。一般来说，对于一stc，所述ois轴取决于所述视点或stc的扫描状态，因此不是恒定的，就像一广角相机的情况一样。66.图3a示出了用于导出stc的一坐标系统的二维(2d)图表320。stc的光圈322位于坐标(0,0,0)。一零状态stcpovt(povt,0)324对应于平行于一装置法线n(参见图2a-c)的一第一光路并且可以具有坐标(0,0,eflt)，其中eflt是stc的efl。fovt326对应于stc在povt,0324处的fovt。还示出了具有相应fovt332的期望或目标povt328(“povt,t”)。67.图3b示出了在包括stc的所述手持装置经历绕z轴的旋转“滚动”运动之后的图3a的2d图表320，例如，因为用户的手部运动。povt,0324没有发生任何变化。然而，相应的fovt变为一旋转的fovt326'。相反，所述转动运动将povt,t328变为povt,t328’。响应于一转动装置运动的pov(例如povt,t328)的变化不仅取决于旋转角度或旋转量，而且还取决于povt的位置。68.图3c以流程图的形式示出了本文公开的用于stcois的方法的主要步骤。69.在第一步骤302中，由一人类用户或一程序触发并由一fov扫描器442(图4a)处理的一命令将fovt引导到一场景内的感兴趣区域(regionofinterest,roi)。所述扫描可以通过使用一光路折叠元件致动器414旋转一光路折叠元件(图4a)来执行。通过光路折叠元件转动的所述fov扫描不是即时执行的，而是需要一些稳定时间，对于扫描2至5度，可能为1至50毫秒(ms)，对于扫描10至45度，可能为5至500毫秒。在稳定时间之后，stc可用于捕获长焦图像。stc可以通过一用户命令或自主地聚焦到一对象。stc的扫描方向可以由一初始(或目标)视点矢量pi给出。70.在步骤304中，imu被读出并提供围绕俯仰(pitch)、偏航(yaw)和滚动(roll)方向的旋转运动，即分别为ximu、yimu和zimu。通常，imu提供有关角加速度的数据，其被整合以确定所述旋转角度。imu数据可被用于计算所述装置的所述非期望的转动运动。71.在步骤306中，一坐标变换被执行。由于所述装置的一非期望的转动运动引起的stc的视点变化和所述非期望的转动运动的感测发生在不同的坐标系统中，所以需要进行所述坐标变换。72.像是ap或mcu的一处理单元可以被配置用于执行所述坐标变换(例如，装置400或装置480的ap440，或者图4a中装置400的mcu470)。在一些例子中，ap或mcu可以解析求解以下等式，或者ap或mcu可以使用一多项式拟合或一线性拟合来近似求解所述等式。在其他例子中，ap或mcu可能不执行计算，但对座标变换使用一查找表(lookuptable,lut)。在一些例子中，例如如图4a所示，所述座标变换可以由连接到stc模块410的mcu(例如mcu470)来执行。73.在一些例子中，可以执行所述变换以便在imu的所述坐标系统中表达stc的坐标。然后，可以在所述imu的坐标系统中计算装置转动和补偿运动。74.在一些例子中，诸如图3b中所示的图表320的2d图表可以被使用来表示stc在imu的坐标系统中的坐标。图表320可能类似于用于校准stc或用于校准一双相机的校准图表，例如包括一望远相机和一广角相机。stc光圈322可以位于(0,0,0)。所述手持装置可以在“横向”方向上指向图表320，即参考图3b的所述坐标系统，如图1c中所示的一智能手机的长边可以平行于x轴并且短边平行于y轴，stc光圈在z方向指向所述图表。stc可以到达的所有视点是由“视点矢量”或“相机指向矢量”p给出，其指向位于图表320上的坐标。零状态位置的坐标可以是(0,0,eflt)，其中eflt是stc的efl。在零位置上，imu(和所述手持装置)的坐标与stc的坐标重叠。75.如果stc被指向一非零视点，从imu坐标到stc坐标的一座标变换则必须被执行。在一些例子中，罗德里格旋转公式可以被使用。imu的俯仰/偏航/滚动旋转值可以被命名为“hnd_pitch”、“hnd_yaw”和“hnd_roll”。imu在具有以下单位矢量的一坐标系统中提供hnd_pitch、hnd_yaw和hnd_roll：[0076]-俯仰(pitch)单位矢量rp:rp＝(1,0,0)，[0077]-偏航(yaw)单位矢量ry:ry＝(0,1,0)，[0078]-滚动(roll)单位矢量rr:rr＝(0,0,1)。[0079]通常，ois仅校正小角度。因此，在某些情况下并且近似地，可以独立地处理所述俯仰/偏航/滚动旋转。对于所述装置的任何(轻微)旋转，罗德里格旋转公式可单独地应用于俯仰/偏航/滚动旋转，其中所述(轻微)旋转可以由俯仰/偏航/滚动旋转的总和来表示。仅通过hnd_pitch、或仅通过hnd_yaw或仅通过hnd_roll(在imu的坐标rp、ry和rr)应用于任何初始视点矢量pi的一手部运动可能导致以下最终视点矢量pf(“cross(x,y)”表示矢量x和y的叉积，“dot(x,y)”表示矢量x和y的点积)：[0080]绕rp旋转hnd_pitch后的视点矢量pfp(hnd_yaw,hnd_roll＝0)：[0081]pfp＝(pi·cos(hnd_pitch) cross(pi,rp)·sin(hnd_pitch) rp·(dot(pi,rp)·(1-cos(hnd_pitch))))；[0082]绕ry旋转hnd_yaw后的视点矢量pfy(hnd_pitch,hnd_roll＝0)：[0083]pfy＝(pi·cos(hnd_yaw) cross(pi,ry)·sin(hnd_yaw) ry·(dot(pi,ry)·(1-cos(hnd_yaw))))；[0084]绕rr旋转hnd_roll后的视点矢量pfr(hnd_pitch,hnd_yaw＝0)：[0085]pfr＝(pi·cos(hnd_roll) cross(pi,rr)·sin(hnd_roll) rr·(dot(pi,rr)·(1-cos(hnd_roll))))。[0086]对于小角度，经过俯仰、偏航和滚动旋转的一最终视点矢量(归一化之前)pf’可以由下式给出：[0087]pf’＝pi (pi-pfp) (pi-pfy) (pi-pfr)[0088]归一化可以被执行以确保所述最终视点矢量pf位于图表320上。在一些例子中，pf可以通过用eflt/pf'z对pf'进行归一化来获得，其中pf'z是pf'的z-部件，即：[0089]pf＝pf’·eflt/pf’z。[0090]从上面的等式可以明显看出，为了补偿stc中非期望的手部旋转运动，与一非扫描相机相比，例如广角相机204，其中可以仅补偿围绕偏航和俯仰的非期望的手部旋转运动，必须补偿围绕偏航、俯仰和滚动三个方向的旋转手部运动。[0091]在座标变换的其他例子中，所述变换可以被执行以在stc的所述坐标系统中表达imu的坐标。然后手部运动旋转和补偿运动可以在stc的坐标系统中被计算。如上所述，罗德里格旋转公式可以被使用。[0092]在座标变换的其他例子中，所述变换可以是到一第三坐标系统(“参考系统”)。stc和imu的坐标均以所述参考座标系统来表示。然后手部运动旋转和补偿运动可以在所述参考座标系统中被计算。如上所述，罗德里格旋转公式可以被使用。[0093]在步骤308中，ois的移动可以被执行。在一些例子中，ois可以通过移动stc的光路折叠元件来执行。在其他例子中，可以为ois移动诸如透镜102之类的一透镜和/或诸如图像传感器106之类的一图像传感器。假设理想的ois，光路折叠元件和/或透镜和/或传感器的运动可能会导致一poc矢量修正pois完全抵消手部运动对所述视点矢量的影响，即：pf pois＝pi。因此，在执行步骤308之后，stc再次指向pi。在其他例子中，可以为ois移动整个stc。亦即，光路折叠元件、透镜和图像传感器作为ois的一个单元一起移动。[0094]在一些实施例中，步骤304至308可以被重复以连续地稳定stc。包括步骤304至308的ois循环可以以例如500hz至100khz的频率被执行。在执行上述ois方法时，stc图像或图像流被捕获。[0095]在一些实施例中，imu可以固定地附接到所述光路折叠元件，使得当移动所述光路折叠元件时，imu也会随之移动。这允许对所述stc和所述imu两者使用具有多个相同基本矢量的多个坐标系统，从而不需要步骤306的所述座标变换。[0096]在一些实施例中，一传感器致动器可以启动所述图像传感器来校正一stc图像的视点像差。如共同拥有的国际专利申请pct/ib2021/056311中所述，stc图像经历视点像差。一像差是stc图像在所述图像传感器上的一旋转(“旋转视点像差”)。当一非期望的旋转手部运动通过移动如本文公开的一光路折叠元件来补偿时，所述光路折叠元件的移动引入了一视点像差。一传感器致动器可被用于围绕所述图像传感器的一法线旋转一图像传感器，以补偿旋转的视点像差。[0097]图4a示意性地示出了编号为400并且包括具有本文公开的至少一个stc的多光圈相机的一手持装置的一实施例。装置400包括一个stc模块410，其包括一光路折叠元件412以及用于fov扫描和/或ois的一光路折叠元件致动器414，以及形成由一图像传感器416记录的一长焦图像的一望远透镜模块420。一望远透镜致动器422可以移动透镜模块420以用于聚焦和/或ois。手持装置400还可以包括一应用处理器(applicationprocessor,ap)440，所述应用处理器包括一fov扫描器442、一ois控制器444、一图像生成器446和一对象跟踪器448。[0098]在其他例子中，装置400可以包括一stc，所述stc包括两个光路折叠元件以及所述两个光路折叠元件各自的一光路折叠元件致动器。在一些例子中，所述光路折叠元件致动器可以致动所述光路折叠元件以执行如本文所公开的ois。在其他例子中，一透镜致动器可致动一透镜或一传感器致动器可致动用于执行如本文所公开的ois的一传感器。例如在pct/ib2021/054186中描述了基于两个光路折叠元件的一stc相机。在这样的stc中，所述相机内的光路被折叠了两次，因此可以说是一双折叠扫描望远相机。[0099]手持装置400还包括一广角(或超广角)相机模块430，所述广角相机模块430包括一第二透镜模块434，所述第二透镜模块434形成由一第二图像传感器432记录的一图像。一第二透镜致动器436可以移动透镜模块434以进行对焦和/或ois。在一些例子中，stc可以扫描整个fovw或更大的fov。在其他例子中，stc可以扫描小于fovw的一fov。[0100]在一些例子中，对象跟踪器448可以被配置为跟踪fovw中的一对象，并向fov扫描器442和/或所述ois控制器444提供跟踪数据。基于所述跟踪数据，fov扫描器442和/或所述ois控制器444可以向光路折叠元件致动器414提供多个控制信号，光路折叠元件致动器414启动一光路折叠元件转动以使用stc跟踪一对象。作为一个例子，可以跟踪一对象，使其以fovt的中心为中心。以下描述的示例3-7涉及此跟踪场景，其中所述广角相机图像数据被使用于提供触发望远fov扫描的跟踪信息。[0101]在一些例子中，跟踪信息和ois信息可能会互相干扰，并且可能需要跟踪和ois之间的协调，以实现一个期望的对象跟踪和/或ois结果。[0102]作为ois的第三示例性方法，考虑诸如装置400或480的一装置，其包括不具有ois的一广角相机和一stc。stc可以跟踪静止的一对象，以便所述对象的中心位于fovt的中心。所述跟踪可能发生在实时(real-time,rt)中，即我们假设在跟踪偏差的检测与其补偿之间没有延迟。由一用户的手部运动引起的一装置的转动运动将在所述广角相机中被检测为一对象移动。作为响应，stc的一跟踪运动将被触发，并且在望远fov中所述对象的位置将被更新。总之，在rt场景中，所述对象跟踪器执行ois时，所述对象将始终位于fovt的中心，并且不会受到用户手部运动的影响。[0103]作为ois的第四示例性方法，考虑诸如装置400或480的一装置，其包括没有ois的一广角相机和具有ois的一stc。如示例3，我们假设在fovw上进行rt对象跟踪，以致一(非移动)对象的中心位于fovt的中心。ois也可以在rt中被执行。由一用户的手部运动引起的一装置的转动运动将在所述广角相机中被检测为一对象移动。作为响应，stc的一跟踪运动δt将被触发。同时，所述装置的转动运动也会通过stc的ois而被检测，stc的一ois移动δois将作为响应被触发。ois移动可以根据本文公开的ois方法来执行。δt和δois在方向和幅度方面是相同的，即2·δt＝2·δois的一stc运动将被触发，这是(i)将对象保持在fovt中心(期望的跟踪结果)和(ii)抑制手部运动对stc图像的影响(期望ois结果)所需移动量的两倍。总之，无论是望远跟踪还是望远ois，都没有达到预期的结果。因此，在一些例子中，当使用对象跟踪时，所述stc的ois被禁用。[0104]作为ois的第五示例性方法，考虑诸如装置400或480的一装置，其包括没有ois的一广角相机和具有ois的一stc。对象跟踪可以在fovw上被执行，以便一(非移动)对象的中心位于fovt的中心。然而，对象跟踪和ois可能无法在rt中被执行。通常，ois在比对象跟踪更高的频率下被执行。作为一个例子，ois可以在500hz至100khz下被执行，而对象跟踪可以在1hz至100hz下被执行。在一些例子中，为防止ois和对象跟踪之间的非期望的干扰，可以在使用对象跟踪时禁用ois。在其他实施例中，可以在频域(frequencydomain)中单独控制ois和对象跟踪。作为一个例子，对于由一用户的手部运动引起的装置的转动运动(发生频率高于例如30hz)，可以使用ois进行装置运动校正。对于低于例如30hz的频率，不得使用ois进行装置运动校正。相反，所述低频装置运动将由所述对象跟踪器来补偿。[0105]作为ois的第六示例性方法，考虑诸如装置400或480的一装置，其包括具有ois的一广角相机和不具有ois的一stc。对象跟踪可以在fovw上被执行，以便一(非移动)对象的中心位于fovt的中心。对象跟踪和ois可以在rt中被执行。对于所述广角相机的ois，由一用户的手部运动引起的一装置的转动运动不会对广角图像流产生影响。由于所述对象在fovw中没有移动，因此不会触发stc的跟踪移动。总之，没有手部运动补偿，且所述对象将不再位于fovt的中心，导致一个非期望的对象跟踪结果。在一些防止这种非期望的结果的例子中，可以在执行对象跟踪时禁用所述广角相机的ois。在其他例子中，提供给stc的对象跟踪控制信号还可以包括所述广角相机的多个ois控制信号。通过叠加所述两个信号，可以同时享受广角相机ois和适当的stc跟踪的好处。[0106]作为ois的第七示例性方法，考虑诸如装置400或480的一装置，其具有所述广角相机和所述具有ois的stc。我们假设rt跟踪，因此一对象的中心位于fovt的中心。由一用户的手部运动引起的一装置的转动运动将通过所述广角相机和rt中stc中的一ois运动进行校正。总之，用户的手部运动不会影响所述对象跟踪器的期望输出。[0107]校准数据可以被存储在一第一存储器424中，例如在一电可擦可编程序只读存储器(electricallyerasableprogrammablereadonlymemory,eeprom)中，和/或在一第二存储器438中，和/或在诸如非易失性存储器(non-volatilememory,nvm)的一第三存储器450中。所述校准数据可以包括广角相机430和stc410之间的校准数据。所述校准数据还可以包括一光路折叠元件的位置和stc对应的视点之间的校准数据。[0108]手持装置400还包括一惯性测量单元(inertialmeasurementunit,imu；例如一陀螺仪)460，其提供400的运动信息。例如，一微控制器(microcontrollerunit,mcu)可被用于读取和处理imu460的数据。在一些例子中，所述mcu可以由ap440的一部分的一ois控制器444来控制。在一些例子中，步骤304和步骤306可以由所述mcu来执行，并且步骤308可以由光路折叠元件致动器414(和/或透镜致动器436和/或传感器致动器418，在ois分别由透镜移位或传感器移位来执行的情况下)来执行。在一些例子中，mcu470可以被集成到ap440中。[0109]编号为480并且包括如本文所公开的具有至少一个stc的一多光圈相机的一手持装置的另一个实施例如图4b所示。用于从imu460读取和处理运动数据以及用于提供多个ois控制信号的一mcu(未示出)可以被包括在stc模块410中，例如被包括在光路折叠元件致动器414的驱动程序中。[0110]在一些例子中，额外的数据可被用于手部运动估计。额外的数据可能例如是来自所述广角相机430的图像数据，或者是来自所述手持装置中存在的其他传感单元的数据。[0111]在一些例子中，来自广角相机430的图像数据可以被用于估计来自如本领域已知的多个图像的“光流(opticalflow)”，其中ois控制器444可以使用光流的数据以及来自imu460的数据来估计装置400的运动。在其他例子中，仅从相机410和/或相机430的图像数据所估计的光流数据可被用于估计装置400的运动。[0112]图像生成器446可以被配置为生成图像和图像流。在一些例子中，图像生成器446可以被配置为仅使用来自相机430的第一图像数据。在其他例子中，图像生成器446可以使用来自相机410和/或相机430的图像数据。[0113]尽管已经根据某些实施例和一般相关联的方法对本公开进行了描述，但是实施例和方法的更改和置换对于本领域技术人员而言将是显而易见的。本公开要被理解为不受本文中所描述的具体实施例的限制，而是仅由所附权利要求的范围限定。[0114]除非另有说明，否则在供选择的选项列表的最后两个选项之间使用“和/或”一词表示对所列选项中的一个或多个进行选择是适当的，并且可以作出选择。[0115]应该理解的是，在权利要求书或说明书中提及“一个(a)”或“一个(an)”元件的情况下，这种引用不应被解释为只有那个元件中的一个。[0116]此外，为了清楚起见，术语“基本上”在本文中用于暗指值在可接受范围内变化的可能性。根据一个示例，本文中所使用的术语“基本上”应当被解释为暗指在任何指定值之上或之下可能的变化高达5％。根据另一示例，本文中所使用的术语“基本上”应当被解释为暗指在任何指定值之上或之下可能的变化高达2.5％。根据另一示例，本文中所使用的术语“基本上”应当被解释为暗指在任何指定值之上或之下可能的变化高达1％。[0117]本说明书中提及的所有专利和专利申请在本文都通过引用的方式全部并入本说明书中，如同每个单独的参考文献都具体并单独地指定为通过引用的方式并入此处。此外，本技术中对任何参考文献的引用或识别都不应当理解为承认所述参考文献可用作对本发明的现有技术。当前第1页12当前第1页12
技术领域：
：3.本文公开的示例一般涉及数码相机，特别是涉及使用折叠数码相机获得的图像的校正。
背景技术：
：：4.已知具有折叠光学器件(foldedoptics)的紧凑型数码相机，也被称为“折叠相机”，例如参见共同拥有的国际专利申请pct/ib2016/057366。在诸如智能手机、平板电脑等手持电子装置(在本文中也称为“手持装置”)中，一折叠望远相机通常是一多相机的一部分，并伴有一个或多个附加的相机，例如一超广角相机和一广角相机。一超广角相机的视场(fovuw)比一广角相机大，所述广角相机具有比具有fovt的一望远相机更大的fovw(假设图像传感器尺寸相似)。5.图1a从一透视图中示意性地示出了编号为100的一折叠望远相机。相机100包括：具有一透镜光轴110的一透镜102、一光路折叠元件(opticalpathfoldingelement,opfe)104和一图像传感器106。光路折叠元件104将从一对象、场景或全景视图部分114沿基本上平行于x轴的轴108的一第一光路折叠成沿基本上平行于z轴的轴110的一第二光路。相机100被设计为使光路折叠元件104相对于所述图像传感器围绕轴110(x轴)旋转，即在y-z平面中，由一箭头112指示的旋转。也就是说，折叠望远相机100是一"扫描"望远相机(scanningtelecamera,stc)。图1b显示了从零位置旋转30度之后的光路折叠元件104。6.图1c显示了俯视图的包括具有透镜102、光路折叠元件104和图像传感器106的一stc100的一手持装置120。一装置法线(“n”)与装置120的一屏幕116正交并且朝向观察者。所述相机的光轴是平行于x轴。在其他例子中，stc100可以被包含在120中，因此所述相机的光轴是平行于y轴。7.图像是从一相机的某个视点(pointofview,pov)中获取的。所述视点是由所述矢量定义的方向，所述矢量以一相机的光圈位置为起点，以fov中心的一对象点为终点(见图3a，两个视点矢量324和328对应于两个fovt326和332)。除了视点矢量，还可以说fov中心方向矢量(fovcenterdirection,fovcd)。作为一个例子，在根据iso约定定义的球坐标(r,θ,φ)中，一相机在r＝0的所述视点是由(1,θ,φ)定义，极角θ和方位角φ定义所述对象点的位置在所述望远fov的中心。所述视点矢量的长度可能是1(单位矢量)或可能具有某个恒定长度(例如efl)或可能具有一可变长度，例如，使其位于特定平面上。8.例如在共同拥有的pct专利申请号pct/ib2016/057366中所描述并且参考图1a-1b，所述光路折叠元件的旋转可以围绕x轴和围绕y轴来执行，以在图1a-1b中的二维(2d)中利用fov进行“扫描”。9.手持装置中所包含的现代相机通常包括光学防抖(opticalimagestabilization,ois)，其用于缓解由一用户的手部运动(通常称为“手抖动”)引起的非期望的相机运动。对于ois，光学部件被移动以减少在一相机的图像传感器上成像对象的移动。可以移动所述透镜模块和/或所述图像传感器和/或所述光路折叠元件和/或整个相机。所述手持装置中包含的一惯性测量单元(inertialmeasurementunit,imu)提供沿6个自由度(degreesoffreedom)的运动数据，亦即且参考图1c，x-y-z中的线性运动、围绕z轴滚动(roll)“倾斜”、偏航(yaw)(围绕y轴倾斜)以及俯仰(pitch)(围绕x轴倾斜)。通常，ois仅用于俯仰和偏航旋转补偿，而不是用于滚动旋转，因为俯仰和偏航旋转占手抖引起的图像劣化的主要份额。所述imu、普通(即非扫描)相机以及所述包括手持装置的坐标系统可以被对齐并且不会随时间变化。对于一stc来说，这是无效的。当fov扫描被执行时，一手持装置的坐标系统与一stc的坐标系统之间的关系确实会发生变化。因此，本领域已知的ois不能被用于一stc中的手部运动补偿。10.需要用于扫描望远相机的ois，这将是有利的。技术实现要素：11.为了简单起见，术语“电子装置”、“电子手持装置”、“手持装置”或仅“装置”可互换地被使用。为了简单起见，术语“智能手机”可被用于表示具有扫描折叠相机的所有电子手持装置以及在本文描述的此类相机中实现ois的方法。12.在各种实施例中，提供了多种望远折叠相机，其用于补偿包括这种相机的一手持电子装置的一非期望的转动运动，其中所述补偿取决于所述非期望的转动运动以及取决于所述望远折叠相机的一视点(pointofview,pov)。13.在各种实施例中，一手持电子装置包括：14.一望远折叠相机，所述望远折叠相机包括：一光路折叠元件(opticalpathfoldingelement,opfe)，用于将来自一第一光路的光折叠朝向一第二光路，所述第一光路与所述装置的一法线(normal)形成小于90度的角度，所述第二光路基本上正交于所述装置的所述法线；一透镜，具有沿所述第二光路的一透镜光轴；以及一图像传感器，其中所述装置是一手持电子装置；一光路折叠元件致动器，用于在一个或多个方向上倾斜所述光路折叠元件，以将所述望远折叠相机的一视点(pointofview,pov)指向一场景的一部份；15.一运动传感器，用于感测所述装置的一非期望的转动运动；以及16.至少一致动器，用于移动所述望远折叠相机的至少一部件，以补偿所述装置的所述非期望的转动运动，其中所述补偿取决于所述装置的所述非期望的转动运动以及取决于所述望远折叠相机的视点。17.在一些实施例中，所述非期望的转动运动围绕所述装置法线。18.在一些实施例中，一装置还包括一广角相机，所述广角相机的一视场fovw(fieldofviewfovw)大于所述望远相机的一视场fovt。19.在一些实施例中，所述感测所述转动运动包括在三个方向上测量所述转动运动。20.在一些实施例中，用于移动所述望远折叠相机的所述部件以补偿所述装置的非期望的转动运动的所述致动器是所述光路折叠元件致动器，所述光路折叠元件致动器用于在一个或多个方向上倾斜所述光路折叠元件，以将所述望远折叠相机的一视点指向一场景的一部份。21.在一些实施例中，所述移动所述望远折叠相机的所述部件以补偿所述装置的非期望的转动运动包括移动所述透镜。22.在一些实施例中，所述移动所述望远折叠相机的所述部件以补偿所述装置的非期望的转动运动包括移动所述图像传感器。23.在一些实施例中，一装置还包括一处理单元，所述处理单元被配置为执行一座标变换，以将所述望远相机的座标对齐所述手持装置的座标，反之亦然。24.在一些实施例中，一装置还包括一处理单元，所述处理单元被配置为执行一座标变换，所述座标变换将一参考座标系统的座标对齐所述手持装置的座标和所述望远相机的座标。25.在一些实施例中，所述座标变换是使用罗德里格旋转公式(rodrigues'rotationformula)来执行。26.在一些实施例中，所述运动传感器包括一惯性测量单元(inertialmeasurementunit,imu)。27.在一些实施例中，一装置还包括一微控制器(microcontrollerunit,mcu)，所述微控制器被配置为读出所述运动传感器，且被配置为提供控制信号至所述转动运动补偿致动器。在一些实施例中，所述微控制器(mcu)被包含在一应用处理器(applicationprocessor,ap)中。28.在一些实施例中，一装置还包括一应用处理器，所述应用处理器被配置为向所述光路折叠元件致动器提供视点控制信号，以倾斜所述光路折叠元件。29.在各种实施例中，提供了多种方法，其包括：30.提供包括一望远折叠相机的一手持装置，所述望远折叠相机包括：一光路折叠元件(opfe)，用于将来自一第一光轴的光折叠朝向一第二光轴，所述第一光轴与所述装置的一法线形成小于90度的角度，所述第二光轴基本上正交于所述装置的一法线；一透镜，具有沿所述第二光轴的一透镜轴；以及一图像传感器；31.提供一光路折叠元件致动器，所述光路折叠元件致动器用于在一个或多个方向上倾斜所述光路折叠元件，以将所述望远折叠相机的一视点(pov)指向一场景的一部份；32.感测所述装置的一非期望的转动运动；以及33.补偿所述非期望的转动运动，其中所述补偿取决于所述非期望的转动运动以及取决于所述望远折叠相机的视点。34.在一些实施例中，所述补偿所述非期望的转动运动包括移动所述望远折叠相机的一部件。35.在一些实施例中，所述补偿所述非期望的转动运动包括补偿围绕所述装置的法线方向的一转动运动。36.在一些实施例中，一方法还包括执行一座标变换，以将所述望远相机的座标对齐一惯性测量单元(imu)的座标。37.在一些实施例中，一方法还包括执行一座标变换，以将所述惯性测量单元的座标对齐所述望远相机的座标。38.在一些实施例中，一方法还包括执行一座标变换，以将一参考座标系统的座标对齐所述惯性测量单元的座标和所述望远相机的座标。39.在一些实施例中，所述执行所述座标变换包括使用罗德里格旋转公式执行所述变换。40.在一些实施例中，所述感测所述装置的一非期望的转动运动包括在三个方向上感测所述非期望的转动运动。41.在一些实施例中，所述补偿所述装置的所述非期望的转动运动包括转动所述光路折叠元件。42.在一些实施例中，所述补偿所述装置的所述非期望的转动运动包括移动所述透镜。43.在一些实施例中，所述补偿所述装置的所述非期望的转动运动包括移动所述图像传感器。44.在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在所述x方向上计算由所述非期望的转动运动引起的一被改变的视点：pfp＝(pi·cos(hnd_pitch) cross(pi,rp)·sin(hnd_pitch) rp·(dot(pi,rp)·(1-cos(hnd_pitch))))。45.在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在所述y方向上计算由所述非期望的转动运动引起的一被改变的视点：pfy＝(pi·cos(hnd_yaw) cross(pi,ry)·sin(hnd_yaw) ry·(dot(pi,ry)·(1-cos(hnd_yaw))))。46.在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在所述x方向上计算由所述非期望的转动运动引起的一被改变的视点：pfr＝(pi·cos(hnd_roll) cross(pi,rr)·sin(hnd_roll) rr·(dot(pi,rr)·(1-cos(hnd_roll))))。47.在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在x、y和z方向上计算由所述非期望的转动运动引起的一被改变的视点的一方向：pf’＝pi (pi-pfp) (pi-pfy) (pi-pfr)。48.在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在x、y和z方向上计算由所述非期望的转动运动引起的一被改变的视点的一矢量：pf＝pf’·eflt/pf’z。附图说明49.本文中所公开的实施例的非限制性示例在下文中参考本文所附的附图进行描述，其在本段后面列出。附图和描述意在说明和阐明本文中所公开的实施例，并且不应被认为以任何方式限制。不同附图中的相同元件可以由相同的附图标记指示。50.图1a示意性地示出了一已知的折叠扫描相机的透视图；51.图1b示出了图1a的所述望远相机中的所述光路折叠元件从零位置旋转30度后的图。52.图1c示出了例如图1a-b中所示的一扫描相机，其集成为一智能手机中的“后向”或“面向世界(world-facing)”的相机；53.图2a示例性地示出了包括在零位置的一第一扫描望远相机以及一第二广角相机的一智能手机；54.图2b示出了图2a的所述智能手机，其中所述望远相机在非零位置；55.图2c示出了图2a的所述智能手机，其中所述望远相机在另一个非零位置；56.图3a示出了用于导出所述望远相机的一坐标系统的二维(2d)图表；57.图3b示出了手抖动引起的转动装置运动对图3a的2d图表的影响。58.图3c示出了用于扫描本文公开的望远相机ois的一方法的主要步骤流程图；59.图4a以框图示意性地示出了一手持装置的实施例，所述实施例包括具有至少一个本文公开的扫描望远相机的多光圈相机；以及60.图4b以框图示意性地示出了一手持装置的另一实施例，其包括具有至少一个本文公开的扫描望远相机的多光圈相机。具体实施方式61.图2a示例性地示出了一智能手机200，其包括处于零位置(zeroposition)的一stc202和一广角相机p204。广角相机204不是一扫描相机，且其视点(“povw”)是平行于所述智能手机的一装置法线n(平行于z轴)。装置法线n与智能手机200表面上面积最大的一法线平行(或反平行)。智能手机200的imu的一坐标系统(例如图4a和4b中的imu460，此处未示出)可以对齐智能手机200的一坐标系统，例如图2a中所示的所述坐标系统，其中所述坐标系统的三个轴平行于智能手机200的三个对称轴，以使imu(和智能手机200)的坐标系统的z轴平行于povw。stc202的所述视点(“povt”)指向其零位置(“povt,0”)，对应于如图1a所示的一光路折叠元件转动状态。povt在零位置时，imu的所述坐标系统、广角相机204和stc202对齐。62.在用于ois的第一示例性方法(“示例1”)中，考虑广角相机204的ois，其(为简单起见)仅可以对俯仰旋转进行校正。为了检测非期望的手部运动量，可以从imu(“ximu”)读出绕x轴的俯仰旋转值，并且通过一特定量移动例如一个特定方向(dir1)中的所述透镜，其中移动量(或行程)与ximu成正比，即，所述透镜行程sw满足sw＝cw·ximu(具有一些恒定的cw)。这同样适用于stc202在零位置的ois。通过在dir1中按st＝ct·ximu(具有一些恒定ct)移动所述透镜，可以补偿手部运动。63.图2b示出了stc202在非零位置的智能手机200。povt相对于povw具有α度角。例如，对于α＝30度，这对应于如图1b所示的一光路折叠元件转动状态。imu的所述坐标系统、广角相机204和stc202不再对齐。64.考虑stc202在非零位置的示例1(俯仰方向的手部运动)。广角相机204的ois可以如示例1中被执行。然而，对于stc202的ois，示例1的方法不再允许执行手部运动补偿，即(通常)没有ct，因此通过按st＝ct·ximu移动所述透镜，可以补偿手部运动。这是因为stc202的所述坐标系统和imu不再对齐。65.对于ois的一第二示例性方法(“示例2”)，请参阅图2c。与图2a相比，povt绕y轴旋转了90度，即povt和povw相互垂直。与示例1一样，我们考虑所述广角相机的ois仅用于俯仰旋转的校正。手部运动可以通过读取旋转ximu的imu值以及通过在dir1中按sw＝cw·ximu(具有一些恒定的cw)移动所述广角相机的一透镜(未显示)被完全地补偿。然而，手部运动不能通过在dir1中按st＝ct·ximu(具有一些恒定ct)移动stc的一透镜(未显示，但类似于透镜102)来补偿。相反，必须将旋转方向从dir1修改为与dir1不同的一特定方向dir2。所述手部运动可以通过在dir2中按st＝ct·ximu移动所述stc透镜来补偿。一般来说，对于一stc，所述ois轴取决于所述视点或stc的扫描状态，因此不是恒定的，就像一广角相机的情况一样。66.图3a示出了用于导出stc的一坐标系统的二维(2d)图表320。stc的光圈322位于坐标(0,0,0)。一零状态stcpovt(povt,0)324对应于平行于一装置法线n(参见图2a-c)的一第一光路并且可以具有坐标(0,0,eflt)，其中eflt是stc的efl。fovt326对应于stc在povt,0324处的fovt。还示出了具有相应fovt332的期望或目标povt328(“povt,t”)。67.图3b示出了在包括stc的所述手持装置经历绕z轴的旋转“滚动”运动之后的图3a的2d图表320，例如，因为用户的手部运动。povt,0324没有发生任何变化。然而，相应的fovt变为一旋转的fovt326'。相反，所述转动运动将povt,t328变为povt,t328’。响应于一转动装置运动的pov(例如povt,t328)的变化不仅取决于旋转角度或旋转量，而且还取决于povt的位置。68.图3c以流程图的形式示出了本文公开的用于stcois的方法的主要步骤。69.在第一步骤302中，由一人类用户或一程序触发并由一fov扫描器442(图4a)处理的一命令将fovt引导到一场景内的感兴趣区域(regionofinterest,roi)。所述扫描可以通过使用一光路折叠元件致动器414旋转一光路折叠元件(图4a)来执行。通过光路折叠元件转动的所述fov扫描不是即时执行的，而是需要一些稳定时间，对于扫描2至5度，可能为1至50毫秒(ms)，对于扫描10至45度，可能为5至500毫秒。在稳定时间之后，stc可用于捕获长焦图像。stc可以通过一用户命令或自主地聚焦到一对象。stc的扫描方向可以由一初始(或目标)视点矢量pi给出。70.在步骤304中，imu被读出并提供围绕俯仰(pitch)、偏航(yaw)和滚动(roll)方向的旋转运动，即分别为ximu、yimu和zimu。通常，imu提供有关角加速度的数据，其被整合以确定所述旋转角度。imu数据可被用于计算所述装置的所述非期望的转动运动。71.在步骤306中，一坐标变换被执行。由于所述装置的一非期望的转动运动引起的stc的视点变化和所述非期望的转动运动的感测发生在不同的坐标系统中，所以需要进行所述坐标变换。72.像是ap或mcu的一处理单元可以被配置用于执行所述坐标变换(例如，装置400或装置480的ap440，或者图4a中装置400的mcu470)。在一些例子中，ap或mcu可以解析求解以下等式，或者ap或mcu可以使用一多项式拟合或一线性拟合来近似求解所述等式。在其他例子中，ap或mcu可能不执行计算，但对座标变换使用一查找表(lookuptable,lut)。在一些例子中，例如如图4a所示，所述座标变换可以由连接到stc模块410的mcu(例如mcu470)来执行。73.在一些例子中，可以执行所述变换以便在imu的所述坐标系统中表达stc的坐标。然后，可以在所述imu的坐标系统中计算装置转动和补偿运动。74.在一些例子中，诸如图3b中所示的图表320的2d图表可以被使用来表示stc在imu的坐标系统中的坐标。图表320可能类似于用于校准stc或用于校准一双相机的校准图表，例如包括一望远相机和一广角相机。stc光圈322可以位于(0,0,0)。所述手持装置可以在“横向”方向上指向图表320，即参考图3b的所述坐标系统，如图1c中所示的一智能手机的长边可以平行于x轴并且短边平行于y轴，stc光圈在z方向指向所述图表。stc可以到达的所有视点是由“视点矢量”或“相机指向矢量”p给出，其指向位于图表320上的坐标。零状态位置的坐标可以是(0,0,eflt)，其中eflt是stc的efl。在零位置上，imu(和所述手持装置)的坐标与stc的坐标重叠。75.如果stc被指向一非零视点，从imu坐标到stc坐标的一座标变换则必须被执行。在一些例子中，罗德里格旋转公式可以被使用。imu的俯仰/偏航/滚动旋转值可以被命名为“hnd_pitch”、“hnd_yaw”和“hnd_roll”。imu在具有以下单位矢量的一坐标系统中提供hnd_pitch、hnd_yaw和hnd_roll：[0076]-俯仰(pitch)单位矢量rp:rp＝(1,0,0)，[0077]-偏航(yaw)单位矢量ry:ry＝(0,1,0)，[0078]-滚动(roll)单位矢量rr:rr＝(0,0,1)。[0079]通常，ois仅校正小角度。因此，在某些情况下并且近似地，可以独立地处理所述俯仰/偏航/滚动旋转。对于所述装置的任何(轻微)旋转，罗德里格旋转公式可单独地应用于俯仰/偏航/滚动旋转，其中所述(轻微)旋转可以由俯仰/偏航/滚动旋转的总和来表示。仅通过hnd_pitch、或仅通过hnd_yaw或仅通过hnd_roll(在imu的坐标rp、ry和rr)应用于任何初始视点矢量pi的一手部运动可能导致以下最终视点矢量pf(“cross(x,y)”表示矢量x和y的叉积，“dot(x,y)”表示矢量x和y的点积)：[0080]绕rp旋转hnd_pitch后的视点矢量pfp(hnd_yaw,hnd_roll＝0)：[0081]pfp＝(pi·cos(hnd_pitch) cross(pi,rp)·sin(hnd_pitch) rp·(dot(pi,rp)·(1-cos(hnd_pitch))))；[0082]绕ry旋转hnd_yaw后的视点矢量pfy(hnd_pitch,hnd_roll＝0)：[0083]pfy＝(pi·cos(hnd_yaw) cross(pi,ry)·sin(hnd_yaw) ry·(dot(pi,ry)·(1-cos(hnd_yaw))))；[0084]绕rr旋转hnd_roll后的视点矢量pfr(hnd_pitch,hnd_yaw＝0)：[0085]pfr＝(pi·cos(hnd_roll) cross(pi,rr)·sin(hnd_roll) rr·(dot(pi,rr)·(1-cos(hnd_roll))))。[0086]对于小角度，经过俯仰、偏航和滚动旋转的一最终视点矢量(归一化之前)pf’可以由下式给出：[0087]pf’＝pi (pi-pfp) (pi-pfy) (pi-pfr)[0088]归一化可以被执行以确保所述最终视点矢量pf位于图表320上。在一些例子中，pf可以通过用eflt/pf'z对pf'进行归一化来获得，其中pf'z是pf'的z-部件，即：[0089]pf＝pf’·eflt/pf’z。[0090]从上面的等式可以明显看出，为了补偿stc中非期望的手部旋转运动，与一非扫描相机相比，例如广角相机204，其中可以仅补偿围绕偏航和俯仰的非期望的手部旋转运动，必须补偿围绕偏航、俯仰和滚动三个方向的旋转手部运动。[0091]在座标变换的其他例子中，所述变换可以被执行以在stc的所述坐标系统中表达imu的坐标。然后手部运动旋转和补偿运动可以在stc的坐标系统中被计算。如上所述，罗德里格旋转公式可以被使用。[0092]在座标变换的其他例子中，所述变换可以是到一第三坐标系统(“参考系统”)。stc和imu的坐标均以所述参考座标系统来表示。然后手部运动旋转和补偿运动可以在所述参考座标系统中被计算。如上所述，罗德里格旋转公式可以被使用。[0093]在步骤308中，ois的移动可以被执行。在一些例子中，ois可以通过移动stc的光路折叠元件来执行。在其他例子中，可以为ois移动诸如透镜102之类的一透镜和/或诸如图像传感器106之类的一图像传感器。假设理想的ois，光路折叠元件和/或透镜和/或传感器的运动可能会导致一poc矢量修正pois完全抵消手部运动对所述视点矢量的影响，即：pf pois＝pi。因此，在执行步骤308之后，stc再次指向pi。在其他例子中，可以为ois移动整个stc。亦即，光路折叠元件、透镜和图像传感器作为ois的一个单元一起移动。[0094]在一些实施例中，步骤304至308可以被重复以连续地稳定stc。包括步骤304至308的ois循环可以以例如500hz至100khz的频率被执行。在执行上述ois方法时，stc图像或图像流被捕获。[0095]在一些实施例中，imu可以固定地附接到所述光路折叠元件，使得当移动所述光路折叠元件时，imu也会随之移动。这允许对所述stc和所述imu两者使用具有多个相同基本矢量的多个坐标系统，从而不需要步骤306的所述座标变换。[0096]在一些实施例中，一传感器致动器可以启动所述图像传感器来校正一stc图像的视点像差。如共同拥有的国际专利申请pct/ib2021/056311中所述，stc图像经历视点像差。一像差是stc图像在所述图像传感器上的一旋转(“旋转视点像差”)。当一非期望的旋转手部运动通过移动如本文公开的一光路折叠元件来补偿时，所述光路折叠元件的移动引入了一视点像差。一传感器致动器可被用于围绕所述图像传感器的一法线旋转一图像传感器，以补偿旋转的视点像差。[0097]图4a示意性地示出了编号为400并且包括具有本文公开的至少一个stc的多光圈相机的一手持装置的一实施例。装置400包括一个stc模块410，其包括一光路折叠元件412以及用于fov扫描和/或ois的一光路折叠元件致动器414，以及形成由一图像传感器416记录的一长焦图像的一望远透镜模块420。一望远透镜致动器422可以移动透镜模块420以用于聚焦和/或ois。手持装置400还可以包括一应用处理器(applicationprocessor,ap)440，所述应用处理器包括一fov扫描器442、一ois控制器444、一图像生成器446和一对象跟踪器448。[0098]在其他例子中，装置400可以包括一stc，所述stc包括两个光路折叠元件以及所述两个光路折叠元件各自的一光路折叠元件致动器。在一些例子中，所述光路折叠元件致动器可以致动所述光路折叠元件以执行如本文所公开的ois。在其他例子中，一透镜致动器可致动一透镜或一传感器致动器可致动用于执行如本文所公开的ois的一传感器。例如在pct/ib2021/054186中描述了基于两个光路折叠元件的一stc相机。在这样的stc中，所述相机内的光路被折叠了两次，因此可以说是一双折叠扫描望远相机。[0099]手持装置400还包括一广角(或超广角)相机模块430，所述广角相机模块430包括一第二透镜模块434，所述第二透镜模块434形成由一第二图像传感器432记录的一图像。一第二透镜致动器436可以移动透镜模块434以进行对焦和/或ois。在一些例子中，stc可以扫描整个fovw或更大的fov。在其他例子中，stc可以扫描小于fovw的一fov。[0100]在一些例子中，对象跟踪器448可以被配置为跟踪fovw中的一对象，并向fov扫描器442和/或所述ois控制器444提供跟踪数据。基于所述跟踪数据，fov扫描器442和/或所述ois控制器444可以向光路折叠元件致动器414提供多个控制信号，光路折叠元件致动器414启动一光路折叠元件转动以使用stc跟踪一对象。作为一个例子，可以跟踪一对象，使其以fovt的中心为中心。以下描述的示例3-7涉及此跟踪场景，其中所述广角相机图像数据被使用于提供触发望远fov扫描的跟踪信息。[0101]在一些例子中，跟踪信息和ois信息可能会互相干扰，并且可能需要跟踪和ois之间的协调，以实现一个期望的对象跟踪和/或ois结果。[0102]作为ois的第三示例性方法，考虑诸如装置400或480的一装置，其包括不具有ois的一广角相机和一stc。stc可以跟踪静止的一对象，以便所述对象的中心位于fovt的中心。所述跟踪可能发生在实时(real-time,rt)中，即我们假设在跟踪偏差的检测与其补偿之间没有延迟。由一用户的手部运动引起的一装置的转动运动将在所述广角相机中被检测为一对象移动。作为响应，stc的一跟踪运动将被触发，并且在望远fov中所述对象的位置将被更新。总之，在rt场景中，所述对象跟踪器执行ois时，所述对象将始终位于fovt的中心，并且不会受到用户手部运动的影响。[0103]作为ois的第四示例性方法，考虑诸如装置400或480的一装置，其包括没有ois的一广角相机和具有ois的一stc。如示例3，我们假设在fovw上进行rt对象跟踪，以致一(非移动)对象的中心位于fovt的中心。ois也可以在rt中被执行。由一用户的手部运动引起的一装置的转动运动将在所述广角相机中被检测为一对象移动。作为响应，stc的一跟踪运动δt将被触发。同时，所述装置的转动运动也会通过stc的ois而被检测，stc的一ois移动δois将作为响应被触发。ois移动可以根据本文公开的ois方法来执行。δt和δois在方向和幅度方面是相同的，即2·δt＝2·δois的一stc运动将被触发，这是(i)将对象保持在fovt中心(期望的跟踪结果)和(ii)抑制手部运动对stc图像的影响(期望ois结果)所需移动量的两倍。总之，无论是望远跟踪还是望远ois，都没有达到预期的结果。因此，在一些例子中，当使用对象跟踪时，所述stc的ois被禁用。[0104]作为ois的第五示例性方法，考虑诸如装置400或480的一装置，其包括没有ois的一广角相机和具有ois的一stc。对象跟踪可以在fovw上被执行，以便一(非移动)对象的中心位于fovt的中心。然而，对象跟踪和ois可能无法在rt中被执行。通常，ois在比对象跟踪更高的频率下被执行。作为一个例子，ois可以在500hz至100khz下被执行，而对象跟踪可以在1hz至100hz下被执行。在一些例子中，为防止ois和对象跟踪之间的非期望的干扰，可以在使用对象跟踪时禁用ois。在其他实施例中，可以在频域(frequencydomain)中单独控制ois和对象跟踪。作为一个例子，对于由一用户的手部运动引起的装置的转动运动(发生频率高于例如30hz)，可以使用ois进行装置运动校正。对于低于例如30hz的频率，不得使用ois进行装置运动校正。相反，所述低频装置运动将由所述对象跟踪器来补偿。[0105]作为ois的第六示例性方法，考虑诸如装置400或480的一装置，其包括具有ois的一广角相机和不具有ois的一stc。对象跟踪可以在fovw上被执行，以便一(非移动)对象的中心位于fovt的中心。对象跟踪和ois可以在rt中被执行。对于所述广角相机的ois，由一用户的手部运动引起的一装置的转动运动不会对广角图像流产生影响。由于所述对象在fovw中没有移动，因此不会触发stc的跟踪移动。总之，没有手部运动补偿，且所述对象将不再位于fovt的中心，导致一个非期望的对象跟踪结果。在一些防止这种非期望的结果的例子中，可以在执行对象跟踪时禁用所述广角相机的ois。在其他例子中，提供给stc的对象跟踪控制信号还可以包括所述广角相机的多个ois控制信号。通过叠加所述两个信号，可以同时享受广角相机ois和适当的stc跟踪的好处。[0106]作为ois的第七示例性方法，考虑诸如装置400或480的一装置，其具有所述广角相机和所述具有ois的stc。我们假设rt跟踪，因此一对象的中心位于fovt的中心。由一用户的手部运动引起的一装置的转动运动将通过所述广角相机和rt中stc中的一ois运动进行校正。总之，用户的手部运动不会影响所述对象跟踪器的期望输出。[0107]校准数据可以被存储在一第一存储器424中，例如在一电可擦可编程序只读存储器(electricallyerasableprogrammablereadonlymemory,eeprom)中，和/或在一第二存储器438中，和/或在诸如非易失性存储器(non-volatilememory,nvm)的一第三存储器450中。所述校准数据可以包括广角相机430和stc410之间的校准数据。所述校准数据还可以包括一光路折叠元件的位置和stc对应的视点之间的校准数据。[0108]手持装置400还包括一惯性测量单元(inertialmeasurementunit,imu；例如一陀螺仪)460，其提供400的运动信息。例如，一微控制器(microcontrollerunit,mcu)可被用于读取和处理imu460的数据。在一些例子中，所述mcu可以由ap440的一部分的一ois控制器444来控制。在一些例子中，步骤304和步骤306可以由所述mcu来执行，并且步骤308可以由光路折叠元件致动器414(和/或透镜致动器436和/或传感器致动器418，在ois分别由透镜移位或传感器移位来执行的情况下)来执行。在一些例子中，mcu470可以被集成到ap440中。[0109]编号为480并且包括如本文所公开的具有至少一个stc的一多光圈相机的一手持装置的另一个实施例如图4b所示。用于从imu460读取和处理运动数据以及用于提供多个ois控制信号的一mcu(未示出)可以被包括在stc模块410中，例如被包括在光路折叠元件致动器414的驱动程序中。[0110]在一些例子中，额外的数据可被用于手部运动估计。额外的数据可能例如是来自所述广角相机430的图像数据，或者是来自所述手持装置中存在的其他传感单元的数据。[0111]在一些例子中，来自广角相机430的图像数据可以被用于估计来自如本领域已知的多个图像的“光流(opticalflow)”，其中ois控制器444可以使用光流的数据以及来自imu460的数据来估计装置400的运动。在其他例子中，仅从相机410和/或相机430的图像数据所估计的光流数据可被用于估计装置400的运动。[0112]图像生成器446可以被配置为生成图像和图像流。在一些例子中，图像生成器446可以被配置为仅使用来自相机430的第一图像数据。在其他例子中，图像生成器446可以使用来自相机410和/或相机430的图像数据。[0113]尽管已经根据某些实施例和一般相关联的方法对本公开进行了描述，但是实施例和方法的更改和置换对于本领域技术人员而言将是显而易见的。本公开要被理解为不受本文中所描述的具体实施例的限制，而是仅由所附权利要求的范围限定。[0114]除非另有说明，否则在供选择的选项列表的最后两个选项之间使用“和/或”一词表示对所列选项中的一个或多个进行选择是适当的，并且可以作出选择。[0115]应该理解的是，在权利要求书或说明书中提及“一个(a)”或“一个(an)”元件的情况下，这种引用不应被解释为只有那个元件中的一个。[0116]此外，为了清楚起见，术语“基本上”在本文中用于暗指值在可接受范围内变化的可能性。根据一个示例，本文中所使用的术语“基本上”应当被解释为暗指在任何指定值之上或之下可能的变化高达5％。根据另一示例，本文中所使用的术语“基本上”应当被解释为暗指在任何指定值之上或之下可能的变化高达2.5％。根据另一示例，本文中所使用的术语“基本上”应当被解释为暗指在任何指定值之上或之下可能的变化高达1％。[0117]本说明书中提及的所有专利和专利申请在本文都通过引用的方式全部并入本说明书中，如同每个单独的参考文献都具体并单独地指定为通过引用的方式并入此处。此外，本技术中对任何参考文献的引用或识别都不应当理解为承认所述参考文献可用作对本发明的现有技术。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。