具有全景扫瞄范围的照相装置及移动装置1.本技术为申请号201880026607.3、申请日2018年02月13日、发明名称“具有全景扫描范围的照相装置”的分案申请。2.相关专利申请的交叉援引3.本技术要求了2017年3月15日提交的美国临时申请62/471,662和2017年9月20日提交的美国临时申请62/560,684的权益，该二者的全文内容通过引用以其整体结合到本说明书中。
技术领域：
：4.本说明书所公开的实施例大体上是关于一种照相装置，特别是有关于一种基于具有折叠光学器件的数字照相机的照相装置。
背景技术：
：：5.已知具有折叠光学器件(foldedoptics)的紧凑型数字照相机，也被称为“折叠照相机”或“折叠照相模组”，例如参见申请人共同拥有的国际专利申请pct/ib2016/052179。这样的折叠照相机包括透镜、光学路径折叠元件(opfe)(通常是棱镜或镜子)和图像传感器。所述opfe将沿着第一轴的第一光学路径从目标或场景折叠到所述opfe，转向进入到沿着第二轴的第二光学路径，所述第二轴大体上垂直于所述第一轴，所述第二轴也是所述透镜和所述折叠照相机的光轴。一些opfe设计为倾斜或围绕所这第一轴或第三轴旋转，所述第三轴垂直于所述第一和第二轴。尚未有已知的折叠照相机，其中opfe是围绕透镜的光轴旋转的。也尚未有已知的基于折叠数字照相机的照相装置，其能进行180度或更多的全景扫描。技术实现要素：6.在各种示例性实施例中，提供一种基于具有全景扫描范围的折叠数字照相机(foldeddigitalcameras)的照相装置。在一些实施例中，可以将在下文详细描述的具有全景扫描范围的一个或多个照相装置并入平台中。如在本说明书中所使用的，术语“平台(platform)”指的是制造物品(也称为“系统”)。所述平台可以是移动装置，诸如智能电话或平板电脑(或简单地“电脑板(tablet)”)、无人飞行装置(flyingdrone)、电视(tv)机或显示器、个人电子装置(ped)、车辆系统(车)，等。每一个所述具有全景扫描范围的照相机可提供具有高达180度或者甚至高达360度的全景图像。当被包含在智能电话或电脑板中时，具有全景扫描范围的折叠照相机(摄像头)可以设置在智能电话或电脑板的边缘，并且可以用作智能电话或电脑板的前置摄像头或后置摄像头。7.在一些实施例中，如上所述的具有全景扫描范围的照相机(camera)可以与非折叠照相机一起包括在双孔(dual-aperture)(双照相机(dual-camera))布置中。所述双孔布置可以包括在移动装置中，诸如智能电话或电脑板、无人飞行装置、电视机、其它ped和/或其它装置/系统，例如车辆系统。8.在示例性实施例中，提供包括折叠数字照相机的照相装置，所述折叠数字照相机包括具有图像感测区域的图像传感器、具有透镜光轴的透镜、和将第一光学路径从目标或场景转向到第二光学路径的opfe，所述第二光学路径大体上平行于所述透镜光轴，所述opfe可相对于所述图像传感器围绕所述透镜光轴旋转。在一些实施例中，所述opfe可以是棱镜。在另一些实施例中，所述opfe可以是镜子。9.在示例性实施例中，所述opfe可以高达180度的角度旋转。10.在示例性实施例中，所述opfe可以高达360度的角度旋转。11.在示例性实施例中，所述opfe围绕所述透镜光轴的旋转提供多个不同的图像。12.在示例性实施例中，所述多个不同的图像代表全景视图(panoramicview)的至少一部分。13.在示例性实施例中，所述透镜具有由所述图像感测区域限制的透镜图像圆(lensimagecircle)。14.在示例性实施例中，所述opfe具有多个位置，并且对每个opfe位置所述照相装置具有由所述透镜图像圆限制的视场(fov)。15.在示例性实施例中，所述照相装置可操作来记录具有变化的或适应性的视场的视频流(videostream)。16.在一些示例性实施例中，照相装置进一步包括用于围绕所述透镜光轴旋转所述opfe的驱动器。所述驱动器可以是步进电机或音圈电机(voicecoilmotor)。17.在一些示例性实施例中，所述透镜是折叠的透镜。18.在一些示例性实施例中，所述透镜固定地连接到所述opfe，并且和所述opfe一起可围绕所述透镜光轴相对于所述图像传感器旋转。19.在一些示例性实施例中，所述折叠的透镜固定地连接到所述opfe，并且可和所述opfe一起围绕所述透镜光轴相对于所述图像传感器旋转。20.在示例性实施例中，提供平台，包括：具有第一视场(fov)的第一折叠数字照相机，所述第一折叠数字照相机包括具有第一透镜光轴的第一透镜、第一图像传感器和第一光学路径折叠元件(opfe)，所述第一光学路径折叠元件将第一光学路径从目标或场景转向到第二光学路径，其中所述第二光学路径大体上平行于所述透镜光轴，并且其中所述第一opfe围绕所述第一透镜光轴相对于所述第一图像传感器是可旋转的。21.在一些示例性实施例中，平台进一步包括具有第二fov的第二折叠数字照相机，所述第二fov大于所述第一fov。在一些示例性实施例中，所述第一折叠数字照相机可操作来独立地改变所述第一fov。22.在一些示例性实施例中，平台进一步包括第二数字照相机，所述第二数字照相机包括具有第二透镜光轴的第二透镜和将所述第一光学路径从目标或场景转向所述第二光学路径的第二opfe，所述第二opfe可围绕所述第二透镜光轴旋转。在这样的平台的示例性实施例中，所述第一和第二透镜光轴是平行的。23.在一些示例性实施例中，所述平台是移动装置。在一些示例性实施例中，所述第一折叠数字照相机位于靠近移动装置边缘的一侧，并且所述第一折叠照相机可操作来获得大约180度的全景视图。在一些示例性实施例中，所述第一折叠照相机可操作为所述移动装置的前置摄像头。在一些示例性实施例中，所述第一折叠照相机可操作为所述移动装置的后置摄像头。在一些示例性实施例中，所述移动装置是智能电话或电脑板。24.在一些示例性实施例中，所述平台是移动装置，所述第一和第二折叠数字照相机设置于靠近对应移动装置边缘的相对侧上，并且其中所述第一和第二折叠照相机中的每一个可操作来获得大约180度的全景视图。在一些示例性实施例中，所述第一和第二折叠照相机中的每一个可操作为所述移动装置的前置摄像头或后置摄像头。在一些示例性实施例中，所述第一和第二折叠照相机中的每一个可操作为所述移动装置的后置摄像头。25.在一些示例性实施例中，所述透镜固定地连接到所述opfe，并且与所述opfe一起围绕所述透镜光轴相对于所述图像传感器是可旋转的。在一些示例性实施例中，所述透镜是折叠透镜。26.在一些示例性实施例中，所述移动装置是无人飞行器。在一些无人飞行器的实施例中，至少一个opfe可操作为旋转至少180度。27.在一些示例性实施例中，所述平台是电视机。28.在一些示例性实施例中，所述平台是个人电子装置。29.在一些示例性实施例中，所述平台是运输工具系统。30.在一些示例性实施例中，提供方法，包括：提供折叠数字照相机，所述折叠数字照相机包括图像传感器、具有透镜光轴的透镜和光学路径折叠元件(opfe)，所述光学路径折叠元件将第一光学路径从目标或场景转向到第二光学路径，其中所述第二光学路径大体上平行于所述透镜光轴，并且其中所述照相机具有原始定向；围绕所述透镜光轴相对于所述图像传感器在第一旋转方向上旋转所述opfe，以将所述第一光学路径设置在期望的第一方向；并且拍摄图像。31.在一些示例性实施例中，方法进一步包括将所拍摄的图像数字地旋转回到所述原始定向。32.在一些示例性实施例中，所述围绕所述透镜光轴相对于所述图像传感器在第一旋转方向上旋转所述opfe以将所述第一光学路径设置在期望的第一方向的步骤，包括旋转所述opfe以在高达180度的第一范围内将所述第一光学路径设置在多个期望的第一方向，并且所述拍摄图像的步骤包括在所述多个期望的第一方向中的每一个方向拍摄图像，从而获得对应的第一多个拍摄的图像。在一些示例性实施例中，所述方法进一步包括从所述第一多个拍摄的图像构造第一全景图像。33.在一些示例性实施例中，方法进一步包括围绕所述透镜光轴在与所述第一旋转方向相对的第二旋转方向上旋转所述opfe，以在相对于所述第一范围的、高达180度的第二范围里将所述第一光学路径设置在多个期望的第二方向，并且所述拍摄图像的步骤包括在所述多个期望的第二方向中的每一个方向上拍摄图像，从而获得对应的第二多个拍摄的图像。在一些这样的实施例中，所述方法进一步包括从所述第一多个拍摄的图像构造第二全景图像。在一个这样的实施例中，所述方法进一步包括将所述第一和第二全景图像组成组合的全景图像。34.在一些方法实施例中，所述透镜固定地连接到所述opfe，并且其中所述围绕所述透镜光轴相对于所述图像传感器在第一旋转方向上旋转所述opfe的步骤包括和所述opfe一起旋转所述透镜。35.在一些示例性实施例中，所述透镜是折叠透镜。附图说明36.本说明书中所公开的实施例中的非限制性示例在下文中参考在本段后面所列的所附图示进行描述。在多于一副图中出现的相同的结构、元件或部件在其所出现的所有图示中通常以相同的数字标注。所述图示和描述旨在阐述并澄清本说明书中公开的实施例，并且不应当被认为是以任何形式进行限制。37.图1a所示为根据本发明具有全景扫描范围的照相装置的示例性实施例的等距视图(isometricview)，所述照相装置包括折叠照相机；38.图1b所示为图1a的所述折叠照相机在“零”棱柱位置；39.图1c所示为图1a的所述折叠照相机，及其围绕所述折叠摄像头光轴从所述零位置旋转30度的棱镜；40.图1d所示为图1a的折叠照相机，其透镜从零位置绕折叠照相机光轴旋转180度；41.图1e所示为根据本发明具有全景扫描范围的照相装置的另一个示例性实施例，所述照相装置包括在其内所述透镜固定地连接到棱镜的折叠照相机；42.图1f所示为根据本发明具有全景扫描范围的照相装置的另一个示例性实施例，所述照相装置包括具有折叠透镜的折叠照相机；43.图2a所示为矩形图像传感器，其比图像圆(imagecircle)小并被所述图像圆限制；44.图2b所示为正方形图像传感器，其比图像圆大并被所述图像圆限制；45.图3a所示为根据本发明具有全景扫描范围的照相装置去扫描并获得全景图像；46.图3b所示为图3a的所述全景图像的16个分开的图像部分，每个图像部分具有相应的图像圆和由9:16矩形界定的相应裁剪区域；47.图3c所示为缝补到全景图像里的图3b的所述图像部分；48.图4a所示为根据本发明智能电话的示例性实施例的立体透视图，所述智能电话包括具有全景扫描范围的照相装置；49.图4b所示为图4a中的所述智能电话一部分的局部放大示意图；50.图4c所示为根据本发明智能电话的示例性实施例的立体后视图，所述智能电话包括具有直立摄像头的双孔照相机和具有全景扫描范围的折叠照相机的照相装置；51.图4d所示为图4c中的所述智能电话一部分的局部放大示意图；52.图5a所示为根据本发明智能电话的示例性实施例的立体透视图，所述智能电话包括具有全景扫描范围的照相装置，所述照相装置具有两个折叠照相机；53.图5b所示为图5a中所述智能电话的后视图；54.图6a所示为从无人飞行器顶侧的等距视图，所述无人飞行器载有具有全景扫描范围的照相装置，包括图1a中所示的折叠照相机；55.图6b所示为图6a的所述无人飞行器的等距底视图；56.图6c所示为图6b中标记的部分的放大示意图；57.图6d所示为沿图6a中的a-b切线、图6a的所述无人飞行器的侧视图；58.图7a所示为无人飞行器底视图，所述无人飞行器载有两个具有全景扫描范围的照相装置，每个照相装置包括如图1a中的折叠照相机；59.图7b所示为图7a的所述无人飞行器的侧视图；60.图8a所示为根据本发明电视机的前视图，所述电视机包括具有全景扫描范围的照相装置，所述照相装置包括如图1a中的折叠照相机及与之一起的直立照相机；61.图8b所示为图8a的所述电视机的角部的放大的前视图；62.图8c所示为图8a的所述电视机的角部的放大的立体透视图；63.图9a所示为在自动fovt追踪过程中包括在电视机中的双-照相机布置中在(a)由第一个用户看到的屏幕里、和在(b)由第二个用户看到的屏幕里的fovt和fovw，具有在fovw上的第一fovt位置；64.图9b所示为与图9a相同的屏幕，但在fovw上的第二位置中具有fovt；65.图9c所示为与图9a相同的屏幕，但在fovw上的第三位置中具有fovt。具体实施方式66.在下述详细描述中，将给出大量具体细节以提供透彻了解。然而，本领域熟知技艺人士将了解没有这些具体细节也能实施本发明。在其他情况下，众所周知的方法将不具体描述，以免使得本发明模糊。67.应理解为了清楚起见，在不同实施例中描述的本发明的特定特征也可组合提供在一个单个的实施例中。反过来，为简洁起见，在一个单个的实施例中描述的本发明的各个特征也可以分开提供、或者以任何合适的次组合的方式提供。68.本说明书中的术语“处理单元(processingunit)”应广义解释为包括具有数字处理电路的任何种类的电子装置，其包括例如能够执行各种数据处理操作的可操作地连接到计算机存储器(例如，数字信息处理(dsp))的计算机处理装置、微控制器、现场可编程门阵列(fpga)、专用集成电路(asic)等。69.而且，为了清楚起见，术语“大体上(substantially)”在本说明书中用来暗示变化的可能性在数值上处于可接受范围内。根据一个示例，本说明书中术语“大体上”应解释为暗示在任意特定值的上或下高达10％的可能变化。根据另一个示例，本说明书中术语“大体上”应解释为暗示在任意特定值的上或下高达5％的可能变化。根据又一示例，本说明书中术语“大体上”应解释为暗示在任意特定值上或下高达2.5％的可能变化。70.在下文中，“数字旋转(digitalrotation)”用来描述通过软件实现的图像旋转，以区别用来描述光学元器件物理的旋转的“旋转”。71.图1a显示了编号为100的折叠照相机(也称为“折叠照相模组(foldedcameramodule)”)的示例性实施例的等距视图。所显示的直角x-y-z坐标(“轴”)系也适用于所有随后的图示。此坐标系是示例性的。照相机100包括透镜组合(或简称为“透镜”)102、光学路径折叠元件(opfe)104和图像传感器106。opfe104将第一光学路径沿着大体上平行于所述x轴(在示例性坐标系中)轴108折叠，所述第一光学路径从目标、场景或全景视图部分114到所述opfe，沿着大体上平行于所述z轴(在示例性坐标系中)的轴110进入第二光学路径。轴110是透镜102的光轴。图像传感器106具有垂直地与轴110对准(平行于)的平面。即，图像传感器106位于平面目标中，所述平面目标通常位于大体上正交于所述第一光学路径的平面中。图像传感器106发出输出图像。所述输出图像可以由图像信号处理器(isp-未图示)来进行处理以去马赛克(demosaicing)、美白平衡、透镜阴影校正(lensshadingcorrection)、错误像素校正(badpixelcorrection)和其它isp设计领域已知的处理。在一些实施例中，所述isp可以是图像传感器106的部分。光轴110也可以称为“折叠照相光轴(foldedcameraopticalaxis)”。72.在一些实施例中，照相机100可以进一步包括对焦或自动对焦(af)机构(未显示)，允许沿着轴110移动(“变换(shift)”或“驱动(actuate)”)透镜102，以使得来自不同距离的目标的图像对焦在图像传感器106上。为简洁起见，本说明书继续只参考af，并应理解为还覆盖常规(手动)对焦。所述af驱动机构典型地是一种音圈电机(voicecoilmotor,vcm)类型，即，“vcm驱动器”。这种驱动机构在本领域是已知的，并且例如由申请人共同拥有的国际专利申请pct/ib2015/056004和pct/ib2016/055308号所公开的。然而这不是非限制性示例，并且所述af机构可以是其它类型的，例如步进电机、形状记忆合金(shapememoryalloy,sma)驱动器、或本领域已知的其它类型。在一些实施例中，除了或者替代所述af驱动机构，照相机100可包括光学图像稳定(opticalimagestabilization,ois)驱动机构(未显示)。ois例如可通过在x-y平面中沿两个方向移动所述透镜，围绕z和x方向补偿照相机100的倾斜。三度自由度(dof)ois 对焦驱动机构(focusactuationmechanism)典型地是vcm型的，并且本领域已知的例如如国际专利申请pct/us2013/076753和美国专利申请2014/0327965。紧凑型折叠自动对焦和ois的更多信息可以参见申请人共同拥有的国际专利申请pct/ib2016/052143、pct/ib2016/052179和pct/ib2016/053335。73.与已知折叠照相机模组(参见，例如pct/ib2016/052179)相对地，照相机100设计来使得opfe104相对所述图像传感器围绕轴(所述z轴)110旋转，即，在所示坐标轴系统的x-y平面中由箭头112所指示的旋转。opfe104能够在由光学要求(如下)所要求的角度范围内旋转，在一些情况下高达180度且在另一些情况下则是高达360度。图1c显示了opfe104在旋转30度之后的情形，且图1d显示了opfe104从原始的“零旋转”位置(图1b所示)旋转180度之后的情形。所述30度和180度旋转了的位置是许多旋转位置范围的示例性的。opfe围绕轴110的旋转可以由例如步进电机或由vcm驱动器116来驱动。本说明书中用于旋转opfe的步进电机例如是由dr.fritzfaulhabergmbh公司(dr.fritzfaulhabergmbhandco.)制造的步进电机型号fdm0620。照相机100和驱动器116一起形成具有全景扫描范围的照相机130(图1a)。共同拥有的国际专利申请pct/ib2017/052383和pct/ib2017/057706例如提供旋转vcm电机的示例。74.在一些实施例中，透镜102可以是光学轴对称的。因此，透镜102围绕轴102的任何旋转不改变所述系统的任何光学特性，并且特别地是不改变所述图像。在这样的实施例中，透镜102可以与opfe104一起旋转。特别地，如图1e所示的示例性实施例中，在照相机150中，透镜102可以固定地连接(例如粘接)到opfe104以形成透镜-opfe组合152。在如图1f所示例的一些实施例，在照相机160中，所述透镜和所述opfe可以组合形成“折叠透镜”162(参见例如所述华硕zenfonezoom(asuszenfonezoom))，其中一些透镜元件(诸如，例如，图1f中所示的单个透镜元件164)沿着轴108设置在所述opfe前、并位于来自成像的目标的所述光学路径中，而其它透镜元件设置在所述opfe后、并位于朝向所述成像的传感器(即，如透镜组件102的元件)的所述光学路径中。在这样的实施例中，整个透镜-opfe组合(图1e)和/或折叠透镜(图1f)将相对所述图像传感器旋转。在上、下文的所有描述中，照相机150和/或160在应用和/或分析和/或操作方法中可以取代照相机100。75.opfe104围绕轴110相对所述图像传感器成“α”度的旋转将会引起轴108(在其旋转前的原始状态中，它是定位为垂直于所示坐标轴中的x轴)在x-y平面旋转，并且会导致在所述图像传感器上的所述图像的两个变化：a)中心视场(field-of-view，fov)的α度的旋转；及b)在图像传感器(在本领域中已知为“滚转(roll)”效应)上的所述图像的α度的旋转。76.如上所描述的所述opfe的旋转和所述第一光学路径的顺向旋转(consequentrotation)允许全景的拍摄。照相机100具有全景扫描范围。所述全景(和所述扫描范围)可以高达360度。多个照片也可如下称为“次视图(sub-view)”、“图像部分”或“视图部分(viewsections)”，每个次视图反映或与特定opfe旋转位置相关，可被获得并“缝合(stitched)”到“全景输出图像”中去。77.透镜102的“图像圆(imagecircle)”(也参考图2a和2b)定义为在所述图像传感器的所述传感器平面上的圆，其中相对于到达所述传感器平面在点150(在所述点轴110与所述图像传感器平面会合)的光的数量来说，足够数量的光到达所述圆。只有在所述图像圆内的传感器像素能被用于所述输出图像。在所述图像圆外面的传感器像素从所述拍摄的目标/场景没有接收足够的光，并且对于品质图像(aqualityimage)来说过于嘈杂。所述图像圆可以大于或小于所述图像传感器。78.图2a显示了一个实施例，其中(例如)矩形(具有3:4的边长率)图像传感器106小于图像圆120，所述图像圆于是“限制(bounding)”所述图像传感器。在此，所述矩形的边小于所述图像圆的直径，并且所有所述传感器像素在所述图像圆内。图2b显示了另一个实施例，其中(例如)正方形图像传感器106比图像圆120大，如此所述图像传感器“限制”所述图像圆。于此，所述正方形的边大于所述图像圆的直径。在图像传感器上获得的图像典型地是矩形形状，典型地具有长边和短边尺寸为3:4或9:16的比率。在照相机100中，图像传感器106大于图像圆120，即，如图2b中所示。图2b中图像传感器106的最小尺寸是示例性的最小所要求的传感器尺寸。因此，在照相机100中，所述最大可能的图像是绑定矩形(boundrectangle)，其具有位于图像圆120上的边。在不同行动中这个矩形可相对图像传感器106的所述边旋转一定度数，如下所解释的。79.图2b也显示了从传感器106获得的矩形(具有3:4的边长比率(edgelengthratio))输出图像定向(imageorientations)的三个示例：在“横向(landscape)”定向(较长矩形边为水平的)上的图像202、图像204旋转30度vs所述横向定向、和在“纵向(portrait)”定向(较长矩形边为垂直的)上的图像206。照相机100可以用来以纵向或横向定向输出任何单个帧(singleframe)。定向的选择可以使用所附的处理单元(未显示)来数字地完成。80.图3a、3b和3c描述了使用照相机100来扫描并获得全景视图的方法的实施例。图3a显示了具有360度(水平轴)、56度(竖直轴)视场(fieldofview，fov)的全景视图(panoramicview)。所述全景视图显示为扁平化的(flattened)图像，应理解所述扁平化的图像代表360度的圆形视图。图3b显示了当opfe104从0到360度旋转、并具有沿所述水平轴在次视图之间22.5度的跳跃尺寸(jumpsizes)时，在图像传感器106上获得全景视图16个分开的视图部分(次视图(sub-view))“a”到“o”。在其它情形下，其它跳跃尺寸可用在次视图之间。对于每个次视图，图3b进一步显示了由9:16矩形界定的相应的图像圆120和相应的裁剪区域(croppingregion)132。为简洁起见，图像圆120仅在次视图“a”上标注，并且裁剪区域132仅在次视图“e”上标注。裁剪区域提供裁剪过的图像。所述裁剪过的图像可数字地旋转到所述原始定向(次视图“i”)。照相机100可输出次视图“a”到“o”(或者在任意旋转角度的任意次视图)中的任何一个作为适当旋转后的单个的帧。图3c显示了图3b的所述次视图裁剪过的图像的重建(“缝合(stitching)”)为全景视图。大体上，两个相邻图像(其中每一个具有给定的fov)的缝合要求以下动作：(a)探测所述两个图像之间的倾斜、旋转、移动(shift)和其它偏差(deviations)；(b)数字地将至少一个图像转化为校正过的图像以校正所述偏差；及(c)数字地将两个相邻的校正过的图像组合为具有连续fov的单个的图像，所述连续的fov大于所述两个原始给定的fovs。数字旋转和缝合动作可以使用本领域已知的软件来完成。所述软件可在处理单元(未显示)上运行，而所述处理单元是载有具有照相机100的照相装置130的装置或系统的芯片集的部分，或者该软件能够远程操作照相机100。注意任意两个相邻的图像重叠小区域，例如单个图像的所述fov的10％-30％。所述重叠区域对于(a)和(c)中的动作来说是必要的。在其它情形下，照相机100可用来扫描具有不同fov的全景视图，例如在水平轴少于360度，和/或例如在垂直轴多于或少于56度。81.在另一个实施例中，照相机100可用来拍视频，或在操作装置屏幕(参考下文中操作装置的例子)上预览视频。所述扫描能力(scanningcapability)允许所述视场(videofieldofview)的选择。下面的示例(图8-9)显示了录像和具有扫描fov能力(scanningfovcapability)的流(stream)。一旦旋转opfe104，所述照相机的fov会改变，并且旋转的图像会在传感器106上获得。照相机100和连接的处理单元(未显示)可数字地反旋转所述帧(frames)和视频流(videostream)，以显示与原始定向对准的视频(如图3和9所呈现的)。所述最终输出可显示具有高达360度的扫描范围的视频电影(videomovie)。82.载有或包括诸如具有照相机的照相装置120的系统的平台的几个非限制性的示例(例如智能电话和无人飞行器)如图4-7所示。83.图4a显示了立体透视图且图4b显示了示例性实施例的局部放大视图，其中所述平台是诸如编号为400的智能电话的移动装置。智能电话400包括具有全景扫描范围的照相装置430，照相装置430包括像照相机100的折叠照相机100’和步进电机或像驱动器116的vcm。照相机100’位于靠近智能电话400边缘402的一侧上。图4b提供切口404的放大视图，显示照相机100’的主要元件(透镜102、棱镜104和传感器106)和步进电机或vcm驱动器116的主要元件。棱镜104位于保护全景透明屏幕406的后面，是由例如玻璃或塑料制成。在智能电话400中，照相机100’的一个用途可以是拍摄180度全景照片，由点半圆箭头408指示的动作。在示例性使用实施例中，智能电话400里的照相机100’可用作“前置摄像头”和“后置摄像头”，这里的“前置摄像头”和“后置摄像头”具有本领域熟知的含义。84.在一些实施例中，本说明书中具有全景扫描范围的折叠照相机可与非折叠(“直立式(upright)”)非扫描照相机一起定位在双孔(或“双摄像头(dual-camera)”)照相布置中。所述非折叠照相机可具有小于或等于或大于所述折叠照相机的fov的fov。例如pct/ib2015/056004公开了包括折叠照相机和非折叠照相机的双孔照相机。所述双摄像头可设置在智能电话中或者在其它个人电子装置中。所述直立式照相机可是所述智能电话的前置摄像头或后置式摄像头。85.图4c显示了立体透视图且图4d显示了编号400’智能电话的示例性实施例的局部放大图，所述智能电话包括具有直立式照相装置412和照相装置430的双孔照相装置450，照相装置430包括具有全景扫描范围的折叠照相机100’。显示的所有其它元件类似于图4a和4b中所示的那些元件。而照相装置412显示为智能电话400’的后置摄像头，在其它实施例中(如提过的)它可以是前置摄像头。86.图5a显示了立体透视图且图5b显示了示例性实施例的后视图，其中所述平台是编号500的智能电话。智能电话500包括具有全景扫描范围的照相装置530，照相装置530包括两个像照相机100的折叠照相机，以及与之相关联的步进电机或vcm驱动器(未显示)。所述两个照相机，标记为100’a和100’b，设置在例如靠近智能电话500的相应边502a和502b的相对侧上。图5b还显示了每个照相机的主要元件(透镜102、棱镜104和传感器106)。所述相应的步进电机或vcm驱动器未显示以简化各图示。每个棱镜104位于相应的保护全景透明屏幕506的后面，由例如玻璃或塑料制成。在智能电话500中，每个照相机100’a和100’b的一个用途可以是拍摄两张相应的180度全景照片，这两张照片然后可以拼接/缝合到一张360度的全景照片中。87.图6a-d描述了另一个载有照相机100的示例性平台。在图6a-d中，所述平台是载有具有全景扫描范围的照相装置630的无人飞行器600，所述照相装置630包括像照相机100的折叠照相机100’和像驱动器116的步进电机或vcm驱动器。无人飞行器600用来飞行和从高空拍照。图6a显示了所述无人飞行器的顶视图，图6b显示了其底视图而图6c则是图6b中标记部分的放大图。图6d是沿图6a中的a-b线无人飞行器600的截面侧视图。在系统600中，所述照相机用来改变相片的角度(在图6d中所标记的)在： 90度(向上看(lookingup)，651)到0度(向前看(lookingforward)，652)到-90度(向下看(lookingdown)，653)和到-120度(向下看并稍微向后(lookingdownandslightlyback)，654)之间，即，总共210度。在其它示例中，所述扫描范围可以改变。无人飞行器600内的照相机100可自动跟踪目标，参考图8和9如下所描述的，以及在共同拥有的国际专利申请pct/ib2016/057366。88.图7a-b显示了另一种载有两个具有全景扫描范围的照相装置730a和730b的无人飞行器700，每个照相装置包括像照相机100的折叠照相机和像驱动器116的步进电机或vcm驱动器(未显示)。在这种配置中，所述两个照相机能在360度扫描范围内拍照。箭头所指示的拍照的角度类似于图6d中的那些。89.图8a-c描述了载有照相机100的另一种平台。在图8a-c中，所述平台是电视机(tv)800。电视机800包括具有全景扫描范围的照相机830，所述照相机830包括像照相机100的折叠照相机和像驱动器116的步进电机或vcm驱动器。电视机800进一步包括直立式照相机812和tv屏幕802。直立式照相机812包括透镜814和图像传感器816。电视机800可进一步包括一个或多个扬声器和一个或多个麦克风(microphones)、以及其它众所周知的元件(未显示)。90.图8a显示了电视机800的前视图。图8b显示了前视图中电视机800和照相机812及830的一个角的放大示意图。图8c显示了图8b中所示部分的等距视图，以及在照相机830中棱镜104可能的旋转。照相机812可能具有宽(大)的fov，例如在水平平面上120-180度，并且也被称为宽镜头(widecamera)812。照相机812的fov称为宽fov(fovw)。在电视机800中，照相机830可具有遥控(窄的)fov(telefov)，例如(非限制性)在所述水平平面上30-80度。于是，在电视机800中，照相机830也可称为“遥控照相机(telecamera)”830，而照相机830的fov可称为遥控fov(fovt)。91.在电视800中，照相机812和830位于电视机800顶部左侧角上。在其它示例性实施例中，照相机812和830可位于其它位置，例如顶部中央、左侧或右侧、底部侧或者甚至如下描述地在屏幕802上。在另一示例性实施例中，照相机812和830可以是位于所述电视机外面的分开的模组(盒)，通过线缆连接或者无线连接。92.在示例性实施例中，电视机800可用来如下地开视频会议：位于第一位置处的第一用户(人)可使用电视机800来与位于第二位置处的第二用户(人)进行交流。所述第二用户可使用任何包括屏幕的电子装置，例如电视、智能电话、个人计算机、笔记本电脑或膝上型电脑，等。在示例性实施例中，照相机830和812可用来给所述第一用户录像，而所述第二用户在其屏幕上可看见来自两个照相机830和812的记录。93.电视机800可用于fovt的自动移动或“自动调整”，用来例如在自动模式追踪物体。执行自动遥控fov移动以追踪兴趣目标或物品的照相机模式在此称为自动遥控fov追踪(autonomoustelefovtracking)”。本发明适用的示例性的自动追踪系统和方法在pct/ib2016/057366中有描述。所述自动fovt移动响应于对所述兴趣目标或物品的识别(通过例如摄像头812)，并且所述遥控图像(theteleimage)对焦在所述兴趣目标或物品上，并显示所述兴趣目标或物品。所述目标的识别可以通过使用本领域已知方法中的任意方法来执行。94.使用电视机800的自动fovt追踪场景的一个示例如图9a-9c所示。在示例性实施例中，照相机812可拍摄所述第一位置的广角图像(wideviewimage)。当第一用户902四处移动时并且在视频会议过程中处于相机的fovw内，照相机830于是会追踪他/她。所述第二用户在其屏幕上可以看见(1)所述宽fov，(2)追踪后的所述遥控fov，或(3)所述宽fov和所述遥控fov两者。可认为所述遥控照相机通过倾斜棱镜来追踪所述兴趣目标会改变其fov。理想地，所述照相机将追踪所述目标以使得尽可能靠近所述可调整的遥控fov的中心。95.图9a显示了在自动fovt追踪过程中遥控照相机830的fovs和广角摄像头(widecamera)812，具有在fovw上的第一fovt位置。图9b显示了图9a的具有在fovw上的第二fovt位置的所述fovs。图9c显示了具有在fovw上的第三fovt位置的图9a的fovs。这些图示中的每一个图示中，所述兴趣目标是第一用户902。96.在所示的特别示例中，一个人从两个照相机看视频流的肩并肩图像：(a)列显示由所述第一用户看到的具有fovw和fovt的屏幕900a，而(b)列则显示右侧具有fovw和fovt的所述第二用户的屏幕900b，和左侧第一用户902的身体和脸部的部分以及背景的部分的放大的遥控视图(图像)。大体上，在(a)中的fovt可显示所述第一用户(如显示的)、所述第二用户或从所述场景的另一个特征。显示所述第一用户的(a)中的所述fovt因此不应该被认为是限制性的。通常，所述第二用户(未显示)在其屏幕上可看到来自照相机812或照相机830的视频流(videostream)，或同时来自两个照相机812和830(肩并肩)。以免所述第二用户仅看到一个视频流，在流之间的切换(switching)可使用平滑过渡技术来完成，例如在共同拥有的美国专利9185291中所描述的。97.可以由所述第一用户、所述第二用户(例如通过远程控制使用)或自动地(例如使用脸部识别(facedetection))决定追踪所述第一用户。人们认为所述遥控照相机通过旋转所述棱镜来改变其fov以追踪所述兴趣目标，如上所公开的。理想地，所述照相机将追踪所述目标以使得尽可能靠近所述可调整的fovt的中心，如在每一图示中(b)列左侧所看到的。98.来自照相机812和/或照相机830的视频流可被记录用于后面的使用，这将包括诸如图像处理、视频流混合(videostreamblending)等额外的处理。99.尽管从某些实施例和通常相关联的方法来看已经描述了本发明，这些实施例和方法的变化和置换对于本领域熟悉技艺人士来说是显而易见的。例如，尽管具有全景扫描范围的照相机和折叠相机已经描述为示例性地包括在智能电话、无人飞行器和电视机中，这样的照相机和折叠相机也可包括在其它诸如车辆的平台中，或者包括在除了智能电话之外的平台中，例如平板电脑、膝上型电脑、平板式手机、桌上型电脑、智能扬声器、智能手表、电子书阅读器、智能眼镜、智能头盔、婴儿监护器、增强现实系统(augmentedrealitysystem)、虚拟现实系统(virtualrealitysystem)、高级驾驶辅助系统(advanceddrivingassistancesystem，adas)，等。应理解本发明不受本说明书中描述的具体实施例的限制，而仅由权利要求书限制范围。100.除非另行声明，在选择选项列表的前两位成员之间使用表述“和/或”表明所述列表的选项的一个或多个选择是恰当的，并且可以选择。101.应理解在权利要求或说明书提到“一(a)”或“一个(an)”元件之处，这样的提法不应解释为仅有一个那个元件。102.在本说明书中提及的所有参考文献以其整体在此通过引用并入本说明书中。其程度如同各单个的参考文献被具体及单独地指明而通过引用并入本说明书中。此外，所引用的或指出的任何参考文献不应被解释为承认这些参考文献可作为本发明的现有技术。当前第1页12当前第1页12
技术领域：
：4.本说明书所公开的实施例大体上是关于一种照相装置，特别是有关于一种基于具有折叠光学器件的数字照相机的照相装置。
背景技术：
：：5.已知具有折叠光学器件(foldedoptics)的紧凑型数字照相机，也被称为“折叠照相机”或“折叠照相模组”，例如参见申请人共同拥有的国际专利申请pct/ib2016/052179。这样的折叠照相机包括透镜、光学路径折叠元件(opfe)(通常是棱镜或镜子)和图像传感器。所述opfe将沿着第一轴的第一光学路径从目标或场景折叠到所述opfe，转向进入到沿着第二轴的第二光学路径，所述第二轴大体上垂直于所述第一轴，所述第二轴也是所述透镜和所述折叠照相机的光轴。一些opfe设计为倾斜或围绕所这第一轴或第三轴旋转，所述第三轴垂直于所述第一和第二轴。尚未有已知的折叠照相机，其中opfe是围绕透镜的光轴旋转的。也尚未有已知的基于折叠数字照相机的照相装置，其能进行180度或更多的全景扫描。技术实现要素：6.在各种示例性实施例中，提供一种基于具有全景扫描范围的折叠数字照相机(foldeddigitalcameras)的照相装置。在一些实施例中，可以将在下文详细描述的具有全景扫描范围的一个或多个照相装置并入平台中。如在本说明书中所使用的，术语“平台(platform)”指的是制造物品(也称为“系统”)。所述平台可以是移动装置，诸如智能电话或平板电脑(或简单地“电脑板(tablet)”)、无人飞行装置(flyingdrone)、电视(tv)机或显示器、个人电子装置(ped)、车辆系统(车)，等。每一个所述具有全景扫描范围的照相机可提供具有高达180度或者甚至高达360度的全景图像。当被包含在智能电话或电脑板中时，具有全景扫描范围的折叠照相机(摄像头)可以设置在智能电话或电脑板的边缘，并且可以用作智能电话或电脑板的前置摄像头或后置摄像头。7.在一些实施例中，如上所述的具有全景扫描范围的照相机(camera)可以与非折叠照相机一起包括在双孔(dual-aperture)(双照相机(dual-camera))布置中。所述双孔布置可以包括在移动装置中，诸如智能电话或电脑板、无人飞行装置、电视机、其它ped和/或其它装置/系统，例如车辆系统。8.在示例性实施例中，提供包括折叠数字照相机的照相装置，所述折叠数字照相机包括具有图像感测区域的图像传感器、具有透镜光轴的透镜、和将第一光学路径从目标或场景转向到第二光学路径的opfe，所述第二光学路径大体上平行于所述透镜光轴，所述opfe可相对于所述图像传感器围绕所述透镜光轴旋转。在一些实施例中，所述opfe可以是棱镜。在另一些实施例中，所述opfe可以是镜子。9.在示例性实施例中，所述opfe可以高达180度的角度旋转。10.在示例性实施例中，所述opfe可以高达360度的角度旋转。11.在示例性实施例中，所述opfe围绕所述透镜光轴的旋转提供多个不同的图像。12.在示例性实施例中，所述多个不同的图像代表全景视图(panoramicview)的至少一部分。13.在示例性实施例中，所述透镜具有由所述图像感测区域限制的透镜图像圆(lensimagecircle)。14.在示例性实施例中，所述opfe具有多个位置，并且对每个opfe位置所述照相装置具有由所述透镜图像圆限制的视场(fov)。15.在示例性实施例中，所述照相装置可操作来记录具有变化的或适应性的视场的视频流(videostream)。16.在一些示例性实施例中，照相装置进一步包括用于围绕所述透镜光轴旋转所述opfe的驱动器。所述驱动器可以是步进电机或音圈电机(voicecoilmotor)。17.在一些示例性实施例中，所述透镜是折叠的透镜。18.在一些示例性实施例中，所述透镜固定地连接到所述opfe，并且和所述opfe一起可围绕所述透镜光轴相对于所述图像传感器旋转。19.在一些示例性实施例中，所述折叠的透镜固定地连接到所述opfe，并且可和所述opfe一起围绕所述透镜光轴相对于所述图像传感器旋转。20.在示例性实施例中，提供平台，包括：具有第一视场(fov)的第一折叠数字照相机，所述第一折叠数字照相机包括具有第一透镜光轴的第一透镜、第一图像传感器和第一光学路径折叠元件(opfe)，所述第一光学路径折叠元件将第一光学路径从目标或场景转向到第二光学路径，其中所述第二光学路径大体上平行于所述透镜光轴，并且其中所述第一opfe围绕所述第一透镜光轴相对于所述第一图像传感器是可旋转的。21.在一些示例性实施例中，平台进一步包括具有第二fov的第二折叠数字照相机，所述第二fov大于所述第一fov。在一些示例性实施例中，所述第一折叠数字照相机可操作来独立地改变所述第一fov。22.在一些示例性实施例中，平台进一步包括第二数字照相机，所述第二数字照相机包括具有第二透镜光轴的第二透镜和将所述第一光学路径从目标或场景转向所述第二光学路径的第二opfe，所述第二opfe可围绕所述第二透镜光轴旋转。在这样的平台的示例性实施例中，所述第一和第二透镜光轴是平行的。23.在一些示例性实施例中，所述平台是移动装置。在一些示例性实施例中，所述第一折叠数字照相机位于靠近移动装置边缘的一侧，并且所述第一折叠照相机可操作来获得大约180度的全景视图。在一些示例性实施例中，所述第一折叠照相机可操作为所述移动装置的前置摄像头。在一些示例性实施例中，所述第一折叠照相机可操作为所述移动装置的后置摄像头。在一些示例性实施例中，所述移动装置是智能电话或电脑板。24.在一些示例性实施例中，所述平台是移动装置，所述第一和第二折叠数字照相机设置于靠近对应移动装置边缘的相对侧上，并且其中所述第一和第二折叠照相机中的每一个可操作来获得大约180度的全景视图。在一些示例性实施例中，所述第一和第二折叠照相机中的每一个可操作为所述移动装置的前置摄像头或后置摄像头。在一些示例性实施例中，所述第一和第二折叠照相机中的每一个可操作为所述移动装置的后置摄像头。25.在一些示例性实施例中，所述透镜固定地连接到所述opfe，并且与所述opfe一起围绕所述透镜光轴相对于所述图像传感器是可旋转的。在一些示例性实施例中，所述透镜是折叠透镜。26.在一些示例性实施例中，所述移动装置是无人飞行器。在一些无人飞行器的实施例中，至少一个opfe可操作为旋转至少180度。27.在一些示例性实施例中，所述平台是电视机。28.在一些示例性实施例中，所述平台是个人电子装置。29.在一些示例性实施例中，所述平台是运输工具系统。30.在一些示例性实施例中，提供方法，包括：提供折叠数字照相机，所述折叠数字照相机包括图像传感器、具有透镜光轴的透镜和光学路径折叠元件(opfe)，所述光学路径折叠元件将第一光学路径从目标或场景转向到第二光学路径，其中所述第二光学路径大体上平行于所述透镜光轴，并且其中所述照相机具有原始定向；围绕所述透镜光轴相对于所述图像传感器在第一旋转方向上旋转所述opfe，以将所述第一光学路径设置在期望的第一方向；并且拍摄图像。31.在一些示例性实施例中，方法进一步包括将所拍摄的图像数字地旋转回到所述原始定向。32.在一些示例性实施例中，所述围绕所述透镜光轴相对于所述图像传感器在第一旋转方向上旋转所述opfe以将所述第一光学路径设置在期望的第一方向的步骤，包括旋转所述opfe以在高达180度的第一范围内将所述第一光学路径设置在多个期望的第一方向，并且所述拍摄图像的步骤包括在所述多个期望的第一方向中的每一个方向拍摄图像，从而获得对应的第一多个拍摄的图像。在一些示例性实施例中，所述方法进一步包括从所述第一多个拍摄的图像构造第一全景图像。33.在一些示例性实施例中，方法进一步包括围绕所述透镜光轴在与所述第一旋转方向相对的第二旋转方向上旋转所述opfe，以在相对于所述第一范围的、高达180度的第二范围里将所述第一光学路径设置在多个期望的第二方向，并且所述拍摄图像的步骤包括在所述多个期望的第二方向中的每一个方向上拍摄图像，从而获得对应的第二多个拍摄的图像。在一些这样的实施例中，所述方法进一步包括从所述第一多个拍摄的图像构造第二全景图像。在一个这样的实施例中，所述方法进一步包括将所述第一和第二全景图像组成组合的全景图像。34.在一些方法实施例中，所述透镜固定地连接到所述opfe，并且其中所述围绕所述透镜光轴相对于所述图像传感器在第一旋转方向上旋转所述opfe的步骤包括和所述opfe一起旋转所述透镜。35.在一些示例性实施例中，所述透镜是折叠透镜。附图说明36.本说明书中所公开的实施例中的非限制性示例在下文中参考在本段后面所列的所附图示进行描述。在多于一副图中出现的相同的结构、元件或部件在其所出现的所有图示中通常以相同的数字标注。所述图示和描述旨在阐述并澄清本说明书中公开的实施例，并且不应当被认为是以任何形式进行限制。37.图1a所示为根据本发明具有全景扫描范围的照相装置的示例性实施例的等距视图(isometricview)，所述照相装置包括折叠照相机；38.图1b所示为图1a的所述折叠照相机在“零”棱柱位置；39.图1c所示为图1a的所述折叠照相机，及其围绕所述折叠摄像头光轴从所述零位置旋转30度的棱镜；40.图1d所示为图1a的折叠照相机，其透镜从零位置绕折叠照相机光轴旋转180度；41.图1e所示为根据本发明具有全景扫描范围的照相装置的另一个示例性实施例，所述照相装置包括在其内所述透镜固定地连接到棱镜的折叠照相机；42.图1f所示为根据本发明具有全景扫描范围的照相装置的另一个示例性实施例，所述照相装置包括具有折叠透镜的折叠照相机；43.图2a所示为矩形图像传感器，其比图像圆(imagecircle)小并被所述图像圆限制；44.图2b所示为正方形图像传感器，其比图像圆大并被所述图像圆限制；45.图3a所示为根据本发明具有全景扫描范围的照相装置去扫描并获得全景图像；46.图3b所示为图3a的所述全景图像的16个分开的图像部分，每个图像部分具有相应的图像圆和由9:16矩形界定的相应裁剪区域；47.图3c所示为缝补到全景图像里的图3b的所述图像部分；48.图4a所示为根据本发明智能电话的示例性实施例的立体透视图，所述智能电话包括具有全景扫描范围的照相装置；49.图4b所示为图4a中的所述智能电话一部分的局部放大示意图；50.图4c所示为根据本发明智能电话的示例性实施例的立体后视图，所述智能电话包括具有直立摄像头的双孔照相机和具有全景扫描范围的折叠照相机的照相装置；51.图4d所示为图4c中的所述智能电话一部分的局部放大示意图；52.图5a所示为根据本发明智能电话的示例性实施例的立体透视图，所述智能电话包括具有全景扫描范围的照相装置，所述照相装置具有两个折叠照相机；53.图5b所示为图5a中所述智能电话的后视图；54.图6a所示为从无人飞行器顶侧的等距视图，所述无人飞行器载有具有全景扫描范围的照相装置，包括图1a中所示的折叠照相机；55.图6b所示为图6a的所述无人飞行器的等距底视图；56.图6c所示为图6b中标记的部分的放大示意图；57.图6d所示为沿图6a中的a-b切线、图6a的所述无人飞行器的侧视图；58.图7a所示为无人飞行器底视图，所述无人飞行器载有两个具有全景扫描范围的照相装置，每个照相装置包括如图1a中的折叠照相机；59.图7b所示为图7a的所述无人飞行器的侧视图；60.图8a所示为根据本发明电视机的前视图，所述电视机包括具有全景扫描范围的照相装置，所述照相装置包括如图1a中的折叠照相机及与之一起的直立照相机；61.图8b所示为图8a的所述电视机的角部的放大的前视图；62.图8c所示为图8a的所述电视机的角部的放大的立体透视图；63.图9a所示为在自动fovt追踪过程中包括在电视机中的双-照相机布置中在(a)由第一个用户看到的屏幕里、和在(b)由第二个用户看到的屏幕里的fovt和fovw，具有在fovw上的第一fovt位置；64.图9b所示为与图9a相同的屏幕，但在fovw上的第二位置中具有fovt；65.图9c所示为与图9a相同的屏幕，但在fovw上的第三位置中具有fovt。具体实施方式66.在下述详细描述中，将给出大量具体细节以提供透彻了解。然而，本领域熟知技艺人士将了解没有这些具体细节也能实施本发明。在其他情况下，众所周知的方法将不具体描述，以免使得本发明模糊。67.应理解为了清楚起见，在不同实施例中描述的本发明的特定特征也可组合提供在一个单个的实施例中。反过来，为简洁起见，在一个单个的实施例中描述的本发明的各个特征也可以分开提供、或者以任何合适的次组合的方式提供。68.本说明书中的术语“处理单元(processingunit)”应广义解释为包括具有数字处理电路的任何种类的电子装置，其包括例如能够执行各种数据处理操作的可操作地连接到计算机存储器(例如，数字信息处理(dsp))的计算机处理装置、微控制器、现场可编程门阵列(fpga)、专用集成电路(asic)等。69.而且，为了清楚起见，术语“大体上(substantially)”在本说明书中用来暗示变化的可能性在数值上处于可接受范围内。根据一个示例，本说明书中术语“大体上”应解释为暗示在任意特定值的上或下高达10％的可能变化。根据另一个示例，本说明书中术语“大体上”应解释为暗示在任意特定值的上或下高达5％的可能变化。根据又一示例，本说明书中术语“大体上”应解释为暗示在任意特定值上或下高达2.5％的可能变化。70.在下文中，“数字旋转(digitalrotation)”用来描述通过软件实现的图像旋转，以区别用来描述光学元器件物理的旋转的“旋转”。71.图1a显示了编号为100的折叠照相机(也称为“折叠照相模组(foldedcameramodule)”)的示例性实施例的等距视图。所显示的直角x-y-z坐标(“轴”)系也适用于所有随后的图示。此坐标系是示例性的。照相机100包括透镜组合(或简称为“透镜”)102、光学路径折叠元件(opfe)104和图像传感器106。opfe104将第一光学路径沿着大体上平行于所述x轴(在示例性坐标系中)轴108折叠，所述第一光学路径从目标、场景或全景视图部分114到所述opfe，沿着大体上平行于所述z轴(在示例性坐标系中)的轴110进入第二光学路径。轴110是透镜102的光轴。图像传感器106具有垂直地与轴110对准(平行于)的平面。即，图像传感器106位于平面目标中，所述平面目标通常位于大体上正交于所述第一光学路径的平面中。图像传感器106发出输出图像。所述输出图像可以由图像信号处理器(isp-未图示)来进行处理以去马赛克(demosaicing)、美白平衡、透镜阴影校正(lensshadingcorrection)、错误像素校正(badpixelcorrection)和其它isp设计领域已知的处理。在一些实施例中，所述isp可以是图像传感器106的部分。光轴110也可以称为“折叠照相光轴(foldedcameraopticalaxis)”。72.在一些实施例中，照相机100可以进一步包括对焦或自动对焦(af)机构(未显示)，允许沿着轴110移动(“变换(shift)”或“驱动(actuate)”)透镜102，以使得来自不同距离的目标的图像对焦在图像传感器106上。为简洁起见，本说明书继续只参考af，并应理解为还覆盖常规(手动)对焦。所述af驱动机构典型地是一种音圈电机(voicecoilmotor,vcm)类型，即，“vcm驱动器”。这种驱动机构在本领域是已知的，并且例如由申请人共同拥有的国际专利申请pct/ib2015/056004和pct/ib2016/055308号所公开的。然而这不是非限制性示例，并且所述af机构可以是其它类型的，例如步进电机、形状记忆合金(shapememoryalloy,sma)驱动器、或本领域已知的其它类型。在一些实施例中，除了或者替代所述af驱动机构，照相机100可包括光学图像稳定(opticalimagestabilization,ois)驱动机构(未显示)。ois例如可通过在x-y平面中沿两个方向移动所述透镜，围绕z和x方向补偿照相机100的倾斜。三度自由度(dof)ois 对焦驱动机构(focusactuationmechanism)典型地是vcm型的，并且本领域已知的例如如国际专利申请pct/us2013/076753和美国专利申请2014/0327965。紧凑型折叠自动对焦和ois的更多信息可以参见申请人共同拥有的国际专利申请pct/ib2016/052143、pct/ib2016/052179和pct/ib2016/053335。73.与已知折叠照相机模组(参见，例如pct/ib2016/052179)相对地，照相机100设计来使得opfe104相对所述图像传感器围绕轴(所述z轴)110旋转，即，在所示坐标轴系统的x-y平面中由箭头112所指示的旋转。opfe104能够在由光学要求(如下)所要求的角度范围内旋转，在一些情况下高达180度且在另一些情况下则是高达360度。图1c显示了opfe104在旋转30度之后的情形，且图1d显示了opfe104从原始的“零旋转”位置(图1b所示)旋转180度之后的情形。所述30度和180度旋转了的位置是许多旋转位置范围的示例性的。opfe围绕轴110的旋转可以由例如步进电机或由vcm驱动器116来驱动。本说明书中用于旋转opfe的步进电机例如是由dr.fritzfaulhabergmbh公司(dr.fritzfaulhabergmbhandco.)制造的步进电机型号fdm0620。照相机100和驱动器116一起形成具有全景扫描范围的照相机130(图1a)。共同拥有的国际专利申请pct/ib2017/052383和pct/ib2017/057706例如提供旋转vcm电机的示例。74.在一些实施例中，透镜102可以是光学轴对称的。因此，透镜102围绕轴102的任何旋转不改变所述系统的任何光学特性，并且特别地是不改变所述图像。在这样的实施例中，透镜102可以与opfe104一起旋转。特别地，如图1e所示的示例性实施例中，在照相机150中，透镜102可以固定地连接(例如粘接)到opfe104以形成透镜-opfe组合152。在如图1f所示例的一些实施例，在照相机160中，所述透镜和所述opfe可以组合形成“折叠透镜”162(参见例如所述华硕zenfonezoom(asuszenfonezoom))，其中一些透镜元件(诸如，例如，图1f中所示的单个透镜元件164)沿着轴108设置在所述opfe前、并位于来自成像的目标的所述光学路径中，而其它透镜元件设置在所述opfe后、并位于朝向所述成像的传感器(即，如透镜组件102的元件)的所述光学路径中。在这样的实施例中，整个透镜-opfe组合(图1e)和/或折叠透镜(图1f)将相对所述图像传感器旋转。在上、下文的所有描述中，照相机150和/或160在应用和/或分析和/或操作方法中可以取代照相机100。75.opfe104围绕轴110相对所述图像传感器成“α”度的旋转将会引起轴108(在其旋转前的原始状态中，它是定位为垂直于所示坐标轴中的x轴)在x-y平面旋转，并且会导致在所述图像传感器上的所述图像的两个变化：a)中心视场(field-of-view，fov)的α度的旋转；及b)在图像传感器(在本领域中已知为“滚转(roll)”效应)上的所述图像的α度的旋转。76.如上所描述的所述opfe的旋转和所述第一光学路径的顺向旋转(consequentrotation)允许全景的拍摄。照相机100具有全景扫描范围。所述全景(和所述扫描范围)可以高达360度。多个照片也可如下称为“次视图(sub-view)”、“图像部分”或“视图部分(viewsections)”，每个次视图反映或与特定opfe旋转位置相关，可被获得并“缝合(stitched)”到“全景输出图像”中去。77.透镜102的“图像圆(imagecircle)”(也参考图2a和2b)定义为在所述图像传感器的所述传感器平面上的圆，其中相对于到达所述传感器平面在点150(在所述点轴110与所述图像传感器平面会合)的光的数量来说，足够数量的光到达所述圆。只有在所述图像圆内的传感器像素能被用于所述输出图像。在所述图像圆外面的传感器像素从所述拍摄的目标/场景没有接收足够的光，并且对于品质图像(aqualityimage)来说过于嘈杂。所述图像圆可以大于或小于所述图像传感器。78.图2a显示了一个实施例，其中(例如)矩形(具有3:4的边长率)图像传感器106小于图像圆120，所述图像圆于是“限制(bounding)”所述图像传感器。在此，所述矩形的边小于所述图像圆的直径，并且所有所述传感器像素在所述图像圆内。图2b显示了另一个实施例，其中(例如)正方形图像传感器106比图像圆120大，如此所述图像传感器“限制”所述图像圆。于此，所述正方形的边大于所述图像圆的直径。在图像传感器上获得的图像典型地是矩形形状，典型地具有长边和短边尺寸为3:4或9:16的比率。在照相机100中，图像传感器106大于图像圆120，即，如图2b中所示。图2b中图像传感器106的最小尺寸是示例性的最小所要求的传感器尺寸。因此，在照相机100中，所述最大可能的图像是绑定矩形(boundrectangle)，其具有位于图像圆120上的边。在不同行动中这个矩形可相对图像传感器106的所述边旋转一定度数，如下所解释的。79.图2b也显示了从传感器106获得的矩形(具有3:4的边长比率(edgelengthratio))输出图像定向(imageorientations)的三个示例：在“横向(landscape)”定向(较长矩形边为水平的)上的图像202、图像204旋转30度vs所述横向定向、和在“纵向(portrait)”定向(较长矩形边为垂直的)上的图像206。照相机100可以用来以纵向或横向定向输出任何单个帧(singleframe)。定向的选择可以使用所附的处理单元(未显示)来数字地完成。80.图3a、3b和3c描述了使用照相机100来扫描并获得全景视图的方法的实施例。图3a显示了具有360度(水平轴)、56度(竖直轴)视场(fieldofview，fov)的全景视图(panoramicview)。所述全景视图显示为扁平化的(flattened)图像，应理解所述扁平化的图像代表360度的圆形视图。图3b显示了当opfe104从0到360度旋转、并具有沿所述水平轴在次视图之间22.5度的跳跃尺寸(jumpsizes)时，在图像传感器106上获得全景视图16个分开的视图部分(次视图(sub-view))“a”到“o”。在其它情形下，其它跳跃尺寸可用在次视图之间。对于每个次视图，图3b进一步显示了由9:16矩形界定的相应的图像圆120和相应的裁剪区域(croppingregion)132。为简洁起见，图像圆120仅在次视图“a”上标注，并且裁剪区域132仅在次视图“e”上标注。裁剪区域提供裁剪过的图像。所述裁剪过的图像可数字地旋转到所述原始定向(次视图“i”)。照相机100可输出次视图“a”到“o”(或者在任意旋转角度的任意次视图)中的任何一个作为适当旋转后的单个的帧。图3c显示了图3b的所述次视图裁剪过的图像的重建(“缝合(stitching)”)为全景视图。大体上，两个相邻图像(其中每一个具有给定的fov)的缝合要求以下动作：(a)探测所述两个图像之间的倾斜、旋转、移动(shift)和其它偏差(deviations)；(b)数字地将至少一个图像转化为校正过的图像以校正所述偏差；及(c)数字地将两个相邻的校正过的图像组合为具有连续fov的单个的图像，所述连续的fov大于所述两个原始给定的fovs。数字旋转和缝合动作可以使用本领域已知的软件来完成。所述软件可在处理单元(未显示)上运行，而所述处理单元是载有具有照相机100的照相装置130的装置或系统的芯片集的部分，或者该软件能够远程操作照相机100。注意任意两个相邻的图像重叠小区域，例如单个图像的所述fov的10％-30％。所述重叠区域对于(a)和(c)中的动作来说是必要的。在其它情形下，照相机100可用来扫描具有不同fov的全景视图，例如在水平轴少于360度，和/或例如在垂直轴多于或少于56度。81.在另一个实施例中，照相机100可用来拍视频，或在操作装置屏幕(参考下文中操作装置的例子)上预览视频。所述扫描能力(scanningcapability)允许所述视场(videofieldofview)的选择。下面的示例(图8-9)显示了录像和具有扫描fov能力(scanningfovcapability)的流(stream)。一旦旋转opfe104，所述照相机的fov会改变，并且旋转的图像会在传感器106上获得。照相机100和连接的处理单元(未显示)可数字地反旋转所述帧(frames)和视频流(videostream)，以显示与原始定向对准的视频(如图3和9所呈现的)。所述最终输出可显示具有高达360度的扫描范围的视频电影(videomovie)。82.载有或包括诸如具有照相机的照相装置120的系统的平台的几个非限制性的示例(例如智能电话和无人飞行器)如图4-7所示。83.图4a显示了立体透视图且图4b显示了示例性实施例的局部放大视图，其中所述平台是诸如编号为400的智能电话的移动装置。智能电话400包括具有全景扫描范围的照相装置430，照相装置430包括像照相机100的折叠照相机100’和步进电机或像驱动器116的vcm。照相机100’位于靠近智能电话400边缘402的一侧上。图4b提供切口404的放大视图，显示照相机100’的主要元件(透镜102、棱镜104和传感器106)和步进电机或vcm驱动器116的主要元件。棱镜104位于保护全景透明屏幕406的后面，是由例如玻璃或塑料制成。在智能电话400中，照相机100’的一个用途可以是拍摄180度全景照片，由点半圆箭头408指示的动作。在示例性使用实施例中，智能电话400里的照相机100’可用作“前置摄像头”和“后置摄像头”，这里的“前置摄像头”和“后置摄像头”具有本领域熟知的含义。84.在一些实施例中，本说明书中具有全景扫描范围的折叠照相机可与非折叠(“直立式(upright)”)非扫描照相机一起定位在双孔(或“双摄像头(dual-camera)”)照相布置中。所述非折叠照相机可具有小于或等于或大于所述折叠照相机的fov的fov。例如pct/ib2015/056004公开了包括折叠照相机和非折叠照相机的双孔照相机。所述双摄像头可设置在智能电话中或者在其它个人电子装置中。所述直立式照相机可是所述智能电话的前置摄像头或后置式摄像头。85.图4c显示了立体透视图且图4d显示了编号400’智能电话的示例性实施例的局部放大图，所述智能电话包括具有直立式照相装置412和照相装置430的双孔照相装置450，照相装置430包括具有全景扫描范围的折叠照相机100’。显示的所有其它元件类似于图4a和4b中所示的那些元件。而照相装置412显示为智能电话400’的后置摄像头，在其它实施例中(如提过的)它可以是前置摄像头。86.图5a显示了立体透视图且图5b显示了示例性实施例的后视图，其中所述平台是编号500的智能电话。智能电话500包括具有全景扫描范围的照相装置530，照相装置530包括两个像照相机100的折叠照相机，以及与之相关联的步进电机或vcm驱动器(未显示)。所述两个照相机，标记为100’a和100’b，设置在例如靠近智能电话500的相应边502a和502b的相对侧上。图5b还显示了每个照相机的主要元件(透镜102、棱镜104和传感器106)。所述相应的步进电机或vcm驱动器未显示以简化各图示。每个棱镜104位于相应的保护全景透明屏幕506的后面，由例如玻璃或塑料制成。在智能电话500中，每个照相机100’a和100’b的一个用途可以是拍摄两张相应的180度全景照片，这两张照片然后可以拼接/缝合到一张360度的全景照片中。87.图6a-d描述了另一个载有照相机100的示例性平台。在图6a-d中，所述平台是载有具有全景扫描范围的照相装置630的无人飞行器600，所述照相装置630包括像照相机100的折叠照相机100’和像驱动器116的步进电机或vcm驱动器。无人飞行器600用来飞行和从高空拍照。图6a显示了所述无人飞行器的顶视图，图6b显示了其底视图而图6c则是图6b中标记部分的放大图。图6d是沿图6a中的a-b线无人飞行器600的截面侧视图。在系统600中，所述照相机用来改变相片的角度(在图6d中所标记的)在： 90度(向上看(lookingup)，651)到0度(向前看(lookingforward)，652)到-90度(向下看(lookingdown)，653)和到-120度(向下看并稍微向后(lookingdownandslightlyback)，654)之间，即，总共210度。在其它示例中，所述扫描范围可以改变。无人飞行器600内的照相机100可自动跟踪目标，参考图8和9如下所描述的，以及在共同拥有的国际专利申请pct/ib2016/057366。88.图7a-b显示了另一种载有两个具有全景扫描范围的照相装置730a和730b的无人飞行器700，每个照相装置包括像照相机100的折叠照相机和像驱动器116的步进电机或vcm驱动器(未显示)。在这种配置中，所述两个照相机能在360度扫描范围内拍照。箭头所指示的拍照的角度类似于图6d中的那些。89.图8a-c描述了载有照相机100的另一种平台。在图8a-c中，所述平台是电视机(tv)800。电视机800包括具有全景扫描范围的照相机830，所述照相机830包括像照相机100的折叠照相机和像驱动器116的步进电机或vcm驱动器。电视机800进一步包括直立式照相机812和tv屏幕802。直立式照相机812包括透镜814和图像传感器816。电视机800可进一步包括一个或多个扬声器和一个或多个麦克风(microphones)、以及其它众所周知的元件(未显示)。90.图8a显示了电视机800的前视图。图8b显示了前视图中电视机800和照相机812及830的一个角的放大示意图。图8c显示了图8b中所示部分的等距视图，以及在照相机830中棱镜104可能的旋转。照相机812可能具有宽(大)的fov，例如在水平平面上120-180度，并且也被称为宽镜头(widecamera)812。照相机812的fov称为宽fov(fovw)。在电视机800中，照相机830可具有遥控(窄的)fov(telefov)，例如(非限制性)在所述水平平面上30-80度。于是，在电视机800中，照相机830也可称为“遥控照相机(telecamera)”830，而照相机830的fov可称为遥控fov(fovt)。91.在电视800中，照相机812和830位于电视机800顶部左侧角上。在其它示例性实施例中，照相机812和830可位于其它位置，例如顶部中央、左侧或右侧、底部侧或者甚至如下描述地在屏幕802上。在另一示例性实施例中，照相机812和830可以是位于所述电视机外面的分开的模组(盒)，通过线缆连接或者无线连接。92.在示例性实施例中，电视机800可用来如下地开视频会议：位于第一位置处的第一用户(人)可使用电视机800来与位于第二位置处的第二用户(人)进行交流。所述第二用户可使用任何包括屏幕的电子装置，例如电视、智能电话、个人计算机、笔记本电脑或膝上型电脑，等。在示例性实施例中，照相机830和812可用来给所述第一用户录像，而所述第二用户在其屏幕上可看见来自两个照相机830和812的记录。93.电视机800可用于fovt的自动移动或“自动调整”，用来例如在自动模式追踪物体。执行自动遥控fov移动以追踪兴趣目标或物品的照相机模式在此称为自动遥控fov追踪(autonomoustelefovtracking)”。本发明适用的示例性的自动追踪系统和方法在pct/ib2016/057366中有描述。所述自动fovt移动响应于对所述兴趣目标或物品的识别(通过例如摄像头812)，并且所述遥控图像(theteleimage)对焦在所述兴趣目标或物品上，并显示所述兴趣目标或物品。所述目标的识别可以通过使用本领域已知方法中的任意方法来执行。94.使用电视机800的自动fovt追踪场景的一个示例如图9a-9c所示。在示例性实施例中，照相机812可拍摄所述第一位置的广角图像(wideviewimage)。当第一用户902四处移动时并且在视频会议过程中处于相机的fovw内，照相机830于是会追踪他/她。所述第二用户在其屏幕上可以看见(1)所述宽fov，(2)追踪后的所述遥控fov，或(3)所述宽fov和所述遥控fov两者。可认为所述遥控照相机通过倾斜棱镜来追踪所述兴趣目标会改变其fov。理想地，所述照相机将追踪所述目标以使得尽可能靠近所述可调整的遥控fov的中心。95.图9a显示了在自动fovt追踪过程中遥控照相机830的fovs和广角摄像头(widecamera)812，具有在fovw上的第一fovt位置。图9b显示了图9a的具有在fovw上的第二fovt位置的所述fovs。图9c显示了具有在fovw上的第三fovt位置的图9a的fovs。这些图示中的每一个图示中，所述兴趣目标是第一用户902。96.在所示的特别示例中，一个人从两个照相机看视频流的肩并肩图像：(a)列显示由所述第一用户看到的具有fovw和fovt的屏幕900a，而(b)列则显示右侧具有fovw和fovt的所述第二用户的屏幕900b，和左侧第一用户902的身体和脸部的部分以及背景的部分的放大的遥控视图(图像)。大体上，在(a)中的fovt可显示所述第一用户(如显示的)、所述第二用户或从所述场景的另一个特征。显示所述第一用户的(a)中的所述fovt因此不应该被认为是限制性的。通常，所述第二用户(未显示)在其屏幕上可看到来自照相机812或照相机830的视频流(videostream)，或同时来自两个照相机812和830(肩并肩)。以免所述第二用户仅看到一个视频流，在流之间的切换(switching)可使用平滑过渡技术来完成，例如在共同拥有的美国专利9185291中所描述的。97.可以由所述第一用户、所述第二用户(例如通过远程控制使用)或自动地(例如使用脸部识别(facedetection))决定追踪所述第一用户。人们认为所述遥控照相机通过旋转所述棱镜来改变其fov以追踪所述兴趣目标，如上所公开的。理想地，所述照相机将追踪所述目标以使得尽可能靠近所述可调整的fovt的中心，如在每一图示中(b)列左侧所看到的。98.来自照相机812和/或照相机830的视频流可被记录用于后面的使用，这将包括诸如图像处理、视频流混合(videostreamblending)等额外的处理。99.尽管从某些实施例和通常相关联的方法来看已经描述了本发明，这些实施例和方法的变化和置换对于本领域熟悉技艺人士来说是显而易见的。例如，尽管具有全景扫描范围的照相机和折叠相机已经描述为示例性地包括在智能电话、无人飞行器和电视机中，这样的照相机和折叠相机也可包括在其它诸如车辆的平台中，或者包括在除了智能电话之外的平台中，例如平板电脑、膝上型电脑、平板式手机、桌上型电脑、智能扬声器、智能手表、电子书阅读器、智能眼镜、智能头盔、婴儿监护器、增强现实系统(augmentedrealitysystem)、虚拟现实系统(virtualrealitysystem)、高级驾驶辅助系统(advanceddrivingassistancesystem，adas)，等。应理解本发明不受本说明书中描述的具体实施例的限制，而仅由权利要求书限制范围。100.除非另行声明，在选择选项列表的前两位成员之间使用表述“和/或”表明所述列表的选项的一个或多个选择是恰当的，并且可以选择。101.应理解在权利要求或说明书提到“一(a)”或“一个(an)”元件之处，这样的提法不应解释为仅有一个那个元件。102.在本说明书中提及的所有参考文献以其整体在此通过引用并入本说明书中。其程度如同各单个的参考文献被具体及单独地指明而通过引用并入本说明书中。此外，所引用的或指出的任何参考文献不应被解释为承认这些参考文献可作为本发明的现有技术。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。