一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于空间滤波的被动三维影像感测的制作方法

2022-02-22 09:53:42 来源:中国专利 TAG:
1.本揭示内容是关于一种集成于个人电子装置中的光学元件;特别是关于基于空间滤波的被动三维影像感测的实施方式,譬如三维图像空间的深度映射,以支持智能手机相机系统的功能。
背景技术
::2.在过去,摄影是专属于拥有专业知识和设备的人的专业领域。在过去数十年间,数字摄影硬件和软件的创新以及配备内建数字相机的智能手机的全球性普及,使得数十亿消费者能够轻易地使用数字摄影。在数字摄影和摄像无处不在的环境中,消费者越来越希望能够使用智能手机快速轻松地捕捉到精彩瞬间。数字摄影的进步包括针对多种不同目的以撷取三维信息的进步。举例来说,捕捉景深及其他3维信息能够支持3d摄影和摄像,以及先进的自动对焦、稳定、像差校正与其他功能。3.通常可利用主动技术来撷取深度信息,例如飞行时间技术或三角测量技术。举例来说,可以传输聚焦的光脉冲,之后接收光线的反射;而关于各种参数(例如,光速)的知识可用于将脉冲接收时间转换为深度测量值。传统上,很难将这种飞行时间和其他技术整合到携带型数字电子装置中,例如智能手机。举例来说,一些传统技术需使用相对较大的光学器件和/或专用照明源,而这些需求往往不适用于许多携带型数字电子装置的空间限制;而其他传统技术通常不够可靠或不够准确,因而不支持较为先进的功能。技术实现要素:4.本揭示内容的多个实施方式提供基于空间滤波的被动三维(three-dimensional,3d)影像感测,例如用于3d图像空间的深度映射以支持智能手机相机系统的功能。举例来说,由一场景中的一个或多个物件反射的光线通过新型3d成像系统的透镜接收。所述透镜经由空间滤波器在影像传感器上形成一或多物件的影像。遮罩元件的分布与影像传感器的相应信号像素组相关联,且空间滤波器的参考元件与影像传感器的相应参考像素组相关联;进而使得在信号像素组形成的影像的多个部分至少部分易于被遮罩元件遮蔽,并且在参考像素组形成的影像的多个部分不易于被遮罩元件遮蔽。可利用基于信号像素组感测到的信号亮度以及参考像素组感测到的参考亮度的函式来计算场景中一个或多个物件的物距。附图说明5.图1绘示根据不同实施方式的被动3d影像感测环境。6.图2a到图2c绘示根据不同实施方式,具有一被动3d光学感测系统的一光学环境中,多个场景物件及多个滤波器对的不同视角。7.图3a绘示根据不同实施方式,具有一被动3d光学感测系统的一部分光学环境中,由与透镜相距不同距离的多个物件接收的光线。8.图3b绘示图3a所示组态的影像亮度与像素计数图。9.图4a绘示根据不同实施方式,具有一被动4d光学感测系统的一部分光学环境中,由与透镜110相距不同距离的多个物件接收的光线。10.图4b绘示绘示图4a所示组态的影像亮度与像素计数图。11.图5a绘示根据不同实施方式,呈现出串扰的一被动3d光学感测系统的一部分光学环境。12.图5b绘示根据不同实施方式的一种简化光学环境,其用以处理图5a所示的串扰议题。13.图6绘示根据不同实施方式,具有一被动3d光学感测系统的一部分光学环境中,由具有一或多种照明的一场景接收的光线。14.图7a及7b绘示根据不同实施方式,例示性携带型个人电子装置的前视图与后视图。15.图8绘示根据不同实施方式,一种用以校准被动三维影像系统的方法的流程图。16.图9绘示根据不同实施方式,一种用于被动三维成像的方法的流程图。具体实施方式17.在下文的实施方式中,提供了多种具体细节以利彻底理解本揭示内容。然而,本发明所属
技术领域
:具有通常知识者当可理解,没有这些细节中的一个或多个也可以实现本发明。在其他示例中,为求简洁,不会描述本领域已知的特征和技术。18.数字成像日益依赖使用深度信息来支持各种功能。例如,在三维(3d)计算机图形中,利用深度图来表示和场景物件的表面与一视点的距离相关的信息。相似地,在数字摄影中,深度映射等可用于支持3d图像撷取功能、增强的自动对焦功能和其他功能。这种数字3d成像亦可用于支持多种平台,例如3d相机、3d机器人视觉、3d车辆映射等。传统上,运用主动技术以获取此类深度信息。举例来说,所谓的「飞行时间」(time-of-fly,tof)技术通常通过向一物件发射光束并测量发射光的反射时间以测量所述物件相对于参考点的距离。使用此类技术,可以藉由比较光速以及发射光反射回系统所需的时间,以运算得到距离。在另一种例子中,利用多个结构光来决定距离,其系通过传输多个光束以使这些光束在不同的距离会聚及发散。利用此种计数,可以通过用每个光束分别对物体成像,并比较所得影像以确定与距离相关的重叠程度,进而测得距离。美国专利第10,489,925号专利(发明名称:基于多重结构照明的3d感测技术)中揭示了此种技术。19.这些用于3d影像感测的既有主动式技术可能受到多种限制。一种限制是这种传统技术使用的主动照明会消耗功率及占据空间,这在许多应用中可能受到限制,例如在智能手机和其他携带型电子装置中。另一个限制是,可能难以根据环境照明的差异、感测到的物件对照明的回应方式的差异(例如,基于物体的颜色、形状、反射率等)和/或其他侦测环境间的差异来动态校准此类技术。20.本揭示内容的实施方式提供了基于被动光学技术以及动态校准的新颖3d影像感测技术。举例来说,可通过新颖3d影像系统的透镜来接受一场景中一或多物件所反射的光线。所述透镜经由一空间滤波器在一影像传感器上形成所述一或多物件的影像。遮罩元件的分布与影像传感器的相应信号像素组相关联,且空间滤波器的参考元件与影像传感器的相应参考像素组相关联;而使得形成于信号像素组上的影像至少部分可轻易地被遮罩元件部分遮蔽,且形成于参考像素组上的影像至少部分不容易被遮罩元件遮蔽。可以用基于信号像素组感测到的信号亮度以及参考像素组感测到的参考亮度的函式来计算所述场景中一或多物件的物距。21.首先参照图1,其绘示根据不同实施方式的被动3d影像感测环境100。所述环境100包括一透镜110、一影像传感器120、一空间滤波器130以及一处理器140。所述空间滤波器130包括一或多滤波器对。所述一或多滤波器对基本上设于一滤波平面135中。可用任何适当的方式来排置上述滤波器对。于某些实作中,所述一或多滤波器对在空间上分布(如,形成一阵列或其他排列方式)于一基板上。在一实作中,上述空间分布是均匀地分布在整个基板上。在另一实作中,上述空间分布是不均匀地分布在整个基板上。于某些实作中,将多个滤波器对排列成一维图样,譬如沿着一条线排列。在其他实作中,将多个滤波器对排列成二维图样,譬如形成一阵列、环状等。在其他实作中,将多个滤波器对排列成三维图样,譬如将其嵌入至空间滤波器130的基板中的不同水平高度。22.每一滤波器对包括一遮罩元件以及与其相配对的一参考元件。所述遮罩元件可以是(或可包括)能够调节在遮罩元件的位置中与滤波平面135互动的光线的任何适当元件。于某些实作中,遮罩元件为一不透明标记,其可阻扰光线自所述标记处通过滤波平面135。在其他实作中,遮罩元件为一滤色器,其可调节自所述标记处通过滤波平面135的光线的颜色(譬如,仅允许某些波长的光线通过)。在其他实作中,遮罩元件为一偏振滤波器,其可调节自所述标记处通过滤波平面135的光线的偏振(譬如,仅允许某些偏振的光线通过)。于某些实作中,遮罩元件的大小与影像传感器120的单一光电侦测元件的大小大致上相同。在其他实作中,遮罩元件的大小与影像传感器120的一小群(譬如,五个)光电侦测元件的大小大致上相同。于某些实作中,可将遮罩元件施加至一基板上,以将其与空间滤波器130基板集成。举例来说,可以用表面处理的方式来施加遮罩元件(譬如,利用涂料、化学沈积等)。在其他实作中,可将遮罩元件为形成于基板中,以使其与空间滤波器130集成。在具有多个滤波器对的实施方式中,可在各滤波器对中采用相同或不同的遮罩元件。23.可利用任何适当的方式来实作所述参考元件,使其对于与位于参考元件处的滤波平面135互动的光线产生可侦测的不同且决定性影响。于某些实作中,空间滤波器130的基板是由具有所欲参考元件性质的材料所形成(譬如,透明基板材料,如玻璃),且参考元件是指基板的一特定区域(即,不含额外材料处理、材料施用等)。在其他实作中,参考元件是用以采用与相应遮罩元件不同的方式影响通过空间滤波器130的光线的传输。举例来说,遮罩元件可阻断特定波长光线的穿透,且参考元件可允许至少所述特定波长光线的穿透;或遮罩元件可阻断特定偏振光线的穿透,且参考元件可允许至少所述偏振光线的穿透。24.所述影像传感器120包括以任何适当方式排列的大量光电侦测元件(譬如,像素)。所述光电侦测元件可设于基本上与滤波平面135平行的侦测平面125中。于某些实作中,光电侦测元件排置成一阵列。可将光电侦测元件的某些部分(譬如,一或多像素的群组)指定为一或多信号像素组,并可将光电侦测元件的其他部分(譬如,一或多其他像素的群组)指定为一或多参考像素组。每一信号像素组在空间上与空间滤波器130的一滤波器对的一遮罩元件相对应,使得由每一遮罩元件所在区域通过空间滤波器130的光线能够聚焦到影像传感器120的一相应信号像素组上。每一参考像素组在空间上与空间滤波器130的一滤波器对的一参考元件相对应,使得由每一参考元件所在区域通过空间滤波器130的光线能够聚焦在影像传感器120的一相应参考像素组上。25.可利用任何适当的光学排列方式来实作所述透镜110,以使光线如此处所述的方式聚焦。于某些实作中,透镜110是一个简单凸透镜。在其他实作中,透镜110包括多个透镜及/或其他光学结构。所述透镜110具有一焦平面115,譬如,由其几何形状所界定者。在图中所示的排置中,焦平面115位于空间滤波器130的滤波平面135以及影像传感器120的侦测平面125间。为了便于说明,图中绘示一第一光束105a经由空间滤波器130的一第一滤波区域132a行经透镜110而聚焦至影像传感器120的一第一像素区域122a上,而一第二光束105b经由空间滤波器130的一第二滤波区域132b行经透镜110而聚焦至影像传感器120的一第二像素区域122b上。26.如此处所述,第一滤波区域132a可包括一遮罩元件,第一像素区域122a可代表光电侦测元件的一信号像素组,第二滤波区域132b可包括一参考元件,且第二像素区域122b可代表光电侦测元件的一参考像素组。举例来说,当一物件位于透镜110的视野中,所述透镜可通过空间滤波器130在影像传感器120上形成所述物件的一影像。形成于信号像素组(譬如,像素区域122a)的影像的部分容易至少部分受到遮罩元件(譬如,滤波区域132a)的调节(遮蔽),而形成于参考像素组(譬如,像素区域122b)的影像的部分容易穿过参考元件(譬如,滤波区域132b)且不易受到遮罩元件遮蔽。若这些光束105距离够近,可以假设这些光束105一般是源自一相同物件的一相同部分(譬如,表面)。因此,可以假设这些光束105来自基本上与透镜110相距相同距离的位置,而使得能够决定性地比较影像的经调节与未经调节部分。27.处理器140可进行所述比较,且因而能够决定物与光线来源间的距离,其可对应于位于透镜110的视野中的一物件的物距。所述处理器140可包括中央处理器(centralprocessingunit,cpu)、专用集成电路(application-specificintegratedcircuit,asic)、专用指令集处理器(application-specificinstruction-setprocessor,asip)、图形处理单元(graphicsprocessingunit,gpu)、物理处理单元(physicsprocessingunit,ppu)、数字信号处理器(digitalsignalprocessor,dsp)、现场可编程门阵列(field-programmablegatearray,fpga)、可编程逻辑器件(programmablelogicdevice,pld)、控制器、微控制器单元、精简指令集(reducedinstructionset,risc)处理器、复杂指令集处理器(complexinstructionsetprocessor,cisc)、微处理器或与其相似者或上述的任意组合。处理器140的实施方式用以根据一或多信号像素组对光线的光学响应来决定信号亮度,以及根据一或多参考像素组对光线的光学响应来决定参考亮度。举例来说,信号亮度是能够指出经一或多相应遮罩元件调节的光线的亮度的数值或一组数值,而参考亮度是能够指出未经一或多相应遮罩元件调节(及/或经一或多相应参考元件以不同方式调节)的光线的亮度的数值或一组数值。于某些实施方式中,处理器140由来自信号像素组中的多个的个别信号亮度的多个数值来决定信号亮度图,以及由来自个别参考像素组中的多个所决定的参考亮度来决定参考亮度图。所述处理器140之后能够以基于信号亮度图与参考亮度图的函式来运算所述场景的深度图。28.所述处理器140可以利用基于信号亮度图与参考亮度图的函式来运算一或多场景物件(譬如,位于透镜110的视野中)的物距。于某些实施方式中,处理器140可运算一或多信号亮度量测值与一或多参考亮度量测值的一或多比率,以及根据预先决定的所述比率与物距间的函式关系(譬如,一硬编码的数学函式)来运算一或多物距。在其他实施方式中,处理器140与一非暂态存储器145通讯连接。所述非暂态存储器145可包括任何可供储存一查找表的适当类型的存储器。在此处,查找表一般是指任何关联性的资料结构,其中第一组数值中的每一个数值可以和第二组数值中的每一个数值相关联。所述查找表其上可储存有多个校准映射,各自将所储存的一特定物距关联至所储存的一相应的信号亮度及参考亮度间的比率。举例来说,在决定(感测)一特定滤波器对的信号亮度及参考亮度之后,处理器140可以计算所述比率,识别出查找表所储存的比率中与计算所得的比率最接近的一个,并决定以查找表中与所识别出的所储存比率相关的所储存物距作为物距。29.如此处所述,生成所述查找表可作为校准程序的一部分。举例来说,在校准程序中,可以将一或多校准目标放置在多个校准距离。对于每一个校准距离(譬如,及目标类型),可以基于对所述校准距离所决定的信号与参考亮度值运算得到一个别比率。可通过将运算所得的比率数值与已知的校准距离数值建立关联,以将某些或所有计算所得到的每一比率数值储存为一校准映射,并将所述关联储存于查找表中。于某些实施方式中,可将运算所得的某些或全部比率用以拟合所述资料的数学公式。举例来说,可利用比率值与物距间的关系来拟合一特定顺序的多项式,且作为校准程序的一部分可进一步将运算所得的比率值用于计算多项式的系数。之后可将所述校准公式用于基于比率运算的函式来决定物距。30.可调整不同实施方式的尺寸以符合特定应用情境。某些实施方式可用于智能手机或其他小型携带式电子装置。在此类实施方式中,透镜110的直径与焦距较小且动态范围也相对较小。于某些实施方式中,影像传感器120具有特定像素大小(p),且空间滤波器130经配置使得滤波平面135与侦测平面125相隔数个p(譬如,2p)。举例来说,透镜110的直径大约为5毫米,影像传感器120的像素大小大约为5微米,且滤波平面135位于距离侦测平面125大约10毫米处。31.为了更加清楚地说明,图2a到图5b绘示不同实施方式的某些原理与特征。图2a到图2c绘示根据不同实施方式,具有一被动3d光学感测系统且有多个场景物件210及多个滤波器对的光学环境200的不同视角。参照图1,所述被动3d光学感测系统包括一透镜110、一影像传感器120以及一空间滤波器130。为了避免图示过于复杂,图中并未绘示其他元件(譬如,处理器140及存储器145)。图2a为缩小视图,图中绘示两个与透镜110相距不同物距(标记为「z1」及「z2」)的场景物件210。虽然此处是相对于透镜110来描述所述距离,可利用不同实施方式来描述任何适当的距离,譬如物件与影像传感器120的成像平面间的距离。为了便于说明,图中所示的光线是由每一场景物件210上两个相邻的位置发出。举例来说,周围光线(或探测光线,或其他照明)经场景物件210反射(譬如,通过镜面反射散射)后,所述光线的部分沿着透镜110的方向行进。随着光线行进,其会趋于发散直到到达透镜110为止,且透镜110会根据焦距及/或透镜110的其他性质使得所述光线重新会聚。32.图2b绘示所述被动3d光学感测系统在透镜110与影像传感器120间的一区域的放大图。在此一区域中,透镜110使得光线的不同光束聚焦,而使得每一者如图中一会聚锥220所示。在如图所示的排置中,透镜110的焦平面基本上位于空间滤波器130的滤波平面,而使得来自无限远的光线会被透镜基本上聚焦于所述滤波平面。场景物件210a刚好位在相对于影像传感器120的焦点处,因为如图所示,来自所示距离「z1」的光线会被透镜110基本上聚焦到影像传感器120的侦测平面上(即,图中所示的相应会聚锥220a及220b会聚在基本上位于侦测平面上的一点)。场景物件210b位在距离「z2」,此一距离比场景物件210a和透镜110之间的距离更远,而使得图中所示的相应会聚锥220c及220d会聚在较接近滤波平面的一点(远高于侦测平面)。如图所示,每一会聚锥220会行经空间滤波器130的一个别位置,在所述处会有一遮罩元件230或一参考元件235。如图所示,透镜110可有效地通过空间滤波器130在影像传感器120上形成每一场景物件210的一影像。对于每一场景物件210,其影像的一部分是由通过至少一遮罩元件230(且受其影响)的光线所形成,且其影像的另一部分是由通过至少一参考元件235(且不受至少一遮罩元件230影响)的光线所形成。33.如图2c所示,一遮罩元件230对一特定会聚锥220的光线的影响程度取决于会聚锥220会聚于一点的位置,此一位置对应于场景物件210的物距。所述较接近的场景物件210a会产生会聚锥220a,且较远的场景物件210b会产生会聚锥220c。如图所示,会聚锥220a有一相对较小的部分会和遮罩元件230a互动,而使得遮罩元件230a在形成于影像传感器120的影像中产生相对较小的阴影。相较之下,会聚锥220c有一相对较大的部分会和遮罩元件230b互动,而使得遮罩元件230b在形成于影像传感器120的影像中产生相对较大的阴影(即,基本上会聚锥220c的所有光线会被遮罩元件230b调节、阻断或以其他方式受到影响)。34.对任何特定场景物件210,可将场景物件210的亮度描述为ao(x,y,z),可将信号光线的传输(譬如,沿着会聚锥220a或220c)描述为一信号滤波函式ts(x,y,z),且可将参考光线的传输(譬如,沿着会聚锥220b或220d)描述为一参考滤波函式tr(x,y,z)。可将信号光线的影像亮度描述为is(x,y,z)≈ao(x,y,z)*ts(x,y,z)。可将参考光线的影像亮度描述为ir(x,y,z)≈ao(x,y,z)*tr(x,y,z)。因此可相对应地将一感测函式表示为以下比率:35.f(x,y,z)=[ao(x,y,z)*ts(x,y,z)]/[ao(x,y,z)*tr(x,y,z)]=ts(x,y,z)/tr(x,y,z)[0036]原则上,物件亮度不会影响距离感测。实际上,物件亮度能够影响侦测的信号杂讯比(signaltonoiseratio,snr)。可以观察到,假设使用不透明遮罩元件230,对于位于无限远处的场景物件210的成像原则上会导致信号光线有最小的影像亮度(譬如,所侦测到的信号光线是全黑)。f(x,y,z)为最小值,而以与透镜110光圈相对应的距离对一场景物件210成像会导致信号光线有最大的影像亮度(譬如,所侦测到的信号光线为全亮)。[0037]图3a绘示根据不同实施方式,具有一被动3d光学感测系统光学环境300的一部分,其中所接收的光线来自与透镜110相距多个距离的多个物件。参照图1,被动3d光学感测系统包括一透镜110、一影像传感器120以及一空间滤波器130。图中仅绘示一部分元件以免图示太过复杂。如图所示,透镜110沿着个别会聚锥220将由三个不同距离发出的三道光束(譬如,通过由一或多场景物件镜面反射)聚焦。图中所示每一个会聚锥220在到达影像传感器120会自一个别遮罩元件230通过空间滤波器130。虽然图中所示的会聚锥220可和空间滤波器130的不同位置以及影像传感器120(譬如,和不同的个别遮罩元件230)互动,这只是为了清楚说明。在操作中,在一个侦测阶段中,来自单一物距的光线可能会通过一特定一或多遮罩元件230,且在不同的侦测阶段在一不同的时间,来自不同物距的光线可能会通过相同的特定一或多遮罩元件230。[0038]透镜110的焦平面115基本上位于空间滤波器130的滤波平面。因此,透镜110可将来自最远物件的光线聚焦在靠近滤波平面135(位于焦平面115)处,且其与遮罩元件230的互动可导致相对较大的一冲击锥331。相较之下,透镜110可将来自较近物件的光线聚焦在远超过滤波平面135处,而使得其与任何特定遮罩元件230的互动倾向于导致相对较小的冲击锥(譬如,冲击锥333或335)。然而,针对冲击锥333及冲击锥335进行比较,显示出此种配置的潜在限制。[0039]图3b绘示图3a所示配置的影像亮度对像素计数图表350。所述图表350包括一参考亮度强度330,为了进行比较,图中所示的参考亮度强度对不同物距是一致的。所述图表350亦显示出一组像素回应第一冲击锥331所侦测到的第一例示性亮度曲线341、一组像素回应第二冲击锥333所侦测到的第二例示性亮度曲线343,以及一组像素回应第三冲击锥335所侦测到的第三例示性亮度曲线345。亮度曲线341是回应来自最远物距的光线,亮度曲线345是回应来自最近物距的光线,且亮度曲线343是回应来自最介于最近与最远物距间的物距的光线。因为不同距离会导致不同的冲击锥,所得到的亮度曲线可用以决定物距。[0040]然而,由于中间距离对应至影像传感器120「可清楚看见」的物件(其会聚锥220会聚在影像传感器120的侦测平面),因此所述中间距离产生的串扰最低,且倾向于对应最小亮度情况。所述冲击锥往往会随着距离比起中间距离更大或更小而增长,而使得可能难以区分位在中间距离任一侧的距离。举例来说,位在比中间距离略近一点的物件和位在比中间距离稍远一点的物件可能会产生类似的冲击锥与相应的亮度曲线。[0041]图4a绘示根据不同实施方式,具有一被动4d光学感测的系统光学环境400的一部分,其中所接收的光线来自与透镜110相距多个距离的多个物件。图4a的环境400与图3a的环境300相似,不同的处在于透镜110的焦平面115基本上位于影像传感器120的侦测平面。因此,透镜110会将来自远方物件的光线聚焦到接近侦测平面(位于焦平面115)处,并产生同样聚焦于影像传感器120的冲击锥431。随着光线起源处越来越接近透镜110,所述光线及所产生的冲击锥倾向于聚焦在逐渐超过侦测平面的一点。[0042]图4b绘示图4a所示配置的影像亮度对像素计数图表450。所述图表450包括一参考亮度强度430,为了进行比较,图中所示的参考亮度强度对不同物距是一致的。所述图示450亦显示出一组像素回应第一冲击锥431所侦测到的第一例示性亮度曲线441、一组像素回应第二冲击锥433所侦测到的第二例示性亮度曲线443,以及一组像素回应第三冲击锥435所侦测到的第三例示性亮度曲线445。与图3b不同的是,图4b中的亮度曲线能够更独特地指示物距。特别是,亮度曲线的最小值对最远物距的数值最低、对最近物距的数值最高而对中间物距的数值居中。[0043]图5a绘示根据不同实施方式,具有呈现串扰的一被动3d光学感测系统光学环境500的一部分。如同参照图1所示,所述被动3d光学感测系统包括一透镜110、一影像传感器120以及一空间滤波器130。图中仅绘示部分的元件,以避免图示过于复杂。在所绘示的配置中,空间滤波器130位于略高于透镜110的焦平面115上方,且影像传感器120位于邻近焦平面115处(或位在其上)。在某些情形中,如图所示,重叠的光线路径可能导致在遮罩元件230附近的某些光线与遮罩元件230互动,而位在遮罩元件230附近的其他光线则会绕过遮罩元件230,因而造成串扰。举例来说,在仅评估一特定光束时(如上文所述),当光束遇到一遮罩元件230时,光束可受到特定方式的影响,且一相应信号像素组可直接侦测上述影响。然而,当有重叠光束时,倾向绕过遮罩元件230的光束可能会将光线重新导入原本受到遮蔽的信号像素组。[0044]上述遮蔽与绕过的情形会在一信号像素组以串扰的形式存在。当影像场景物件210形成在较接近影像传感器120的侦测平面处,串扰可能较少。在图中所示的配置中,假设焦平面115基本上位在侦测平面处,位在较远处的物件产生的串扰可能比近处物件少。可通过比较远端物件影像510以及近端物件影像512观察到此一现象。为了进一步清楚说明,图5a亦绘示远端物件影像510与近端物件影像512,分别将其绘示为一组像素上的亮度。图5a亦绘示出远端物件影像510与近端物件影像512,分别由一例示性信号像素组的输出所指示,因此所述信号像素组中的每个光电侦测元件指示的亮度是回应于到达所述光电侦测元件的的光能量的量。如图所示,近端物件影像512呈现出实质上更大量的串扰。[0045]图5b绘示根据不同实施方式的简化的光学环境500b,其可用以处理图5a所示的串扰问题。为了优化感测,某些实施方式可将空间滤波器130和影像传感器120对准,而使得用于侦测的特定像素组能够与滤波器对的相应元件进行最佳配对。所示的配置显示空间滤波器130的单一滤波器对包含一遮罩元件230与一参考元件235。影像传感器120的所述像素经过仔细配对以使得能够选择一特定信号像素组520以便经由一特定相应遮罩元件230来接收经调节(譬如,遮蔽)的光线,同时将串扰降到最低;且一特定参考像素组525经过选择,以便经由一特定相应参考元件235来接收未经调节(譬如,清晰)的光线,同时将串扰降到最低。于某些实施方式中,可针对一或多特定物件类型及/或距离将一或多特定滤波器对最佳化。举例来说,在校准过程中,可以决定(譬如,由处理器140)指派特定像素给所述信号像素组及所述参考像素组可使串扰最小化并可改善侦测。[0046]图6绘示根据不同实施方式,具有一被动3d光学感测系统光学环境600的一部分,其中所接收的光线来自具有一或多种照明类型的场景610。参照图1,被动3d光学感测系统包括一透镜110、一影像传感器120以及一空间滤波器130。图中仅绘示一部分元件以免图示太过复杂。在所绘示的环境600中,被动3d光学感测系统可用于取得位于透镜110的视野(fov)中的以是场景610的影像。所述场景610可包括多个场景物件,这些物件可以是距离透镜一或多个物距的离散物件,距离透镜一或多个物距的目标点(位于一单一物件或多个物件上)等。可使用一或多种方式来照明场景610。在某些例子中,场景610处于具有环境照明620的环境中,譬如自然或人工的入射光照明。在其他例子中,场景610具有聚焦在场景610的一个或多个部分上的一个或多个照明源625(例如,探测光源)。在其他例子中,一个或多个场景对象可产生其自身的照明。[0047]图中所示的空间滤波器130位在邻近透镜110的焦平面115的位置(或位于其上)。图中绘示空间滤波器130的例示性实施方式为空间滤波器130',其有遮罩元件230的阵列。如本文所述,每个遮罩元件230可以是也具有参考元件235的滤波器对的一部分。例如,对于图示的空间过滤器130',黑点代表遮罩元件230,且邻近这些暗点的某些白色区域对应于参考元件235。如上文所述,空间滤波器130可用以使得每个滤波器对(例如,遮罩元件230与参考元件235的每个配对)针对一个或多个特定物距进行优化。举例来说,每一滤波器对以最小的串扰最佳地接收信号光线和参考光线。[0048]图7a和图7b分别绘示根据不同实施方式的例示性携带型个人电子装置(portablepersonalelectronicdevice,pped)700的前视图和侧视图。在此处,pped可以包括智能手机、平板电脑、膝上型电脑、智能可穿戴设备(例如,智能手表)或具有一个或多个集成数字影像系统710的任何其他合适的装置。pped700的实施方式还可以包括一个或多个显示器720。虽然没有明确示出,但是显示器720的一些实施例可以具有与其集成的电容触控萤幕元件、另一数字影像系统710、指纹传感器和/或其他元件。使用者介面元件还可以包括一个或多个实体按钮730。例如,实体按钮730可以包括电源按钮、音量按钮等。在一些实施方式中,一个或多个按钮专用于特定功能,并且可对一个或多个按钮动态分配(例如,通过应用处理器和/或其他组件)各种功能。虽然未显示,但pped700可以包括额外的使用者介面元件,例如光学传感器、力传感器、生物识别传感器、加速度计等。[0049]一个或多个(例如,所有)数字影像系统710可以包括被动3d光学感测系统。所述被动3d光学感测系统可用以支持获取深度信息,以支持相机和/或其他元件的三维特征。举例来说,如图所示,pped700可以包括前置(例如自拍)数字影像系统710a、后置数字影像系统710b(如图7b所示)、弹出式数字影像系统710c和/或任何其他合适的集成数字影像系统710。举例来说,使用者希望使用数字影像系统710的一来捕捉影像。所述pped700初始化各种硬件和软件元件以进入影像撷取模式。作为所述模式的一部分,利用被动3d光学感测系统以被动地从相机视野中的场景中收集光学信息,并决定一个或多个物距,和/或生成一些或所有的场景的深度图。如此处所述,可通过各种光学元件和传感器(包括透镜110、影像传感器120和空间滤波器130)被动接收上述光学信息,并且由与存储器145耦接的处理器140进行处理。于某些实施方式中,处理器140和/或存储器145是被动3d光学感测系统的专用元件。在其他实施例中,处理器140由pped的处理器(例如,中央处理器、图形处理器或pped的其他处理器,并非专用于被动3d光学感测系统)实现。在其他实施例中,存储器145由pped的存储器实现,例如pped的可移除或不可移除存储器,并非专用于被动3d光学感测系统。[0050]上文所述的各种系统可用于执行多种方法,例如参照图8与图9所示的方法。图8绘示根据各种实施例的用于校准被动3d光学感测系统的方法800的流程图。所述被动3d光学感测系统包括透镜、影像传感器和空间滤波器。所述空间滤波器可以包括多个滤波器对,每个滤波器对是与多个参考元件中一个别参考元件配对的多个遮罩元件的一个别遮罩元件。所述影像传感器可以包括排置成阵列的多个光电侦测元件,其形成基本上和滤波平面平行的侦测平面。所述光电侦测元件可包括一个或多个信号像素组,每个在空间上对应于多个滤波器对之一的一个别遮罩元件;且所述光电侦测元件可以包括一个或多个参考像素组,每个在空间上对应于多个滤波器对之一的一个别参考元件。[0051]方法800的实施方式对n个校准距离中的每一个执行校准,其中n是正整数。方法800的n次迭代可以依序和/或同时执行。对于每次迭代,所述实施方式可始于阶段804,其中将校准目标定位在所述迭代的校准距离处。在阶段808,所述实施方式可以经由透镜和空间滤波器遮罩由影像传感器接收来自校准目标的物件光线。在阶段812,所述实施方式可以根据对物件光线的光学响应来侦测物件光线的信号亮度,所述光学响应受到至少一对滤波器对的至少一个遮罩元件的光学影响,所述光学响应由对应于遮罩元件至少其中之一的个别信号像素组做出。在阶段816,所述实施方式可以根据对物件光线的光学响应来侦测物件光线的参考亮度,所述光学响应由对应于滤波器对至少其中之一的个别参考像素组做出。在阶段820,所述实施方式可以计算信号亮度和参考亮度之间的比率。[0052]在阶段824,所述实施方式可以生成(例如,在存储器中)具有多个校准映射的查找表。每个校准映射可以将校准距离中的一个别校准距离与利用定位在校准距离中的一个别距离的校准目标所计算的比率相关联。于某些实施方式中,阶段824处的生成是每次迭代的一部分,而使得在所述迭代结束时将每个校准映射添加到查找表。在其他实施方式中,针对不同迭代储存在阶段820中作出的各种运算,并且在所有迭代完成之后在阶段824生成查找表。举例来说,生成查找表可能涉及额外的步骤,例如排序、筛选、平均、标准化和/或以其他方式将数据处理为所欲的格式,以便储存为查找表的一部分。方法800的实施方式可以包括额外的校准阶段。一些这样的实施方式,如本文所述,可以决定哪些像素组最适合配对为滤波器对并与特定遮罩元件及参考元件相关联,例如以最小化串扰。[0053]图9绘示根据各种实施方式,的用于被动三维成像的方法900的流程图。方法900的实施方式是操作于具有透镜、影像传感器和空间滤波器遮罩的被动3d光学感测系统中。所述空间滤波器可以包括多个滤波器对,每个滤波器对是与多个参考元件中一个别参考元件配对的多个遮罩元件的一个别遮罩元件。所述影像传感器可以包括排置成阵列的多个光电侦测元件,其形成基本上和滤波平面平行的侦测平面。所述光电侦测元件可包括一个或多个信号像素组,每个在空间上对应于多个滤波器对之一的一个别遮罩元件;且所述光电侦测元件可以包括一个或多个参考像素组,每个在空间上对应于多个滤波器对之一的一个别参考元件。[0054]所述方法900的实施方式可始于阶段904,其中接收来自与透镜相距一物距的一场景物件的物件光线。影像传感器通过透镜以及空间滤波器遮罩来接收所述物件光线。在阶段908,所述实施方式可以根据对物件光线的光学响应来侦测物件光线的信号亮度,所述光学响应受到至少一对滤波器对的至少一个遮罩元件的光学影响,所述光学响应由对应于遮罩元件至少其中之一的个别信号像素组做出。在阶段912,所述实施方式可以根据对物件光线的光学响应来侦测物件光线的参考亮度,所述光学响应由对应于滤波器对至少其中之一的个别参考像素组做出。[0055]在阶段916,所述实施方式可以利用基于信号亮度图与参考亮度图的函式来计算场景物件的物距。于某些实施方式中,在阶段916进行的计算包括:计算信号亮度与参考亮度的比率;将所述比率与校准映射的查找表中的多个预校准比率中最接近的一个配对,每一个校准映射指示在一校准例程期间与一个别预校准比率相关的一个别预校准物距,每一预校准比率介于一个别测得信号亮度和一个别测得参考亮度之间;以及决定所述物距为找表中这些预校准比例中最接近的一个相关的这些预校准物距中的个别物距。[0056]于某些实施方式中,场景物件是位于透镜视野中一场景的多个场景物件。某些此种实施方式可进一步包括在阶段910藉由对这些信号像素组中的多个进行信号亮度感测以决定一信号亮度图;在阶段914藉由对这些参考像素组中的多个进行参考亮度感测以决定一参考亮度图;以及在阶段918以利用信号亮度图与参考亮度图对每一场景物件计算个别物距所进行的计算作为函式来计算出场景的一深度图。[0057]应当理解,当本文叙述一个元件或部件被「连接到」或「耦接到」另一个元件或部件时,它可以连接或耦接到另一个元件或部件,也可能有中间元件的存在。相较之下,当描述元件或部件被「直接连接到」或「直接耦接到」另一个元件或部件时,两者间不存在中间元件或部件。应当理解,尽管此处使用了诸如「第一」、「第二」、「第三」等用语来描述各种元件、部件,但是这些元件、部件、区域不应受这些用语的限制。这些用语只是用来将一个元件、部件与另一个元件、部件区分开来。因此,下文所述的第一元件、部件可以被称为第二元件、部件,而不致于悖离本技术揭示的内容。在此处,「逻辑低」、「低状态」、「低电平」、「逻辑低电平」、「低」或「0」等用语可互换使用。在此处,「逻辑高」、「高状态」、「高电平」、「逻辑高电平」、「高」或「1」等用语可互换使用。[0058]可以理解,在此处,「一个」、「一个」和「所述」等用语可包括其单数型与复数型。可进一步理解,本说明书中所用的「包括」、「包括」、「具有」等用语及其变体是用来指称所述特征、步骤、操作、元件和/或部件的存在,但不排除可能存在或可加入一个或多个其他特征、步骤、操作、元件、部件和/或它们的组合。相反地,本说明书中所用的「由……组成」的用语是指存有所述特征、步骤、操作、元件和/或部件,并且排除额外的特征、步骤、操作、元件和/或部件。此外,在此处,「和/或」一词可以指称并涵盖一个或多个相关联的所列项目的任何可能的组合。[0059]虽然在此参考说明性的实施方式描述了本揭示内容,但是此种说明不应被解释为限制性的。相反地,说明性实施方式的目的是使本发明所属
技术领域
:中具有通常知识者能够更妥适地理解本揭示内容的精神。为了不模糊本揭示内容的范围,省略了众所周知的制程和制造技术的许多细节。本发明所属
技术领域
:中具有通常知识者在参考实施方式后,能够轻易想见对例示性实施方式的各种修改以及其他实施方式。因此,所附申请范围亦应涵盖任何此类修改。[0060]此外,本揭示内容的较佳实施方式的一些特征可以在不相应使用其他特征的的情况下发挥优势。因此,应认为上述实施方式只是对本揭示内容原理的说明,而不是对其进行限制。本发明所属
技术领域
:中具有通常知识者将理解落入本揭示内容范围内的上述实施方式的各种变化。因此,本揭示内容不限于以上讨论的特定实施例和说明,而是以下述申请专利范围及其均等物为限。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献