使用角膜曲率的虹膜边界估计的制作方法

使用角膜曲率的虹膜边界估计
1.本技术是申请日为2017年4月26日、pct国际申请号为pct/us2017/029679、中国国家阶段申请号为201780054215.3、发明名称为“使用角膜曲率的虹膜边界估计”的申请的分案申请。
2.相关申请的交叉引用
3.本技术要求2016年7月14日提交的题为“使用角膜曲率的虹膜边界估计(iris boundary estimation using cornea curvature)”的申请号为2016128791的俄罗斯专利申请的优先权，其内容通过引用整体并入本文。
技术领域
4.本公开一般涉及用于处理眼睛图像的系统和方法，并且更特别地，涉及使用眼睛的角膜凸起的测量来识别虹膜边界。


背景技术：

5.人类虹膜可以用作生物信息的源。生物信息可以提供个人的认证或识别。提取生物信息(通常称为生物模板)的过程通常具有许多挑战。


技术实现要素：

6.在一个方面，公开了一种可穿戴显示系统。该可穿戴显示系统包括：显示器；图像捕捉装置，其被配置为捕捉用户的眼睛的图像；非暂时性存储器，其被配置为存储可执行指令；以及硬件处理器，其与显示器、图像捕捉装置和非暂时性存储器通信，硬件处理器被可执行指令编程以：获得相机校准；获得在眼睛的三维坐标系中眼睛的生理参数，其中生理参数包括：包括眼睛的角膜的角膜球的半径、眼睛的虹膜的半径、以及眼睛的角膜球的中心与瞳孔的中心之间的距离；接收眼睛的图像，图像包括眼睛的角膜和眼睛的虹膜中的至少一部分；确定角膜球与眼睛之间的交叉；至少部分地基于相机校准来将交叉从眼睛的坐标系转换到眼睛的图像的坐标系；至少部分地基于交叉确定边缘(limbic)边界；以及在生物应用中利用边缘边界。
7.在另一方面，公开了一种计算机系统。该计算机系统包括：显示器；图像捕捉装置，其被配置为捕捉用户眼睛的图像；非暂时性存储器，其被配置为存储可执行指令；以及硬件处理器，其与显示器、图像捕捉装置和非暂时性存储器通信，该硬件处理器被可执行指令编程以：获得在眼睛的三维坐标系中的眼睛的生理参数，其中生理参数包括：包括眼睛的角膜的角膜球的半径、眼睛的虹膜的半径、以及眼睛的角膜球的中心与瞳孔的中心之间的距离；接收眼睛的图像，该图像包括眼睛的角膜和眼睛的虹膜的至少一部分；确定角膜球与眼睛之间的交叉；以及至少部分地基于该交叉确定边缘边界。
8.此说明书所述主题的一个或多个实施方式的细节在下面的附图和描述中阐述。从描述、附图和权利要求中，其他特征、方面以及优势将变得显而易见。本发明内容和之后的具体实施方式都不旨在限定或限制本发明主题的范围。
附图说明
9.图1a是示意性地示出眼睛和眼睛成像相机观看眼睛的坐标系统的特征的透视图。
10.图1b是眼睛的横截面图，其示意性地示出了眼睛和可用于描述角膜的几何形状的角膜球的生理参数。
11.图2是示出用于确定眼睛的边缘边界并在生物应用中使用边缘边界的示例方法的流程图。
12.图3示意性地示出了可穿戴显示系统的示例。
13.图4示意性地示出了用于将图像信息输出给用户并且可以用在图3所示的可穿戴显示系统中的波导叠层的示例。
14.在整个附图中，可以重复使用附图标记来指示所引用的元件之间的对应关系。提供附图是为了说明本文描述的示例实施例，而不是为了限制本公开的范围。
具体实施方式
15.概述
16.从眼睛提取生物信息通常包括用于在眼睛图像内分割虹膜的过程。虹膜分割可涉及以下操作：包括定位虹膜边界、包括找到虹膜的(内)瞳孔和(外)边缘边界、定位上眼睑或下眼睑(如果它们遮挡(occlude)虹膜)、检测和排除睫毛、阴影或反射的遮挡等。例如，眼睛图像可以被包括在面部图像中或者可以是眼周区域的图像。
17.为了执行虹膜分割，可以将瞳孔的边界(虹膜的内部边界)和角膜缘(虹膜的外部边界)都识别为图像数据的单独片段。识别瞳孔边界通常是直接的，因为瞳孔非常有效地吸收光并因此提供可靠的高对比度的边界。然而，角膜缘通常更难以限定，因为到眼睛的白色巩膜的过渡通常更加平滑。当用红外光对眼睛成像时，这种困难甚至可能更加明显，这在生物背景下是典型的。
18.由于角膜缘处的较不明确限定的边界，因此期望具有更准确且更精确的用于边缘边界识别的方法。在存在软边界的情况下，当使用传统的边缘边界技术时，准确度和精度都会受到影响。由于软边界经常会被算法误认为是眼睛的其他元素(例如，眼睑、睫毛或它们的阴影)，因此可能会出现准确度问题。同时，由于软边界通常不提供分割(对照明和其他环境因素是稳健的)的真正可重复的限定，因此可能会出现精度问题。
19.使用眼睛的三维(3-d)几何形状而不是其表面着色(如在一些传统技术中使用的)，以识别虹膜的边界，则提供了独特的替代，该独特从某种意义上说，眼睛没有其他几何特征可以被误认，并且这个特征被明确限定，从而提高了可靠性。因此，本公开描述了技术以测量3-d眼睛几何形状并使用所测量的角膜凸起与眼睛表面(例如，巩膜)的交叉，以便识别虹膜的外边界。
20.在可佩戴的头戴式显示器(hmd)的背景下，面向内的眼睛成像相机可以相对靠近用户的一只或两只眼睛。例如，相机可以安装在可穿戴hmd上，该可穿戴hmd其本身由用户佩戴。眼睛与这种相机的接近可以导致较高分辨率的眼睛图像。因此，计算机视觉技术可以对眼睛成像并从用户的眼睛中提取例如角膜凸起的形状的视觉特征。角膜凸起与眼睛表面(例如，巩膜)的交叉点可用于识别边缘边界。此外，当由靠近眼睛的相机观察时，眼睛的虹膜将显示详细的结构。当在红外照射下观察时，这种虹膜结构可以特别明显，并且可以用于
生物识别。这些虹膜特征在用户与用户之间可以是唯一的，并且以指纹的方式可以用于唯一地识别用户。用于识别虹膜边界的本技术可用于分割虹膜并确定生物识别模板(通常称为虹膜代码)，这可用于例如认证hmd的用户的生物应用。
21.眼睛的结构
22.图1a示意性地示出了具有虹膜104、巩膜108和瞳孔112的眼睛100的几何形状。图1a示出了瞳孔112与虹膜104之间的瞳孔边界112a，以及虹膜104与巩膜108(眼睛的“白色”)之间的边缘边界104a。下面将描述边缘边界104a(也称为边缘-虹膜外形(contour))上的点116的确定。覆盖虹膜104和瞳孔112的透明角膜未在图1a中示出。
23.图1b是角膜球120的示意性横截面图，其示出了角膜124和巩膜108在边缘边界104a处的交叉。图1b中所示的角膜球120的位于虹膜104和瞳孔112下方(或后方)的部分不是物理的并且是用于描述角膜124的近似球形的几何结构。图1b示出了眼睛100的一些几何参数。角膜球120具有半径rc。角膜球120的中心和瞳孔112的中心分开距离dp。横向于从角膜球120的中心延伸穿过瞳孔112的中心的线测量的虹膜104的半径是ri。
24.图1a还示出了可用于分析由眼睛成像相机拍摄的图像的坐标系统128。在该坐标系统128中，角膜球120的中心120a可以位于矢量位置cc，并且瞳孔112的中心可以位于矢量位置pc。在坐标系统128中，从角膜球120的中心120a到瞳孔112的中心112b的矢量可以由pc-cc给出。
25.用于确定虹膜边缘边界的示例方法
26.用于从由图像捕捉装置(例如，眼睛成像相机)拍摄的眼睛图像确定边缘边界104a的示例性方法可以由hmd执行。例如，hmd可以包括对hmd用户的眼睛中的一只或两只眼睛成像的眼睛成像相机。在一些hmd中，单独的眼睛成像相机用于用户的每个眼睛。
27.可以校准眼睛成像相机。例如，可以确定相机校准矩阵k。校准矩阵k依赖于固有的相机参数，例如焦距(在正交方向上)和光学中心(在像素中，通常在相机图像的中心)。相机的校准可以将相机的自然单位(例如，像素)与真实世界单位之间的关系映射到眼睛(例如，毫米)。可以在针对特定用户的眼睛成像之前执行校准并且针对特定相机存储校准。在一些实施方式中，可在hmd制造过程期间执行相机校准。
28.参考图1a和1b，可以确定用户的生理眼睛参数rc、ri和dp。rc、ri和dp的值在人群中可以相对稳定，平均值分别为约8毫米、6毫米和5.3毫米。在一些实施方式中，hmd可以使用人群典型的估计值。在其他实施方式中，可以针对特定用户的眼睛确定这些参数中的一个或多个。这些参数可以为每个用户确定一次或者为用户定期重新确定。可以使用立体视觉或多视点(multiscopic)成像并且将角膜和巩膜区域拟合到球形模型来执行参数rc、ri和dp的确定。其他眼睛成像技术也可用于确定这些参数。
29.可以在三个维度上估计瞳孔中心和角膜球120的中心。例如，可以在由眼睛成像相机拍摄的眼睛图像中定位瞳孔中心，然后使用相机校准信息或矩阵k将瞳孔中心变换为眼睛的坐标系统(也称为眼睛坐标系)中的三维表示。角膜球的中心和到瞳孔的距离可以定位在眼睛的坐标系统中。
30.可以通过找到角膜球120与眼睛表面(例如，巩膜108)之间的交叉外形来确定边缘边界104a上的点116的数量。关于角膜球120的几何信息(例如，rc、ri、dp)可用于计算角膜球与眼睛表面的交叉，以找到位于边缘边界104a上的点116的数量。可以首先在眼睛坐标系
中确定边界104a上的点116，然后将点116重新映射到图像坐标平面、系或系统(或相机图像平面)。在一些实施方式中，在眼睛的坐标系中，总共n个点116产生围绕虹膜的规则采样。可以使用相机校准常数将点116投射到相机的图像坐标系统中的图像坐标系中。
31.点116可用于确定边缘边界104a。例如，椭圆、圆形或其他形状可以被拟合到图像坐标系中的产生的点116。椭圆限定了边缘边界，该椭圆然后可以用来提取虹膜信息。在其他实施方式中，其他类型的曲线可以被拟合到点116，例如，样条曲线、卵形(oval)、不规则曲线(如果虹膜边界是不规则的)。在其他实施方式中，可以使用点116(没有曲线拟合)来限定边缘边界104a。
32.因此，在一个示例实施方式中，执行以下动作。计算或估计眼睛的生理常数，例如角膜球半径、虹膜半径以及角膜中心与瞳孔中心之间的距离。瞳孔中心和角膜球的中心位于三维中。首先在眼睛坐标系中确定角膜球与眼睛表面之间的交叉外形中的点，然后将这些点重新映射到相机图像平面或图像坐标平面、系或系统。在图像坐标平面中将曲线(例如，椭圆、圆形、样条、多边形或其他形状)拟合到重新映射的点以限定边缘边界。可选地，可以确定或估计相机校准常数，以便可以确定眼睛坐标系与相机图像平面之间的变换。
33.用于在图像坐标系中确定虹膜的边缘边界的示例伪代码
34.以下伪代码描述了用于在眼睛图像的坐标系(也称为图像坐标系)中确定边缘边界的示例性方法。如上面参考图1a和1b所讨论的，在坐标系统128中，从角膜球120的中心到瞳孔112的中心的矢量可以用pc-cc表示。
35.(1)确定从(1,0,0)到pc-cc的旋转矩阵rmat(参见图1a)
36.(2)for i＝0to num_points-1,do
37.(2a)θi＝i*2*pi/n
38.(2b)获得从角膜球中心到3-d虹膜外形上的点的矢量vi(在标准(canonical)坐标球中，具有对准的视轴)：
39.vi＝dp*(1,0,0) ri*(cos(θi)*(0,1,0) sin(θi)*(0,0,1))
40.(2c)将矢量vi转换为相机坐标系：v
i’＝rmat*vi
41.(2d)使用相机校准矩阵k将vi’投射到图像，并获得图像中的虹膜外形点pi42.(3)将曲线(例如，椭圆、圆形、样条、多边形或其他形状)拟合到所有{pi}点
43.在前述示例方法中，确定旋转矩阵rmat，该旋转矩阵rmat描述坐标系统128的视轴与矢量pc-cc之间的旋转，该矢量pc-cc描述从角膜球120的中心到瞳孔112的中心的方向。边缘虹膜外形104a上的点116的数量是n，并且点116可以以角度θ均匀地分布。边缘边界上的点(由i索引)可以由眼睛坐标系中的矢量vi来描述，并且这些矢量被使用相机校准矩阵k投射到图像坐标系中的矢量v
i’(例如，边缘边界上的点116)(例如，图1中的边缘边界104a上的点116)。在图像坐标系中，边缘外形点pi限定边缘边界，并且曲线(例如，椭圆)可以被拟合到这些外形点。
44.椭圆的取向可用于估计眼睛姿态(例如，如果眼睛直视相机，则椭圆将减小为圆形，以及当眼睛以远离相机的较大的角度观看时，椭圆变得更平)。如上所述，点pi可以被拟合具有其他类型的曲线以描述边缘边界的可能的不规则形状，或者点pi可以直接用于限定边缘边界，而不拟合曲线。例如，眼睛图像(在图像坐标系中)可以通过透视变换被变换到眼睛的坐标系中，使得可以不使用边缘边界点的曲线拟合(例如，到椭圆、圆形、样条、多边形、
另一种形状或一条或多条曲线)。
45.用于使用角膜凸起的虹膜分割的示例方法
46.图2是示出用于确定眼睛的边缘边界并在生物应用中使用边缘边界的示例性例程200的流程图。例程200开始于框204。在框208处，例程200获得相机校准信息并估计眼睛的生理参数。在框208处，眼睛成像相机可以(可选地)拍摄校准图像并执行相机校准(例如，获得相机校准矩阵k)。在其他实施方式中，可以在制造期间执行相机校准，并且将校准信息存储在装置中。可以从一般人群估计眼睛生理参数(例如，rc、ri、dp)，或者可以从特定个体的眼睛的图像确定特定个体的眼睛生理参数(例如，rc、ri、dp)。
47.在框212处，例程200接收由眼睛成像相机拍摄的眼睛图像。在框216处，确定角膜球的三维坐标。例如，可以在三维中估计图1a-1b中的角膜球120的中心处的瞳孔中心。可以在由眼睛成像相机拍摄的眼睛图像中定位瞳孔中心，然后使用相机校准信息将瞳孔中心变换为眼睛的坐标系中的三维表示。可以在眼睛的坐标系中定位角膜球的中心和到瞳孔的距离。
48.在框220处，确定角膜球120与眼睛表面(例如，巩膜表面108)的交叉。例如，交叉可包括位于边缘边界104a上的多个点。可选地，在框224处，曲线可以被拟合到被确定位于边缘边界上的点。曲线可以是椭圆、圆形、样条、多边形或其他形状。在一些实施方式中，可以在框224处拟合多条曲线，使得边缘边界104a由拟合的多条曲线表示。多条曲线中的一条或多条可以由任何顺序的多项式形式(例如2、3、4、5或更多)表示，例如抛物线(二次形式)或样条(三次形式)。多条曲线中的一条或多条不必是任何顺序的多项式形式。例如，曲线可以是另一种非线性数学表达式。因此，可以从这些交叉或拟合曲线确定边缘边界的估计。在一些实施例中，实现框216、220或224的硬件处理器(例如，图3中的本地处理模块324的硬件处理器)可以利用上述伪代码来确定眼睛图像中的边缘边界。
49.在框228处，所确定的边缘边界可以用在一个或多个生物应用中。例如，所确定的边缘边界104a或瞳孔边界112a(例如，通过常规技术或本文公开的方法确定)可用于分割虹膜。例如，虹膜分割技术包括基于积分微分算子(例如，daugman方法)、hough变换、几何活动外形(geodesic active contour)、无边缘的活动外形、定向射线检测方法、wilde方法、camus和wildes方法、martin-roche方法或其任何组合的技术。
50.分割的虹膜可用于确定用户虹膜的生物模板。例如，生物模板可以是使用小波技术确定的虹膜代码。虹膜代码可以以各种方式计算。例如，在一些实施例中，虹膜代码可以根据由john daugman针对虹膜生物学开发的算法来计算(参见例如美国专利no.5,291,560)。例如，虹膜代码可以基于2-d带通滤波器(例如，gabor滤波器)的虹膜图像(在极坐标中)的卷积，以及虹膜代码可以表示为两比特数(two bit number)(例如，对特定gabor滤波器的响应是正的还是负的)。
51.可以将从眼睛图像确定的虹膜代码与已知虹膜代码的数据库进行比较，以便认证用户。在另一种生物应用中，虹膜的边缘边界的形状可用于估计眼睛的眼睛姿态。例如，可以至少部分地基于眼睛成像相机的坐标系统128和边缘边界104a的估计形状来估计眼睛姿态。在一些实施例中，眼睛姿态由边缘边界104a界定的盘的法线表示(法线可以沿着图1a中所示的方向pc-cc放置)。
52.例程200的实施例可以由下面参考图3和4描述的可穿戴显示系统300来执行。例
如，眼睛成像相机452可以获得眼睛图像，以及本地或远程处理模块324、328可以分析眼睛图像以确定边缘边界。
53.在一些实施方式中，计算机视觉技术可用于本文公开的方法的一个或多个方面(例如，以执行虹膜分割、或对眼睛成像并从用户的眼睛提取例如角膜凸出的形状的视觉特征)。计算机视觉模块可以实现一种或多种计算机视觉技术。计算机视觉技术的非限制性示例包括：标度(scale)不变特征变换(sift)、加速稳健(robust)特征(surf)、定向(orient)fast和旋转(rotate)brief(orb)、二进制稳健不变可缩放关键点(brisk)、快速视网膜关键点(freak)、viola-jones算法、eigenfaces方法、lucas-kanade算法、horn-schunk算法、mean-shift算法、视觉同步定位和映射(vslam)技术、序贯(sequential)贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、束调整、自适应阈值(和其他阈值技术)、迭代最近点(icp)、半全局匹配(sgm)、半全局块匹配(sgbm)、特征点直方图、各种机器学习算法(诸如，支持向量机、k-最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)、或其他有监督/无监督模型等)等等。
54.示例可穿戴显示系统
55.在一些实施例中，显示系统可以是可穿戴的，其可以有利地提供更加沉浸式的虚拟现实(vr)或增强现实(ar)体验，其中数字再现的图像或其部分以它们看起来是或可以被感知为真实的方式呈现给佩戴者。
56.不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现高度可信的感知深度模拟。例如，包括波导堆叠的显示器可以被配置为佩戴定位在用户或观看者的眼睛前方。波导堆叠可以被用于通过使用多个波导将来自图像注入装置(例如，通过经由一个或多个光纤用管输送图像信息的离散显示器或多路复用显示器的输出端)的光以与特定波导相关联的深度平面对应的特定角度(和发散量)引导至观看者的眼睛，来向眼睛/大脑提供三维感知。
57.在一些实施例中，可以利用两个波导堆叠向每只眼睛提供不同的图像，一个波导堆叠用于观察者的每只眼睛。作为一个示例，增强现实场景可以使得ar技术的佩戴者看到以人、树木、背景中的建筑物和混凝土平台为特征的真实世界公园状设置。除了这些项目之外，ar技术的佩戴者同样可以感知到他“看到”站在真实世界平台上的机器人雕像，以及飞过的卡通式化身角色(例如，大黄蜂)，该化身角色看起来是大黄蜂的化身，即使这些机器人雕像和大黄蜂在真实世界中不存在。波导堆叠可用于产生与输入图像对应的光场，并且在一些实施方式中，可穿戴显示器包括光场显示器。
58.图3示出了可穿戴显示系统300的示例，其可用于向显示系统佩戴者或观看者304呈现vr、ar或mr体验。可穿戴显示系统300可被编程为使用角膜曲率技术执行虹膜边界估计或被编程为提供本文描述的任何应用或实施例(例如，眼睛图像处理)。显示系统300包括显示器308、以及支持该显示器308的功能的各种机械和电子模块和系统。显示器308可以与框架312耦接，该框架可以由显示系统用户、佩戴者或观看者304佩戴并且被配置为将显示器308定位在佩戴者304的眼睛前方。显示器308可以光场显示器。在一些实施例中，扬声器316被耦接到框架312并且位于用户的耳道附近。在一些实施例中，另一扬声器(未示出)位于用户的另一耳道附近以提供立体声/可塑形声音控制。显示器308可以可操作地(诸如通过有
线引线或无线连接)被耦接320到本地数据处理和模块324，本地数据处理和模块324可以以各种配置安装，诸如被固定地附到框架312上、被固定地附到由用户佩戴的头盔或帽子上、被嵌入头戴耳机内、或者其它的可拆卸地附到用户304(例如，以背包式配置、以带耦接式配置)。
59.框架312可具有附接或安装到框架312的一个或多个相机，以获得佩戴者眼睛的图像。在一个实施例中，相机可以安装到位于佩戴者眼睛前方的框架312，使得眼睛可以被直接成像。在其他实施例中，相机可以沿着框架312的杆(例如，靠近佩戴者的耳朵)安装。在这样的实施例中，显示器308可以涂覆有将来自佩戴者的眼睛的光反射回照相机的材料。光可以是红外光，因为虹膜特征在红外图像中是突出的。
60.本地处理和数据模块324可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器)的非暂时性数字存储器，这两者都可用于辅助处理、高速缓存和存储数据。该数据可以包括：(a)从传感器(其例如可以可操作地耦接到框架312或者其它的可操作地附到用户304)捕捉的数据，所述传感器例如为图像捕捉装置(例如，相机)、麦克风、惯性测量单元、加速度计、罗盘、gps单元、无线电设备和/或陀螺仪；和/或(b)使用远程处理模块328和/或远程数据储存库332获得和/或处理的数据，这些数据可以在这样的处理或检索之后被传输到显示器308。本地处理和数据模块324可以诸如经由有线或无线通信链路可操作地通过通信链路336和或340耦接到远程处理模块328或远程数据储存库332，使得这些远程模块328、332可用作本地处理和数据模块324的资源。图像捕捉装置可用于捕捉在边缘边界估计过程中使用的眼睛图像。眼睛图像可以包括来自视频的静止图像或帧。如本文所使用的，视频被以其普通含义使用，并且包括但不限于视觉图像序列的记录。视频中的每个图像有时被称为图像帧或简称为帧。视频可以包括多个序列帧或非序列帧，具有或不具有音频通道。视频可以包括多个帧，这些帧按时间排序或者不按时间排序。因此，视频中的图像可以被称为眼睛图像帧或眼睛图像。
61.在一些实施例中，远程处理模块328可以包括一个或多个处理器，这些处理器被配置为分析和处理数据和/或图像信息，例如由图像捕捉装置捕捉的视频信息。视频数据可以被本地存储在本地处理和数据模块324中和/或远程数据储存库332中。在一些实施例中，远程数据储存库332可以包括数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一些实施例中，在本地处理和数据模块324中存储所有数据并且执行所有计算，从而允许从远程模块完全自主的使用。
62.在一些实施方式中，本地处理和数据模块324和/或远程处理模块328被编程以执行如本文中所描述的虹膜的边缘边界104a的实施例。例如，本地处理和数据模块324和/或远程处理模块328可以被编程以执行参考图2描述的例程200的实施例或以执行上面的示例伪代码。本地处理和数据模块324和/或远程处理模块328可以被编程以在生物提取中使用本文公开的边缘边界确定技术，例如以识别或认证佩戴者304的身份，或者被编程以在眼睛注视或眼睑形状估计或姿态估计中使用本文公开的边缘边界确定技术，例如以确定每只眼睛正看的方向。图像捕捉装置可以捕捉用于特定应用的视频(例如，用于眼睛跟踪应用的佩戴者眼睛的视频或者用于手势识别应用的佩戴者的手或手指的视频)。可以通过处理模块324、328中的一个或两个使用边缘边界识别技术来分析视频。通过该分析，处理模块324、328可以执行边缘边界估计、虹膜分割和/或生物提取等。作为示例，本地处理和数据模块
324和/或远程处理模块328可以被编程以存储从附接到框架312的相机获得的眼睛图像。此外，本地处理和数据模块324和/或远程处理模块328可以被编程以使用本文描述的技术(例如，例程200)处理眼睛图像。在一些实施方式中，将边缘边界估计中的至少一些卸到远程处理模块(例如，在“云”中)可以提高计算的效率或速度。用于边缘边界估计的各种参数(例如，相机校准矩阵k、眼睛参数rc、ri、dp、旋转矩阵rmat等)可以存储在数据模块324和/或328中。
63.分析的结果(例如，估计的边缘边界)可以由处理模块324、328中的一个或两个用于附加操作或处理。例如，在各种应用中，可穿戴显示系统300可以使用手势、对象、姿态等的生物识别、眼睛跟踪、识别或分类。例如，佩戴者的眼睛的视频可以是用于边缘边界估计，该边缘边界估计进而可以由处理模块324、328用于确定或分割虹膜以用于生物应用，该生物应用例如认证或通过显示器308确定佩戴者304的注视方向。可穿戴显示系统300的处理模块324、328可以被编程以使用边缘边界估计技术中的一个或多个实施例，以执行本文所述的视频或图像处理应用中的任何一者。
64.在一些实施例中，由可穿戴显示系统300执行的计算可以跨可穿戴显示系统300的组件或与可穿戴显示系统300相关联或通信的组件而分布。在一些实施例中，可穿戴显示系统300可以包括本地处理模块和本地数据储存库(例如，本地处理&数据模块)324。可穿戴显示系统300可以与远程处理模块328和/或远程数据储存库332通信或可以包括远程处理模块328和/或远程数据储存库332。可穿戴显示系统300的本地处理模块324和/或远程处理模块328可用于执行本文公开的任何方法(例如，边缘边界确定)。例如，眼睛图像可以存储在远程数据储存库332中，并且远程处理模块328可以确定眼睛图像中的边缘边界。作为另一示例，眼睛图像(或眼睛图像的一部分)可以存储在本地数据储存库和远程数据储存库332两者中，并且本地处理模块324和远程处理模块328可以一起确定眼睛图像中的边缘边界。本地处理模块324和远程处理模块328均可以执行边缘边界确定过程的一部分。作为又一示例，边缘边界确定过程可以跨本地处理模块324和远程处理模块328分布。边缘边界确定过程的分布可以基于本地处理模块324和/或远程处理模块328的工作量来预确定或确定。或者或另外，边缘边界确定过程的分布可以基于本地处理模块324和/或远程处理模块328可使用的能量(例如，电池量)。
65.在一些实施例中，可穿戴显示系统(例如，使用本地处理模块324和/或远程处理模块328)和/或另一计算系统(例如，云上的计算系统或可穿戴显示系统300的伴随计算系统)可用于执行边缘边界确定过程。计算系统可以存储和使用眼睛图像的整个(或部分)。例如，可穿戴显示系统300可以将眼睛图像传输到另一计算系统。在确定眼睛图像中的边缘边界之后，计算系统可以将确定的边缘边界传输回可穿戴显示系统300。作为另一示例，边缘边界确定过程可以跨可穿戴显示系统300和计算系统分布。可以基于可穿戴显示系统300和/或计算系统的工作量来确定边缘边界确定过程的分布。或者或另外，边缘边界确定过程的分布可以基于可穿戴显示系统300可使用的能量(例如，电池量)、可穿戴显示系统300和/或计算系统的剩余电池量。
66.可以对可穿戴显示系统300、本地处理模块324、本地数据储存库、远程处理模块328、远程数据储存库332和/或其他计算系统之间的传输或通信加密或不加密。例如，可以对可穿戴显示系统300与计算系统之间的传输加密。作为另一示例，可以对本地处理模块
324与远程处理模块332之间的传输不被加密。
67.波导堆叠组件
68.图4示出了用于向用户输出图像信息的波导堆叠的示例，该波导堆叠可以用在图3所示的可穿戴显示系统300中。显示系统400可以包括能够用于采用多个波导420、422、424、426、428向眼睛410或大脑提供(例如，在ar或vr环境中)三维感知的波导堆叠或堆叠波导组件405。在一些实施例中，显示系统400可对应于图3的系统300，其中图4更详细地示意性地示出了该系统300的一些部分。例如，在一些实施例中，波导组件405可以集成到图3的显示器308。
69.继续参考图4，波导组件405可以还包括位于波导之间的多个特征430、432、434、436。在一些实施例中，特征430、432、434、436可以是透镜。在一些实施例中，特征430、432、434、436可以不是透镜。然而，它们可以是隔离物(例如，用于形成气隙的覆层和/或结构)。
70.波导420、422、424、426、428和/或多个透镜430、432、434、436可以被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置440、442、444、446、448可以用于将图像信息注入到波导420、422、424、426、428中，其中的每个波导可以被配置为分配入射光穿过每个相应的波导，用于向眼睛410输出。光离开图像注入装置440、442、444、446、448的输出表面并被注入到波导420、422、424、426、428的相应输入边缘。在一些实施例中，可以将单个光束(例如，准直光束)注入到每个波导中，以便以与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛410定向的克隆准直光束的整个视场。
71.在一些实施例中，图像注入装置440、442、444、446、442是分立的显示器，每个显示器产生用于分别注入到相应波导420、422、424、426、428中的图像信息。在一些其它实施例中，图像注入装置440、442、444、446、442是单个复用显示器的输出端，其可以例如经由一个或多个光导管(诸如，光纤线缆)向图像注入装置440、442、444、446、442中的每一个图像注入装置用管输送图像信息。关于波导组件178的功能的进一步细节在公开号为no.2015/0016777的美国专利公开中描述，其全部内容通过引用结合于此。
72.控制器450控制堆叠波导组件405和图像注入装置440、442、444、446、448的操作。在一些实施例中，控制器450包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调整图像信息到波导420、422、424、426、428的定时和提供。在一些实施例中，控制器450可以是单个整体装置，或者是通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器450可以是处理模块324或328(在图3中示出)的部分。在一些实施例中，控制器可以与面向内的成像系统452(例如，数码相机)、面向外的成像系统454(例如，数码相机)和/或用户输入装置456通信。面向内的成像系统452(例如，数码相机)可以观察佩戴者的移动，诸如眼睛移动和(例如，眼周区域的)面部移动。面向内的成像系统452可用于捕捉眼睛410的图像，以便例如确定眼睛100(例如，瞳孔112、虹膜104或角膜124)的尺寸和/或取向、确定佩戴者304正在看的方向(例如，眼睛姿态)、或佩戴者304的生物识别。面向内的成像系统452可以捕捉用在边缘边界估计方法200中的眼睛图像。面向外的成像系统454可用于对佩戴者304正在看到的世界458的一部分成像。用户可以经由用户输入装置456向控制器450输入命令以与显示系统400交互。
73.在一些实施例中，深度平面和/或景深的数量和分布可以基于观看者的眼睛的瞳孔尺寸或取向动态地改变。在一些实施例中，面向内的成像系统452(例如，数字相机)可用于捕捉眼睛410的图像以确定眼睛410的瞳孔的尺寸和/或取向。在一些实施例中，面向内的成像系统452可以附接到框架312(如图3所示)并且可以与处理模块324和/或328电通信，该处理模块324和/或328可以处理来自面向内的成像系统452的图像信息，以确定例如用户304的瞳孔直径、眼睛的取向、角膜凸起或眼睛姿态。
74.在一些实施例中，可以为每只眼睛使用一个相机，以单独确定每只眼睛的瞳孔尺寸和/或取向，从而允许向每只眼睛呈现图像信息以动态地为该眼睛定制。在一些实施例中，每只眼睛可以利用至少一个相机，以分别单独地确定每只眼睛的瞳孔尺寸和/或眼睛姿态，从而允许向每只眼睛呈现图像信息以动态地为该眼睛设计。在一些其他实施例中，仅确定单个眼睛410的瞳孔直径和/或取向(例如，每对眼睛仅使用单个相机)并且假设用户的双眼是类似的。
75.其他方面
76.在第1方面，公开了一种可穿戴显示系统。该系统包括：显示器；图像捕捉装置，其被配置为捕捉用户眼睛的图像；非暂时性存储器，其被配置为存储可执行指令；以及硬件处理器，其与显示器、图像捕捉装置和非暂时性存储器通信，该硬件处理器由可执行指令编程以：获得相机校准；获得在眼睛的三维坐标系中眼睛的生理参数，其中，生理参数包括：包括眼睛的角膜的角膜球的半径、眼睛的虹膜的半径、以及眼睛的角膜球的中心与瞳孔中心之间的距离；接收眼睛的图像，该图像包括眼睛的角膜和眼睛的虹膜的至少一部分；确定角膜球与眼睛之间的交叉；至少部分地基于相机校准将交叉从眼睛的坐标系转换到眼睛图像的坐标系；至少部分地基于该交叉确定边缘边界；以及在生物应用中利用边缘边界。
77.在第2方面，根据方面1所述的可穿戴显示系统，其中，相机校准包括相机坐标系与眼睛的坐标系之间的关系。
78.在第3方面，根据方面1-2中任一方面所述的可穿戴显示系统，其中，相机校准包括校准矩阵，其中，校准矩阵包括固有相机参数。
79.在第4方面，根据方面1-3中任一方面所述的可穿戴显示系统，其中，从受试验的人群估计生理参数。
80.在第5方面，根据方面1-3中任一方面所述的可穿戴显示系统，其中，为了获得眼睛的生理参数，硬件处理器被可执行指令编程以：从眼睛的图像中确定生理参数。
81.在第6方面，根据方面5所述的可穿戴显示系统，其中，硬件处理器进一步被可执行指令编程，以周期性地重新确定眼睛的生理参数。
82.在第7方面，根据方面1-6中任一方面所述的可穿戴显示系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：估计在眼睛的三维坐标系中的角膜球的三维特性。
83.在第8方面，根据方面7所述的可穿戴显示系统，其中，为了估计角膜球的三维特性，硬件处理器被可执行指令编程以：估计瞳孔的中心和角膜球的中心。
84.在第9方面，根据方面1-8中任一方面所述的可穿戴显示系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：确定角膜球和眼睛的多个交叉点。
85.在第10方面，根据方面9所述的可穿戴显示系统，其中，为了确定角膜球与眼睛之
间的交叉，硬件处理器进一步被可执行指令编程以：将曲线拟合到多个交叉点。
86.在第11方面，根据方面10所述的可穿戴显示系统，其中，该曲线包括椭圆。
87.在第12方面，根据方面9-11中任一方面所述的可穿戴显示系统，其中，在眼睛的坐标系中确定多个交叉点。
88.在第13方面，根据方面12所述的可穿戴显示系统，其中，硬件处理器进一步被可执行指令编程以：将多个交叉点投射到眼睛的图像的坐标系中。
89.在第14方面，公开了一种计算机系统(例如，可穿戴显示系统，诸如头戴式显示器)。该系统包括：显示器；图像捕捉装置，其被配置为捕捉用户眼睛的图像；非暂时性存储器，其被配置为存储可执行指令；以及硬件处理器，其与显示器、图像捕捉装置和非暂时性存储器通信，该硬件处理器被可执行指令编程以：获得在眼睛的三维坐标系中的眼睛的生理参数，其中，生理参数包括：包括眼睛的角膜的角膜球的半径、眼睛的虹膜的半径、以及眼睛的角膜球的中心与瞳孔的中心之间的距离；接收眼睛的图像，该图像包括眼睛的角膜和眼睛的虹膜的至少一部分；确定角膜球与眼睛之间的交叉；以及至少部分地基于该交叉确定边缘边界。
90.在第15方面，根据方面14所述的计算机系统，其中，为了获得眼睛的生理参数，硬件处理器被可执行指令编程以：从特定个体的眼睛图像中确定生理参数。
91.在第16方面，根据方面15所述的计算机系统，其中，特定个体是用户。
92.在第17方面，根据方面14-16中任一方面所述的计算机系统，其中，硬件处理器进一步被可执行指令编程，以周期性地重新确定眼睛的生理参数。
93.在第18方面，根据方面14-17中任一方面所述的计算机系统，其中，针对受试验的人群估计生理参数。
94.在第19方面，根据方面14-18中任一方面所述的计算机系统，其中，从图像捕捉装置接收眼睛的图像。
95.在第20方面，根据方面14-19中任一方面所述的计算机系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：确定在眼睛的三维坐标系中角膜球与眼睛之间的交叉。
96.在第21方面，根据方面14-19中任一方面所述的计算机系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：确定在图像的坐标系中角膜球与眼睛之间的交叉。
97.在第22方面，根据方面14-21中任一方面所述的计算机系统，其中，为了确定边缘边界，硬件处理器被可执行指令编程以：将曲线拟合到交叉。
98.在第23方面，根据方面22所述的计算机系统，其中，曲线包括椭圆。
99.在第24方面，根据方面14-19中任一方面所述的计算机系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：确定角膜球和眼睛的多个交叉点。
100.在第25方面，根据方面24所述的计算机系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器进一步被可执行指令编程以：将曲线拟合到多个交叉点。
101.在第26方面，根据方面25所述的计算机系统，其中，曲线包括椭圆。
102.在第27方面，根据方面24-26中任一方面所述的计算机系统，其中，在眼睛的坐标系中确定多个交叉点。
103.在第28方面，根据方面27所述的计算机系统，其中，硬件处理器进一步被可执行指令编程以：将多个交叉点投射到眼睛图像的坐标系中。
104.在第29方面，根据方面14-28中任一方面所述的计算机系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：估计在眼睛的三维坐标系中角膜球的三维特性。
105.在第30方面，根据方面29所述的计算机系统，其中，为了估计角膜球的三维特性，硬件处理器被可执行指令编程以：估计瞳孔的中心和角膜球的中心。
106.在第31方面，根据方面14-30中任一方面所述的计算机系统，其中，硬件处理器进一步被可执行指令编程以：至少部分地基于边缘边界来执行生物应用。
107.在第32方面，根据方面31所述的计算机系统，其中，生物应用包括虹膜识别。
108.在第33方面，根据方面14-32中任一方面所述的计算机系统，其中，硬件处理器进一步被可执行指令编程以：获得相机校准。
109.在第34方面，根据方面33所述的计算机系统的，相机校准包括相机坐标系与眼睛的坐标系之间的关系。
110.在第35方面，根据方面33-34中任一方面所述的计算机系统，其中，相机校准包括校准矩阵，其中，校准矩阵包括固有相机参数。
111.在第36方面，根据方面14-35中任一方面所述的计算机系统，其中，硬件处理器进一步被可执行指令编程以：至少部分地基于相机校准来将交叉从眼睛的坐标系转换到眼睛图像的坐标系。
112.在第37方面，公开了一种用于边缘边界估计的方法。该方法受硬件处理器的控制。该方法可以应用于眼睛图像(例如，来自视频帧)。
113.在第38方面，公开了一种系统。该系统包括：被配置为对用户眼睛成像的相机；以及与相机通信的硬件处理器，该硬件处理器被编程以分析由相机捕捉的用户眼睛的眼睛图像。
114.在第39方面，根据方面38所述的系统，其中，硬件处理器被编程以实现本文描述的任何方法，用于确定眼睛图像中眼睛的边缘边界。
115.在第40方面，根据方面39所述的系统，其中，硬件处理器被编程以使用所确定的边缘边界来分割来自眼睛图像的虹膜。
116.在第41方面，根据方面38-40中任一方面所述的系统，其中，硬件处理器被编程以在用户的生物信息的提取、计算或确定中使用边缘边界。
117.在第42方面，根据方面38-41中任一方面所述的系统，其中，硬件处理器被编程以将眼睛图像变换为眼睛的坐标系。
118.在第43方面，根据方面42所述的系统，其中，为了将眼睛图像变换为眼睛的坐标系，硬件处理器被编程以通过透视变换将眼睛图像变换为眼睛的坐标系。
119.在第44方面，根据方面42-43中任一方面所述的系统，其中，不利用边缘边界的曲线拟合(例如，到椭圆或一些其他规则或不规则曲线)(例如，在该坐标系中，角膜缘基本上是圆形的)。
120.在第45方面，根据方面38-44中任一方面所述的系统，其中，该系统包括头戴式增强现实、混合现实或虚拟现实显示系统。
121.在第46方面，根据方面45所述的系统，其中，显示系统包括光场显示系统。
122.结论
123.本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化：代码模块，其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行；和/或电子硬件，其被配置为执行具体和特定计算机指令。例如，计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中，安装在动态链接库中，或可用解释性编程语言编写。在一些实施方式中，特定操作和方法可由特定于给定功能的电路来执行。
124.此外，本公开的功能的特定实施方式在数学上、计算上或技术上都足够复杂，以至于为了执行所述功能(例如由于所涉及的计算量或复杂性)或为了基本实时地提供结果，专用硬件或者一个或多个物理计算设备(利用适当的专有可执行指令)可以是必需的。例如，视频可包括多个帧，每帧具有数百万个像素，为了处理视频数据以在商业合理的时间量内提供期望的图像处理任务或应用，专用编程计算机硬件是必需的。
125.代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(ram)、只读存储器(rom)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的介质和基于有线/电缆的介质，且可采取多种形式(例如，作为单一或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储器中，或可经由计算机可读传输介质进行传输。
126.本文所描述和/或附图所描绘的流程图、伪码或方法中的任何过程、框、状态、步骤、动作或功能应当被理解为潜在地表示代码模块、代码段或代码部分，它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中，额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序，且与其相关的框、步骤或状态能以适当的其他顺序来执行，例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外，本文所述的实施方式中的分离各种系统组件是出于说明的目的，且不应被理解为在所有实施方式中都需要这样的分离。应该理解，所描述的程序组件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。许多实施方式变体是可行的。
127.过程、方法以及系统可在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(lan)、广域网(wan)、个人区域网络(pan)、云计算网络、众包计算网络、因特网以及万维网。网络可以是有线或无线网络或者任何其他类型的通信网络。
128.本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公
开的范围内。对此公开所述的实施方式的各种修改对于本领域技术人员而言可以是显而易见的，且在不脱离此公开的精神或范围的情况下，可将本文中限定的一般原理应用于其他实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本文所公开的此公开、原理和新颖特征一致的最宽范围。
129.在单独实施方式的上下文中在此说明书所述的某些特征也能在单个实施方式中组合实现。相反，在单个实施方式的上下文中所述的各种特征也能在多个实施方式中单独地或以任何合适的子组合实现。此外，尽管上文可将特征描述为以某些组合执行，甚至最初这样要求保护，但在一些实施方式中，来自所要求保护的组合的一个或多个特征能被从该组合中删除，且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
130.本文中使用的条件语，诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素、动作和/或步骤，另有具体说明或在上下文中另有理解除外。因此，这样的条件语一般不旨在暗示特征、元素、动作和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素、动作和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包括”、“具有”等是同义词，且以开放式的方式包括性地使用，且不排除额外的元素、特征、动作、操作等。此外，术语“或”以其包括性含义(而不是其专有性含义)使用，因此，当被用于例如连接元素列表时，术语“或”意味着列表中的一个、一些或全部元素。另外，本技术和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”，另有具体说明除外。
131.如本文所使用的，涉及项目列表的“至少一个”的短语指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在覆盖：a、b、c、a和b、a和c、b和c以及a、b和c。诸如短语“x、y以及z中的至少一个”的连接语(除非另有声明)以通常使用的上下文来理解，以表达项目、术语等可以是x、y或z中的至少一个。因此，这样的连接语一般并不旨在暗示某些实施例要求x中的至少一个、y中的至少一个以及z中的至少一个中的每个都存在。
132.类似地，虽然操作在附图中可以以特定顺序描绘，但应认识到，这样的操作不需要以所述特定顺序或以相继顺序执行，或执行所有例示的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作能并入示意性地示出的示例方法和过程中。例如，能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外，在其他实施方式中，操作可被重新排列或重新排序。在某些情况下，多任务和并行处理可具有优势。此外，上述实施方式描述的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离，且应该理解，所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外，其他实施方式处于以下权利要求的范围内。在一些实施方式中，权利要求中列举的动作能以不同的顺序执行，且仍实现期望的结果。