具有几何危险物检测的盲人辅助眼镜的制作方法

具有几何危险物检测的盲人辅助眼镜
相关申请的交叉引用
1.本技术要求于2020年6月16日提交的名称为“具有几何危险物检测的盲人辅助眼”的美国申请序列号16/902,850的优先权，该专利申请的内容全文以引用方式并入本文。
技术领域
2.本主题涉及一种眼戴设备，例如，智能眼镜。


背景技术：

3.现今可获得的便携式眼戴设备，诸如智能眼镜、头饰和头戴器，集成了相机和透视显示器。
附图说明
4.附图仅以示例的方式而不是以限制的方式描绘了一个或多个具体实施。在附图中，相同的附图标记表示相同或相似的元素。
5.图1a是眼戴设备的示例性硬件配置的侧视图，其示出了具有图像显示器的右光学组件，并且基于检测到的用户的头部或眼睛移动对呈现在图像显示器上的用户界面应用视场调整；
6.图1b是图1a的眼戴设备的镜腿的顶部横截面图，其描绘了右可见光相机、用于追踪眼戴设备的用户的头部移动的头部移动追踪器和电路板；
7.图2a是眼戴设备的示例性硬件配置的后视图，该眼戴设备包括框架上的眼睛扫描仪，该眼睛扫描仪在系统中用于识别眼戴设备的用户；
8.图2b是另一眼戴设备的示例性硬件配置的后视图，该另一眼戴设备包括镜腿上的眼睛扫描仪，该眼睛扫描仪在系统中用于识别眼戴设备的用户；
9.图2c和图2d是包括两种不同类型的图像显示器的眼戴设备的示例性硬件配置的后视图。
10.图3示出了图2a的眼戴设备的后透视图，其描绘了红外发射器、红外相机、框架前部、框架后部和电路板；
11.图4是穿过图3的眼戴设备的红外发射器和框架截取的横截面图；
12.图5示出了检测眼睛注视方向；
13.图6示出了检测眼睛定位；
14.图7描绘了由左可见光相机捕获的可见光作为左原始图像以及由右可见光相机捕获的可见光作为右原始图像的示例；
15.图8a示出了基于相机的补偿系统，其识别图像中的对象，将识别出的对象转换为文本，然后将文本转换为指示图像中识别出的对象的音频，并且让远程操作员为用户提供指导；
16.图8b示出了识别图像中的物理对象的几何特征的基于相机的补偿系统；
17.图9示出了眼戴设备的电子部件的框图；
18.图10是提供指示检测到的对象的音频的眼戴设备的操作的流程图；
19.图11是从远程设备向用户提供音频辅助的眼戴设备的操作的流程图；并且
20.图12是使用算法来确定物理对象的几何特征的眼戴设备的操作的流程图。
具体实施方式
21.本公开包括具有基于相机的补偿的眼戴器的示例，该眼戴器改善了眼戴设备的用户体验，包括针对部分失明或完全失明的用户。该基于相机的补偿使用眼戴器相机和算法来检测物理对象的几何特征，诸如边缘。当检测到物理对象时生成警报，诸如音频警报，其可以指示附近物理对象的存在、对象距眼戴器的距离以及对象的类型。这种类型的几何检测使用较少的处理功率，因此延长了电池寿命。
22.示例的其他目的、优点和新颖特征将部分地在以下具体实施方式中阐述，并且部分地在本领域技术人员检查以下内容和附图后将变得显而易见，或者可通过示例的生产或操作来了解。本主题的目的和优点可借助于所附权利要求书中特别指出的方法、手段和组合来实现和达成。
23.在以下具体实施方式中，以示例的方式阐述了许多具体细节，以便提供对相关教导内容的透彻理解。然而，对于本领域技术人员应当显而易见的是，本教导内容可在没有此类细节的情况下被实践。在其他情况下，在较高的层次上对公知的方法、过程、部件和电路进行了描述而没有描述细节，以便避免不必要地使本教导内容的各方面晦涩难懂。
24.如本文所用，术语“耦接”是指任何逻辑、光学、物理或电连接、链接等，由一个系统元件产生或提供的信号或光通过这些连接、链接等传递到另一耦接元件。除非另外描述，否则耦接元件或设备不一定直接彼此连接，并且可以由可修改、操纵或承载光或信号的中间组件、元件或通信介质隔开。
25.出于说明和讨论的目的，仅以示例的方式给出了诸如附图中的任一附图所示的眼戴设备、相关联部件和结合了眼睛扫描仪和相机的任何完整设备的定向。在用于特定可变光学处理应用的操作中，眼戴设备可以在适合于眼戴设备的特定应用的任何其他方向上定向，例如，向上、向下、侧向或任何其他定向。此外，就本文所用的范围而言，任何方向性术语，诸如前、后、内、外、向、左、右、侧向、纵向、上、下、高、低、顶部、底部和侧面，仅以示例的方式使用，并且不限制如本文另外描述的那样构造的任何光学器件或光学器件的部件的方向或定向。
26.现在详细参考附图所示和下文所讨论的示例。
27.图1a是眼戴设备100的示例性硬件配置的侧视图，该眼戴设备包括具有图像显示器180d(图2a)的右光学组件180b。眼戴设备100包括形成立体相机的多个可见光相机114a-b(图7)，其中右可见光相机114b位于右镜腿110b上。
28.左和右可见光相机114a-b具有对可见光范围波长敏感的图像传感器。可见光相机114a-b中的每一者具有不同的前向覆盖角度，例如，可见光相机114b具有所描绘的覆盖角度111b。覆盖角度是可见光相机114a-b的图像传感器拾取电磁辐射并生成图像的角度范围。此类可见光相机114a-b的示例包括高分辨率互补金属氧化物半导体(cmos)图像传感器和视频图形阵列(vga)相机，诸如640p(例如，640
×
480像素，总共0.3兆像素)、720p或
1080p。来自可见光相机114a-b的图像传感器数据与地理位置数据一起被捕获，被图像处理器数字化，并被存储在存储器中。
29.为了提供立体视野，可见光相机114a-b可耦接到图像处理器(元素912，图9)以用于顺着捕获场景图像的时间戳进行数字处理。图像处理器912包括电路，用于接收来自可见光相机114a-b的信号，并将来自可见光相机114a-b的那些信号处理成适于存储在存储器(元件934，图9)中的格式。时间戳可以由控制可见光相机114a-b的操作的图像处理器912或其他处理器添加。可见光相机114a-b允许立体相机模拟人类双眼视野。立体相机提供基于两个捕获的图像(元素758a-b，图7)来再现三维图像(元素715，图7)的能力，这两个捕获的图像分别来自可见光相机114a-b并具有相同的时间戳。此类三维图像715允许沉浸式逼真体验，例如，用于虚拟现实或视频游戏。对于立体视野，在给定时刻生成一对图像758a-b，左和右可见光相机114a-b中的每一者各生成一个图像。当从左和右可见光相机114a-b的前向覆盖角度111a-b生成的一对图像758a-b被拼接(例如，被图像处理器912拼接)在一起时，由光学组件180a-b提供深度感知。
30.在示例中，用户界面视场调整系统包括眼戴设备100。眼戴设备100包括框架105、从框架105的右侧面170b延伸的右镜腿110b和透视图像显示器180d(图2a-b)，该透视图像显示器包括光学组件180b以向用户呈现图形用户界面。眼戴设备100包括连接到框架105或左镜腿110a的左可见光相机114a以捕获场景的第一图像。眼戴设备100进一步包括连接到框架105或右镜腿110b的右可见光相机114b以捕获(例如，与左可见光相机114a同时捕获)场景的第二图像，该第二图像与第一图像部分重叠。尽管在图1a-b中未示出，但是用户界面视场调整系统进一步包括：处理器932，该处理器耦接到眼戴设备100且连接到可见光相机114a-b；处理器932可访问的存储器934和存储器934中的程序，例如，眼戴设备100本身或用户界面视场调整系统的另一部分中。
31.尽管在图1a中未示出，但是眼戴设备100还包括头部移动追踪器(元件109，图1b)或眼睛移动追踪器(元件213，图2a-b)。眼戴设备100进一步包括：光学组件180a-b的透视图像显示器180c-d，其用于呈现一系列显示图像；和图像显示器驱动器(元件942，图9)，其耦接到光学组件180a-b的透视图像显示器180c-d以控制光学组件180a-b的图像显示器180c-d呈现一系列显示图像715，这将在下文进一步详细描述。眼戴设备100还包括存储器934和处理器932，该处理器有权访问图像显示器驱动器942和存储器934。眼戴设备100还包括存储器中的程序(元素934，图9)。由处理器932执行程序将眼戴设备100配置为执行功能，包括经由透视图像显示器180c-d呈现一系列显示图像中的初始显示图像的功能，该初始显示图像具有与初始头部方向或初始眼睛注视方向(元素230，图5)对应的初始视场。
32.由处理器932执行程序进一步将眼戴设备100配置为通过以下操作来检测眼戴设备的用户的移动：(i)经由头部移动追踪器(元件109，图1b)追踪用户头部的头部移动，或(ii)经由眼睛移动追踪器(元件113、213，图2a-b、图5)追踪眼戴设备100的用户的眼睛的眼睛移动。由处理器932执行程序进一步将眼戴设备100配置为基于检测到的用户的移动来确定对初始显示图像的初始视场的视场调整。视场调整包括与接续头部方向或接续眼睛方向对应的接续视场。由处理器932执行程序进一步将眼戴设备100配置为基于视场调整来生成一系列显示图像中的接续显示图像。由处理器932执行程序进一步将眼戴设备100配置为经由光学组件180a-b的透视图像显示器180c-d呈现接续显示图像。
33.图1b是图1a的眼戴设备100的镜腿的顶部横截面图，其描绘了右可见光相机114b、头部移动追踪器109和电路板。除了连接和耦接位于左侧面170a上之外，左可见光相机114a的结构和布置基本上类似于右可见光相机114b。如图所示，眼戴设备100包括右可见光相机114b和电路板，该电路板可以是柔性印刷电路板(pcb)140。右铰链126b将右镜腿110b连接到眼戴设备100的右镜腿125b上。在一些示例中，右可见光相机114b、柔性pcb 140或其他电连接器或触点等部件可位于右镜腿125b或右铰链126b上。
34.如图所示，眼戴设备100具有头部移动追踪器109，其包括例如惯性测量单元(imu)。惯性测量单元是一种电子设备，其使用加速度计和陀螺仪的组合来测量并报告身体的比力、角速率，并且有时也使用磁力计来测量并报告身体周围的磁场。惯性测量单元通过使用一个或多个加速度计检测线性加速度并且使用一个或多个陀螺仪检测旋转速率来工作。惯性测量单元的典型配置：对于以下三个轴中的每个轴：用于左右移动的水平轴(x)、用于顶底移动的垂直轴(y)、用于上下移动的深度或距离轴(z)，每轴包含一个加速度计、陀螺仪和磁力计。加速度计检测重力向量。磁力计定义磁场(例如，面南、面北等)中的旋转，如同生成航向基准的罗盘。三个加速度计用于检测沿以上定义的水平、垂直和深度轴的加速度，轴可以相对于地面、眼戴设备100或佩戴眼戴设备100的用户来定义。
35.眼戴设备100通过经由头部移动追踪器109追踪用户头部的头部移动，从而检测眼戴设备100的用户的移动。头部移动包括在图像显示器上呈现初始显示图像期间头部方向相对于初始头部方向在水平轴、垂直轴或它们的组合上的变化。在一个示例中，经由头部移动追踪器109追踪用户头部的头部移动包括经由惯性测量单元109测量水平轴(例如，x轴)、垂直轴(例如，y轴)或它们的组合(例如，横向或对角移动)上的初始头部方向。经由头部移动追踪器109追踪用户头部的头部移动还包括在呈现初始显示图像期间经由惯性测量单元109测量水平轴、垂直轴或它们的组合上的接续头部方向。
36.经由头部移动追踪器109追踪用户头部的头部移动还包括基于初始头部方向和接续头部方向两者来确定头部方向的变化。检测眼戴设备100的用户的移动进一步包括响应于经由头部移动追踪器109追踪用户头部的头部移动而确定头部方向的变化超过水平轴、垂直轴或它们的组合上的偏移角度阈值。偏移角度阈值在大约3
°
至10
°
之间。如本文所用，术语“约”在指角度时意味着与所述量相差
±
10％。
37.沿水平轴的变化通过例如隐藏、取消隐藏或以其他方式调整三维对象的可见性来将三维对象诸如字符、表情符号、应用程序图标等例如滑入和滑出视场。例如，在一个示例中，当用户向上看时，沿垂直轴的变化显示天气信息、当日时间、日期、日历预约等。在另一示例中，当用户在垂直轴上向下看时，眼戴设备100可断电。
38.右镜腿110b包括镜腿体211和镜腿盖，在图1b的横截面中省略了镜腿盖。设置在右镜腿110b内部的是各种互连的电路板，诸如pcb或柔性pcb，其包括用于右可见光相机114b、麦克风130、扬声器132、低功率无线电路(例如，用于经由bluetooth
tm
的无线近距离网络通信)、高速无线电路(例如，用于经由wifi的无线局域网通信)的控制器电路。
39.右可见光相机114b耦接到或设置在柔性pcb 240上且由可见光相机覆盖镜头覆盖，该镜头通过形成在右镜腿110b中的开口瞄准。在一些示例中，连接到右镜腿110b的框架105包括用于可见光相机覆盖镜头的开口。框架105包括被配置为远离用户的眼睛面向外的前向侧面。用于可见光相机覆盖镜头的开口形成在前向侧面上并穿过前向侧面。在示例中，
在眼戴设备100的用户的右眼的视线或视角中，右可见光相机114b具有面向外的覆盖角度111b。可见光相机覆盖镜头也可粘附到右镜腿110b的面向外的表面，其中开口形成有面向外的覆盖角度，但在不同的向外方向上。耦接也可经由居间部件间接实现。
40.左(第一)可见光相机114a连接到左光学组件180a的左透视图像显示器180c，以生成第一接续显示图像的第一背景场景。右(第二)可见光相机114b连接到右光学组件180b的右透视图像显示器180d，以生成第二接续显示图像的第二背景场景。第一背景场景和第二背景场景部分地重叠以呈现接续显示图像的三维可观察区域。
41.柔性pcb 140设置在右镜腿110b的内部，并且耦接到容纳在右镜腿110b中的一个或多个其他部件。尽管被示出为形成在右镜腿110b的电路板上，但是右可见光相机114b可形成在左镜腿110a、镜腿125a-b或框架105的电路板上。
42.图2a是眼戴设备100的示例性硬件配置的后视图，该眼戴设备包括在框架105上的眼睛扫描仪113，该眼睛扫描仪在系统中用于确定眼戴设备100的佩戴者/用户的眼睛定位和注视方向。如图2a所示，眼戴设备100呈被配置为由用户配戴的形式，其在图2a的示例中是眼镜。眼戴设备100可采取其他形式并且可结合其他类型的框架，例如，头戴器、头戴式耳机或头盔。
43.在眼镜的示例中，眼戴设备100包括框架105，其包括经由适于用户的鼻部的鼻梁架106连接到右边缘107b的左边缘107a。左和右边缘107a-b包括相应的孔口175a-b，这些孔口保持相应的光学元件180a-b，诸如镜头和透视显示器180c-d。如本文所用，术语镜头意味着覆盖透明或半透明玻璃或塑料片，其具有弯曲和平坦表面，使光会聚/发散或几乎或完全不引起会聚/发散。
44.虽然被示出为具有两个光学元件180a-b，但是眼戴设备100可包括其他布置，诸如单个光学元件，这取决于眼戴设备100的应用或预期用户。如图进一步所示，眼戴设备100包括与框架105的左侧面170a相邻的左镜腿110a以及与框架105的右侧面170b相邻的右镜腿110b。镜腿110a-b可在相应的侧面170a-b上集成到框架105中(如图所示)或实施为在相应的侧面170a-b上附接到框架105的单独部件。另选地，镜腿110a-b可集成到附接到框架105的镜腿(未示出)中。
45.在图2a的示例中，眼睛扫描仪113包括红外发射器115和红外相机120。可见光相机通常包括蓝光滤波器以阻挡红外光检测，在示例中，红外相机120是可见光相机，诸如低分辨率视频图形阵列(vga)相机(例如，640
×
480像素，总共0.3兆像素)，其中移除了蓝光滤波器。红外发射器115和红外相机120共同位于框架105上，例如，两者都被示出为连接到左边缘107a的上部部分。框架105或左和右镜腿110a-b中的一者或多者包括电路板(未示出)，该电路板包括红外发射器115和红外相机120。红外发射器115和红外相机120可通过例如焊接连接到电路板。
46.可实施红外发射器115和红外相机120的其他布置，包括以下布置：红外发射器115和红外相机120都在右边缘107b上，或者在框架105上的不同位置中，例如，红外发射器115在左边缘107a上并且红外相机120在右边缘107b上。在另一示例中，红外发射器115在框架105上，并且红外相机120在镜腿110a-b中的一个镜腿上，反之亦然。红外发射器115可基本上连接在框架105、左镜腿110a或右镜腿110b上的任何位置，以发射红外光图案。类似地，红外相机120可基本上连接在框架105、左镜腿110a或右镜腿110b上的任何位置，以捕获所发
射的红外光图案中的至少一个反射变化。
47.红外发射器115和红外相机120被布置为向内面向用户的眼睛，具有眼睛的部分或全部视场，以便识别相应的眼睛定位和注视方向。例如，红外发射器115和红外相机120直接定位在眼睛的前面、框架105的上部部分中或框架105两端的镜腿110a-b中。
48.图2b是另一眼戴设备200的示例性硬件配置的后视图。在该示例性配置中，眼戴设备200被描绘为包括在右镜腿210b上的眼睛扫描仪213。如图所示，红外发射器215和红外相机220共同位于右镜腿210b上。应当理解，眼睛扫描仪213或眼睛扫描仪213的一个或多个部件可位于左镜腿210a上以及眼戴设备200的其他位置，例如，框架205上。红外发射器215和红外相机220与图2a相似，但是眼睛扫描仪213可改变为对不同的光波长敏感，如先前在图2a中所描述的。
49.类似于图2a，眼戴设备200包括框架105，其包括经由鼻梁架106连接到右边缘107b的左边缘107a；并且左和右边缘107a-b包括相应的孔口，这些孔口保持包括透视显示器180c-d的相应的光学元件180a-b。
50.图2c-d是眼戴设备100的示例性硬件配置的后视图，该眼戴设备包括两种不同类型的透视图像显示器180c-d。在一个示例中，光学组件180a-b的这些透视图像显示器180c-d包括集成的图像显示器。如图2c所示，光学组件180a-b包括任何合适类型的合适的显示矩阵180c-d，诸如液晶显示器(lcd)、有机发光二极管(oled)显示器、波导显示器或任何其他此类显示器。光学组件180a-b还包括一个或多个光学层176，其可以任何组合包括镜头、光学涂层、棱镜、反射镜、波导、光学条带和其他光学部件。光学层176a-n可包括棱镜，该棱镜具有合适的尺寸和构造并包括用于接收来自显示矩阵的光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176a-n的棱镜在形成在左和右边缘107a-b中的相应的孔口175a-b的全部或至少一部分上方延伸，以在用户的眼睛透过对应的左和右边缘107a-b观看时允许用户看到棱镜的第二表面。光学层176a-n的棱镜的第一表面从框架105面向上，并且显示矩阵覆盖在棱镜上，使得由显示矩阵发射的光子和光照射在第一表面上。棱镜的尺寸和形状被设计成使得光在棱镜内被折射并且被光学层176a-n的棱镜的第二表面导向用户的眼睛。在这一点而言，光学层176a-n的棱镜的第二表面可以是凸形的以将光导向眼睛的中心。棱镜的尺寸和形状可任选地被设计成放大由透视图像显示器180c-d投影的图像，并且光行进穿过棱镜，使得从第二表面观察的图像在一个或多个维度上大于从透视图像显示器180c-d发射的图像。
51.在另一示例中，光学组件180a-b的透视图像显示器180c-d包括如图2d所示的投影图像显示器。光学组件180a-b包括激光投影仪150，其是使用扫描镜或检流计的三色激光投影仪。在操作期间，光源(诸如激光投影仪150)设置在眼戴设备100的镜腿125a-b中的一个镜腿之中或之上。光学组件180-b包括一个或多个光学条带155a-n，其在光学组件180a-b的镜头的宽度上或在镜头的前表面和后表面之间的镜头的深度上间隔开。
52.当由激光投影仪150投影的光子行进穿过光学组件180a-b的镜头时，光子遇到光学条带155a-n。当特定光子遇到特定光学条带时，光子要么朝向用户的眼睛重定向，要么传递到下一光学条带。激光投影仪150的调制和光学条带的调制的组合可控制特定的光子或光束。在示例中，处理器通过发出机械、声学或电磁信号来控制光学条带155a-n。虽然被示出为具有两个光学组件180a-b，但是眼戴设备100可包括其他布置，诸如单个或三个光学组
件，或者光学组件180a-b可被布置有不同的布置，这取决于眼戴设备100的应用或预期用户。
53.如图2c-d进一步所示，眼戴设备100包括与框架105的左侧面170a相邻的左镜腿110a以及与框架105的右侧面170b相邻的右镜腿110b。镜腿110a-b可在相应的侧面170a-b上集成到框架105中(如图所示)或实施为在相应的侧面170a-b上附接到框架105的单独部件。另选地，镜腿110a-b可集成到附接到框架105的镜腿125a-b中。
54.在一个示例中，透视图像显示器包括第一透视图像显示器180c和第二透视图像显示器180d。眼戴设备100包括保持相应的第一和第二光学组件180a-b的第一和第二孔口175a-b。第一光学组件180a包括第一透视图像显示器180c(例如，图2c的显示矩阵或光学条带155a-n'和投影仪150a)。第二光学组件180b包括第二透视图像显示器180d，例如，图2c的显示矩阵或光学条带155a-n”和投影仪150b)。接续显示图像的接续视场(fov)包括水平、垂直或对角测量的视角，该视角在约15
°
至30
°
之间，更具体地为24
°
。在另一示例中，可以使用更宽的fov，诸如110
°
。具有接续视场的接续显示图像表示通过将呈现在第一和第二图像显示器上的两个显示图像拼接在一起从而可见的组合三维可观察区域。
55.如本文所用，“视角”描述与呈现在光学组件180a-b的左和右图像显示器180c-d中的每一者上的显示图像相关联的视场的角度范围。“覆盖角度”描述可见光相机114a-b或红外相机220的镜头可成像的角度范围。通常，由镜头产生的成像圈大到足以完全覆盖胶片或传感器，可能包括某种程度的渐晕(即，与图像中心相比，朝向外围的图像亮度或饱和度降低)。如果镜头的覆盖角度未遍及传感器，则成像圈将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将限于覆盖角度。“视场”旨在描述眼戴设备100的用户可透过他或她的眼睛经由呈现在光学组件180a-b的左和右图像显示器180c-d上的显示图像看到的可观察区域的范围。光学组件180a-b的图像显示器180c可具有覆盖角度在15
°
至30
°
之间(例如，24
°
)的视场，并且具有480
×
480像素或更大的分辨率。在另一示例中，可以使用更宽的fov，诸如110
°
。
56.图3示出了图2a的眼戴设备的后透视图。眼戴设备100包括红外发射器215、红外相机220、框架前部330、框架后部335和电路板340。在图3中可以看到，眼戴设备100的框架的左边缘的上部部分包括框架前部330和框架后部335。用于红外发射器215的开口形成在框架后部335上。
57.如在框架左边缘的上部中间部分中圈出的横截面4所示，电路板，即柔性pcb340，夹在框架前部330和框架后部335之间。还进一步详细示出了左镜腿110a经由左铰链126a附接到左镜腿325a。在一些示例中，包括红外发射器215、柔性pcb 340或其他电连接器或触点的眼睛移动追踪器213的部件可位于左镜腿325a或左铰链126a上。
58.图4是对应于图3的眼戴设备的圈出的横截面4的穿过红外发射器215和框架的横截面图。在图4的横截面中示出了眼戴设备100的多个层，如图所示，框架包括框架前部330和框架后部335。柔性pcb 340设置在框架前部330上并连接到框架后部335。红外发射器215设置在柔性pcb 340上且由红外发射器覆盖镜头445覆盖。例如，红外发射器215软熔焊接到柔性pcb 340的背面。软熔焊接通过使柔性pcb 340经受受控加热，从而将红外发射器215附接到形成在柔性pcb 340的背面上的接触焊盘，该受控加热使焊膏熔化以连接两个部件。在一个示例中，软熔焊接用于将红外发射器215表面安装在柔性pcb 340上并且将这两个部件
电连接。然而，应当理解，通孔可用于将导线从红外发射器215经由例如互连连接到柔性pcb 340。
59.框架后部335包括用于红外发射器覆盖镜头445的红外发射器开口450。红外发射器开口450形成在框架后部335的后向侧面上，该后向侧面被配置为向内面向用户的眼睛。在该示例中，柔性pcb 340可经由柔性pcb粘合剂460连接到框架前部330。红外发射器覆盖镜头445可经由红外发射器覆盖镜头粘合剂455连接到框架后部335。耦接也可经由居间部件间接实现。
60.在示例中，处理器932利用眼睛追踪器213来确定佩戴者的眼睛234的眼睛注视方向230，如图5所示，以及眼框内佩戴者的眼睛234的眼睛定位236，如图6所示。眼睛追踪器213是扫描仪，其使用红外光照明(例如，近红外、短波长红外、中波长红外、长波长红外或远红外)来捕获来自眼睛234的红外光的反射变化的图像，以确定眼睛234的瞳孔232的注视方向230，以及相对于透视显示器180d的眼睛定位236。
61.图7描绘了用相机捕获可见光的示例。可见光由左可见光相机114a以左可见光相机视场111a捕获作为左原始图像758a。可见光由右可见光相机114b以右可见光相机视场111b捕获作为右原始图像758b。基于对左原始图像758a和右原始图像758b的处理，由处理器932生成三维场景的三维深度图715，此后称为图像。
62.图8a示出了基于相机的补偿系统800处理图像715以改善患有部分或完全失明的眼戴器100/200的用户的用户体验的示例。为了补偿部分或完全失明，基于相机的补偿800的处理器932确定图像715中的对象802，将确定的对象802转换为文本，然后将文本转换为指示图像中的对象802的音频。
63.卷积神经网络(cnn)是一种通常用于图像检测任务的特殊类型的前馈人工神经网络。在示例中，基于相机的补偿系统800使用基于区域的卷积神经网络(rcnn)945。rcnn 945被配置为生成卷积特征映射804，其指示从左和右相机114a-b生成的图像715中的对象802。卷积特征映射804的相关文本由处理器932使用文本转语音算法950来处理。处理器932包括自然语言处理器，其被配置为生成指示图像715中的对象802的音频。
64.在示例中，并且如将参考下面图10进一步详细讨论的，分别从左和右相机114a-b生成的图像715被示出为包括对象802，在该示例中可见骑马的牛仔。图像715被输入到rcnn 945，其基于图像715来生成卷积特征映射804。示例性rcnn可从analytics vidhya(gurugram,haryana,india)获得。处理器932从卷积特征映射804中识别卷积特征映射804中的建议区域，并将它们变换成正方形806。正方形806表示图像715的小于整个图像715的子集，其中在该示例中示出的正方形806包括骑马的牛仔。
65.处理器932使用感兴趣区域(roi)池化层808将正方形806再成形为固定的大小，使得它们可以被输入到完全连接层810中。softmax层814用于基于完全连接层812来预测建议roi的类别，以及来自roi特征向量818用于边界框(bbox)回归816的偏移值。
66.卷积特征映射804的相关文本使用自然语言处理器932通过文本转语音算法950来处理，并且数字信号处理器用于生成指示卷积特征映射804中的文本的音频，诸如在该示例中表示牛仔和马对象的文本。示例性文本转语音算法950可从德国柏林的dfki berlin获得。音频可使用卷积神经网络来解释，或者音频可以被卸载到另一设备或系统。使用扬声器132生成音频，使得用户可听到该音频(图2a)。
67.当用户想要比基于相机的补偿系统800可单独提供的辅助更多的辅助时，或者当基于相机的补偿系统800检测到其无法确定用户前方的环境时，用户可触发眼戴器100/200的辅助模式算法。当辅助模式算法946被触发时，具有如图9所示的移动设备991的物理远程操作员经由通信网络995被呈现包括由眼戴器相机114a-b生成的图像715的视频流和来自麦克风938的可选音频流。如图9所示，移动设备991包括扬声器以生成由眼戴器麦克风938捕获的音频。
68.远程操作员响应地经由通信网络995向眼戴器100/200提供音频反馈和视觉反馈(如果适用的话)，以指示用户采取适当的动作。例如，眼戴器100/200的用户可能想要来自移动设备991的远程操作员的关于如何在拥挤场景或未知障碍物中导航的音频建议。基于远程操作员观看接收到的流式视频并收听音频流(如果提供的话)，远程操作员响应地相应地指示眼戴器100/200的用户。
69.图8b示出了基于相机的补偿系统820处理图像715以改善患有部分或完全失明的眼戴器100/200的用户的用户体验的示例。为了补偿部分或完全失明，基于相机的补偿系统820的处理器932执行算法1200(图12)以检测图像715中的一个或多个物理对象822。基于相机的补偿系统820处理图像715以辨别物理对象822的一个或多个几何特征824，诸如对象822的边缘、角度、表面等。在该示例中，眼戴器100/200的用户附近的对象822被示出为椅子。可以处理和检测许多其他类型的物理对象822，诸如楼梯、长凳、路缘、街灯等，并且不推断对对象822的类型的限制。
70.如图8b所示，下文描述的基于相机的系统820包括尺度不变特征变换(sift)算法952，并参考图12进行描述。图12示出了具有由处理器932执行的若干框的sift算法952的流程图1200。流程图1200包括计算机可执行指令，诸如存储在存储器(诸如图9所示的存储器934)中的代码。
71.在步骤1202，物理对象822的相关几何特征824由处理器932来处理。sift算法952包括预处理步骤，诸如噪声减少。此后，sift算法952执行预处理，诸如对准和校正，从而分别分析左立体图像758a和右立体图像758b。sift算法952通过从两个图像758a和758b中提取并匹配对象822的特征来执行特征检测，从而识别存在于两个图像中的特征。
72.除了特征检测之外，sift算法952还使用检测器(诸如canny边缘检测器)来执行边缘检测。该边缘检测通过以下步骤执行：首先使用高斯滤波器平滑原始边缘，然后应用定向高斯导数滤波器以获得边缘梯度和定向，使用非最大值抑制来细化边缘，以及最后进行阈值处理以分离真实边缘。
73.可以使用补偿系统820中的其他类型的图像处理，并且不推断对基于sift的系统的限制。
74.在步骤1204，三维场景的三维深度图715由处理器932生成，如先前参考图7所描述的并且被称为图像。深度图生成是基于人类双目视觉系统的经典计算机视觉算法。它依赖于两个平行视图-端口，并通过估计左图像758a和右图像758b中匹配关键点-之间的视差来计算深度。由sift算法952识别的左图像758a和右图像758b中匹配特征之间的像素距离由处理器932来计算。通过理解包括相机的光学系统的几何结构(立体基线、分辨率、焦距等)，将像素视差转换成深度值。这可以直接提供所需的输出，或者附加的处理步骤可以帮助按比例放大或增加深度图715的密度。
75.在步骤1206，基于佩戴眼戴器100/200的用户的姿势和定位，深度图715由处理器932分析以寻找可能存在危险的对象822。这可以通过查看直接位于用户运动路径前面的内容的深度来实现。这通过分析深度图715中用户运动方向前方的部分的深度值来实现。
76.在步骤1208，基于所识别的对象822，由处理器932经由立体声扬声器130(图2a)向佩戴眼戴器100/200的用户生成警报，诸如音频警报。该警报可以是诸如识别对象距眼戴器100/200的距离或对象822的类型的格式。例如，“3米远的障碍物”或“3米远的椅子”，这取决于危险通告的设定参数。对象822可以或可以不在警报中具体地标识。通过使用内置数模功能、立体声扬声器和处理器，眼戴器100/200向用户通告可能对眼戴器用户是障碍的对象822的存在。
77.例如，如图9所示，眼戴器100/200诸如通过低功率bluetooth
tm
通信链路925与移动设备990电配对，以在眼戴器100/200与移动设备990之间无线交换数据。移动设备990被配置为经由通信网络995将所接收的包括图像715的视频流和可选音频流传送到远程移动设备991。在另一示例中，眼戴器100/200自身的低功率无线电路924或高速无线电路936被配置为经由通信网络995直接将视频流和可选的音频流传输到远程移动设备991。远程移动设备991的远程操作员响应地将音频反馈经由到移动设备990的通信网络995和低功率通信链路925传送到眼戴器100/200，或者经由通信网络995直接传送到眼戴器100/200。在该示例中，高速电路936具有网络适配器以提供对通信网络995的无线接入。
78.在一个示例中，远程操作员可以是在移动设备991的显示器上观看流式视频并且可选地还在扬声器932上听到可选音频流的朋友。移动设备991类似于移动设备990，并且包括应用，该应用包括被配置为接收和处理所接收的视频流和音频流的计算机指令。
79.图9描绘了包括设置在眼戴器100/200中的示例性电子部件的高级功能框图。例示的电子部件包括处理器932和存储器934，该处理器包括rcnn 945、辅助模式算法946、文本转语音算法950、sift算法952。
80.存储器934包括由处理器932执行以实施眼戴器100/200的功能的指令，包括用于处理器932执行rcnn 945、辅助模式算法946、文本转语音算法950、sift算法952和生成指示可透过光学元件180a-b观察并呈现在图像715中的对象的音频的指令。处理器932从电池(未示出)接收电力并执行存储在存储器934中或与处理器932片上集成的指令，以执行眼戴器100/200的功能，并经由无线连接与外部设备通信。
81.用户界面调整系统900包括可穿戴设备，该可穿戴设备是具有眼睛移动追踪器213(例如，在图2b中示出为红外发射器215和红外相机220)的眼戴设备100/200。用户界面调整系统900还包括经由各种网络连接的移动设备990和服务器系统998。移动设备990可以是智能电话、平板电脑、膝上型计算机、接入点或能够使用低功率无线连接925和高速无线连接937两者与眼戴设备100连接的任何其他此类设备。移动设备990连接到服务器系统998和网络995。网络995可包括有线和无线连接的任何组合。
82.眼戴设备100/200包括至少两个可见光相机114a-b(一个与左侧面170a相关联，一个与右侧面170b相关联)。眼戴设备100/200还包括光学组件180a-b的两个透视图像显示器180c-d(一个与左侧面170a相关联，一个与右侧面170b相关联)。图像显示器180c-d在本公开中是可选的。眼戴设备100还包括图像显示器驱动器942、图像处理器912、低功率电路920和高速电路930。图9所示的用于眼戴设备100/200的部件位于镜腿中的一个或多个电路板
(例如，pcb或柔性pcb)上。另选地或附加地，所描绘的部件可位于眼戴设备100/200的镜腿、框架、铰链或鼻梁架中。左和右可见光相机114a-b可包括数字相机元件，诸如互补金属氧化物半导体(cmos)图像传感器、电荷耦合器件、镜头、或可用于捕获数据(包括具有未知对象的场景的图像)的任何其他相应的可见或光捕获元件。
83.眼睛移动追踪程序945实施用户界面视场调整指令，包括使眼戴设备100经由眼睛移动追踪器213追踪眼戴设备100/200的用户眼睛的眼睛移动。其他实施的指令(功能)使眼戴设备100/200基于与接续眼睛方向对应的检测到的用户的眼睛移动来确定对初始显示图像的初始视场的视场调整。进一步实施的指令基于视场调整来生成一系列显示图像中的接续显示图像。经由用户界面产生接续显示图像作为用户可见的输出。该可见输出出现在光学组件180a-b的透视图像显示器180c-d上，这些显示器由图像显示器驱动器934驱动以呈现一系列显示图像，包括具有初始视场的初始显示图像和具有接续视场的接续显示图像。
84.如图9所示，高速电路930包括高速处理器932、存储器934和高速无线电路936。在示例中，图像显示器驱动器942耦接到高速电路930并且由高速处理器932操作以便驱动光学组件180a-b的左和右图像显示器180c-d。高速处理器932可以是能够管理眼戴设备100/200所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器932包括使用高速无线电路936来管理到无线局域网(wlan)的高速无线连接937上的高速数据传输所需的处理资源。在某些示例中，高速处理器932执行操作系统，诸如linux操作系统或眼戴设备100的其他此类操作系统，并且操作系统被存储在存储器934中以供执行。除了任何其他职责之外，执行眼戴设备100的软件架构的高速处理器932还用于管理利用高速无线电路936的数据传输。在某些示例中，高速无线电路936被配置为实现电气和电子工程师协会(ieee)802.11通信标准，本文中也称为wi-fi。在其他示例中，高速无线电路936可实施其他高速通信标准。
85.眼戴设备100/200的低功率无线电路924和高速无线电路936可包括短距离收发器(bluetooth
tm
)和无线广域网、局域网或广域网收发器(例如，蜂窝或wifi)。包括经由低功率无线连接925和高速无线连接937通信的收发器的移动设备990可使用眼戴设备100/200的架构的细节来实施，网络995的其他元件同样可如此实施。
86.存储器934包括能够存储各种数据和应用的任何存储设备，包括颜色映射、由左和右可见光相机114a-b和图像处理器912生成的相机数据、以及由图像显示器驱动器942生成以在光学组件180a-b的透视图像显示器180c-d上显示的图像。虽然存储器934被示出为与高速电路930集成，但在其他示例中，存储器934可以是眼戴设备100/200的单独的独立元件。在某些此类示例中，电气布线线路可提供从图像处理器912或低功率处理器922通过包括高速处理器932的芯片到存储器934的连接。在其他示例中，高速处理器932可管理存储器934的寻址，使得低功率处理器922将在需要涉及存储器934的读或写操作的任何时间启动高速处理器932。
87.服务器系统998可以是作为服务或网络计算系统的一部分的一个或多个计算设备，例如包括处理器、存储器和网络通信接口以通过网络995与移动设备990和眼戴设备100/200通信的计算设备。眼戴设备100与主计算机连接。例如，眼戴设备100/200经由高速无线连接937与移动设备990配对，或者经由网络995连接到服务器系统998。
88.眼戴设备100/200的输出部件包括视觉部件，诸如光学组件180a-b的左和右图像
显示器180c-d，如图2c-d所述(例如，显示器，诸如液晶显示器(lcd)、等离子体显示面板(pdp)、发光二极管(led)显示器、投影仪或波导)。光学组件180a-b的图像显示器180c-d由图像显示器驱动器942驱动。眼戴设备100/200的输出部件还包括声学部件(例如，扬声器)、触觉部件(例如，振动马达)、其他信号发生器等。眼戴设备100/200、移动设备990和服务器系统998的输入部件可包括字母数字输入部件(例如，键盘、被配置为接收字母数字输入的触摸屏、摄影光学键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指点仪器)、触觉输入部件(例如，物理按钮、提供触摸位置和触摸力或触摸手势的触摸屏或其他触觉输入部件)、包括麦克风938的音频输入部件等。麦克风938捕获接近眼戴设备100/200的音频，该音频可以被流式传输到远程操作员的移动设备991。在一个示例中，麦克风938可以是定向的以对应于所观看的图像。
89.眼戴设备100/200可以可选地包括附加的外围设备元件919。此类外围设备元件可包括生物识别传感器、附加传感器、或与眼戴设备100集成的显示元件。例如，外围设备元件919可包括任何i/o部件，包括输出部件、运动部件、定位部件或本文所述的任何其他此类元件。
90.例如，用户界面视场调整900的生物识别部件包括检测表情(例如，手势、面部表情、声音表达、身体姿势或眼睛追踪)、测量生物信号(例如，血压、心率、体温、出汗或脑电波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等。定位部件包括生成位置坐标的位置传感器部件(例如，全球定位系统(gps)接收器部件)、生成定位系统坐标的wifi或bluetooth
tm
收发器、高度传感器组件(例如，高度计或检测气压的气压计，可从气压导出高度)、方向传感器部件(例如，磁力计)等。还可经由低功率无线电路924或高速无线电路936从移动设备990通过无线连接925和937接收此类定位系统坐标。
91.根据一些示例，“一个或多个应用”是执行在程序中定义的功能的程序。可采用各种程序设计语言来生成以各种方式结构化的应用中的一个或多个应用，诸如面向对象的程序设计语言(例如，objective-c、java或c )或面向过程程序设计语言(例如，c语言或汇编语言)。在特定示例中，第三方应用(例如，由除特定平台的供应商之外的实体使用android
tm
或ios
tm
软件开发工具包(sdk)开发的应用)可以是在移动操作系统(诸如ios
tm
、android
tm
、电话或另一移动操作系统)上运行的移动软件。在该示例中，第三方应用可调用由操作系统提供的api调用，以促进本文所述的功能。
92.图10是示出眼戴设备100/200的操作的流程图1000，该眼戴设备包括由高速处理器932执行存储在存储器934中的指令生成的文本转语音算法950和眼戴器的其他组件。尽管被示出为串行发生，但是图10的框可根据具体实施被重新排序或并行化。
93.使用rccn 945来执行框1002-1010。
94.在框1002处，处理器932等待用户输入或上下文数据和图像捕捉。在示例中，输入是分别从左和右相机114a-b生成的图像715，并且示出为包括在该示例中示出为骑马的牛仔的对象802。
95.在框1004处，处理器932将图像715传递通过rccn 945以生成卷积特征映射804。处理器932使用在图像715中的图像像素阵列上使用滤波器矩阵的卷积层，并且执行卷积运算
以获得卷积特征映射804。
96.在框1006处，处理器932使用roi池化层808将卷积特征映射804的建议区域再成形为正方形806。处理器可编程以确定正方形806的形状和大小，从而确定处理多少对象并避免信息过载。roi池化层808是在使用卷积神经网络的对象检测任务中使用的操作。例如，在该示例中检测单个图像中骑马的牛仔。其目的是对非均匀大小的输入执行最大池化，以获得固定大小的特征映射(例如，7
×
7)。
97.在框1008处，处理器932处理完全连接层810，其中softmax层814使用完全连接层812来预测建议区域的类别和边界框回归816。softmax层通常是神经网络中执行多类别分类(例如：对象辨别)的最终输出层。
98.在框1010处，处理器932识别图像715中的对象802，并且选择相关对象802。处理器932可编程以识别并选择正方形806中的不同类别的对象802，例如，道路的交通灯和交通灯的颜色。在另一示例中，处理器932被编程为识别并选择正方形806中的移动对象，诸如车辆、火车和飞机。在另一示例中，处理器被编程为识别并选择标牌，诸如人行横道、警告标牌和信息标牌。在图8a的示例中，处理器932将相关对象802识别为牛仔和马。
99.在框1012处，重复框1002-1010，以便识别图像715中的字母和文本。处理器932识别相关字母和文本。在一个示例中，如果相关字母和文本占据图像715的最小部分，诸如图像的1/1000或更大，则可确定相关字母和文本是相关的。这限制了对不感兴趣的更小字母和文本的处理。相关对象、字母和文本被称为特征，并且全部被提交给文本转语音算法950。
100.框1014-1024由文本转语音算法950执行。文本转语音算法950处理从rccn945接收到的相关对象802、字母和文本。
101.在框1014处，处理器932按照用户请求或上下文来解析图像715的文本以获得相关信息。该文本由卷积特征映射804生成。
102.在框1016处，处理器932预处理文本以便扩展缩写和数字。这可包括将缩写翻译成文本单词，并且将数字翻译成文本单词。
103.在框1018处，处理器932使用用于未知单词的词典或规则来执行字素转音素的转换。字素是任何给定语言的书写系统的最小单位。音素是给定语言的言语语音。
104.在框1020处，处理器932通过应用持续时间和声调的模型来计算声学参数。持续时间是两个事件之间经过的时间量。声调是口语音高在使用时的变化，不是用于将单词区分为义素(称为音调的概念)，而是用于一系列其他功能，诸如指示说话者的态度和情绪。
105.在框1022处，处理器932通过合成器传递声学参数以从音素串生成声音。合成器是由处理器932执行的软件功能。
106.在框1024处，处理器932通过扬声器132播放指示图像715中的对象802以及字母和文本的音频。音频可以是具有适当持续时间和声调的一个或多个单词。单词的音频声音预先录制、存储在存储器934中并合成，使得可基于单词的不同分解来播放任何单词。在合成的情况下，也可以将特定单词的声调和持续时间存储在存储器934中。
107.图11是示出眼戴设备100/200的操作的流程图1100，该眼戴设备包括由高速处理器932执行存储在存储器934中的指令生成的辅助模式算法946和眼戴器的其他组件。尽管被示出为串行发生，但是图11的框可根据具体实施被重新排序或并行化。
108.在框1102处，当眼戴器用户想要远程辅助时，例如接收音频指令以在拥挤场景或
未知障碍物中导航时，眼戴器用户触发眼戴设备100/200以提供远程辅助。在一个示例中，这包括眼戴器用户选择眼戴设备100/200的输入，诸如双击音量按钮，或生成语音命令，如说出短语“提供辅助”。
109.在框1104处，处理器932通过经由通信网络995将由相机114a-b生成的图像715流式传输到远程设备991来响应该触发。可选地，在眼戴设备100/200附近捕获的音频也由处理器932流式传输到远程设备991。眼戴设备100/200可经由移动设备990和通信网络995经由低功率链路925通信，或者直接经由通信网络995通信。远程设备991的远程操作员观看流式视频，收听流式音频，并且生成音频指令，诸如关于如何在拥挤场景或未知障碍物中导航的建议，该建议由移动设备991的麦克风接收并且经处理以发送到眼戴器100/200。
110.在框1106处，眼戴器100/200的处理器932经由通信网络995从远程设备991的远程操作员接收音频指令。处理音频指令，然后由扬声器132生成指示音频指令的音频。远程设备990可以用于或可以不用于将音频指令传送到眼戴器100/200，如所讨论的。眼戴器用户可基于音频指令在拥挤场景或未知障碍物中导航。
111.应当理解，除非本文另外阐述了特定的含义，否则本文所用的术语和表达具有与关于它们对应的相应调查和研究领域的此类术语和表达一致的通常含义。诸如“第一”和“第二”等的关系术语仅可用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这些实体或动作之间的任何实际的此类关系或顺序。术语“包括”、“包含”、“含有”、“具有”或其任何其他变型形式旨在涵盖非排他性的包括，使得包括或包含一系列元素或步骤的过程、方法、制品或装置不仅包括那些元素或步骤，而是还可以包括未明确列出的或对于此类过程、方法、制品或装置固有的其他元素或步骤。在没有进一步限制的情况下，前缀为“一”或“一个”的元素并不排除在包括该元素的过程、方法、制品或装置中另外的相同元素的存在。
112.除非另有说明，否则本说明书中，包括所附权利要求书中阐述的任何和所有测量、值、额定值、定位、量值、尺寸和其他规格是近似的，而不是精确的。此类量旨在具有与它们涉及的功能和它们所属的领域中的惯例一致的合理范围。例如，除非另外明确说明，否则参数值等可以从所述量变化多达
±
10％。
113.此外，在前述具体实施方式中可看出，出于使本公开简化的目的，各种特征在各种示例中被组合在一起。公开的本方法不应被解释为反映所要求保护的示例需要比每个权利要求中明确记载的特征更多的特征的意图。相反，如以下权利要求所反映的，要求保护的本主题在于少于任何单个公开的示例的所有特征。因此，将以下权利要求据此并入到具体实施方式中，其中每个权利要求作为独立要求保护的主题而独立存在。
114.虽然前文已描述了被认为是最佳模式的示例和其他示例，但应当理解，可在其中作出各种修改且本文所公开的主题可以各种形式和示例来实施，并且其可应用于许多应用中，本文仅描述了其中的一些应用。所附权利要求书旨在要求保护落入本发明构思的真实范围内的任何和所有修改和变型。