发光二极管(LED)阵列的事件驱动型传感器(EDS)跟踪的制作方法

发光二极管(led)阵列的事件驱动型传感器(eds)跟踪
技术领域
1.本技术大体来说涉及必须根植于计算机技术并且产生实在的技术改进的技术创新性的非常规解决方案。


背景技术：

2.同时定位与地图构建(slam)地图可用于帮助自主机器人在房间或建筑物内导航，并且也帮助用户在佩戴增强现实(ar)头戴式显示器(hmd)时在房间或建筑物内导航。举例来说并且如本文中所理解，为了在hmd上适当地呈现虚拟现实(vr)图像且出于其他原因，ar hmd系统必须通常使用slam原理来跟踪hmd的姿势、佩戴者的手和其他真实世界目标等。
3.这是处理密集型的并且消耗hmd中的大量电池电力和计算资源。此外，传统slam技术必须考虑到特征点识别并不绝对的事实。因此，可能出现特征不匹配。因此，使用各种技术来防止跟踪失败。举例来说，这些包括ransac异常值剔除、在优化时使用损失函数和多步帧匹配验证。


技术实现要素：

4.为了解决本文中所述的挑战，本发明原理使用依据eds原理检测运动的事件驱动型传感器(eds)感测单元。eds使用由一个或多个像素感测到的光强度的改变来作为运动的指示。因此，符合本公开的eds提供指示由感光阵列的至少一个像素感测到的光强度的改变的输出。举例来说，如果由像素感测到的光正在减小，则eds的输出可以是-1；如果由像素感测到的光正在增大，则eds的输出可以是 1。输出二进制信号0可指示低于某一阈值的光强度的没有改变。
5.使用将脉冲式发光二极管(led)与通过eds检测脉冲组合的本发明技术，只需非常少的计算电力来检测特征点并且无需防止跟踪失败，原因在于每一led在精确获悉的时间发出脉冲。通过对事件时间与led闪烁时间进行比较，可确定事件与哪一led相关。可使用eds的输出、使用一步优化(诸如卡尔曼滤波器)来执行slam算法，从而减小功耗。
6.led被布置成阵列且一次短暂地(例如，在几微秒内)激活一个led。eds事件阈值足够高以仅检测led所致的“ ”事件或
“‑“
事件。由于一次仅激活并撤销激活一个led并且由于eds提供准确的事件时间戳，因此能直接分辨哪一事件对应于哪一led。led阵列可以是静止的且eds是移动的，或eds可以是静止的且led阵列是移动的。
7.由于eds仅检测强度改变，因此可使用非常短的脉冲以极高的频率一次跟踪(并且分辨哪一led是哪一个)大数目个led，例如每秒对每一led进行大于一千次检测。
8.就可移动的eds实施方式而言，提供如slam一样的实例性解决方案。在此种情形中，所有的“特征”是相异的并且不需要进行图像处理和特征比较或实施损失函数。就可移动的led实施方式而言，提供hmd姿势跟踪解决方案实例。
9.因此，在第一方面，一种系统包括至少一个发光二极管(led)组合件，所述至少一个发光二极管组合件被配置成使得所述组合件中的个别led一次一个led地发射光。所述系
统也包括至少一个事件驱动型传感器(eds)，所述至少一个事件驱动型传感器被配置成响应于led发射而输出表示照明强度的改变的信号。所述系统还包括至少一个处理器，所述至少一个处理器被配置成依据指令至少部分地基于来自所述eds的所述信号来生成同时定位与地图构建(slam)信息。
10.在一些实施方式中，所述eds是可移动的，并且所述led组合件是静止的。在其他实施方式中，所述eds是不可移动的，并且所述led组合件是可移动的。在其他实施方式中，所述eds和所述led组合件两者皆可移动。
11.在实例性实施方案中，所述eds是第一eds并且所述系统包括第二eds以便于所述处理器确定立体slam。在其他实施方案中，所述eds是第一eds并且所述处理器仅从所述第一eds而不从其他eds接收信息以确定单眼slam。在后一种情形中，所述处理器可被配置成依据指令至少部分地通过以下操作来确定初始三角测量和姿势估计：从所述eds至少接收第一帧和第二帧，所述第一帧和所述第二帧是使用来自不同led的多个事件生成；从所述第一帧和所述第二帧确定基本矩阵；从所述基本矩阵计算本质矩阵；以及将所述本质矩阵分解成四个运动假设；基于所述四个运动假设中的第一运动假设不具有异常值而选择所述第一运动假设；以及使用所述第一运动假设，通过使用所述第一运动假设作为参考来三角测量新的led方位而执行slam。
12.在另一方面，一种方法包括：一次一个地为多个灯供能；以及使用事件检测器传感器(eds)来检测由为所述灯供能所产生的事件。所述方法包括：使用所述eds的输出来在增强现实(ar)环境中生成同时定位与地图构建(slam)信息。
13.在另一方面，一种系统包括至少一个头戴式显示器(hmd)，所述至少一个头戴式显示器被配置成呈现虚拟现实(vr)图像，同时准许所述hmd的佩戴者通过所述hmd观察至少第一真实世界目标。所述系统还包括可个别供能灯的至少一个集群和至少一个事件驱动型传感器(eds)，所述至少一个事件驱动型传感器被配置成生成表示由所述灯的激活产生的事件的信号，以确定所述hmd的至少一个姿势和/或所述第一真实世界目标的位置。
14.参考附图可最好地理解本技术在其结构和操作上的细节，在附图中相似的参考编号指代相似的部分，并且在附图中：
附图说明
15.图1是包括根据本发明原理的实例的实例性系统的框图；
16.图2是实例性单眼slam系统的框图；
17.图2是实例性立体slam系统的框图；
18.图4是eds可移动并且led静止的系统的示意图；
19.图5是eds静止并且led可移动的系统的示意图；
20.图6是eds和led皆可移动的系统的示意图；
21.图7图解说明一次一个地激活led；
22.图8是符合本发明原理的实例性逻辑的流程图；
23.图9是符合本发明原理的实例性单眼slam初始化逻辑的流程图；
24.图10是单眼slam初始化的示意性图解说明；并且
25.图11示意性地图解说明将惯性测量单元(imu)与eds协作使用以改进跟踪。
具体实施方式
26.本公开大体来说涉及包括消费型电子(ce)装置网络的各方面的计算机生态系统，诸如但不限于计算机模拟网络，诸如计算机游戏网络以及独立计算机模拟系统。本文中的装置和组件可在网络中使用所谓的“5g”来进行通信且因此本文中的一个或多个收发器可以是5g收发器。5g是一种数字蜂窝通信技术，其能够在每秒数百兆位到千兆位的范围内进行无线数据通信。与先前技术相比，5g具有更高的数据吞吐量、更低的功耗并且不易出错。由于可使用5g将极大量的数据从终端用户装置无线地传达到云服务器，因此本发明原理认识到，可将现在对本地装置执行的更多计算卸载到比以前所实践的更快更强大的云服务器，包括计算机游戏的处理在内。目前国际电信联盟imt-2020标准以及行业标准团体3gpp所提出的5g新无线电(5g nr)对5g进行了描述。电气电子工程师(ieee)1914系列中也描述了5g的各方面。
27.本文中的系统可包括服务器和客户端组件，所述服务器和客户端组件经由网络连接以使得可在客户端与服务器组件之间交换数据。客户端组件可包括一个或多个计算装置，包括诸如sony 等游戏控制台或由microsoft或nintendo或者虚拟现实(vr)头戴机、增强现实(ar)头戴机、便携式电视(例如智能tv、能联网tv)、便携式计算机(诸如，膝上型计算机和平板计算机)以及其他移动装置(包括智能电话和下文所论述的额外实例)的其他制造商制作的游戏控制台。这些客户端装置可在各种操作环境中操作。举例来说，客户端计算机中的一些客户端计算机可采用例如linux操作系统、来自microsoft的操作系统或unix操作系统或由apple computer或google生产的操作系统。这些操作环境可用于执行一个或多个浏览程序，诸如由microsoft或google或mozilla制作的浏览器、或可访问由下文所论述的因特网服务器托管的网站的其他浏览器程序。此外，根据本发明原理的操作环境可用于执行一个或多个计算机游戏程序。
28.服务器和/或网关可包括执行指令的一个或多个处理器，所述指令将服务器配置成经由网络(诸如因特网)接收和传输数据。或者，客户端与服务器可经由局域内联网或虚拟专用网连接。服务器或控制器可具现化为游戏控制台，诸如sony个人计算机等。
29.可经由网络在客户端与服务器之间交换信息。为此并且出于安全起见，服务器和/或客户端可包括防火墙、负载平衡器、暂时性存储器件和代理以及用于可靠性和安全的其他网络基础设施。一个或多个服务器可形成实施向网络成员提供安全社区(诸如，在线社交网站)的方法的设备。
30.如本文中所使用，指令指代用于在系统中处理信息的计算机实施步骤。指令可以软件、固件或硬件来实施并且包括由系统的组件实行的任何类型的经过编程的步骤。
31.处理器可以是任何传统通用单芯片或多芯片处理器，所述处理器可通过各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器来执行逻辑。
32.本文中通过流程图和用户界面描述的软件模块可包括各种子例程、过程等。在不限制本公开的情况下，被陈述为由特定模块执行的逻辑可重新分布到其他软件模块和/或一起组合在单个模块中和/或可在可共享库中获取。
33.可将本文中所述的本发明原理实施为硬件、软件、固件或其组合；因此，在功能方面对说明性组件、块、模块、电路和步骤加以阐述。
34.除了上文提及的内容之外，下文所述的逻辑块、模块和电路可通过通用处理器、数字信号处理器(dsp)、现场可编程门阵列(fpga)或其他可编程逻辑装置(诸如专用集成电路(asic)、离散门或晶体管逻辑、离散硬件组件或被设计成执行本文中所述的功能的其任何组合)来实施或执行。处理器可由控制器或状态机或者由计算装置的组合来实施。
35.下文所述的功能和方法在被实施为软件时可以适当的语言(诸如但不限于java、c#或c )来撰写，并且可存储在计算机可读存储介质(诸如，随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、高密度盘只读存储器(cd-rom)或其他光盘存储器件，诸如数字多功能盘(dvd)、磁盘存储器件或其他磁性存储装置，包括可移除拇指驱动器等)上或通过所述计算机可读存储介质传输。连接可确立计算机可读介质。所述连接可包括例如硬连线缆线，包括光纤和同轴线以及数字用户线(dsl)和双绞线。所述连接可包括无线通信连接，包括红外线和无线电。
36.一个实施方案中所包括的组件可以任何适当的组合用于其他实施方案中。举例来说，本文中所述和/或图中所绘示的各种组件中的任一者可被组合、互换或从其他实施方案排除。
[0037]“具有a、b和c中的至少一者的系统”(同样地“具有a、b或c中的至少一者的系统”以及“具有a、b、c中的至少一者的系统”)包括仅具有a、仅具有b、仅具有c、具有a和b，具有a和c、具有b和c、和/或具有a、b和c等的系统。
[0038]
现在参考图1具体阐述，示出实例性系统10，所述实例性系统10可包括根据本发明原理的上文提及且下文进一步描述的实例性装置中的一者或多者。系统10中所包括的实例性装置中的第一装置是消费型电子(ce)装置，诸如音频视频装置(avd)12，诸如但不限于具有tv调谐器的能联网的tv(相当于控制tv的机顶盒)。然而，另一选择为avd 12可以是电器或家用物品，例如计算机化的能联网的冰箱、洗衣机或烘干机。avd 12或者也可能是计算机化的能联网(“智能”)电话、平板计算机、笔记本计算机、可穿戴计算机化装置，例如计算机化能联网手表、计算机化能联网手环、其他计算机化能联网装置、计算机化能联网音乐播放器、计算机化能联网耳机、计算机化能联网可植入装置，诸如可植入皮肤装置等。无论如何，应理解，avd12被配置成实行本发明原理(例如，与其他ce装置通信以实行本发明原理，执行本文中所述的逻辑以及执行本文中所述的任何其他功能和/或操作)。
[0039]
因此，为了实行所述原理，avd 12可通过图1中所示的组件中的一些或全部来确立。举例来说，avd 12可包括一个或多个显示器14，所述一个或多个显示器14可由高清晰度或超高清晰度“4k”或更高的平面屏幕来实施并且可能够触摸以经由在显示器上触摸来接收用户输入信号。avd 12可包括根据本发明原理的用于输出音频的一个或多个扬声器16以及用于例如将可听命令输入到avd 12以控制avd 12的至少一个额外输入装置18，例如音频接收器/传声器。实例性avd 12也可包括一个或多个网络接口20，所述一个或多个网络接口20用于经由至少一个网络22(诸如，因特网、wan、lan等)在一个或多个处理器24的控制下进行通信。还可包括图形处理器24a。因此，接口20可以是但不限于wi-fi收发器，所述wi-fi收发器是无线计算机网络接口的实例，诸如但不限于网状网络收发器。应理解，处理器24控制avd 12实行本发明原理，包括控制本文中所述的avd12的其他元件，例如控制显示器14在上面呈现图像和从所述显示器14接收输入。此外，注意网络接口20可以是例如有线或无线调制解调器或路由器或其他适当接口，例如无线电话收发器或上文所提及的wi-fi收发器等。
[0040]
除前述内容之外，avd 12还可包括实体地连接(例如使用有线连接)到另一ce装置的一个或多个输入端口26(例如高清晰度多媒体接口(hdmi)端口或usb端口)、和/或将耳机连接到avd 12以通过耳机向用户呈现来自avd 12的音频的耳机端口。举例来说，输入端口26可有线地或无线地连接到音频视频内容的缆线或卫星源26a。因此，源26a可以是例如单独的或集成的机顶盒或卫星接收器。或者，源26a可以是游戏控制台或磁盘播放器，其含有被用户视为最喜欢的内容以达到下文进一步描述的通道分配目的。源26a在被实施为游戏控制台时可包括下文参照ce装置44所述的组件中的一些或全部。
[0041]
avd 12还可包括一个或多个计算机存储器28，诸如并非暂时性信号的磁盘式或固态存储器件，在一些情形中所述计算机存储器28作为独立装置包括在avd的底盘中、或者作为在avd的底盘内部或外部的个人视频记录装置(pvr)或视频磁盘播放器以用于播放av程序、或作为可移除存储器介质。此外，在一些实施方案中，avd 12可包括方位或位置接收器，诸如但不限于蜂窝电话接收器、gps接收器和/或测高仪30，所述方位或位置接收器被配置成例如从至少一个卫星或蜂窝电话塔接收地理方位信息并且将所述信息提供到处理器24和/或与处理器24相结合确定avd 12所安置的海拔。然而，应理解，根据本发明原理可使用除了蜂窝电话接收器、gps接收器和/或测高仪之外的另一适合的方位接收器以例如在例如所有三个维度上确定avd 12的位置。
[0042]
继续描述avd 12，在一些实施方案中，根据本发明原理，avd 12可包括一个或多个相机32，所述一个或多个相机32可以是例如热成像相机、数字相机(诸如，网络摄像机)和/或集成到avd 12中且可由处理器24控制以收集图片/图像和/或视频的相机。avd 12上还可包括蓝牙收发器34和其他近场通信(nfc)元件36以分别使用蓝牙和/或nfc技术来与其他装置进行通信。实例性nfc元件可以是射频识别(rfid)元件。
[0043]
此外，avd 12可包括将输入提供到处理器24的一个或多个辅助传感器37(例如运动传感器，诸如加速度计、陀螺仪、记转器或磁性传感器、红外线(ir)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令等)。avd 12可包括用于接收将输入提供到处理器24的otatv广播的空中tv广播端口38。除前述内容之外，注意avd 12还可包括红外线(ir)传输器和/或ir接收器和/或ir收发器42，诸如ir数据关联(irda)装置。可提供电池(未示出)以为avd 12供电。
[0044]
仍参考图1，除avd 12之外，系统10还可包括一个或多个其他的ce装置类型。在一个实例中，第一ce装置44可用于经由直接发送到avd 12的命令和/或通过下文所述的服务器将计算机游戏音频和视频发送到avd 12，而第二ce装置46可包括与第一ce装置44类似的组件。在所示的实例中，第二ce装置46可被配置为由所示的播放器47携载的ar头戴式显示器(hmd)。在所示的实例中，仅示出两个ce装置44、46，应理解可使用更少或更多的装置。
[0045]
在所示的实例中，为了图解说明本发明原理，所有的三个装置12、44、46被视为例如在家中的娱乐网络的成员或至少在位置(诸如房子)上彼此靠近地存在。然而，除非另有明确要求，否则本发明原理不限于虚线48所图解说明的特定位置。
[0046]
实例性非限制性第一ce装置44可由上述装置(例如，便携式无线膝上型计算机或笔记本计算机或游戏控制器)中的任一者确立，并且因此可具有下文所述的组件中的一者或多者。第一ce装置44可以是用于如将av播放和暂停命令发出到avd 12的远程控制件(rc)，或其可以是经由有线或无线链路与avd 12和/或游戏控制台、个人计算机、无线电话
等通信的更复杂装置，诸如平板计算机、游戏控制器。
[0047]
因此，第一ce装置44可包括可能够触摸的一个或多个显示器50，所述一个或多个显示器50用于经由在显示器上触摸接收用户输入信号。第一ce装置44可包括根据本发明原理的用于输出音频的一个或多个扬声器52以及用于例如将可听命令输入到第一ce装置44以控制装置44的至少一个额外输入装置54，例如音频接收器/传声器。实例性第一ce装置44还可包括一个或多个网络接口56，所述一个或多个网络接口56用于经由网络22在一个或多个ce装置处理器58的控制下通信。也可包括图形处理器58a。因此，接口56可以是但不限于wi-fi收发器，所述wi-fi收发器是无线计算机网络接口的实例，包括网状网络接口。应理解，处理器58控制第一ce装置44(包括本文中所述的第一ce装置44的其他元件)实行本发明原理，例如控制显示器50在上面呈现图像和从显示器50接收输入。此外，注意网络接口56可以是例如有线或无线调制解调器或路由器或其他适当接口，例如无线电话收发器或上文所提及的wi-fi收发器等。
[0048]
除前述内容之外，第一ce装置44还可包括其实体地连接(例如，使用有线连接)到另一ce装置的一个或多个输入端口60(例如，hdmi端口或usb端口)；和/或将耳机连接到第一ce装置44以通过所述耳机向用户呈现来自第一ce装置44的音频的耳机端口。第一ce装置44还可包括一个或多个有形计算机可读存储介质62，诸如磁盘式或固态存储器件。此外，在一些实施方案中，第一ce装置44可包括方位或位置接收器，诸如但不限于蜂窝电话和/或gps接收器和/或测高仪64，所述方位或位置接收器被配置成例如使用三角测量从至少一个卫星和/或单元塔接收地理方位信息，并且将所述信息提供到ce装置处理器58和/或结合ce装置处理器58确定第一ce装置44所安置的海拔。然而，应理解，根据本发明原理可使用除了蜂窝电话和/或gps接收器和/或测高仪之外的另一适合的方位接收器以例如在例如所有三个维度上确定第一ce装置44的位置。
[0049]
继续描述第一ce装置44，在一些实施方案中，根据本发明原理，第一ce装置44可包括一个或多个相机66，所述一个或多个相机66可以是例如热成像相机、数字相机(诸如网络摄像机)和/或集成到第一ce装置44中且可由ce装置处理器58控制以收集图片/图像和/或视频的相机。第一ce装置44上还可包括蓝牙收发器68和其他近场通信(nfc)元件70，以用于分别使用蓝牙和/或nfc技术与其他装置进行通信。实例性nfc元件可以是射频识别(rfid)元件。
[0050]
此外，第一ce装置44可包括将输入提供到ce装置处理器58的一个或多个辅助传感器72(例如运动传感器，诸如加速度计、陀螺仪、记转器或磁性传感器、红外线(ir)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。第一ce装置44可包括其他传感器，例如一个或多个气候传感器74(例如，气压计、湿度传感器、风传感器、光传感器、温度传感器等)和/或将输入提供到ce装置处理器58的一个或多个生物测定传感器76。除前述内容之外，注意在一些实施方案中，第一ce装置44还可包括红外线(ir)传输器和/或ir接收器和/或ir收发器78，诸如ir数据关联(irda)装置。可提供电池(未示出)以为第一ce装置44供电。ce装置44可通过上述通信模式和相关组件中的任一者与avd 12进行通信。
[0051]
第二ce装置46可包括ce装置44的所示组件中的一些或全部。任一个或两个ce装置可由一个或多个电池供电。
[0052]
现在参考前述至少一个服务器80，服务器80包括至少一个服务器处理器82、至少一个有形计算机可读存储介质84(诸如，磁盘式或固态存储器件)以及至少一个网络接口86，所述至少一个网络接口86在服务器处理器82的控制下允许经由网络22与图1的其他装置通信，并且实际上可便于服务器与客户端装置之间根据本发明原理进行通信。注意，网络接口86可以是例如有线或无线调制解调器或路由器、wi-fi收发器或其他适当接口，例如无线电话收发器。
[0053]
因此，在一些实施方案中，服务器80可以是因特网服务器或整个服务器“群”，并且可包括并执行“云”功能以使得系统10的装置可在实例性实施方案中经由服务器80访问“云”环境，以用于例如网络游戏应用。或者，服务器80可由在与图1中所示的其他装置相同的房间中或在附近的一个或多个游戏控制台或其他计算机实施。
[0054]
本文中的方法可被实施为由处理器、经过适合配置的专用集成电路(asic)或现场可编程门阵列(fpga)模块或本领域的技术人员将了解的任何其他方便的方式来执行的软件指令。在采用时，软件指令可包含在非暂时性装置中，诸如cd rom或快闪驱动器。另一选择为，软件代码指令可体现为暂时性布置，诸如无线电或光学信号或经由在因特网上下载。
[0055]
现在参考图2，在第一实例中，示出单眼同时定位与地图构建(slam)布置200，其中具有感测像素204矩阵的一个且仅一个eds202安装在平台206(诸如，图1中所示的hmd 46)上，以检测由激活和撤销激活灯的阵列或集群208中的个别灯所产生的事件。灯可以是发光二极管(led)并且阵列或集群208可安装在真实世界目标210上或者以其他方式与真实世界目标210接合。如图2中所示，额外灯阵列或集群212可类似地与额外目标214相关联。真实世界目标210可以是但不限于hmd 46的佩戴者的手、hmd的佩戴者操控的游戏控制器或其他真实世界目标，包括在例如ar计算机模拟中的其他人。因此，灯阵列或集群的配置可依照其所接合的特定目标而定，例如依照手的每一指关节或人的身体关节处的led而定。如果需要，则惯性监测单元(imu)216可与eds 202相关联以达到本文中别处所论述的目的。imu 216可包括(仅举例来说)陀螺仪、加速度计、磁力仪中的一者或多者。
[0056]
通过此布置，eds的输出信号用于在空间中同时定位所有的led并且跟踪eds姿势。在下文进一步论述的静止eds和可移动led集群的情形中，led的相对方位被认为是预先确定的并且将整个集群208作为刚性体来跟踪。
[0057]
图3图解说明通过使用第一eds 300和第二eds 302的组合输出提供立体slam的替代实施方案，所述第一eds 300和第二eds302可耦合到同一平台304以在需要时检测来自led 306的关于目标308的事件。在立体slam的情形中，不需要进行下文所述的初始化。使用立体视差来三角测量三个维度上的led方位。立体slam的一个益处是由于立体视差用于此目的，因此能够在不存在eds移动的情况下在三个维度上确定相对led方位。
[0058]
图4图解说明含有耦合到平台(诸如hmd 46)的eds的eds组合件400。在此种情形中，eds是可移动的，而led 404的集群402与非移动目标固定地接合。相比之下，在图5中，eds 500静止地安装在例如壁或其他表面上，而led 504的集群502安装在可移动目标506(诸如，显示器508的手持式控制器或远程控制装置)上。注意，除了通过安装在可移动目标506上来可移动之外，集群502可自身可移动地安装在目标506上，例如可旋转地安装。
[0059]
图6在另一方面图解说明其中eds 600在真实世界参考系中可移动(例如，通过耦合到hmd 46)且led 604的集群602同样地可通过耦合到可移动目标606来可移动的实施方
案。如果在eds参考系中正在发生跟踪，不必要求eds是固定的。
[0060]
在任何情形中，跟踪本身是下文进一步公开的一种应用，其描述在耗费非常少甚至不耗费任何计算资源(不进行图像处理)来在图像平面上确定哪一个led是哪一个的情况下以极高的速率区分每一个别led的技术。如本文中所述，跟踪可能如slam一样(具有eds的hmd 46是可移动的，led是静止的但位置是未知的)或如控制器一样(在eds参考系中跟踪led集群)。可能存在这两者的混合，诸如相对于头戴机的hmd姿势跟踪加上控制器位置跟踪、或在预先绘图(led方位是已知的)环境中的hmd姿势跟踪。所有的这些跟踪实例有一个共同之处。必须识别环境中的特征点并可靠地获悉哪一个特征点是哪一个以实现跟踪。本发明技术省略了相机和图像处理，而是使用迅速脉冲式led来获取特征点，从而使用eds来检测这些脉冲。应注意，eds不具有帧的形式概念，其报告事件方位和事件发生的时间，但总体来说来自一轮led供能或激活的事件报告可被视为“帧”。
[0061]
更具体来说，eds连续地监测每一个别像素的光强度，并且如果随时间而变的此强度改变速率高于阈值，则eds生成与所述特定像素x、y坐标相关的事件。可在一些时间窗内收集事件并据此生成伪“帧”。
[0062]
图7图解说明。如时间交错脉冲700中指示，一次仅接通或关断一个led 702。这些脉冲的时序和每次哪一个led发射是提前确立的且因此是已知的。eds 703从每一脉冲700的前缘704检测到正事件，即在激活led时；而eds从每一脉冲700的后缘706检测到负事件，即在撤销激活led时。如所示，脉冲700的前缘在时间上晚于仅前面的脉冲的后缘。eds阈值被设定得足够高以仅检测这些led的瞬时强度改变。由于对脉冲700进行了时间分离，因此分辨哪一事件对应于哪一led得以简化。由于eds速度极高，因此可快速地跟踪大数目个led。
[0063]
针对由eds检测到的每一事件，获得事件检测时间和与所述事件对应的在eds像素阵列中的x与y坐标。由于每一led的接通/关断时间是已知的，因此确定哪一led产生了每一特定事件。
[0064]
图8图解说明实例性逻辑。在方框800处开始，将eds的事件检测阈值确立得足够高以忽视相对小的事件(即相对小的光强度改变)，同时足以检测由激活和撤销激活led所产生的相对大的光强度改变。
[0065]
移动到方框802，针对任何特定ledn，例如首先针对led1，检测至少一个且通常两个事件( 和-)并且eds据此生成事件检测信号。在方框804处，针对每一事件，记录由eds像素阵列感测到的事件检测时间和事件的x-y位置。
[0066]
状态806和808仅指示此过程重复直至已检测到事件的整个“帧”为止，例如直至已检测到来自所有已知led的一轮事件为止。如果否，已在决策方块806处检测了所有的led，方框808指示通过设定n＝n 1来监测下一led(在概念上使用流程图格式)且接着返回到方框802。一旦已检测并记录足够的事件，则逻辑可移动到方框810以输出事件的伪“帧”，可在方框812处将所述伪“帧”发送到处理器以基于所述事件来确定目标(诸如hmd 46和其他真实世界目标)的slam姿势/跟踪，这与基于相机图像执行slam姿势/跟踪类似。换句话说，在所有leds闪烁一次的时间间隔期间积累事件。在跟踪时，使用由eds检测到的事件。
[0067]
现在参考图9和图10，即单眼slam初始三角测量和姿势估计的情形。在方框900处，使用来自不同led的在时间上接近的几个事件来生成几个连续的如视频一样的“帧”(例如，
两个)。移动到图9中的方框902，基于“帧”之间的led对应性来计算基本矩阵1000(图10)。在此种情形中，由于已知哪一个led是哪一个，因此不需要异常值剔除。
[0068]
继续进行到图9中的方框904，将基本矩阵1000转换成本质矩阵。将所述本质矩阵分解成四个运动假设。此可使用本质矩阵1002来完成，本质矩阵1002被定义为：
[0069]
本质矩阵e＝k
t
fk，其中k是固有参数矩阵并且f是基本矩阵。计算出所述本质矩阵的奇异值分解是e：u，v＝svd(e)。由此，导出(图9中的方框904)两个平移假设1004(图10中示出)以及两个旋转假设1006，所述两个平移假设1004由：t
1，2
＝ /-u
0，2，2
(u的最后一列)给出，所述两个旋转假设1006由r1＝u*w*v
t
，r2＝u*w
t
*v
t
给出，其中
[0070]
使用四个假设的每一组合1008来三角测量在三个维度上的led方位并将所述led方位投射回到图像平面上。在四个假设1008中，将仅有一个假设(在图10中的1010处指示)没有异常值。此假设在图9中的方框906处选择并用作真假设，在方框908处指示两个帧之间的初始相对姿势。在此初始化之后，在方框910处，当新的led方位出现在至少两个所生成的“帧”上时，slam可常规地通过三角测量所述新的led方位来起作用。通过使用具有已知姿势的led的投射来确定“帧”姿势。可使用捆绑优化来改善led 3d方位和eds姿势。
[0071]
图11图解说明将imu与eds结合使用来改进跟踪，这类似于使用imu来基于相机图像改进slam跟踪。在帧之间对imu读数求积分并使用所述imu读数来改善真实世界实体目标的总体比例和当前速度。针对单眼slam和立体slam，使用imu来确定相对于垂线的真定向。在连续帧之间对加速度和角速度求积分。角速度组成部分表示对定向改变的估计。图11中的符号1100表示imu信号的组成部分。加速度的第一组成部分表示速度改变加自由落体重力。加速度计的第二组成部分表示方位改变加自由落体重力组成部分。这些(imu组成部分)是改善移动的额外约束。
[0072]
类似设置可用于跟踪具有固定eds的可移动led。led集群可用于此目的。鉴于eds图像平面上的二维led投射，可在三个维度上确定集群姿势。在使用之前，需要校准led集群以确定准确的led相对方位。
[0073]
同样地，可另外使用imu以在有遮挡的情形中且针对同时可观测到不到三个led的情形来改进跟踪。针对此特定跟踪类型，可使用如同卡尔曼滤波器一样的一步优化方法。可使用levenberg-marquardt来实现slam。
[0074]
存在3d姿势复原方法，所述方法使用二维点到三维点的对应来实现刚性体跟踪。通常，从2d点到3d点的对应所获得的解决方案用于起始基于卡尔曼滤波器的跟踪。卡尔曼滤波器跟踪需要初始化，原因在于卡尔曼滤波器是一步求精梯度方法且在初始近似值太远的情况下无法收敛为真正解决方案。一旦可获取任何观测值，立即通过卡尔曼滤波器馈送。卡尔曼滤波器进行两个步骤：预测步骤和校正步骤。预测步骤对系统模型进行演进直至观测时间，而校正步骤调整先前步骤的结果(系统状态)以使得观测的概率更大。鉴于大数目个观测值持续地到来，此会连续地改善系统状态并且使其接近真状态。
[0075]
可一次对所有应用非线性优化。输入是地标观测值和惯性观测值，且输出是eds连续姿势和地标三维方位。
[0076]
将了解，虽然已参考一些实例性实施方案描述了本发明原理，但这些不旨在具限制性，并且各种替代性布置可用于实施本文中所主张的主题。