用于头戴式显示系统中的变形的补偿的制作方法

1.本说明书一般涉及用于头戴式显示器的图像处理和显示对齐校准。


背景技术：

2.随着头戴式显示系统在重量上变得更轻、更薄并且更灵活以促进运输、舒适和美观，这些可穿戴设备也变得更容易变形。如果系统在结构上不稳定，则显示器就会移动、变形并变得错位。这些变形将失真(distortion)和其它误差引入虚拟双目图像。当这种情况发生时，在显示器上感知图像的人可能会感到困惑或不舒服。这会造成不良的观看体验。


技术实现要素：

3.本说明书中描述的主题的创新方面涉及虚拟或增强现实(var)系统中使用的头戴式显示设备的校准。特别地，var系统可用于显示虚拟内容以增强物理现实视图。当var系统的一个或多个显示相关组件变形或未按预期操作时，可能需要校准以确保正确显示虚拟内容。
4.在一些情况下，使用透明显示器，其允许以图像形式的虚拟内容与真实世界环境的视图叠加进行显示。如果一个显示变形，则虚拟内容会根据变形相对于用户的眼睛来移动。如果不考虑，则用户对与真实世界环境相关的图像的感知将是不正确的。这可以被一个人感知为两个单独的图像或双重视觉——每只眼睛一个图像。用户不会看到预期的单个图像，而是会清楚地看到两个图像，它们之间有空间。这可导致不舒服的观看体验。
5.研究表明，双目未对齐会导致人类视觉系统的生理压力，并且人类对虚拟图像关于俯仰、滚动和偏航轴低至2弧分的双目旋转未对齐很敏感。例如，在一些情况下，一只眼睛显示器相对于另一只眼睛显示的2弧分的间距足以引起不适。此外，一个显示器中的变形可导致显示器的各个颜色通道(例如，红色、绿色和蓝色通道)变得相对于彼此偏移。
6.本说明书中描述的系统和方法用于减轻或防止该不舒服的观看体验。这通过使用校准过程来确定用于左眼显示器的图像变换和用于右眼显示器的图像变换来实现。校准过程被配置为在两个眼睛显示器(也称为目镜)中的每一个眼睛显示器上显示图像，每只眼睛一个，观察每个眼睛显示器的图像如何响应每个显示器的变形而变化，并确定每个显示器的变换(例如，映射或查找表(lut))。然后将与左眼显示器相关联的变换应用于要在左眼显示器上示出的每个后续图像，并且类似地，然后将与右眼显示器相关联的变换应用于要在右眼显示器上示出的每个后续图像。然后根据需要(例如，当检测到变形时)、在触发时(例如，通过眨眼)、或定期(例如，每秒)重复校准过程。在一些情况下，用于每个眼睛显示器的变换一起被确定和/或彼此相关。然而，在一些情况下，变换被确定并应用于与一只眼睛相关联的显示器。
7.校准技术是有利的，因为它允许独立地重新校准每个显示器并且不需要人工操作员的任何输入。另一个优点是它允许物理硬件轻巧且紧凑。例如，头戴式显示器可以以小形状因子实现，诸如一副眼镜。这使设备能够允许变形，并且几乎实时(例如，在100毫秒内)校
正由该变形引起的任何显示问题。
8.该方面的其它实现方式包括记录在计算机存储设备上的相应系统、装置和计算机程序，每个都被配置为执行方法的操作。
9.本说明书中描述的主题的一个或多个实现方式的细节在附图和以下描述中阐述。本主题的其它特征、方面和优点将从描述、附图和权利要求中变得显而易见。
附图说明
10.图1a-1b描绘了用于处于未变形状态的头戴式显示器的可穿戴框架。
11.图2a-2b描绘了用于处于变形状态的头戴式显示器的可穿戴框架。
12.图3a-3b示出头戴式显示器的校准过程。
13.图4是用于头戴式显示器的校准过程的流程图。
14.图5是头戴式显示器的系统图。
15.不同附图中的相同附图标记和名称指示相同的元件。
具体实施方式
16.图1a和图1b示出处于未变形或理想状态的var系统的头戴式显示设备100。图1a示出具有分别对齐的左目镜(或显示器)70l和右目镜(或显示器)70r的头戴式显示设备100的顶视图。作为虚拟图像生成系统的一部分，可以通过一对目镜70l、70r分别向左眼和右眼呈现和感知虚拟内容。
17.图1b示出左单眼虚拟内容72l和右单眼虚拟内容72r，作为双目对齐的虚拟内容74，通过两个目镜70l、70r到达用户的眼睛。图1b示出处于未变形状态的头戴式显示设备100。如图所示，当两个目镜70l、70r处于未变形状态时，单眼虚拟内容72l、72r组合以产生正确的双目对齐的虚拟内容74。这由虚拟内容74中完全重叠的左单眼虚拟内容72l和右单眼虚拟内容72r来表示。
18.var系统可以作为增强现实或混合现实系统操作，该增强现实或混合现实系统可以在用户的视野中提供与物理对象混合的虚拟对象的图像，使得虚拟对象看起来好像它们是存在于用户的物理环境中。可能需要相对于用户视野中的相应的物理对象在空间上定位各种虚拟对象。头戴式显示设备100的投影组件(也称为投影仪)108l、108r将虚拟对象投影到目镜70l、70r上用于显示。虚拟对象可以被称为虚拟标签、标签或标注，并且可以以各种合适的形式实现。
19.虚拟对象的示例可以包括但不限于虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟字段对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟视觉表示。例如，var系统可以确定用户何时正在观看房间中的空椅子并将表示坐在椅子上的人的图像投影到与头戴式显示设备100的每只眼睛相关联的每个目镜70l、70r，使得用户感知到虚拟人正坐在房间中的实际椅子上。
20.如图1a和图1b中所示，两个目镜70l、70r以理想或未变形的方式彼此对齐。换句话说，两个目镜70l、70r的对齐从头戴式显示设备100的制造时起没有改变。例如，在如上所述观看坐在椅子上的人的情况下，两个目镜70l、70r中的每一个将显示坐在椅子上的人的单眼虚拟内容72l、72r。用户会将该虚拟内容的组合感知为虚拟内容74。
190l，在那里它可以作为光(由光线203表示)耦合出目镜70l，并且至少部分地由光感测组件122拦截。
30.右投影子系统108r连同右目镜70r及其doe(例如，出耦合元件190r、入耦合元件(ice)、ope和epe)可以以类似于投影子系统108l的方式操作。例如，投影子系统108r、右目镜70r及其doe可以将虚拟内容呈现给用户的右眼，并且通过出耦合doe 190r将代表虚拟内容的光出耦合和引导到光感测组件122。
31.如图1a中所示，光感测组件122位于可穿戴框架102的桥304中。光感测组件122包括用于左目镜和右目镜的单独的相机(成像传感器)。相机被配置为确定显示在左和右目镜上的虚拟内容。
32.光感测组件122可以具有足够的刚性，使得与左目镜相关联的相机具有相对于与右目镜相关联的相机的位置和取向的固定的位置和取向。光感测组件122优选地由诸如铝、钛或陶瓷的刚性材料制成。光感测组件122也称为刚性感测元件。光感测组件122的两个相机被配置为捕获表示在每个相应的目镜70l、70r上显示的图像的光线203。光感测组件122包括温度传感器以监视每个相机的温度。光感测组件122优选地采用诸如泡沫或橡胶的隔离材料弹性地安装到可穿戴框架102。
33.虽然光感测组件122被描述为相机，但在一些情况下，使用位置感测二极管或lidar传感器来代替相机或作为相机的补充。例如，lidar传感器可以将密集点云投影到每个相应的目镜70l、70r上，该点云被反射回来并由处理器分析以确定相应的目镜70l、70r的相对位置。类似地，位置感测二极管可以测量光线203的位置，并且该信息可以由处理器分析以确定相应的目镜70l、70r的相对位置。
34.头戴式显示设备100和/或var系统还可以包括安装到可穿戴框架102的一个或多个传感器，用于检测用户头部的位置和运动和/或用户的眼睛位置和眼间距离。此类传感器可以包括图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、gps单元、无线电设备、和/或陀螺仪。例如，眨眼传感器可以指示用户何时眨眼，并且该信息可用于触发var系统的校准过程。
35.左悬臂310l和右悬臂310r的远离用户鼻子的端部分别包括相机103l、103r。左相机103l和右相机103r被配置为获得用户环境的图像，例如用户前面的对象。
36.虽然图1a示出左目镜70l和右目镜70r远离用户并且光感测组件122更靠近用户，但是在一些情况下，左目镜70l和右目镜70r更靠近用户并且光感测组件122离用户更远。
37.图2a和图2b示出处于变形或非理想状态的var系统的头戴式显示设备100。目镜70r示为朝向用户弯曲。当一个或两个目镜70l、70r处于变形状态时，单眼虚拟内容72l、72r组合以产生如图2b中所示的双目未对齐的虚拟内容74。图2b示出由于右目镜70r的俯仰而导致的虚拟内容74中的单眼虚拟内容72l、72r的该未对齐。该未对齐由虚拟内容74中的左单眼虚拟内容72l和右单眼虚拟内容72r的非完美重叠来表示。左目镜70l和右目镜70r之间的此类未对齐可导致左虚拟内容72l和右虚拟内容72r之间感知的平移和/或旋转未对齐。
38.头戴式显示设备100可能在使用期间变形，例如由于头戴式显示设备100的运动或由于与用户的手或房间中的其它对象的意外接触。在一些情况下，头戴式显示设备100在运输期间或甚至在初始组装期间变形。如前所述，一个目镜70l相对于另一个目镜70r移动轻微2弧分足以引起不适。这在目镜70l、70r是半透明或不透明(例如，如在虚拟现实系统中)
时是正确的。考虑到该未对齐会提高用户的舒适度。
39.所述的系统和方法允许重新校准显示器以解决该变形。这可以通过捕获用于左眼和右眼的光并比较地感测和校正虚拟图像中的相对未对齐来实现。
40.图1a和图2a示出从左出耦合doe 190l和右出耦合doe 190r发送的光线203。在图1a的未变形状态中，光线203大致同时到达光感测组件122的相应的相机。该飞行时间信息取决于左目镜70l相对于右目镜70r的相对位置。例如，比预期更早到达显示器的光可指示目镜远离用户弯曲，使得出耦合doe更靠近光感测组件122。相反，比预期更晚到达显示器的光可指示目镜朝向用户弯曲，使得出耦合doe离光感测组件122更远。
41.此外，可以处理由光感测组件122捕获的图像以确定关于每个相应的目镜的位置的信息。从左出耦合doe 190l接收到的光使用光感测组件122的左相机生成为左捕获图像。从右出耦合doe 190r接收到的光使用光感测组件122的右相机生成为右捕获图像。
42.例如，通过将左捕获图像与表示未变形状态的左目标图像进行比较，var系统可以确定左目镜70l变形。var系统还可以确定要应用于后续图像的变换，以校正该变形。然后将该变换应用于左目镜的后续图像并发送到左投影子系统108l。用户恢复舒适的观看体验。
43.捕获图像的特征也可以指示变形。例如，旋转图像可指示目镜的滚动，梯形图像可指示偏航或俯仰，这取决于梯形边的长度。较大的图像可以指示目镜离光感测组件122更远，而较小的图像可以指示目镜更接近光感测组件。
44.图3a和图3b示出与每个目镜相关联的变换和校准过程。图3a的左图示出来自如图2b中所示的右目镜70r的俯仰的未对齐的左单眼虚拟内容72l和右单眼虚拟内容72r。一旦变换，即使右目镜70r仍然俯仰(如图3b中所示)，右单眼虚拟内容72r完美地覆盖左单眼虚拟内容72l。图3b示出在图1b的未对齐帧上示出的变换图像在变换过程之后具有适当的双目表示。
45.图4是校准过程400的流程图。针对每个目镜70l、70r确定校准。在一些情况下，校准被触发(例如，通过用户闪烁)或由用户请求执行校准(例如，通过用户接口或经由设置模式)(步骤408)。校准足够快速地执行，因此用户不会意识到正在发生的校准处理。在一些情况下，校准在100毫秒内完成。在一些情况下，每个目镜都会接收到单独的触发信号。
46.在左(第一)目镜的上下文中，var系统接收与左目镜的未变形状态相关联的左目标图像的数据(步骤410l)。可以从目标图像的数据库中取得左目标图像。左目标图像可以包含可由var系统的处理器区分的几何特征。例如，左目标图像可以是正方形的棋盘格图案，每个正方形中具有独特的图像。左目标图像可以是单色或彩色的。彩色左目标图像可用于指示图像中颜色通道(例如，红色、绿色和蓝色通道)的对齐。左目标图像可以为左目镜70l定制并且可以不同于右目镜70r的右目标图像。然而，在一些情况下，左目标图像和右目标图像是相同的。
47.在一些情况下，左目标图像的数据被发送到左投影仪以在左目镜上显示(步骤412l)。光感测组件122的左相机从出耦合doe捕获表示左捕获图像的数据的光(步骤418l)。从头戴式显示设备的左目镜的左相机接收与变形状态相关联的左捕获图像的数据(步骤420l)。
48.在一些情况下，校准过程400包括接收左成像传感器的温度测量值(步骤426l)。在一些情况下，从一个或多个传感器接收表示头戴式显示设备外部的真实世界环境状态的数
据(步骤428l)。
49.确定将左捕获图像映射到左目标图像的左变换(步骤430l)。在一些情况下，在左变换中考虑接收到的温度。在一些情况下，左变换将真实世界环境的特征与来自左目标图像的相应特征对齐。在一些情况下，左变换考虑了左成像传感器与左目镜的相对位置。在一些情况下，当接收到与左目镜相关联的触发信号时确定左变换，但也可以在接收到与右目镜和/或左目镜和右目镜二者相关联的触发信号时确定左变换。在一些情况下，接收到多于一个触发信号。
50.在一些情况下，处理器确定虚拟内容位于帧的左上区域并且识别与帧中检测到的内容相关联的像素的位置和像素值，并且使用该信息来确定变换。在一些情况下，进入成像传感器的光的方向用于确定变换。
51.例如，变换匹配显示缓冲器中的像素。这样，视频缓冲区和每个像素映射到虚拟光空间，并且变换将像素映射到光源，从而产生平滑的变换映射。在一些情况下，优选跨越图像具有几十个点(例如，15-30个点)和竖直的几十个点(例如，15-30个点)。这使处理器能够确定像素在像素空间中的移动位置。例如，如果目标图像在位置a处具有白色像素簇，并且该白色像素簇已经移动到位置b，则变换可能只是整个图像从b到a的像素偏移(反向偏移)。作为另一个示例，如果目标图像具有大小为a的白色像素簇，并且白色像素簇已放大到大小b，则变换可能只是将整个图像从大小b到大小a的像素缩放(逆缩放)。其它变换遵循来自本领域已知的成像处理技术。
52.在一些情况下，确定了多于一个的左变换。例如，可以处理几个捕获的图像以确定几个变换。这些可以被平均或过滤以提高变换的准确性。
53.将左变换应用于后续图像以在头戴式显示设备的左目镜上观看(步骤440l)。在一些情况下，为了在左目镜上观看而将变换的后续图像发送到光学耦合到左目镜的左投影仪(步骤450l)。在一些情况下，如预期或根据需要重复该过程400。
54.在一些情况下，对于右(第二)显示器重复该过程。在此类情况下，接收与头戴式显示设备的右目镜的未变形状态相关联的右目标图像的数据(步骤410r)。在一些情况下，右目标图像与左目标图像相同(步骤410)或者以其它方式取决于左目标图像。例如，如果左目标图像是单色的，则右目标图像也可以是单色的。目标图像的这些和其它特性可以通过处理器彼此通信(步骤410)。例如，左变换和右变换可以将相应的捕获图像的每个单独的颜色通道与相应的目标图像的每个单独的颜色通道对齐。
55.在一些情况下，右目标图像的数据被发送到右投影仪(步骤412r)。右捕获图像的数据由光学耦合到右投影仪的右成像传感器捕获(步骤418r)。在一些情况下，接收与头戴式显示设备的右目镜的变形状态相关联的右捕获图像的数据(步骤420r)。在一些情况下，接收右成像传感器的温度测量值(步骤426)。
56.确定将右捕获图像映射到右目标图像的右变换(步骤430r)。在一些情况下，在右变换中考虑接收的温度。在一些情况下，右变换将真实世界环境的特征与来自右目标图像的相应特征对齐。在一些情况下，右变换考虑右成像传感器与右目镜的相对位置。在一些情况下，当接收到与右目镜相关联的触发信号时确定右变换，但是当接收到与左目镜和/或左目镜和右目镜二者相关联的触发信号时也可以确定右变换。在一些情况下，接收到多于一个的触发信号。
57.在一些情况下，右变换取决于左变换(步骤430)。例如，在一些情况下，双目变换算法为左变换和右变换二者都确定了有利的变换。双目变换不仅根据左和右显示器确定，还根据头戴式显示设备100或var系统上的一个或多个传感器确定。传感器用于测量用户周围的真实世界，以将叠加的视觉内容与真实世界正确对齐。
58.例如，考虑左目镜向左偏移3个像素，但真实世界中的对象没有与目镜中的任何一个正确对齐的情况。在该情况下，左变换可以偏移图像，而右变换可以偏移图像，使得两个显示器彼此对齐并且与真实世界环境对齐。
59.将右变换应用于后续图像以在头戴式显示设备的右目镜上观看(步骤440r)。在一些情况下，为了在右目镜上观看而将变换的后续图像发送到光学耦合到右目镜的右投影仪(步骤450r)。
60.图5是var系统500的系统图。var系统500包括具有各种软件和硬件部件的控制子系统并且包括图1a和2a中所示的头戴式显示设备100。var系统500包括用于执行var系统500的处理任务的计算机处理单元(cpu)502和图形处理单元(gpu)504。左和右单目校准算法和左和右热模型被存储在存储器中，并且在处理器上执行以协助校准过程。
61.在一些情况下，左单目校准算法包括校准过程400步骤410l-450l，并且右单目校准算法包括校准过程400步骤410r-450r，但这不是限制性的。校准过程400的其它步骤可在左和右单目校准算法中实现。左和右显示校准服务器也与处理器通信。此外，双目校准算法、在线校准、外部校准服务器、以及左和右组合热模型与处理器通信以进行校准过程。在一些情况下，双目校准算法包括校准过程400的步骤410和430，但这不是限制性的。校准过程400的其它步骤可在双目校准算法中实现。
62.var系统500包括用于监视真实世界环境510的传感器。这些传感器510被示为包括用户取向传感器和角度感测组件，但是之前描述的传感器也包括在var系统500中。var系统500还包括用于存储3d场景数据的三维(3d)数据库508。cpu 502可以控制var系统500的整体操作，而gpu 504从存储在3d数据库508中的3d数据渲染帧(例如，将3d场景变换为2d图像)并将这些帧存储在帧缓冲器506中。
63.还包括左帧缓冲器506l和右帧缓冲器506r，它们分别将图像发送到左投影子系统108l和右投影子系统108r。特别地，图像被发送到投影系统并显示在头戴式显示器100的目镜上。一旦被光感测组件122的左图像传感器和右图像传感器捕获，捕获图像被发送回处理器，作为校准过程的一部分。
64.通常，控制子系统可以包括各种控制器，诸如微控制器、微处理器、cpu、数字信号处理器、gpu、专用集成电路(asic)、可编程门阵列(pga)、现场pga(fpga)、和/或可编程逻辑控制器(plu)。控制子系统可以包括一个或多个处理器，诸如cpu 502和gpu 504，和/或与之通信，该处理器例如通过执行可执行指令来执行本说明书中描述的操作。尽管未示出，但一个或多个集成电路可用于控制从帧缓冲器118读入和/或读出一个或多个帧以及显示子系统104的左投影子系统108l和右投影子系统108r的操作。
65.特别地，cpu 502可以接收和处理由光感测组件122获得的数据。cpu502可以将可穿戴框架102处于未变形状态时从入射到光感测组件122上的光导出的数据与当可穿戴框架102处于变形状态时从入射到光感测组件122上的光导出的数据进行比较，并确定左目镜70l和右目镜70r的相对变形状态。响应于检测到虚拟图像的未对齐或相对变形状态，var系
统500可以执行一个或多个校准程序以根据变形/未对齐来补偿虚拟或显示的图像。
66.var系统500和在此公开的各种技术也可以用于增强现实和虚拟现实子系统以外的应用中。尽管在增强现实子系统或虚拟现实子系统的上下文中描述了某些实现方式，但var系统500不限于此类子系统。
67.在一些情况下，var系统500的处理方面(cpu 502和gpu 504)在附接到用户腰部的设备中或在用户的口袋中实现，但在一些情况下，处理方面直接在图1a和2a中所示的头戴式显示设备100中实现。在一些情况下，处理方面在附近的计算机中实现并且有线或无线地传送到头戴式显示设备100。在一些情况下，至少一些处理方面在远程服务器上实现并且无线传送到使用wifi或类似方式示出的头戴式显示设备100。
68.校准技术可以由诸如cpu 502或gpu 504的一个或多个处理器(以下简称为处理器)执行。虽然前面描述的校准过程是在单个捕获图像的上下文中描述的，但在一些情况下，处理多于一个的捕获图像，并为每个目镜确定多于一个的变换。在该情况下，可以对变换进行平均或滤波以确定最准确的变换。
69.在一些实现方式中，可以针对正向用户显示的虚拟内容的颜色来校准var系统500。例如，如果仅显示蓝色虚拟内容，则处理器可以使用蓝色测试图案来执行校准。如果仅显示红色虚拟内容，则处理器可以使用红色测试图案来执行校准。如果仅显示绿色虚拟内容，则处理器可以使用绿色测试图案来执行校准。如果正在显示具有红色、蓝色和绿色组合的虚拟内容，则处理器可以使用红色、蓝色和绿色校准帧的组合来执行校准。
70.校准帧的各种特征(诸如强度)可以被配置为匹配或类似于代表虚拟内容帧的特征。例如，如果虚拟内容的强度被确定为大于或等于强度的最小阈值水平，则校准帧的强度可以等于对应的虚拟内容的强度。如果虚拟内容的强度被确定为小于强度的最小阈值水平，则可以将校准帧的强度设定为强度的最小阈值水平。
71.在一些实现方式中，校准帧的图像特性(诸如对比度或亮度)可以被配置为进一步降低测试帧的可感知性。在一些实现方式中，可以通过将测试图像隐藏在虚拟内容的边缘后面来削弱校准帧。校准帧可以通过使用与虚拟内容相似的纹理和颜色来进一步伪装。
72.所述的系统、方法和技术可以在数字电子电路、计算机硬件、固件、软件、或这些元件的组合中实现。实现这些技术的装置可以包括适当的输入和输出设备、计算机处理器、和有形地体现在机器可读存储设备中以供可编程处理器执行的计算机程序产品。实现这些技术的过程可以由执行指令程序的可编程处理器执行，以通过对输入数据进行操作并生成适当的输出来执行所需的功能。该技术可以使用一个或多个计算机程序或非暂态计算机可读存储介质来实现，该非暂态计算机可读存储介质包括在可编程系统上可执行的指令，该可编程系统包括至少一个可编程处理器，该可编程处理器被耦合以从数据存储系统、至少一个输入设备、和至少一个输出设备接收数据和指令以及向数据存储系统、至少一个输入设备、和至少一个输出设备发送数据和指令。
73.每个计算机程序可以用高级过程或面向对象的编程语言实现，或者如果需要，可以用汇编或机器语言实现；在任何情况下，该语言都可以是编译型或解释型语言。例如，合适的处理器包括通用和专用微处理器。通常，处理器将从只读存储器和/或随机存取存储器接收指令和数据。适用于有形地体现计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，包括例如半导体存储设备，诸如可擦可编程只读存储器(eprom)、电可擦可
编程只读存储器(eeprom)和闪存设备；磁盘，诸如内部硬盘和可移动磁盘；磁光盘；以及光盘只读存储器(cd-rom)。上述任何一项都可以由专门设计的asic(专用集成电路)补充或结合到其中。
74.计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合物，或它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一种或多种的组合的代码。传播的信号是人工生成的信号，例如机器生成的电、光或电磁信号，其被生成以对信息进行编码以发送到合适的接收器装置。
75.计算机程序(也称为程序、软件、软件应用程序、脚本、插件或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、部件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在文件的一部分中，该文件的一部分将其它程序或数据保存在专用于所讨论程序的单个文件中，或者存储在多个协调文件中。计算机程序可以在一个计算机上或在位于一个站点或分布在多个站点并由通信网络互连的多个计算机上执行。
76.本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。
77.适合于执行计算机程序的处理器包括例如通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或二者接收指令和数据。
78.计算机的元件可以包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁、磁光盘或光盘)或可操作地耦合以从其接收数据或向其发送数据或二者。然而，计算机可能没有此类设备。此外，计算机可以嵌入在另一个设备中，仅举几例，例如平板计算机、移动电话、个人数字助理(pda)、移动音频播放器、var系统。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如包括半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及cd rom和dvd-rom磁盘。处理器和存储器可以由专用逻辑电路补充或结合在专用逻辑电路中。
79.虽然本说明书包含许多细节，但这些不应被解释为对本公开或可要求保护的范围的限制，而是对特定实施例特有的特征的描述。在本说明书中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实施。此外，尽管特征可以在上面描述为在某些组合中起作用并且甚至可以被要求保护，但是在一些情况下，来自要求保护的组合的一个或多个特征可以从组合中删除，并且要求保护的组合可以针对子组合或
子组合的变体。例如，虽然映射操作被描述为一系列离散的操作，但是各种操作可以被划分为附加的操作，组合成更少的操作，改变执行的顺序，或者消除，这取决于所需的实现方式。
80.类似地，上述实施例中各个系统组件的分离不应理解为在所有实施例中都需要此类分离，应该理解，所述的程序组件和系统通常可以集成在单个软件产品中或打包成多个软件产品。例如，虽然一些操作被描述为由处理服务器执行，但是操作中的一个或多个操作可以由智能仪表或其它网络部件执行。
81.在此并且特别是所附权利要求(例如，所附权利要求的正文)中使用的术语通常旨在作为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包括”应解释为“包括但不限于”等)。
82.另外，如果旨在引用特定数量的引入的权利要求陈述，则此类意图将在权利要求中明确记载，并且在没有此类陈述的情况下不存在此类意图。例如，为了帮助理解，以下所附权利要求可能包含使用引入性短语“至少一个”和“一个或多个”来引入权利要求陈述。然而，此类短语的使用不应被解释为暗示由不定冠词“一”或“一个”引入的权利要求陈述将包含此类引入的权利要求陈述的任何特定权利要求限制为仅包含一个此类陈述的实施例，即使当同一权利要求包括引入性短语“一个或多个”或“至少一个”和不定冠词，诸如“一”或“一个”(例如，“一”和/或“一个”应解释为“至少一个”或“一个或多个”)；用于介绍权利要求陈述的定冠词的使用也是如此。
83.此外，即使明确地列举了所引入的权利要求陈述的具体数量，本领域技术人员将认识到，此类列举应被解释为至少表示所列举的数量(例如，“两次陈述”的裸述，没有其它修饰语，表示至少两次陈述，或两次或更多次陈述)。此外，在使用类似于“a、b和c等中的至少一个”或“a、b以及c等中的一个或多个”的约定的那些情况下，通常，此类结构旨在包括单独的a、单独的b、单独的c、a和b一起、a和c一起、b和c一起，或a、b和c一起。术语“和/或”也旨在以该方式解释。
84.术语“第一”、“第二”、“第三”等的使用在此不一定用于表示特定顺序或元素数量。通常，术语“第一”、“第二”、“第三”等用于区分不同元素作为通用标识符。在没有示出术语“第一”、“第二”、“第三”等表示特定顺序的情况下，不应将这些术语理解为表示特定顺序。此外，在没有示出术语“第一”、“第二”、“第三”等表示特定数量的元素的情况下，不应将这些术语理解为意味着特定数量的元素。例如，第一小部件可以被描述为具有第一面，而第二小部件可以被描述为具有第二面。关于第二小部件的术语“第二面”的使用可以是为了将第二小部件的此面与第一小部件的“第一面”区分开来，而不是暗示第二小部件具有两个面。