增强现实装置、信息显示方法及装置与流程

1.本技术涉及增强现实技术领域，更具体地，涉及一种增强现实装置、信息显示方法及装置。


背景技术：

2.近年来，随着科技的进步，增强现实(augmented reality,ar)技术已逐渐成为国内外研究的热点。用户通过交互装置(例如，增强现实眼镜)将虚拟信息显示到真实世界，使得用户在真实世界中能够获取到更加丰富的信息。
3.在现有的增强现实眼镜中，往往在增强现实眼镜的外表面设置有传感器(例如，摄像头)来获取用户所处位置的检测信息(例如，摄像头对应的检测信息为用户所处位置的场景图像)，并基于增强现实眼镜内部的控制器对该检测信息进行处理并将处理后的检测信息在增强现实眼镜上显示。例如，当用户走到一家餐厅门口，则增强现实眼镜通过摄像头获取到的检测信息为该餐厅的门店照片，则在增强现实眼镜上显示的处理后的检测信息可以是该餐厅的推荐餐单、折扣信息和人均价格等信息。
4.然而，在增强现实眼镜中，若是想获取不同类型的信息，就必须要设置多个对应类型的传感器，例如，用户若是想获知自身与周围环境(例如，建筑物)之间的距离信息，增强现实眼镜中需要设置有测距传感器(例如，测距仪)。因此，增强现实眼镜在设置有多个传感器的情况下，会出现体积过大、重量过重的问题，用户在长时间佩戴增强现实眼镜的过程中，会出现佩戴不适的情况发生，降低了用户的使用体验。


技术实现要素：

5.本技术实施例提供一种增强现实装置、信息显示方法及装置。
6.第一方面，本技术一些实施例提供一种增强现实装置。该增强现实装置包括：增强现实眼镜以及与增强现实眼镜通信连接的传感器模组，传感器模组与增强现实眼镜彼此独立。其中，增强现实眼镜包括：眼镜本体、标记物、通信模块和控制器。其中，标记物设置于眼镜本体，并经由眼镜本体的外表面暴露。通信模块设置于眼镜本体，并用于与传感器通信连接。控制器设置于眼镜本体，并与通信模块电性连接。其中，传感器模组被配置为：获取包含标记物的目标图像。控制器被配置为：根据目标图像将传感器所在的第一坐标系与眼镜本体所在的第二坐标系进行标定，获取标定结果。
7.第二方面，本技术一些实施例还提供一种信息显示方法，该方法应用于增强现实眼镜。增强现实眼镜与传感器模组通信连接，增强现实眼镜与传感器模组彼此独立。其中，增强现实眼镜包括眼镜本体以及设置于眼镜本体的标记物。该方法包括：获取传感器所获取的包含标记物的目标图像。基于目标图像，获取标定结果，标定结果表征传感器所在的第一坐标系与眼镜本体所在的第二坐标系之间的映射关系。获取传感器所获取的检测信息，检测信息为第一坐标系下的信息。基于标定结果，确定检测信息所对应的显示信息，显示信息为第二坐标系下的信息以供增强现实眼镜进行显示。
8.第三方面，本技术一些实施例还提供一种信息显示方法，该方法应用于增强现实装置。增强现实装置包括增强现实眼镜以及与增强现实眼镜通信连接的传感器模组，传感器模组与增强现实眼镜彼此独立。其中，增强现实眼镜包括眼镜本体以及设置于眼镜本体的标记物。该方法包括：传感器模组获取包含标记物的目标图像。增强现实眼镜基于目标图像，获取标定结果，标定结果表征传感器模组所在的第一坐标系与眼镜本体所在的第二坐标系之间的映射关系。传感器模组获取检测信息，检测信息为第一坐标系下的信息。增强现实眼镜基于标定结果，确定检测信息所对应的显示信息，显示信息为第二坐标系下的信息以供增强现实眼镜进行显示。
9.第四方面，本技术一些实施例还提供一种信息显示装置，该装置应用于增强现实眼镜，增强现实眼镜与传感器模组通信连接，增强现实眼镜与传感器模组彼此独立。其中，增强现实眼镜包括眼镜本体以及设置于眼镜本体的标记物。该装置包括：目标图像获取模块、标定结果获取模块、检测信息获取模块和显示信息确定模块。其中，目标图像获取模块用于获取传感器所获取的包含标记物的目标图像。标定结果获取模块用于基于目标图像，获取标定结果，标定结果表征传感器所在的第一坐标系与眼镜本体所在的第二坐标系之间的映射关系。检测信息获取模块用于获取传感器所获取的检测信息，检测信息为第一坐标系下的信息。显示信息确定模块用于基于标定结果，确定检测信息所对应的显示信息，显示信息为第二坐标系下的信息以供增强现实眼镜进行显示。
10.第五方面，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序指令。其中，计算机程序指令可被处理器调用执行上述的信息显示方法。
11.第六方面，本技术实施例还提供一种计算机程序产品，该计算机程序产品被执行时，实现上述的信息显示方法。
12.本技术提供了一种增强现实装置、信息显示方法及装置。在本技术提供的增强现实装置中，增强现实眼镜和传感器模组彼此独立，也即增强现实眼镜和传感器模组之间相分离，使得用户可以在不同的使用需求下，有针对性地将增强现实眼镜和不同功能的传感器模组进行连接，以获取不同类型的检测信息。因此，增强现实眼镜的功能更加丰富，体积更加小巧，重量更加轻便，适于用户长时间佩戴。此外，在增强现实眼镜的眼镜本体上设置有标记物，传感器模组通过识别该标记物，能够与眼镜本体进行位置标定，保证了后续在增强现实眼镜的信息显示部上显示的显示信息能够与用户看见的真实世界中对应元素相重合，提高用户的使用体验。
附图说明
13.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1示出了本技术实施例提供的一种增强现实装置的示意图。
15.图2示出了本技术实施例提供的一种增强现实装置的应用场景示意图。
16.图3示出了本技术实施例提供的一种未校正的检测信息和注释信息与视野图像的叠加显示示意图。
17.图4示出了本技术实施例提供的一种校正后的检测信息和注释信息与视野图像的叠加显示示意图。
18.图5示出了本技术实施例提供的一种标记物的示意图。
19.图6示出了本技术第一实施例提供的一种信息显示方法的流程示意图。
20.图7示出了本技术第二实施例提供的一种信息显示方法的流程示意图。
21.图8示出了本技术第三实施例提供的一种信息显示方法的流程示意图。
22.图9示出了本技术实施例提供的一种信息显示装置的模块框图。
23.图10示出了本技术实施例提供的计算机可读存储介质的模块框图。
具体实施方式
24.下面详细描述本技术的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性地，仅用于解释本技术，而不能理解为对本技术的限制。
25.为了使本技术领域的人员更好地理解本技术的方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.本技术提供了一种增强现实装置、信息显示方法及装置。在本技术提供的增强现实装置中，增强现实眼镜和传感器模组彼此独立，也即增强现实眼镜和传感器模组之间相分离，使得用户可以在不同的使用需求下，有针对性地将增强现实眼镜和不同功能的传感器模组进行连接，以获取不同类型的检测信息。因此，增强现实眼镜的功能更加丰富，体积更加小巧，重量更加轻便，适于用户长时间佩戴。此外，在增强现实眼镜的眼镜本体上设置有标记物，传感器通过识别该标记物，能够与眼镜本体进行位置标定，保证了后续在增强现实眼镜的信息显示部上显示的显示信息能够与用户看见的真实世界中对应元素相重合，提高用户的使用体验。
27.请参阅图1，图1示意性地示出了本技术实施例提供的一种增强现实装置。增强现实装置10包括增强现实眼镜20以及与增强现实眼镜20通信连接的传感器模组30，其中，传感器模组30与增强现实眼镜20彼此独立。
28.在本技术实施例中，增强现实眼镜20包括眼镜本体100、标记物200、通信模块300和控制器400。其中，标记物200设置于眼镜本体100，并经由眼镜本体100的外表面暴露。通信模块300设置于眼镜本体100，并用于与传感器模组30通信连接。控制器400设置于眼镜本体100，并与通信模块300电性连接。
29.在本技术实施例中，传感器模组30被配置为：获取包含标记物200的目标图像。其中，传感器模组30可以包括一个传感器，也可以包括多个传感器。在一些实施例中华，传感器模组30包括以下传感器中的至少一个：图像传感器、红外热成像仪、测距传感器、夜视仪和光谱仪。
30.在本技术实施例中，传感器模组30包括图像采集部件(图中未示出)和检测信息采集部件。
31.图像采集部件用于获取包含标记物200的目标图像。示例性地，图像采集部件可以
是图像传感器(例如，摄像头)。
32.检测信息采集部件用于对真实世界的场景进行检测，并获取对应的检测信息。示例性地，若传感器为红外热成像仪，则对应的检测信息为红外热成像仪采集到的真实世界中场景对应的红外图像。若传感器为测距传感器，则对应的检测信息为测距传感器与真实世界中目标物体之间的距离信息。若传感器为夜视仪，则对应的检测信息为真实世界中场景对应的夜视图像。若传感器为光谱仪，则对应的检测信息为真实世界中场景对应的环境光的光谱信息。本技术实施例对传感器的具体类型不做具体限定。
33.在另一些实施例中，图像采集部件和检测信息采集部件可以通过相同的硬件来实现，以传感器为图像传感器为例，通过图像传感器采集到的图像中既可以包括标记物，也可以包括真实世界的场景。
34.这里需要说明的是，在本技术提供的增强现实装置10中，传感器模组30与增强现实眼镜20是彼此独立的，也即传感器模组30与增强现实眼镜20之间不存在任何的物理连接关系，例如，传感器模组30与增强现实眼镜20之间是通过无线通信的方式进行通信，而不是通过数据线和信号接口建立有线通信的方式建立通讯；又如，传感器模组30与增强现实眼镜20之间不存在硬件之间配合(例如，固定槽、夹持机构等)的方式，使得传感器模组30可以固定在增强现实眼镜20的上方。在本技术实施例中，由于传感器模组30与增强现实眼镜20之间彼此独立，因此，增强现实眼镜的体积更加小巧，重量更加轻便，适于用户长时间佩戴。
35.在一些实施例中，传感器模组30还包括适于安装至可移动平台的安装部件(图中未示出)。可移动平台可以是无人车、无人机等可移动载具，在可移动平台上设置有与传感器模组30上的安装部件相配合的固定部件，以使得传感器模组30可以通过固定部件固定在可移动平台上。其中，安装部件和固定部件可以是粘贴机构、螺纹连接机构等等。在本技术实施例中，传感器模组30设置在可移动平台上，进而用户通过控制可移动平台以使得传感器模组30可以采集到用户视野盲区内的检测信息。例如用户在野外佩戴增强现实眼镜20时，若是用户的视野内存在灌木丛的遮挡，此时，用户可以控制可移动平台绕过灌木丛，以使得传感器模组30能够采集到灌木丛背后的检测信息。这里需要说明的是，传感器模组30采集到的检测信息和用户通过增强现实眼镜20看到的真实世界需要保证一定的场景重合，以使得，检测信息所对应的显示信息能够与用户看见的真实世界中对应元素相重合。
36.在一些实施例中，传感器模组30还可以通过安装部件设置于用户的人体。示例性地，传感器模组30可以通过安装部件(例如绑带等)固定于用户的头顶，也可以固定于用户的耳部(例如通过耳挂等)。需要说明的是，传感器模组30设置于人体的某一位置时，需要保证在对应位置下能够通过图像采集部件获取包含标记物200的目标图像，以保证传感器模组30在后续的使用过程中，能够顺利和增强现实眼镜20完成坐标系的标定工作。在本技术实施例中，传感器模组30通过安装部安装于除眼镜本体100以外的其他位置，使得增强现实眼镜20更加轻便，保证了用户的佩戴舒适感。
37.在本技术实施例中，控制器400被配置为：根据目标图像将传感器模组30所在的第一坐标系与眼镜本体100所在的第二坐标系进行标定，获取标定结果。
38.请参阅图2，图2示意性地示出了本技术实施例提供的一种增强现实眼镜的应用场景示意图。在图2中，传感器模组30为图像采集部件，用户透过增强现实眼镜的眼镜本体100可以观看到真实世界中的人物600对应的视野图像610。同时，增强现实眼镜对应的传感器
模组30可以采集到人物600对应的检测信息620，并通过控制器获取检测信息620对应的附加注释信息622，在图2所示的应用场景中，附加注释信息622为人物的类型信息和性别信息。由于传感器模组30和眼镜本体100所处的位置不同，增强现实眼镜20若是不对检测信息620和附加注释信息622的显示位置进行校正，直接将检测信息620和附加注释信息622在眼镜本体100上显示，则会出现同一物体对应的检测信息620和附加注释信息622(例如，儿童1对应的检测信息和注释信息)的位置和用户透过眼镜本体100看到的视野图像610中同一物体(例如，儿童1)的位置出现偏离的现象。请参阅图3，图3示意性地示出了本技术实施例提供的一种未校正的检测信息和注释信息与视野图像的叠加显示示意图。在一方面，上述偏离现象是由于传感器模组30和眼镜本体100处于不同的空间位置导致的；在另一方面，上述偏离现象是由于传感器模组30的检测角度相对于用户佩戴增强现实眼镜20的角度存在相对倾斜导致的。因此，在对检测信息进行显示时，需要校正同一物体的检测信息和附加注释信息的位置与视野图像中的同一物体的位置之间的位置偏离。在本技术实施例中，控制器400根据包含标记物200的目标图像确定传感器模组30所在的第一坐标系与眼镜本体100所在的第二坐标系之间的映射关系，也即标定结果。在后续步骤中，控制器400可以基于上述标定结果准确地将检测信息在增强现实眼镜20上进行显示，也即，将同一物体的检测信息和附加注释信息与视野图像中的同一物体进行准确叠加。请参阅图4，图4示意性地示出了本技术实施例提供的一种校正后的检测信息和注释信息与视野图像的叠加显示示意图。具体地，控制器400基于目标图像获取标定结果的具体实施方式在下文实施例中进行详细阐述。
39.请再次参阅图1，眼镜本体100包括镜架部110和镜片部120，镜片部120可拆卸地固定于镜架部110。在一些实施例中，镜架部110包括收纳腔(图中未示出)，通信模块300和控制器400设置于该收纳腔内，收纳腔用于对通信模块300和控制器400提供防护作用，避免通信模块300和控制器400受外力撞击而导致内部元件错位或损坏，延长了增强现实眼镜20的使用寿命。
40.请再次参阅图1，在一些实施例中，眼镜本体100还包括信息显示部130，信息显示部130用于将控制器400输出的显示信息显示。传感器模组30还被配置为：获取检测信息，其中，检测信息为第一坐标系下的信息。控制器400还被配置为：根据标定结果，确定检测信息所对应的显示信息，其中，显示信息为第二坐标系下的信息。最后，将显示信息显示于信息显示部130。在申请实施例中，控制器400基于标定结果将第一坐标系下的检测信息转换成第二坐标系下的显示信息，使得显示信息和用户通过增强现实眼镜20看到的真实世界的视野图像为同一坐标系下的信息，避免了检测信息中对应物体需要显示的信息与视野图像中的同一物体存在位置偏差的情况发生，进而保证了用户良好的使用体验。具体地，控制器400基于标定结果确定显示信息的具体实施方式在下文实施例中进行详细阐述。
41.在一些实施例中，信息显示部130可以包括投影装置和投影镜片的结合，投影装置设置于镜架部110，用于将控制器400输出的显示信息投影至投影镜片，投影镜片可以集成于镜片部120，用于将显示信息进行显示。这里需要说明的是，用户通过投影镜片可以同时看见投影镜片上的显示信息以及投影镜片背后的真实世界。在另一些实施例中，信息显示部130可以为设置于镜片部120的透明显示屏(如利用了oled制成的显示屏)，以利于控制器400向该透明显示屏输出图像等信息，这些信息经由透明显示屏显示后，用户透过透明显示
屏可以看到这些信息与真实世界的叠加。其中，透明显示屏可以通过数据线和控制器400建立有线连接或者通过通信接口和控制器400建立无线连接。
42.请参阅图5，图5示意性地示出了本技术实施例提供的一种标记物的示意图，在本技术实施例中，标记物200包括背景210以及分布于背景210上的多个特征点220，多个特征点220被配置为与背景210相区别以由传感器模组30识别。标记物200的形状可以为圆形、矩形、三角形，在本实施例中不做具体限定。在一些实施例中，多个特征点220通过颜色信息和背景210相区别，例如，标记物200的背景210为白色，多个特征点220为黑色。作为一种实施方式，标记物200为标记码。具体地，标记码可以是deeptag、runetag、apriltag、topotag、qr、artoolkit、aruco、apriltag以及artoolkit 等等，在本技术实施例中不做具体限定。
43.在本技术实施例中，通信模块300可以包括zigbee模组、蓝牙功能模组、nfc功能模组和wifi功能模组中的一个或多个，控制器400通过通信模块300和传感器模组30建立通信连接。在另一些实施例中，通信模块300包括信号接口和数据线。信号接口和控制器400之间电性连接，传感器模组30通过数据线和信号接口与增强现实眼镜20建立有线连接。在本技术实施例中，对通信模块300的具体实现方式不做具体限定。
44.在本技术实施例中，控制器400可以包括处理器、存储器和基板。其中。处理器和存储器分别固定连接于基板，处理器和存储器之间通信连接。处理器可以包括一个或者多个处理核，通过运行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，以实现标定结果的获取以及检测信息的转换。可选地，处理器可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。存储器可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。存储器可用于存储指令、程序、代码、代码集或指令集。
45.在一些实施例中，传感器模组30包括多个传感器，标记物200的数量为多个。多个标记物200彼此间隔地设置于眼镜本体100，多个标记物200适于和多个传感器之间一一对应。在本技术实施例中，眼镜本体100上通过设置多个标记物200，可以使得多个传感器通过相对应的标记物200与增强现实眼镜20进行绑定，保证了在后续多个传感器的使用过程中，多个传感器所获取的多个检测信息能够在准确地在增强现实眼镜20上进行显示。进一步地，通过多个传感器所获取的多个检测信息，可以更进一步丰富用户所观察到的真实世界的场景，例如，用户所佩戴的增强现实眼镜20上设置有红外热成像仪和测距传感器对应的标记物200，因此，在增强现实眼镜20上可以准确显示红外热成像仪和测距传感器所采集到的检测信息，也即用户在黑夜中通过佩戴增强现实眼镜20可以看见真实世界的场景中目标人物的红外图像以及与目标人物的距离信息。
46.在一些实施例中，多个传感器包括第一传感器以及第二传感器，多个标记物200包括与第一传感器对应的第一标记物和与第二传感器对应的第二标记物。其中，第一传感器被配置为：获取包含第一标记物的第一目标图像。第二传感器被配置为：获取包含第二标记物的第二目标图像。控制器400还被配置为：根据第一目标图像将第一传感器所在的第一子坐标系与眼镜本体100所在的第二坐标系进行标定，获得第一标定结果。控制器400还被配置为：根据第二目标图像将第二传感器所在的第二子坐标系与眼镜本体100所在的第二坐标系进行标定，获得第二标定结果。在本技术实施例中，控制器400在基于第一目标图像确
定第一标定结果以及基于第二目标图像确定第二标定结果的情况下，在后续步骤中，控制器400准确地将第一传感器所获取的第一检测信息以及将第二传感器所获取的第二检测信息，在增强现实眼镜20上进行显示。具体地，控制器400基于第一目标图像确定第一标定结果以及基于第二目标图像确定第二标定结果的具体实施方式在下文实施例中进行详细阐述。
47.请参阅图6，图6示意性地示出了本技术第一实施例提供的一种信息显示方法。该方法应用于图1中的增强现实眼镜，其中，增强现实眼镜与传感器模组通信连接，增强现实眼镜与传感器模组彼此独立，增强现实眼镜包括眼镜本体以及设置于眼镜本体的标记物。本方法通过传感器模组所获取的包含标记物的目标图像，将传感器模组所在的第一坐标系与眼镜本体所在的第二坐标系进行标定，获取标定结果，再基于该标定结果将第一坐标系下的检测信息转换为第二坐标系下的显示信息。本技术实施例所提供的方法，通过识别标记物，实现对传感器模组与增强现实眼镜进行坐标系标定，保证了后续显示信息能够与用户看见的真实世界中对应元素相重合，提高用户的使用体验。具体地，该方法可以包括以下步骤s610至步骤s640。
48.步骤s610：获取传感器模组所获取的包含标记物的目标图像。
49.作为一种实施方式，控制器在检测到和传感器模组处于通信连接的情况下，向传感器模组发送目标图像请求信号，传感器模组在接收到该目标图像请求信号的情况下，对增强现实眼镜上的标记物进行获取，并将获取的包含标记物的目标图像发送至控制器。示例性地，在控制器中设置有通信连接标志位，控制器通过读取通信连接标志位的取值以确定是否和传感器模组处于通信状态，当通信连接标志位的取值为预设值时，则确定和传感器模组处于通信状态；反之，则确定和传感器模组处于断开状态。
50.作为另一种实施方式，传感器模组在接收到开启信号的情况下，向控制器发送检测信号以确定传感器模组和增强现实眼镜是否处于通信连接状态，若传感器模组接收到控制器响应于检测信号所发送的确认信号，则说明和增强现实眼镜之间处于通信连接状态。在这种情况下，传感器模组对增强现实眼镜上的标记物进行获取，并将获取的包含标记物的目标图像发送至控制器。
51.步骤s620：基于目标图像，获取标定结果。
52.标定结果表征传感器模组所在的第一坐标系与眼镜本体所在的第二坐标系之间的映射关系。第一坐标系和第二坐标系可以是笛卡尔直角坐标系、平面极坐标系、柱面坐标系和球面坐标系等，第一坐标系和第二坐标系可以是相同类型的坐标系，也可以是不同类型的坐标系，在本技术实施例中不做具体限定。示例性地，请再次参阅图2，其中，传感器模组30所在的第一坐标系可以为u轴，v轴和w轴所构成的笛卡尔直角坐标系；眼镜本体100所在的第二坐标系可以为x轴，y轴和z轴所构成的笛卡尔直角坐标系。
53.在本技术实施例中，控制器基于目标图像，确定传感器模组与标记物之间的相对方位信息，并基于该相对方位信息确定第一坐标系和第二坐标系标定结果；其中，相对方位信息包括相对位置信息和相对旋转信息。具体地，步骤s620可以包括步骤s622至步骤s626。
54.步骤s622：解析目标图像中标记物的图像特征。
55.作为一种实施方式，控制器中设置有目标识别算法，基于该目标识别算法，确定标记物在目标图像中的位置。示例性地，目标识别算法可以是基于滑动窗口的目标识别算法、
基于r-cnn神经网络的算法等等。
56.在本技术实施例中，标记物的图像特征通过标记物中多个特征点的像素坐标来表征。其中，像素坐标是多个特征点在目标图像对应的图像坐标系内的坐标。在一些实施例中，标记物有多个规则图形构成，多个特征点可以是规则图形的顶点，也可以是规则图形的中心点。控制器在确定出标记物位置的情况下，对标记物中的多个特征点进行识别，进而确定多个特征点在目标图像中的像素坐标。示例性地，在控制器中设置有第一图形匹配算法以及标记物对应的预存图像，在预存图像中预先标记有待识别的特征点，基于预存图像中待识别的特征点，第一图形匹配算法可以确定出目标图像中标记物对应位置的特征点。第一图形匹配算法可以是模板匹配算法、特征匹配算法、基于深度学习的匹配算法等等。
57.在一些实施例中，若控制器通过目标识别算法未目标图像中识别出标记物，在这种情况下，有可能是传感器模组和标记物存在遮挡导致的，控制器可以在信息显示部中显示提醒信息，以提醒用户对遮挡物进行处理。示例性地，提醒信息可以是“xx传感器未获取标记物，请检查是否出现遮挡情况”。
58.在一些实施例中，在控制器在确定出标记物位置的情况下，对标记物中的多个特征点进行识别的步骤之前，还包括对目标图像进行图像预处理的步骤。作为一种实施方式，控制器在确定出标记物位置的情况下，基于标记物的位置信息，提取包含标记物的子目标图像，并基于预设的图像处理算法，对该子目标图像进行处理。其中，图像处理算法可以是图像对比度增强算法、图像锐化算法，通过图像预处理的步骤，可以使得标记物中特征点和背景之间的色彩轮廓差异更加明显，保证了后续特征点快速准确地被提取。
59.步骤s624：根据图像特征，获取传感器模组和增强现实眼镜之间的相对方位信息。
60.在本技术实施例中，相对方位信息是基于多个特征点的像素坐标、物理坐标以及传感器模组的物理参数确定的。其中，多个特征点的物理坐标为特征点在眼镜本体所在的第二坐标系中的坐标。也即，多个特征点的物理坐标表征多个特征点在增强现实眼镜上的实际物理位置，控制器通过读取增强现实眼镜上标记物的物理位置以及特征点在标记物的物理位置，可以确定多个特征点的物理坐标。传感器模组的物理参数表征在获取目标图像时采用的参数，传感器模组的物理参数可以是传感器模组的焦距、视场大小参数等等。控制器通过读取传感器模组对应的参数信息，可以确定传感器模组的物理参数。
61.控制器在确定特征点对应的像素坐标、物理坐标以及传感器模组的物理参数的情况下，获取传感器模组和增强现实眼镜之间的相对方位信息。作为一种实施方式，相对方位信息可以包括相对位置信息和相对旋转信息。相对位置信息表征第一坐标系与第二坐标系之间的移动状态，也即传感器模组在第二坐标系内，与第二坐标系的各坐标轴的移动自由度。相对旋转信息表示传感器模组与第二坐标系之间的旋转状态，也即传感器模组在第二坐标系内，与第二坐标系的各坐标轴的转动自由度。则相对方位信息即为传感器模组在第二坐标系内的六自由度信息，能够表示传感器模组在第二坐标系内的转动和移动状态，也即能够得到传感器模组的视野与第二坐标系内的各坐标轴之间的角度和距离等。作为一种实施方式，控制器在确定特征点对应的像素坐标、物理坐标以及传感器模组的物理参数的情况下，通过预设算法(例如，svd算法)计算传感器模组和增强现实眼镜之间的相对方位信息。
62.具体在另一些实施例中，控制器在步骤s624中获取到特征点的情况下，进一步获
取特征点的像素坐标。在获取特征点的像素坐标后，控制器还用于根据特征点的像素坐标确定目标图像中多个特征点之间的相对位置关系，由此可获得标记物的空间姿态(例如相对于传感器模组的姿态信息)；再根据多个特征点在目标图像中的像素大小，计算得到标记物(或各特征点)相对于传感器模组的空间距离；最后能够根据该空间姿态和该空间距离，获得标记物相对于传感器模组的相对方位信息。
63.步骤s626：基于相对方位信息，确定标定结果。
64.在本技术实施例中，标定结果是通过标定矩阵实现的。作为一种实施方式，控制器在确定相对方位信息的情况下，通过矩阵的形式将相对方位信息存储于控制器中。其中，标定矩阵包括位置矩阵和旋转矩阵。位置矩阵表征相对方位信息中的相对位置信息，旋转矩阵表征相对方位信息中的相对旋转信息。
65.这里需要说明的是，控制器在确定传感器模组对应的标定矩阵的情况下，在后续的操作中，可以将传感器模组所获取第一坐标系下的检测信息，基于标定矩阵，转换成第二坐标系下的对应信息，也即显示信息，因此，控制器通过标定矩阵，可以实现第一坐标系与第二坐标系之间的坐标转换。
66.步骤s630：获取传感器模组所获取的检测信息。
67.检测信息为第一坐标系下的信息。作为一种实施方式，控制器在确定传感器模组的标定结果的情况下，向传感器模组发送检测信息获取信号，传感器模组在接收到该检测信息获取信号的情况下，对检测信息进行实时获取，并将检测信息发送至控制器。作为另一种实施方式，传感器模组在将包含标记物的目标图像发送至控制器之后，自动开启检测信息获取功能，将检测信息获取并发送至控制器。示例性地，以用户在夜间佩戴增强现实眼镜为例，用户通过增强现实眼镜看到的真实世界的场景可能是一片漆黑的场景。此时，若增强现实眼镜与红外热成像仪建立通讯连接，则可以获取红外热成像仪所获取的红外图像；若增强现实眼镜与夜视仪建立通讯连接，则可以获取夜视仪所获取的夜视图像；若增强现实眼镜与测距传感器模组建立通讯连接，则可以获取测距传感器模组与真实世界中目标物体之间的距离信息。
68.步骤s640：基于标定结果，确定检测信息所对应的显示信息。
69.显示信息为第二坐标系下的信息以供增强现实眼镜进行显示。在本技术实施例中，检测信息包括有第一坐标系下的第一位置数据，将该第一位置数据和标定结果对应的标定矩阵进行对应的乘积操作，即可以得到第二坐标系下的第二位置数据，也即检测信息所对应的显示信息。示例性地，以检测信息为红外热成像仪所获取的红外图像为例，在检测信息中包括有红外图像在第一坐标系下的第一位置数据，将该第一位置数据和红外热成像仪对应的标定矩阵进行点乘操作，即可以得到第二坐标系下的第二位置数据，也即在第二坐标系下的红外图像。在后续步骤中，增强现实眼镜可以将该第二坐标系下的红外图像在增强现实眼镜中的信息显示部上进行显示，用户通过信息显示部可以同时看到真实世界的场景(例如，夜间漆黑的场景)与该场景对应的红外图像。
70.在一些实施例中，请再次参阅图2，在图2中，佩戴增强现实眼镜的用户通过眼镜本体可以看见真实世界中孩子玩耍的场景，增强现实眼镜对应的传感器模组(也即，图像采集部件)可以采集到该场景对应的检测信息。控制器对该检测信息进行处理，获取检测信息对应的附加注释信息(也即，人物的类型信息和性别信息)。在获取到检测信息和附加注释信
息的情况下，控制器若是不对检测信息和附加注释信息的显示位置进行校正，直接将检测信息和附加注释信息在眼镜本体上显示，则会出现儿童对应的检测信息和附加注释信息的位置和用户透过眼镜本体看到的同一儿童的位置出现偏离的现象。在这种情况下，控制器将检测信息和附加注释信息对应的第一坐标系下的第一位置数据，通过标定矩阵变换至第二坐标系下得到第二位置数据，也即得到显示数据。控制器将该显示数据在眼镜本体上显示，则实现了儿童的检测信息和附加注释信息与视野图像中的同一儿童进行准确叠加。
71.本技术实施例提供了一种信息显示方法。该方法应用于图1中的增强现实眼镜，该增强现实眼镜包括眼镜本体以及设置于眼镜本体的标记物。在本方法中，通过识别标记物，实现对传感器模组与增强现实眼镜进行坐标系标定，保证了后续显示信息能够与用户看见的真实世界中对应元素相重合，提高用户的使用体验。
72.请参阅图7，图7示意性地示出了本技术第二实施例提供的一种信息显示方法。该方法应用于图1中的增强现实眼镜，该增强现实眼镜包括眼镜本体以及设置于眼镜本体的标记物。其中，标记物的数量为多个，多个标记物包括与第一传感器对应的第一标记物和与第二传感器对应的第二标记物。具体地，该方法可以包括以下步骤s710至步骤s780。
73.步骤s710：获取第一传感器所获取的包含第一标记物的第一目标图像。
74.步骤s720：获取第二传感器所获取的包含第二标记物的第二目标图像。
75.步骤s710至步骤s720的具体实施方式可以参考步骤s610中的具体介绍，在此不再一一赘述。
76.步骤s730：基于第一目标图像，获取第一标定结果。
77.第一标定结果表征第一传感器所在的第一子坐标系与眼镜本体所在的第二坐标系之间的第一映射关系。
78.步骤s740：基于第二目标图像，获取第二标定结果。
79.第二标定结果表征第二传感器所在的第二子坐标系与眼镜本体所在的第二坐标系之间的第二映射关系。
80.步骤s730至步骤s740的具体实施方式可以参考步骤s620中的具体介绍，在此不再一一赘述。
81.这里需要说明的是，由于在增强现实眼镜上设置有多个标记物，因此，在控制器获取到的第一目标图像和第二目标图像中，可能会出现一张目标图像中采集到多个标记物的情况发生。例如，在第一目标图像中同时获取到第一标记物和第二标记物。因此，控制器在通过目标识别算法确定第一标记物在第一目标图像中的位置的时候，以及确定第二标记物在第二目标图像中的位置的时候，可能会出现确定多个标记物的情况发生。
82.因此，控制器在确定出目标图像中存在多个标记物的情况下，通过目标图像的参数信息，确定获取目标图像的传感器，接着通过查找第一映射表，确定该传感器所对应的标记物，进而从多个标记物中确定出目标图像所对应的标记物。其中，第一映射表表征不同类型的传感器和不同标记物之间一一对应的关系。例如，第一传感器和第一标记物之间一一对应，第二传感器和第二标记物之间一一对应。示例性地，控制器在确定出第一目标图像中存在多个标记物的情况下，基于第一目标图像的参数信息，确定出第一目标图像是由第一传感器获取的，接着通过查找第一映射表，确定出第一传感器所对应的第一标记物，进而将多个标记物中的第一标记物确定为第一目标图像所对应的标记物。具体地，在控制器中可
以设置有第二图形匹配算法，基于第二图形匹配算法，控制器从多个标记物中匹配出第一标记物作为第一目标图像所对应的标记物。第二图形匹配算法可以是模板匹配算法、特征匹配算法、基于深度学习的匹配算法等等。
83.步骤s750：获取第一传感器所获取的第一检测信息。
84.第一检测信息为第一子坐标系下的信息。
85.步骤s760：获取第二传感器所获取的第二检测信息。
86.第二检测信息为第二子坐标系下的信息。
87.步骤s750至步骤s760的具体实施方式可以参考步骤s630中的具体介绍，在此不再一一赘述。
88.步骤s770：基于第一标定结果，确定第一检测信息所对应的第一显示信息。
89.第一显示信息为第二坐标系下的信息以供增强现实眼镜进行显示。
90.步骤s780：基于第二标定结果，确定第二检测信息所对应的第二显示信息。
91.第二显示信息为第二坐标系下的信息以供增强现实眼镜进行显示。
92.步骤s770至步骤s780的具体实施方式可以参考步骤s640中的具体介绍，在此不再一一赘述。
93.在一些实施例中，控制器在确定第一检测信息所对应的第一显示信息以及第二检测信息所对应的第二显示信息的情况下，进一步将第一检测信息和第二检测信息在增强现实眼镜中的信息显示部上进行同时显示。示例性地，以第一传感器为红外热成像仪、第二传感器为测距传感器为例，则红外热成像仪对应的第一显示信息为第二坐标系下的红外图像，测距传感器对应的第二显示信息为眼镜本体距离真实世界的场景中目标对象的距离信息。在本技术实施例中，控制器可以将第一显示信息和第二显示信息两者同时在信息显示部上进行显示，因此，用户通过信息显示部可以同时看到真实世界的场景(例如，夜间漆黑的场景)与该场景对应的红外图像，若该红外图像中包含目标人物对应的红外图像，则用户通过信息显示部还可以看到与目标人物之间的距离信息。
94.本技术实施例提供了一种信息显示方法。该方法应用于图1中的增强现实眼镜，该增强现实眼镜包括眼镜本体以及设置于眼镜本体的标记物。其中，标记物的数量为多个，多个标记物包括与第一传感器对应的第一标记物和与第二传感器对应的第二标记物。在本方法中，通过识别多个标记物，实现对多个传感器与增强现实眼镜进行坐标系标定，保证了后续多个传感器所采集到的多个显示信息能够与用户看见的真实世界中对应元素相重合，更进一步丰富用户所观察到的真实世界的场景。
95.请参阅图8，图8示意性地示出了本技术第三实施例提供的一种信息显示方法。该方法应用于图1中的增强现实装置，其中，增强现实装置包括增强现实眼镜以及与增强现实眼镜通信连接的传感器模组，传感器模组与增强现实眼镜彼此独立，增强现实眼镜包括眼镜本体以及设置于眼镜本体的标记物。具体地，该方法可以包括以下步骤s810至步骤s840。
96.步骤s810：传感器模组获取包含标记物的目标图像。
97.步骤s820：增强现实眼镜基于目标图像，获取标定结果。
98.标定结果表征传感器模组所在的第一坐标系与眼镜本体所在的第二坐标系之间的映射关系。
99.步骤s830：传感器模组获取检测信息。
100.检测信息为第一坐标系下的信息。
101.步骤s840：增强现实眼镜基于标定结果，确定检测信息所对应的显示信息。
102.显示信息为第二坐标系下的信息以供增强现实眼镜进行显示。
103.步骤s810至步骤s840的具体实施方式可以参考步骤s610至步骤s640中的具体介绍，在此不再一一赘述。
104.本技术实施例提供了一种信息显示方法，该方法应用于图1中的增强现实装置。在本方法中，增强现实装置中的增强现实眼镜基于传感器模组获取包含标记物的目标图像，实现对传感器模组与增强现实眼镜进行坐标系标定，保证了后续显示信息能够与用户看见的真实世界中对应元素相重合，提高用户的使用体验。
105.请参阅图9，图9示意性地示出了本技术实施例提供的一种信息显示装置900。该装置900应用于增强现实眼镜，增强现实眼镜与传感器模组通信连接，增强现实眼镜与传感器模组彼此独立，增强现实眼镜包括眼镜本体以及设置于眼镜本体的标记物。其中，该装置900包括：目标图像获取模块910、标定结果获取模块920、检测信息获取模块930和显示信息确定模块940。其中，目标图像获取模块910用于获取传感器模组所获取的包含标记物的目标图像。标定结果获取模块920用于基于目标图像，获取标定结果，标定结果表征传感器模组所在的第一坐标系与眼镜本体所在的第二坐标系之间的映射关系。检测信息获取模块930用于获取传感器模组所获取的检测信息，检测信息为第一坐标系下的信息。显示信息确定模块940用于基于标定结果，确定检测信息所对应的显示信息，显示信息为第二坐标系下的信息以供增强现实眼镜进行显示。
106.在一些实施例中，标定结果获取模块920还用于解析目标图像中标记物的图像特征；根据图像特征，获取传感器模组和增强现实眼镜之间的相对方位信息；基于相对方位信息，确定标定结果。
107.在一些实施例中，标记物的数量为多个，多个标记物包括与第一传感器对应的第一标记物和与第二传感器对应的第二标记物。目标图像获取模块910还用于获取第一传感器所获取的包含第一标记物的第一目标图像，第一传感器和增强现实眼镜之间通信连接。目标图像获取模块910还用于获取第二传感器所获取的包含第二标记物的第二目标图像，第二传感器和增强现实眼镜之间通信连接。标定结果获取模块920还用于基于第一目标图像，获取第一标定结果，第一标定结果表征第一传感器所在的第一子坐标系与眼镜本体所在的第二坐标系之间的第一映射关系。标定结果获取模块920还用于基于第二目标图像，获取第二标定结果，第二标定结果表征第二传感器所在的第二子坐标系与眼镜本体所在的第二坐标系之间的第二映射关系。检测信息获取模块930还用于获取第一传感器所获取的第一检测信息，第一检测信息为第一子坐标系下的信息。检测信息获取模块930还用于获取第二传感器所获取的第二检测信息，第二检测信息为第二子坐标系下的信息。显示信息确定模块940还用于基于第一标定结果，确定第一检测信息所对应的第一显示信息，第一显示信息为第二坐标系下的信息以供增强现实眼镜进行显示。显示信息确定模块940还用于基于第二标定结果，确定第二检测信息所对应的第二显示信息，第二显示信息为第二坐标系下的信息以供增强现实眼镜进行显示。
108.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
109.在本技术所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
110.另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
111.本技术实施例提供了一种信息显示装置，该装置应用于图1中的增强现实眼镜。在本装置中，增强现实眼镜通过识别标记物，实现对传感器模组与增强现实眼镜进行坐标系标定，保证了后续显示信息能够与用户看见的真实世界中对应元素相重合，提高用户的使用体验。
112.请参阅图10，其示出了本技术实施例还提供一种计算机可读存储介质1000，该计算机可读存储介质1000中存储有计算机程序指令1010，计算机程序指令1010可被处理器调用以执行上述实施例中所描述的方法。
113.计算机可读存储介质可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质包括非易失性计算机可读存储介质(non-transitory computer-readable storage medium)。计算机可读存储介质1000具有执行上述方法中的任何方法步骤的计算机程序指令1010的存储空间。这些计算机程序指令1010可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。
114.以上，仅是本技术的较佳实施例而已，并非对本技术作任何形式上的限制，虽然本技术已以较佳实施例揭示如上，然而并非用以限定本技术，任何本领域技术人员，在不脱离本技术技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本技术技术方案内容，依据本技术的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本技术技术方案的范围内。