控制方法、装置、设备以及存储介质与流程

1.本技术涉及增强现实领域，特别涉及一种控制方法、装置、设备以及存储介质。


背景技术：

2.随着智能设备的广泛应用，增强现实(augmented reality，ar)设备成为目前的研究热点。近年来已经产生了多种ar设备，不同的ar设备具有不同的功能，但是，相关技术中仍然缺乏能够满足多样性需求的ar设备。


技术实现要素：

3.本技术实施例提供了一种控制方法、装置、设备以及存储介质，能够满足对象对ar设备的多样性需求。所述技术方案如下：
4.根据本技术实施例的一方面，提供了一种控制方法，由增强现实ar设备执行，所述方法包括：
5.采集所述ar设备所处的环境中多种类型的信息；
6.确定与所述ar设备的当前工作模式匹配的第一类型和第二类型，所述当前工作模式下需将所述第一类型的信息转换成所述第二类型的信息，且所述当前工作模式为所述ar设备配置的多种工作模式中的任一种；
7.从所述多种类型的信息中选取所述第一类型的信息，将所述第一类型的信息转换为所述第二类型的信息；
8.基于转换得到的所述第二类型的信息进行控制。
9.在一种可能的实现方式中，所述确定与所述ar设备的当前工作模式匹配的第一类型和第二类型，包括：
10.从第一匹配关系中，查找与所述当前工作模式匹配的所述第一类型和所述第二类型；
11.其中，所述第一匹配关系包括与每种工作模式匹配的第一类型和第二类型。
12.在一种可能的实现方式中，所述方法还包括：
13.采集对象信息，所述对象信息用于描述使用所述ar设备的对象的障碍类型；
14.从第二匹配关系中，查找与所述障碍类型匹配的工作模式，将查找到的工作模式确定为所述当前工作模式；
15.其中，所述第二匹配关系包括与每种障碍类型匹配的工作模式。
16.在一种可能的实现方式中，所述方法还包括：
17.在检测到工作模式切换操作的情况下，将所述当前工作模式切换至所述工作模式切换操作指示的工作模式。
18.在一种可能的实现方式中，所述工作模式切换操作，包括以下至少一种：
19.对切换按键的触发操作；
20.识别到语音数据中包含切换关键词的操作；
21.采集到目标手势的操作。
22.在一种可能的实现方式中，
23.在听觉障碍模式下，所述第一类型的信息为语音信息，所述第二类型的信息为文字信息；或者，
24.在视觉障碍模式下，所述第一类型的信息为图像信息，所述第二类型的信息为语音信息；或者，
25.在言语障碍模式下，所述第一类型的信息为手语信息，所述第二类型的信息为语音信息或文字信息；或者，
26.在方言翻译模式下，所述第一类型的信息为包含第一语言的语音信息，所述第二类型的信息为包含第二语言的语音信息或文字信息，所述第一语言属于所述第二语言的一种分支语言；或者，
27.在语言翻译模式下，所述第一类型的信息为属于第一语种的语音信息，所述第二类型的信息为属于第二语种的语音信息或文字信息；或者，
28.在外部设备控制模式下，所述第一类型的信息为脑电波信息、语音信息或者图像信息，所述第二类型的信息为外部设备控制信息。
29.在一种可能的实现方式中，所述基于转换得到的所述第二类型的信息进行控制，包括：
30.在所述听觉障碍模式下，显示转换得到的所述文字信息；或者，
31.在所述视觉障碍模式下，播放转换得到的所述语音信息；或者，
32.在所述言语障碍模式下，播放转换得到的所述语音信息，或者显示转换得到的所述文字信息；或者，
33.在所述方言翻译模式下，播放转换得到的所述语音信息，或者显示转换得到的所述文字信息；或者，
34.在所述语言翻译模式下，播放转换得到的语音信息，或者显示转换得到的所述文字信息；或者，
35.在所述外部设备控制模式下，基于所述外部设备控制信息控制所述ar设备连接的外部设备。
36.根据本技术实施例的另一方面，提供了一种控制装置，所述装置包括：
37.采集模块，用于采集所述ar设备所处的环境中多种类型的信息；
38.确定模块，用于确定与所述ar设备的当前工作模式匹配的第一类型和第二类型，所述当前工作模式下需将所述第一类型的信息转换成所述第二类型的信息，且所述当前工作模式为所述ar设备配置的多种工作模式中的任一种；
39.转换模块，用于从所述多种类型的信息中选取所述第一类型的信息，将所述第一类型的信息转换为所述第二类型的信息；
40.控制模块，用于基于转换得到的所述第二类型的信息进行控制。
41.在一种可能的实现方式中，所述确定模块用于：
42.从第一匹配关系中，查找与所述当前工作模式匹配的所述第一类型和所述第二类型；其中，所述第一匹配关系包括与每种工作模式匹配的第一类型和第二类型。
43.在一种可能的实现方式中，所述装置还包括：
44.对象信息采集模块，用于采集对象信息，所述对象信息用于描述使用所述ar设备的对象的障碍类型；
45.工作模式确定模块，用于从第二匹配关系中，查找与所述障碍类型匹配的工作模式，将查找到的工作模式确定为所述当前工作模式；其中，所述第二匹配关系包括与每种障碍类型匹配的工作模式。
46.在一种可能的实现方式中，所述装置还包括：
47.工作模式切换模块，在检测到工作模式切换操作的情况下，将所述当前工作模式切换至所述工作模式切换操作指示的工作模式。
48.在一种可能的实现方式中，所述工作模式切换操作，包括以下至少一种：
49.对切换按键的触发操作；
50.识别到语音数据中包含切换关键词的操作；
51.采集到目标手势的操作。
52.在一种可能的实现方式中，
53.在听觉障碍模式下，所述第一类型的信息为语音信息，所述第二类型的信息为文字信息；或者，
54.在视觉障碍模式下，所述第一类型的信息为图像信息，所述第二类型的信息为语音信息；或者，
55.在言语障碍模式下，所述第一类型的信息为手语信息，所述第二类型的信息为语音信息或文字信息；或者，
56.在方言翻译模式下，所述第一类型的信息为包含第一语言的语音信息，所述第二类型的信息为包含第二语言的语音信息或文字信息，所述第一语言属于所述第二语言的一种分支语言；或者，
57.在语言翻译模式下，所述第一类型的信息为属于第一语种的语音信息，所述第二类型的信息为属于第二语种的语音信息或文字信息；或者，
58.在外部设备控制模式下，所述第一类型的信息为脑电波信息、语音信息或者图像信息，所述第二类型的信息为外部设备控制信息。
59.在一种可能的实现方式中，所述控制模块用于：
60.在所述听觉障碍模式下，显示转换得到的所述文字信息；或者，
61.在所述视觉障碍模式下，播放转换得到的所述语音信息；或者，
62.在所述言语障碍模式下，播放转换得到的所述语音信息，或者显示转换得到的所述文字信息；或者，
63.在所述方言翻译模式下，播放转换得到的所述语音信息，或者显示转换得到的所述文字信息；或者，
64.在所述语言翻译模式下，播放转换得到的语音信息，或者显示转换得到的所述文字信息；或者，
65.在所述外部设备控制模式下，基于所述外部设备控制信息控制所述ar设备连接的外部设备。
66.根据本技术实施例的另一方面，提供了一种ar设备，所述终端包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并
执行，以实现上述任一种可能的实现方式所述的控制方法。
67.根据本技术实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现上述任一种可能的实现方式所述的控制方法。
68.根据本技术实施例的另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取所述计算机程序代码，所述处理器执行所述计算机程序代码以实现如上述任一种可能的实现方式所述的控制方法。
69.在本技术实施例中，ar设备配置有多种工作模式，而且还能够采集所处环境中多种类型的信息，为多种工作模式提供了多样的信息支持，在当前处于任一种工作模式的情况下，可以将所处环境中第一类型的信息转换成第二类型的信息，从而基于第二类型的信息进行控制。那么，在配置的多种工作模式以及采集的多种类型的信息的支持下，可以进行不同的控制，满足了对象的多样化需求。
附图说明
70.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
71.图1是本技术实施例提供的一种控制方法的流程图；
72.图2是本技术实施例提供的另一种控制方法的流程图；
73.图3是本技术实施例提供的一种听觉障碍人士与好友交流的示意图；
74.图4是本技术实施例提供的一种视觉障碍人士与好友交流的示意图；
75.图5是本技术实施例提供的一种言语障碍人士与好友交流的示意图；
76.图6是本技术实施例提供的一种在不同工作模式下ar设备使用的功能的示意图；
77.图7是本技术实施例提供的一种控制装置的结构框图；
78.图8是本技术实施例提供的一种ar设备的结构框图。
具体实施方式
79.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
80.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。
81.本技术所使用的术语“至少一个”、“多个”、“每个”、“任一”等，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，每个是指对应的多个中的每一个，任一是指多个中的任意一个。
82.需要说明的是，本技术所涉及的对象信息(包括但不限于对象个人信息，对象设备信息等)，均为经对象授权或者经过各方充分授权的信息。
83.图1是本技术实施例提供的一种控制方法的流程图。该方法由增强现实ar设备执行，参见图1，该方法包括如下步骤：
84.101、ar设备采集ar设备所处的环境中多种类型的信息。
85.其中，ar设备为ar眼镜、头戴式ar显示器、ar头盔等，该ar设备能够显示出增强现实画面，该增强现实画面中既可以包括真实场景画面，也可以包括虚拟的元素，从而将虚拟的元素与真实场景的画面融为一体，给佩戴ar设备的对象带来更好的视觉体验。
86.其中，多种类型的信息至少包括但不限于图像信息、语音信息、肢体动作信息、文本信息等中的至少一种，本技术实施例中的ar设备具备多种类型的采集单元，能够通过该多种类型的采集单元，分别采集多种类型的信息。该采集单元至少可以包括但不限于摄像头、麦克风阵列、毫米波雷达、3d结构光摄像头、多轴加速度传感器等中的至少一种。
87.102、ar设备确定与ar设备的当前工作模式匹配的第一类型和第二类型。
88.其中，当前工作模式为ar设备配置的多种工作模式中的任一种，并且不同的工作模式，所匹配的第一类型和第二类型可以相同，也可以不同。
89.当前工作模式与第一类型和第二类型匹配，表示在当前工作模式下，ar设备需将第一类型的信息转换成第二类型的信息，则第一类型为ar设备采集的多种类型的信息中，需要处理的信息的类型，第二类型为ar设备转换得到的信息的类型。例如，针对不同的应用场景或者不同的使用人群，需要采集的信息类型不同，需要输出的信息类型也不同，因此可以基于当前的应用场景或使用人群，确定合适的工作模式，在此工作模式下控制ar设备。
90.并且，第二类型的信息的含义与第一类型的信息的含义相同，仅是类型不同。这样接收到第二类型的信息的用户即可了解第二类型的信息的含义，也即是了解了第一类型的信息的含义，从而获知输出第一类型的信息的用户所需表达的内容，从而使得接收到第二类型的信息的用户，与输出第一类型的信息的用户之间能够毫无障碍地进行交流。
91.其中，ar设备采集的多种类型的信息中不仅可以包括第一类型的信息，还可以包括第二类型的信息，但是采集的第二类型的信息，与基于第一类型的信息转换得到的第二类型的信息的含义可能不同。例如，在某个用户站在公交站牌旁边说话的情况下，ar设备采集到语音信息和文字信息，该语音信息中包括用户的说话内容，而该文字信息包括公交站牌上的文字，此时将该语音信息转换成文字信息，转换得到的文字信息中包括用户的说话内容，而不是包括公交站牌上的文字。
92.可选地，由于ar设备配置多种工作模式，第一匹配关系包括与每种工作模式匹配的第一类型和第二类型，因此该步骤102包括：ar设备从第一匹配关系中，查找与当前工作模式匹配的第一类型和第二类型；例如，第一匹配关系中的工作模式为听觉障碍模式，则匹配的第一类型可以为语音类型，第二类型可以为文字类型。另外，该第一匹配关系可以由技术人员设置在ar设备上，或者由技术人员设置在服务器上，由ar设备从服务器下载，或者还可以由对象进行设置。这样，ar设备能够准确快速的查找到与当前工作模式匹配的第一类型和第二类型。
93.103、ar设备从多种类型的信息中选取第一类型的信息，将第一类型的信息转换为第二类型的信息。
94.其中，ar设备通过人工智能(artificial intelligence，ai)功能将第一类型的信息转换成第二类型的信息，ai功能至少包括但不限于语音识别、动作识别、物体识别、手语
识别、语音合成、文本内容识别等中的至少一种。ar设备可以基于与当前工作模式匹配的第一类型和第二类型，确定使用何种ai功能，对第一类型的信息进行转换得到第二类型的信息。
95.例如，第一类型的信息为语音信息，第二类型的信息为文字信息，ar设备需要将语音转换成文字信息，则ar设备通过语音识别功能将语音信息转换成文字信息。
96.104、ar设备基于转换得到的第二类型的信息进行控制。
97.本技术实施例中，ar设备基于转换得到的第二类型的信息来执行相应的操作。可选地，ar设备输出该第二类型的信息。例如，第二类型的信息为文字信息，则ar设备对该文字信息进行显示；第二类型信息为语音信息，则ar设备对该语音信息进行播放。或者，ar设备也可以基于转换得到的第二类型的信息控制其他的设备执行相应的操作，例如控制与ar设备连接的外部设备输出该第二类型的信息等。
98.在本技术实施例中，ar设备配置有多种工作模式，而且还能够采集所处环境中多种类型的信息，为多种工作模式提供了多样的信息支持，在当前处于任一种工作模式的情况下，可以将所处环境中第一类型的信息转换成第二类型的信息，从而基于第二类型的信息进行控制。那么，在配置的多种工作模式以及采集的多种类型的信息的支持下，可以进行不同的控制，满足了对象的多样化需求。
99.图2是本技术实施例提供的一种控制方法的流程图。该方法由ar设备执行，参见图2，该方法包括如下步骤：
100.201、ar设备采集对象信息。
101.其中，对象信息用于描述使用ar设备的对象的障碍类型，该障碍类型表示该对象存在障碍的部位的类型，表示该对象不能正常接收信息或输出信息的部位是哪一个部位，另外该对象信息还可以描述该对象的其他方面的信息，如对象的登录账号、使用习惯等。
102.可选地，ar设备通过输出语音信息和文字信息，并检测该对象的回应来获得对象信息。例如，ar设备播放一段音乐，显示文字信息“您是否能听到音乐声”并播放该文字信息对应的语音信息，且ar设备检测到对象的回应代表的含义为“否”，则确定该对象听不到声音，该对象的障碍类型为听觉障碍类型。
103.在本技术实施例中，可以设置多种障碍类型，例如，对象在听觉上有缺陷，则障碍类型为听觉障碍类型；对象在视觉上有缺陷，则障碍类型为视觉障碍类型；对象在发音上有缺陷，则障碍类型为言语障碍类型。这样，ar设备通过获取对象的障碍类型，能够更加全面地了解对象的情况，以便为对象提供更适合的工作模式，方便对象顺利地使用ar设备。
104.202、ar设备从第二匹配关系中，查找与障碍类型匹配的工作模式，将查找到的工作模式确定为当前工作模式。
105.其中，第二匹配关系包括与每种障碍类型匹配的工作模式。例如，第二匹配关系中障碍类型为听觉障碍类型，则匹配的工作模式为听觉障碍模式。其中，第二匹配关系中可以包括多种障碍类型，每种障碍类型与一种或多种工作模式匹配，且与不同障碍类型匹配的工作模式可以相同，也可以不同。另外，该第二匹配关系可以由技术人员设置在ar设备上，或者由技术人员设置在服务器上，由ar设备从服务器下载，或者还可以由对象进行设置。
106.本技术实施例中，ar设备基于对象的障碍类型来查找匹配的工作模式，并将查找到的工作模式确定为当前工作模式，简化了确定当前工作模式的操作流程，为对象提供了
很大的便利。
107.可选地，ar设备从第二匹配关系中查找到与该障碍类型匹配的一种工作模式的情况下，将查找到的工作模式确定为当前工作模式，而ar设备从第二匹配关系中查找到与该障碍类型匹配的多种工作模式的情况下，为对象提供该多种工作模式，供对象从该多种工作模式中选择当前要使用的工作模式，或者，从该多种工作模式中选择上一次使用过的工作模式，或者，从该多种工作模式中选择相同障碍类型下使用次数最多的工作模式。
108.其中，在为对象提供该多种工作模式时，提供方式需要与对象的障碍类型匹配，例如障碍类型为听觉障碍类型，则不能播放包含该多种工作模式的语音信息，而是显示该多种工作模式对应的选择按钮，供对象选择。
109.203、ar设备采集ar设备所处的环境中多种类型的信息。
110.步骤203的具体实现方式与上述步骤101同理，此处不在赘述。
111.204、ar设备确定与ar设备的当前工作模式匹配的第一类型和第二类型。
112.其中，当前工作模式为ar设备配置的多种工作模式中的任一种，并且不同的工作模式，所匹配的第一类型和第二类型可以相同，也可以不同。
113.步骤204的具体实现方式与上述步骤102同理，针对第一类型、第二类型、以及步骤204的描述可以参见步骤102，此处不在赘述。
114.205、ar设备从多种类型的信息中选取第一类型的信息，将第一类型的信息转换为第二类型的信息。
115.步骤205的具体实现方式与上述步骤103同理，此处不再赘述。
116.206、ar设备基于转换得到的第二类型的信息进行控制。
117.步骤206的具体实现方式与上述步骤104同理，此处不在赘述。
118.需要说明的是，上述实施例对ar设备在当前工作模式下的控制流程进行了说明，而在具体使用过程中还可以切换工作模式。可选地，该方法还包括：ar设备在检测到工作模式切换操作的情况下，将当前工作模式切换至该工作模式切换操作指示的工作模式。
119.对象可以根据自己的使用需求执行工作模式切换操作，从而选择要切换到哪一种工作模式，方便对象使用ar设备来选择工作模式，提高了对象选择工作模式的灵活性。
120.可选地，工作模式切换操作包括以下至少一种：
121.(1)对切换按键的触发操作；
122.其中，ar设备设置有切换按键，该切换按键用于切换工作模式，则在当前工作模式下，对象执行对切换按键的触发操作，如点击操作、长按操作等，则ar设备确定检测到工作模式切换操作，因此，将当前工作模式切换至下一个工作模式。
123.ar设备配置有多种工作模式，且该多种工作模式按照顺序排列，则基于该多种工作模式的顺序可以确定当前工作模式的下一个工作模式。
124.(2)识别到语音信息中包含切换关键词的操作；
125.可选地，ar设备设置一种切换关键词，该切换关键词用于指示将当前工作模式切换至下一个工作模式，则对象说出该切换关键词，ar设备会采集到语音信息，并且识别出该语音信息中包含该切换关键词，则确定检测到工作模式切换操作，因此，将当前工作模式切换至下一个工作模式。
126.或者，为了提高灵活性，ar设备设置多种切换关键词，不同的切换关键词对应不同
的工作模式，则对象基于自己想要切换的工作模式，说出相应的切换关键词，ar设备会采集到语音信息，并且识别出该语音信息中包含切换关键词，则确定检测到工作模式切换操作，因此，将当前工作模式切换至该切换关键词指示的工作模式。例如，切换关键词为“控制外部设备”，则ar设备将当前工作模式切换至外部设备控制模式。
127.(3)采集到目标手势的操作。
128.可选地，ar设备设置一种目标手势，该目标手势用于指示将当前工作模式切换至下一个工作模式，则对象做出该目标手势，ar设备会采集到图像信息，并且识别出该图像信息中包含该目标手势，则确定检测到工作模式切换操作，因此，将当前工作模式切换至下一个工作模式。
129.或者，为了提高灵活性，ar设备设置多种目标手势，不同的目标手势对应不同的工作模式，则对象基于自己想要切换的工作模式，做出相应的目标手势，ar设备会采集到图像信息，并且识别出该图像信息中包含目标手势，则确定检测到工作模式切换操作，因此，将当前工作模式切换至该目标手势指示的工作模式。
130.其中，ar设备设置的一种或多种目标手势可以是特定的动作，也可以是具体的手语动作，ar设备可以基于对象的障碍类型来设置目标手势的类型，例如，对象的障碍类型为言语障碍类型，则ar设备设置目标手势为手语动作。
131.可选地，工作模式切换操作包括上述三种操作中的至少两种操作，则对象在佩戴ar设备时，无论做出哪一种工作模式切换操作都可以控制ar设备，为对象提供了多种选择。
132.在本技术实施例中，ar设备配置有多种工作模式，而且还能够采集所处环境中多种类型的信息，为多种工作模式提供了多样的信息支持，在当前处于任一种工作模式的情况下，可以将所处环境中第一类型的信息转换成第二类型的信息，从而基于第二类型的信息进行控制。那么，在配置的多种工作模式以及采集的多种类型的信息的支持下，可以进行不同的控制，满足了对象的多样化需求。
133.并且，ar设备通过采集对象信息，获取对象的障碍类型，从而基于对象的障碍类型来查找匹配的工作模式，并设置该工作模式为当前工作模式，那么，ar设备通过获取对象的障碍类型，能够更加全面地了解对象的情况，以便为对象提供更适合的工作模式，方便对象顺利地使用ar设备。
134.并且，ar设备在检测到工作模式切换操作的情况下，将当前工作模式切换至工作模式切换操作指示的工作模式。这样，对象可以根据自己使用需求来选择切换到哪一种工作模式，提高了对象使用ar设备选择工作模式的灵活性。其中工作模式切换操作的多样性满足了对象的需求，为对象提供了多种选择。
135.在上述实施例的基础上，以下将对ar设备在不同工作模式下的处理流程和使用场景进行举例说明。
136.可选地，在听觉障碍模式下，上述图2所示的实施例中的步骤203至步骤206可以替换为：
137.ar设备的当前工作模式为听觉障碍模式时，ar设备采集ar设备所处的环境中多种类型的信息，ar设备确定与听觉障碍模式匹配的第一类型为语音类型，第二类型为文字类型；ar设备从采集的多种类型的信息中选取语音信息，并将该语音信息转换成文字信息，显示转换得到的文字信息。
138.例如，参见图3，在听觉障碍人士与好友进行交流的场景下，通过佩戴ar设备，如果好友说话，则ar设备会采集到好友的语音信息，然后显示包含好友说话内容的文字信息，这样，听觉障碍人士可以以文字的形式看到好友所说的内容，从而与该好友进行交流，相比于听觉障碍人士与好友通过手语进行交流，或者通过文字进行交流的方式，通过佩戴ar设备进行交流可以降低交流的难度，还实现了听觉障碍人士与好友的实时交流，为听觉障碍者的生活带来很大便利。
139.可选地，在视觉障碍模式下，上述图2所示的实施例中的步骤203至步骤206可以替换为以下内容：
140.ar设备的当前工作模式为视觉障碍模式时，ar设备采集ar设备所处的环境中多种类型的信息，ar设备确定与视觉障碍模式匹配的第一类型为图像类型，第二类型为语音类型；然后ar设备从采集的多种类型的信息中选取图像信息，并转换成语音信息，ar设备播放转换得到的语音信息。
141.例如，参见图4，在视觉障碍人士与好友交流的场景下，通过佩戴ar设备，ar设备采集图像信息，该图像信息包括好友的外貌、身高、性别、动作等，并且ar设备将该图像信息转换成语音信息，通过播放该语音信息，使视觉障碍人士能够充分了解好友的信息，提高了视觉障碍人士与好友的交流效率，并且ar设备将转换得到的语音信息通过骨传导传输给视觉障碍人士，可以避免外界噪音带来的干扰，确保视觉障碍人士准确及时的获取信息。
142.而且，在视觉障碍人士出行的场景下，通过佩戴ar设备，ar设备采集图像信息，该图像信息包括视觉障碍人士所处位置的路面信息、周边环境信息等，ar设备将该图像信息转换成语音信息，实时播报该语音信息供视觉障碍人士收听。这样，视觉障碍人士可以了解所处位置的具体信息，使得视觉障碍人士的出行更加安全便利。
143.可选地，在言语障碍模式下，上述图2所示的实施例中的步骤203至步骤206可以替换为以下内容：
144.ar设备的当前工作模式为言语障碍模式时，ar设备采集ar设备所处的环境中多种类型的信息，ar设备确定与言语障碍模式匹配的第一类型为手语类型，第二类型为语音类型或文字类型；然后ar设备从采集的多种类型的信息中选取手语信息，并转换成语音信息或文字信息，ar设备播放转换得到的语音信息，或者显示转换得到的文字信息。
145.例如，参见图5，在言语障碍人士与好友交流的场景下，通过佩戴ar设备，如果言语障碍人士做出手语动作，则ar设备采集言语障碍人士的手语信息，将该手语信息转换成语音信息，通过播放该语音信息。好友能够了解言语障碍人士的手语动作所表达的意思，实现了两者之间的无障碍交流，而且好友无需学习手语就可以与言语障碍人士进行交流，降低了交流的难度，为言语障碍人士的生活带来很大便利。参见图6，ar设备还可以采集言语障碍人士的唇语信息，通过唇语识别将唇语信息转换成语言信息，这为不具备手语能力的言语障碍人士提供了很大的便利。
146.可选地，在方言翻译模式下，上述图2所示的实施例中的步骤203至步骤206可以替换为以下内容：
147.ar设备的当前工作模式为方言翻译模式时，ar设备采集ar设备所处的环境中多种类型的信息，ar设备确定与方言翻译模式匹配的第一类型为包含第一语言的语音类型，第二类型为包含第二语言的语音类型或文字类型；然后ar设备从采集的多种类型的信息中选
取包含第一语言的语音信息，并将包含第一语言的语音信息转换成包含第二语言的语音信息或文字信息，播放包含第二语言的语音信息或显示包含第二语言的文字信息。
148.其中，第二语言是官方语言中的一种，第一语言是官方语言经过变形得到的地方语言中的一种。例如，第一语言为四川话，第二语言为普通话。参见图6，如果当前的第一语言为四川话，第二语言为普通话，则ar设备通过方言识别功能将包含四川话的语音信息转换成包含普通话的语音信息，可以实现说地方语言的人和说官方语言的人之间的无障碍交流，对于一些经常与不具备说官方语言能力的人群进行沟通的工作人员，具有很大的帮助。
149.可选地，在语言翻译模式下，上述图2所示的实施例中的步骤203至步骤206可以替换为以下内容：
150.ar设备的当前工作模式为语言翻译模式时，ar设备采集ar设备所处的环境中多种类型的信息，ar设备确定与语言翻译模式匹配的第一类型为属于第一语种的语音类型，第二类型为属于第二语种的语音类型或文字类型；然后ar设备从采集的多种类型的信息中选取属于第一语种的语音信息，并转换成属于第二语种的语音信息或文字信息，播放属于第二语种的语音信息或显示属于第二语种的文字信息。
151.其中，第一语种和第二语种是两种不同的语言，代表两种完全不同的语言体系，例如，第一语种是英语，第二语种是汉语。参见图6，ar设备通过语音识别功能将属于第一语种的语音信息转换成属于第二语种的语音信息或文字信息，可以实现不同国家人群之间的无障碍交流。
152.可选地，在外部设备控制模式下，上述图2所示的实施例中的步骤203至步骤206可以替换为以下内容：
153.ar设备的当前工作模式为外部设备控制模式时，ar设备采集ar设备所处的环境中多种类型的信息，ar设备确定与外部设备控制模式匹配的第一类型为脑电波类型、语音类型或图像类型，第二类型为外部设备控制类型；ar设备从采集的多种类型的信息中选取脑电波信息、语音信息或图像信息，并转换成外部设备控制信息，基于外部设备控制信息控制ar设备连接的外部设备。
154.其中，外部设备可以是轮椅、假肢机械手等。
155.可选地，ar设备采集肢体障碍人士的脑电波信息，并转换成外部设备控制信息，或者ar设备采集肢体障碍人士的语音信息，通过语音识别确定该语音信息中包含的内容，将该内容转换成外部设备控制信息，或者ar设备采集肢体障碍人士的图像信息，通过图像识别确定该图像信息中包含的手势，将该手势转换成外部设备控制信息等。这样，通过佩戴ar设备，无需肢体障碍人士的手动操作，就能实现轮椅的行走、转动等，很大程度上方便了肢体障碍人士的出行，提高了肢体障碍人士移动的效率。
156.当然，该第一类型的信息还可以为其他类型的信息，本技术实施例不再赘述。
157.图7是本技术实施例提供的一种控制装置的结构框图。参照图7，该装置包括：
158.采集模块701，用于采集ar设备所处的环境中多种类型的信息；
159.确定模块702，用于确定与ar设备的当前工作模式匹配的第一类型和第二类型，当前工作模式下需将第一类型的信息转换成第二类型的信息，且当前工作模式为ar设备配置的多种工作模式中的任一种；
160.转换模块703，用于从多种类型的信息中选取第一类型的信息，将第一类型的信息
转换为第二类型的信息；
161.控制模块704，用于基于转换得到的第二类型的信息进行控制。
162.在一种可能的实现方式中，该确定模块702用于：
163.从第一匹配关系中，查找与当前工作模式匹配的第一类型和第二类型；其中，第一匹配关系包括与每种工作模式匹配的第一类型和第二类型。
164.在一种可能的实现方式中，该装置还包括：
165.对象信息采集模块，用于采集对象信息，对象信息用于描述使用ar设备的对象的障碍类型；
166.工作模式确定模块，用于从第二匹配关系中，查找与障碍类型匹配的工作模式，将查找到的工作模式确定为当前工作模式；其中，第二匹配关系包括与每种障碍类型匹配的工作模式。
167.在一种可能的实现方式中，该装置还包括：
168.工作模式切换模块，用于在检测到工作模式切换操作的情况下，将当前工作模式切换至工作模式切换操作指示的工作模式。
169.在一种可能的实现方式中，工作模式切换操作，包括以下至少一种：
170.对切换按键的触发操作；
171.识别到语音数据中包含切换关键词的操作；
172.采集到目标手势的操作。
173.在一种可能的实现方式中，
174.在听觉障碍模式下，第一类型的信息为语音信息，第二类型的信息为文字信息；或者，
175.在视觉障碍模式下，第一类型的信息为图像信息，第二类型的信息为语音信息；或者，
176.在言语障碍模式下，第一类型的信息为手语信息，第二类型的信息为语音信息或文字信息；或者，
177.在方言翻译模式下，第一类型的信息为包含第一语言的语音信息，第二类型的信息为包含第二语言的语音信息或文字信息，第一语言属于第二语言的一种分支语言；或者，
178.在语言翻译模式下，第一类型的信息为属于第一语种的语音信息，第二类型的信息为属于第二语种的语音信息或文字信息；或者，
179.在外部设备控制模式下，第一类型的信息为脑电波信息、语音信息或者图像信息，第二类型的信息为外部设备控制信息。
180.在一种可能的实现方式中，该控制模块704用于：
181.在听觉障碍模式下，显示转换得到的文字信息；或者，
182.在视觉障碍模式下，播放转换得到的语音信息；或者，
183.在言语障碍模式下，播放转换得到的语音信息，或者显示转换得到的文字信息；或者，
184.在方言翻译模式下，播放转换得到的语音信息，或者显示转换得到的文字信息；或者，
185.在语言翻译模式下，播放转换得到的语音信息，或者显示转换得到的文字信息；或
者，
186.在外部设备控制模式下，基于外部设备控制信息控制ar设备连接的外部设备。
187.在本技术实施例中，ar设备配置有多种工作模式，而且还能够采集所处环境中多种类型的信息，为多种工作模式提供了多样的信息支持，在当前处于任一种工作模式的情况下，可以将所处环境中第一类型的信息转换成第二类型的信息，从而基于第二类型的信息进行控制。那么，在配置的多种工作模式以及采集的多种类型的信息的支持下，可以进行不同的控制，满足了对象的多样化需求。
188.关于上述实施例中的控制装置，其中每个模块执行操作的具体方式已经在有关方法的实施例中进行了详细描述，此处将不做详细阐述说明。
189.本技术实施例提供了一种ar设备，ar设备包括处理器和存储器，存储器中存储有至少一条程序代码，至少一条程序代码由处理器加载并执行，以实现上述实施例中的控制方法。
190.图8是根据本技术实施例提供的一种ar设备800的结构框图。该ar设备800可以是：ar眼镜、头戴式ar显示器、ar头盔。
191.ar设备800包括有：处理器801和存储器802。
192.处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
193.存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器801所执行以实现本技术中方法实施例提供的控制方法。
194.在一些实施例中，ar设备800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。
195.外围设备接口803可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
196.射频电路804用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、对象身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它ar设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
197.显示屏805用于显示ui(user interface，对象界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置ar设备800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在ar设备800的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在ar设备800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light-emitting diode，有机发光二极管)等材质制备。
198.摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。前置摄像头设置在ar设备的前面板，后置摄像头设置在ar设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
199.音频电路807可以包括麦克风和扬声器。麦克风用于采集对象及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在ar设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
200.定位组件808用于定位ar设备800的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件808可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
201.电源809用于为ar设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
202.在一些实施例中，ar设备800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、光学传感器814以及接近传感器815。
203.加速度传感器811可以检测以ar设备800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行对象界面的显示。加速度传感器811还可以用于游戏或者对象的运动数据的采集。
204.陀螺仪传感器812可以检测ar设备800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集对象对ar设备800的3d动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据对象的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
205.压力传感器813可以设置在ar设备800的侧边框和/或显示屏805的下层。当压力传感器813设置在ar设备800的侧边框时，可以检测对象对ar设备800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据对象对显示屏805的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
206.光学传感器814用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器814采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器814采集的环境光强度，动态调整摄像头组件806的拍摄参数。
207.接近传感器815，也称距离传感器，设置在ar设备800的前面板。接近传感器815用于采集对象与ar设备800的正面之间的距离。在一个实施例中，当接近传感器815检测到对象与ar设备800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器815检测到对象与ar设备800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
208.本领域技术人员可以理解，图8中示出的结构并不构成对ar设备800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
209.在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例中的控制方法。该计算机可读存储介质可以是存储器。例如，该计算机可读存储介质可以是rom(read-only memory，只读存储器)、ram(random access memory，随机存取存储器)、cd-rom(compact disc read-only memory，紧凑型光盘只读储存器)、磁带、软盘和光数据存储终端等。
210.在示例性实施例中，还提供了一种计算机程序产品，计算机程序产品包括计算机
程序代码，计算机程序代码存储在计算机可读存储介质中，处理器从计算机可读存储介质读取计算机程序代码，处理器执行计算机程序代码以实现如上述实施例中的控制方法。
211.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
212.以上仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。