基于装置间的互通提供装置控制功能的人工智能装置及其方法与流程

1.本公开涉及用于基于装置间配对来提供装置控制功能的人工智能装置和方法。


背景技术：

2.近来，配备有基于人工智能的技术以提供各种功能的许多人工智能装置已经广泛分布，从而极大地增加了日常生活的便利性。这些人工智能装置可以提供考虑到上下文信息或使用记录而确定的操作，并且可以根据语音识别或图像识别来提供各种功能。随着用户使用的人工智能装置的数量增加，通过链接几个人工智能装置来管理和控制它们的必要性增加。
3.然而，传统上，仅通过在用户的帐户中注册人工智能装置来提供用于链接多个人工智能装置的服务。这种面向帐户的链接服务是不方便的，因为当存在多个用户时，必须单独注册每个用户以便于使用该链接服务。当基于装置间配对来链接人工智能装置时，可以向多个用户提供装置控制服务。


技术实现要素：

4.技术问题
5.本公开的目的是提供一种用于基于装置间配对来提供控制直接或间接配对的装置的功能的人工智能装置和方法。
6.技术解决方案
7.本公开的实施方式提供了一种用于执行以下步骤的人工智能装置和方法：当进入装置配对模式时，搜索可配对装置；与可配对装置中的目标装置进行配对；以及通过将与所述目标装置相关联的配对信息添加到配对信息表来更新所述配对信息表。
8.此外，另外，本公开的实施方式提供一种用于与配对装置或人工智能服务器共享配对信息表的的人工智能装置和方法。
9.另外，本公开的实施方式提供了一种用于执行以下步骤的人工智能装置和方法：确定关于发送装置的信息、关于接收装置的信息和操作命令，该发送装置在接收到装置使用命令时发送与装置使用命令相对应的命令，该接收装置接收并执行该命令；确定从发送装置到接收装置的连接路径；考虑到连接路径，生成与装置使用命令相对应的命令；以及根据该连接路径发送该命令。
10.此外，本公开的实施方式提供了一种人工智能装置和用于通过使用存储在存储器中的另一装置的配对信息表来确定连接路径的方法。
11.此外，本公开的实施方式提供了一种用于通过从人工智能服务器请求连接路径来确定连接路径的人工智能装置和方法。
12.此外，本公开的实施方式提供了一种用于执行以下步骤的人工智能装置和方法：使用配对信息表来确定接收装置是否是直接配对装置；以及当接收装置不是直接配对装置
时，从直接配对装置请求到接收装置的连接路径，并且基于从直接配对装置接收的连接路径来确定连接路径。
13.有利效果
14.根据本公开的各种实施方式，可以通过在不使用用户账户信息的情况下执行装置间配对来构造用户无关的装置配对系统。
15.根据本公开的各种实施方式，可以通过人工智能服务器或直接配对装置来控制间接配对装置的操作。
16.此外，根据本公开的各种实施方式，即使当另一装置的配对信息表没有被存储时，也可以通过标识间接配对装置来减少由于共享装置配对信息而引起的安全问题。
附图说明
17.图1例示了根据本公开的实施方式的ai装置。
18.图2是例示了根据本公开的实施方式的ai服务器的图。
19.图3是例示了根据本公开的实施方式的ai系统的图。
20.图4是例示了根据本公开的实施方式的ai装置的框图。
21.图5是例示了根据本公开的实施方式的人工智能系统的框图。
22.图6是例示了根据本公开的各种实施方式的基于装置之间的配对来提供装置控制功能的人工智能系统的图。
23.图7是例示了根据本公开的实施方式的基于装置间配对来提供装置控制功能的方法的操作流程图。
24.图8是例示了根据本公开的实施方式的提供关于配对装置的信息的装置配对接口的图。
25.图9是例示了根据本公开的实施方式的提供关于配对装置和新装置的信息的装置配对接口的图。
26.图10是例示了根据本公开的实施方式的基于装置间配对来提供装置控制功能的方法的操作流程图。
27.图11是例示了根据本公开的实施方式的基于装置间配对来提供装置控制功能的方法的操作流程图。
28.图12是例示了根据本公开的实施方式的配对信息表的示例的图。
29.图13至图15是例示了根据本公开的各种实施方式的人工智能系统的图。
具体实施方式
30.在下文中，将参照附图详细描述本文公开的实施方式，并且与附图中的附图标记无关地利用相同的附图标记来表示相同或相似的元件，并且将省略它们的冗余描述。以下描述中使用的组件的后缀“模块”和“单元或部分”仅仅是为了便于准备本说明书而提供的，因此它们不被赋予特定的含义或功能。另外，当确定相关已知技术的详细描述可能使描述实施方式时本文公开的实施方式的要点不清楚时，将省略相关已知技术的详细描述。此外，附图旨在便于理解本文公开的实施方式，并且本文公开的技术精神不受附图限制。因此，本公开应被解释为包括本公开的精神和范围中所包括的所有改变、等同物和替换。
31.带有诸如“第一”、“第二”等序数的术语可以用于表示各种组件，但这些组件不受这些术语的限制。这些术语仅用于将一个组件与另一组件区开来的目的。
32.还应理解，当元件被称为“连接”或“联接”到另一元件时，元件可以直接连接或联接到另一元件，或者可以存在中间元件。相反，当元件被称为“直接连接”或“直接联接”到另一元件时，不存在中间元件。
33.《人工智能(ai)》
34.人工智能是指研究人工智能或制造人工智能的方法的领域，并且机器学习是指定义人工智能领域中处理的各种问题和研究用于解决各种问题的方法的领域。机器学习被定义成通过对特定任务的稳定体验来提高特定任务的性能的算法。
35.人工神经网络(ann)是在机器学习中使用的模型，并且可以意指由通过突触连接形成网络的人工神经元(节点)组成的问题解决能力的整个模型。人工神经网络可以由不同层中的神经元之间的连接模式、用于更新模型参数的学习过程和用于生成输出值的激活函数来定义。
36.人工神经网络可以包括输入层、输出层以及可选的一个或更多个隐藏层。每个层包括一个或更多个神经元，并且人工神经网络可以包括将神经元链接到神经元的突触。在人工神经网络中，每个神经元可以输出针对通过突触输入的输入信号、权重和偏置的激活函数的函数值。
37.模型参数是指通过学习来确定的参数，并且包括突触连接的权值和神经元的偏置。超参数意指在机器学习算法中在学习之前要配置的参数，并且包括学习速率、重复次数、最小批尺寸和初始化函数。
38.人工神经网络的学习目的可以是确定使损失函数最小化的模型参数。损失函数可以被用作在人工神经网络的学习过程中确定最佳模型参数的指标。
39.根据学习方法，机器学习可以被分类成监督学习、无监督学习和强化学习。
40.监督学习可以指在给出用于学习数据的标签的状态下训练人工神经网络的方法，并且标签可以意指当学习数据被输入到人工神经网络时人工神经网络必须推断的正确答案(或结果值)。无监督学习可以指在未给出用于学习数据的标签的状态下训练人工神经网络的方法。强化学习可以指以下学习方法：在特定环境下定义的代理进行学习以选择使在每种状态下的累积补偿最大化的行为或行为序列。
41.在人工神经网络当中，被实现为包括多个隐藏层的深度神经网络(dnn)的机器学习也被称为深度学习，并且深度学习是机器学习的一部分。在下文中，机器学习被用于意指深度学习。
42.《机器人》
43.机器人可以指通过其自身能力来自动处理或操作给定任务的机器。具体地，具有识别环境和执行自主确定操作的功能的机器人可以被称为智能型机器人。
44.可以根据使用目的或领域将机器人分类成工业机器人、医疗机器人、家庭机器人和军事机器人等。
45.机器人包括可以包括致动器或马达的驱动单元，并且可以执行诸如移动机器人关节的各种物理操作。另外，可移动机器人可以在驱动单元中包括轮、制动器、推进器等，并且可以通过驱动单元在地面上行进或者在空中飞行。
46.《自动驾驶》
47.自动驾驶是指用于自主驾驶的技术，并且自动驾驶车辆是指在用户不进行操作的情况下或通过用户的最少操作而行驶的车辆。
48.例如，自动驾驶可以包括用于在行驶的同时维持车道的技术、诸如自适应巡航控制的用于自动调整速度的技术、用于沿着预定路线自动行进的技术以及用于在设置目的地时自动设置和行驶路线的技术。
49.车辆可以包括仅具有内燃发动机的车辆、具有内燃发动机和电动机二者的混合动力车辆以及仅具有电动机的电动车辆，并且除了汽车以外，还可以包括火车、摩托车等。
50.此时，自动驾驶车辆可以被认为是具有自动驾驶功能的机器人。
51.《扩展现实(xr)》
52.扩展现实统称为虚拟现实(vr)、增强现实(ar)和混合现实(mr)。虚拟现实技术仅以cg图像的形式提供真实世界的对象和背景，ar技术在真实对象图像上提供虚拟cg图像，并且mr技术是将虚拟对象与现实世界混合并组合在一起的计算机图形技术。
53.mr技术与ar技术的相似之处在于，一起示出了真实对象和虚拟对象。然而，在ar技术中，以补充真实对象的形式使用虚拟对象，而在mr技术中，虚拟对象和真实对象以同等方式使用。
54.xr技术可以被应用于头戴式显示器(hmd)、平视显示器(hud)、移动电话、平板pc、膝上型计算机、台式机、tv和数字标牌等。应用xr技术的装置可以被称为xr装置。
55.图1例示了根据本公开的实施方式的ai装置。
56.在下文中，人工智能装置100可以被称为终端100。
57.ai装置100可以通过诸如tv、投影仪、移动电话、智能电话、台式计算机、笔记本、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航装置、平板pc、可穿戴装置、机顶盒(stb)、dmb接收器、收音机、洗衣机、冰箱、台式计算机、数字标牌、机器人和车辆等的固定装置或移动装置来实现。
58.参照图1，ai装置100可以包括通信单元110、输入单元120、学习处理器130、感测单元140、输出单元150、存储器170和处理器180。
59.通信单元110可以通过使用有线/无线通信技术来将数据发送到诸如其它ai装置100a至100e和ai服务器200的外部装置和从所述外部装置接收数据。例如，通信单元110可以将传感器信息、用户输入、学习模型和控制信号发送到外部装置和从外部装置接收传感器信息、用户输入、学习模型和控制信号。
60.由通信单元110使用的通信技术包括gsm(全球移动通信系统)、cdma(码分多址)、lte(长期演进)、5g、wlan(无线lan)、wi-fi(无线保真)、bluetooth
tm
、rfid(射频识别)、红外数据协会(irda)、zigbee、nfc(近场通信)等。
61.输入单元120可以获取各种类型的数据。
62.此时，输入单元120可以包括用于输入视频信号的摄像头、用于接收音频信号的麦克风以及用于从用户接收信息的用户输入单元等。摄像头或麦克风可以被看作传感器，并且从摄像头或麦克风获取的信号可以被称为感测数据或传感器信息。
63.当通过使用学习模型来获取输出时，输入单元120可以获取用于模型学习的学习数据和要使用的输入数据。输入单元120可以获取原始输入数据。在这种情况下，处理器180
或学习处理器130可以通过对输入数据进行预处理来提取输入特征。
64.学习处理器130可以通过使用学习数据来对由人工神经网络组成的模型进行学习。经学习的人工神经网络可以被称为学习模型。学习模型可以用于推断针对新输入数据而非学习数据的结果值，并且所推断的值可以被用作确定执行特定操作的基础。
65.此时，学习处理器130可以与ai服务器200的学习处理器240一起执行ai处理。
66.此时，学习处理器130可以包括在ai装置100中集成或实现的存储器。另选地，学习处理器130可以通过使用存储器170、直接连接到ai装置100的外部存储器或在外部装置中保持的存储器来实现。
67.感测单元140可以通过使用各种传感器来获取关于ai装置100的内部信息、关于ai装置100的周围环境信息或用户信息中的至少一种信息。
68.包括在感测单元140中的传感器的示例可以包括接近传感器、照度传感器、加速度传感器、磁传感器、陀螺仪传感器、惯性传感器、rgb传感器、ir传感器、指纹识别传感器、超声波传感器、光学传感器、麦克风、激光雷达和雷达。
69.输出单元150可以生成与视觉感觉、听觉感觉或触觉感觉相关的输出。
70.此时，输出单元150可以包括用于输出视觉信息的显示单元、用于输出听觉信息的扬声器以及用于输出触觉信息的触觉模块。
71.存储器170可以存储支持ai装置100的各种功能的数据。例如，存储器170可以存储由输入单元120获取的输入数据、学习数据、学习模型、学习历史等。
72.处理器180可以基于通过使用数据分析算法或机器学习算法所确定或生成的信息来确定ai装置100的至少一个可执行操作。处理器180可以控制ai装置100的组件以执行所确定的操作。
73.为此目的，处理器180可以请求、搜索、接收和利用学习处理器130或存储器170的数据。处理器180可以控制ai装置100的组件执行至少一个可执行操作当中的预测操作或被确定为期望的操作。
74.当需要外部装置连接以执行所确定的操作时，处理器180可以生成用于控制外部装置的控制信号，并且可以将所生成的控制信号发送到外部装置。
75.处理器180可以获取针对用户输入的意图信息，并且可以基于所获取的意图信息来确定用户的需求。
76.处理器180可以通过使用用于将语音输入转换成文本串的语音到文本(stt)引擎或用于获取自然语言的意图信息的自然语言处理(nlp)引擎中的至少一个引擎来获取与用户输入相对应的意图信息。
77.stt引擎或nlp引擎中的至少一个引擎可以被配置为人工神经网络，其至少一部分被根据机器学习算法进行学习。stt引擎或nlp引擎中的至少一个引擎可以通过学习处理器130来进行学习，可以通过ai服务器200的学习处理器240来进行学习或者可以通过其分布式处理来进行学习。
78.处理器180可以收集包括ai装置100的操作内容或用户对操作的反馈的历史信息，可以将所收集的历史信息存储在存储器170或学习处理器130中，或者将所收集的历史信息发送到诸如ai服务器200的外部装置。所收集的历史信息可以被用于更新学习模型。
79.处理器180可以控制ai装置100的组件中的至少一部分，以便于驱动存储在存储器
170中的应用程序。此外，处理器180可以以组合形式操作包括在ai装置100中的组件中的两个或更多个，以便于驱动应用程序。
80.图2是例示了根据本公开的实施方式的ai服务器的图。
81.参照图2，ai服务器200可以指通过使用机器学习算法对人工神经网络进行学习或者使用经学习的人工神经网络的装置。ai服务器200可以包括多个服务器以执行分布式处理，或者可以被定义为5g网络。此时，ai服务器200可以被包括作为ai装置100的部分配置，并且可以一起执行ai处理中的至少一些。
82.ai服务器200可以包括通信单元210、存储器230、学习处理器240和处理器260等。
83.通信单元210可以向诸如ai装置100的外部装置发送数据和从所述外部装置接收数据。
84.存储器230可以包括模型存储单元231。模型存储单元231可以存储通过学习处理器240进行学习或所学习的模型(或人工神经网络231a)。
85.学习处理器240可以通过使用学习数据来对人工神经网络231a进行学习。学习模型可以在被安装在人工神经网络的ai服务器200上的状态下使用，或者可以在被安装在诸如ai装置100的外部装置上的状态下使用。
86.学习模型可以被实现成硬件、软件或者硬件和软件的组合。如果全部或部分学习模型被实现成软件，则构成学习模型的一个或更多个指令可以被存储在存储器230中。
87.处理器260可以使用学习模型来推断针对新输入数据的结果值，并且可以基于所推断的结果值来生成响应或控制命令。
88.图3是例示了根据本公开的实施方式的ai系统1的图。
89.参照图3，在ai系统1中，ai服务器200、机器人100a、自动驾驶车辆100b、xr装置100c、智能电话100d或家用电器100e中的至少一者连接到云网络10。已经应用了ai技术的机器人100a、自动驾驶车辆100b、xr装置100c、智能电话100d或家用电器100e可以被称为ai装置100a至100e。
90.云网络10可以指形成云计算基础设施的一部分或存在于云计算基础设施中的网络。可以通过使用3g网络、4g或lte网络或5g网络来配置云网络10。
91.也就是说，配置ai系统1的装置100a至100e和200可以通过云网络10连接到彼此。具体地，装置100a至100e和200中的每个装置可以通过基站彼此通信，但是可以在不使用基站的情况下彼此直接进行通信。
92.ai服务器200可以包括执行ai处理的服务器和用于对大数据执行操作的服务器。
93.ai服务器200可以通过云网络10连接到构成ai系统1的ai装置(即，机器人100a、自动驾驶车辆100b、xr装置100c、智能电话100d或家用电器100e)中的至少一者，并且可以辅助所连接的ai装置100a至100e的ai处理中的至少一部分。
94.此时，ai服务器200可以代替ai装置100a至100e根据机器学习算法来学习人工神经网络，并且可以直接存储学习模型或将学习模型发送到ai装置100a至100e。
95.此时，ai服务器200可以从ai装置100a至100e接收输入数据，可以通过使用学习模型来推断针对接收到的输入数据的结果值，可以基于所推断的结果值来生成响应或控制命令，并且可以将响应或控制命令发送到ai装置100a至100e。
96.另选地，ai装置100a至100e可以直接通过使用学习模型来推断针对输入数据的结
果值，并且可以基于推断结果来生成响应或控制命令。
97.下文中，将描述应用了上述技术的ai装置100a至100e的各种实施方式。可以将图3中所示的ai装置100a至100e视为图1中所示的ai装置100的详细实施方式。
98.《ai 机器人》
99.应用了ai技术的机器人100a可以被实现成引导机器人、运输机器人、清洁机器人、可穿戴机器人、娱乐机器人、宠物机器人、无人飞行机器人等。
100.机器人100a可以包括用于控制操作的机器人控制模块，并且机器人控制模块可以指软件模块或者通过硬件来实现软件模块的芯片。
101.机器人100a可以通过使用从各种传感器获取的传感器信息来获取关于机器人100a的状态信息，可以检测(识别)周围的环境和对象，可以生成地图数据，可以确定路线和行进计划，可以确定对用户交互的响应，或者可以确定操作。
102.机器人100a可以使用从激光雷达、雷达和摄像头中的至少一个传感器获取的传感器信息，以便于确定行进路线和行进计划。
103.机器人100a可以使用由至少一个人工神经网络组成的学习模型来执行上述操作。例如，机器人100a可以通过使用学习模型来识别周围环境和对象，并且可以通过使用所识别的周围环境信息或对象信息来确定操作。学习模型可以从机器人100a直接学习，或者可以从诸如ai服务器200的外部装置学习。
104.此时，机器人100a可以通过经由直接使用学习模型生成结果来执行操作，但是可以将传感器信息发送到诸如ai服务器200的外部装置并且接收所生成的结果以执行操作。
105.机器人100a可以使用地图数据、从传感器信息检测到的对象信息或从外部装置获取的对象信息中的至少一者来确定行进路线和行进计划，并且可以控制驱动单元以使得机器人100a沿着所确定的行进路线和行进计划行进。
106.地图数据可以包括关于布置在机器人100a移动的空间中的各种对象的对象识别信息。例如，地图数据可以包括关于诸如墙壁和门的固定对象以及诸如花盆(pollen)和桌子的可移动对象的的对象识别信息。对象识别信息可以包括名称、类型、距离、位置等。
107.另外，机器人100a可以通过基于用户的控制/交互控制驱动单元来执行操作或行进。此时，机器人100a可以由于用户的操作或语音话语而获取交互的意图信息，并且可以基于所获取的意图信息来确定响应，并且可以执行操作。
108.《ai 自动驾驶》
109.应用了ai技术的自动驾驶车辆100b可以被实现成移动机器人、车辆、无人驾驶飞行器等。
110.自动驾驶车辆100b可以包括用于控制自动驾驶功能的自动驾驶控制模块，并且自动驾驶控制模块可以指软件模块或者已经通过硬件来实现软件模块的芯片。自动驾驶控制模块可以被作为自动驾驶车辆100b的组件被包括在自动驾驶车辆100b中，但是可以利用单独硬件实现并连接到自动驾驶车辆100b外部。
111.自动驾驶车辆100b可以通过使用从各种类型的传感器获得的传感器信息来获取关于自动驾驶车辆100b的状态信息，可以检测(识别)周围环境和对象，可以生成地图数据，可以确定路线和行进计划，或者可以确定操作。
112.与机器人100a类似，自动驾驶车辆100b可以使用从激光雷达、雷达和摄像头中的
至少一个传感器获取的传感器信息，以便于确定行进路线和行进计划。
113.具体地，自动驾驶车辆100b可以通过从外部装置接收传感器信息来识别由视场覆盖的区域或在特定距离上的区域的环境或对象，或者可以从外部装置直接接收所识别的信息。
114.自动驾驶车辆100b可以通过使用由至少一个人工神经网络组成的学习模型来执行上述操作。例如，自动驾驶车辆100b可以通过使用学习模型来识别周围环境和对象，并且可以通过使用所识别的周围环境信息或对象信息来确定行进移动线路。学习模型可以从自动驾驶车辆100b直接学习，或者可以从诸如ai服务器200的外部装置学习。
115.此时，自动驾驶车辆100b可以通过经由直接使用学习模型生成结果来执行操作，但是可以将传感器信息发送到诸如ai服务器200的外部装置并且接收所生成的结果以执行操作。
116.自动驾驶车辆100b可以使用地图数据、从传感器信息检测到的对象信息或从外部装置获取的对象信息中的至少一者来确定行进路线和行进计划，并且可以控制驱动单元以使得自动驾驶车辆100b沿着所确定的行进路线和行进计划行进。
117.地图数据可以包括关于布置在自动驾驶车辆100b所行进的空间(例如，道路)中的各种对象的对象识别信息。例如，地图数据可以包括关于诸如路灯、岩石和建筑物的固定对象以及诸如车辆和行人的可移动对象的对象识别信息。对象识别信息可以包括名称、类型、距离、位置等。
118.另外，自动驾驶车辆100b可以通过基于用户的控制/交互控制驱动单元来执行操作或行进。此时，自动驾驶车辆100b可以由于用户的操作或语音话语而获取交互的意图信息，并且可以基于所获取的意图信息来确定响应，并且可以执行操作。
119.《ai xr》
120.应用了ai技术的xr装置100c可以通过头戴式显示器(hmd)、设置在车辆中的平视显示器(hud)、电视、移动电话、智能电话、计算机、可穿戴装置、家用电器、数字标牌、车辆、固定机器人或可移动机器人来实现。
121.xr装置100c可以分析从各种传感器或从外部装置获取的三维点云数据或图像数据，生成针对三维点的位置数据和属性数据，获取关于周围空间或真实对象的信息，并且进行渲染以输出待输出的xr对象。例如，xr装置100c可以输出包括与所识别的对象相对应的关于所识别的对象的附加信息的xr对象。
122.xr装置100c可以通过使用由至少一个人工神经网络组成的学习模型来执行上述操作。例如，xr装置100c可以通过使用学习模型从三维点云数据或图像数据识别真实对象，并且可以提供与所识别的真实对象相对应的信息。学习模型可以从xr装置100c直接学习，或者可以从诸如ai服务器200的外部装置学习。
123.此时，xr装置100c可以通过经由直接使用学习模型生成结果来执行操作，但是可以将传感器信息发送到诸如ai服务器200的外部装置并且接收所生成的结果以执行操作。
124.《ai 机器人 自动驾驶》
125.应用了ai技术和自动驾驶技术的机器人100a可以被实现为引导机器人、运输机器人、清洁机器人、可穿戴机器人、娱乐机器人、宠物机器人、无人飞行机器人等。
126.应用了ai技术和自动驾驶技术的机器人100a可以指具有自动驾驶功能的机器人
本身，或者可以指与自动驾驶车辆100b交互的机器人100a。
127.具有自动驾驶功能的机器人100a可以统指在没有用户的控制的情况下沿着给定移动线自主地移动或者通过自主地确定移动线来自主地移动的装置。
128.具有自动驾驶功能的机器人100a和自动驾驶车辆100b可以使用共同的感测方法，以便于确定行进路线或行进计划中的至少一者。例如，具有自动驾驶功能的机器人100a和自动驾驶车辆100b可以通过使用通过激光雷达、雷达和摄像头感测到的信息来确定进路线或行进计划中的至少一者。
129.与自动驾驶车辆100b交互的机器人100a与自动驾驶车辆100b分开存在，并且可以执行与自动驾驶车辆100b的自动驾驶功能配对的或者与骑乘自动驾驶车辆100b的用户配对的操作。
130.此时，与自动驾驶车辆100b交互的机器人100a可以通过代表自动驾驶车辆100b获取传感器信息并将传感器信息提供给自动驾驶车辆100b，或者通过获取传感器信息、生成环境信息或对象信息并且将该信息提供给自动驾驶车辆100b，来控制或辅助自动驾驶车辆100b的自动驾驶功能。
131.另选地，与自动驾驶车辆100b进行交互的机器人100a可以监测进入自动驾驶车辆100b的用户或者可以通过与用户的交互来控制自动驾驶车辆100b的功能。例如，当确定驾驶员处于困倦状态时，机器人100a可以激活自动驾驶车辆100b的自动驾驶功能或者辅助控制自动驾驶车辆100b的驱动单元。由机器人100a控制的自动驾驶车辆100b的功能不仅可以包括自动驾驶功能，还可以包括由设置在自动驾驶车辆100b内的导航系统或音频系统提供的功能。
132.另选地，与自动驾驶车辆100b交互的机器人100a可以在自动驾驶车辆100b外部向自动驾驶车辆100b提供信息或辅助功能。例如，机器人100a可以向自动驾驶车辆100b提供包括诸如智能信号的信号信息等的交通信息，并且可以通过像电动车辆的自动电动充电器那样与自动驾驶车辆100b的交互来将充电器自动连接到充电端口。
133.《ai 机器人 xr》
134.应用了ai技术和xr技术的机器人100a可以被实现为引导机器人、运输机器人、清洁机器人、可穿戴机器人、娱乐机器人、宠物机器人、无人飞行机器人、无人机等。
135.应用了xr技术的机器人100a可以指经受xr图像中的控制/交互的机器人。在这种情况下，机器人100a可以与xr装置100c分离并且彼此互通。
136.当经受xr图像中的控制/交互的机器人100a可以从包括摄像头的传感器获得传感器信息时，机器人100a或xr装置100c可以基于传感器信息生成xr图像，并且xr装置100c可以输出所生成的xr图像。机器人100a可以基于通过xr装置100c输入的控制信号或用户的交互来进行操作。
137.例如，用户可以通过诸如xr装置100c的外部装置远程地确认与机器人100a配对的时间点相对应的xr图像，通过交互来调整机器人100a的自动驾驶行进路径，控制操作或驾驶，或者确认关于周围对象的信息。
138.《ai 自动驾驶 xr》
139.应用了ai技术和xr技术的自动驾驶车辆100b可以被实现成移动机器人、车辆、无人驾驶飞行器等。
140.应用了xr技术的自动驾驶车辆100b可以指具有用于提供xr图像的装置的自动驾驶车辆或者经受xr图像中的控制/交互的自动驾驶车辆。具体地，经受xr图像中的控制/交互的自动驾驶车辆100b可以与xr装置100c不同并且彼此互通。
141.具有用于提供xr图像的装置的自动驾驶车辆100b可以从包括摄像头的传感器获取传感器信息，并且输出基于所获取的传感器信息的所生成的xr图像。例如，自动驾驶车辆100b可以包括hud以输出xr图像，从而向乘客提供与屏幕中的对象相对应的真实对象或xr对象。
142.此时，当将xr对象输出到hud时，可以输出xr对象中的至少一部分，以便于使其与乘客视线所指向的实际对象交叠。同时，当将xr对象输出到设置在自动驾驶车辆100b中的显示器时，可以输出xr对象中的至少一部分，以便于使其与屏幕中的对象交叠。例如，自动驾驶车辆100b可以输出与诸如车道、另一车辆、交通灯、路标、两轮车、行人和建筑物等的对象相对应的xr对象。
143.当经受xr图像中的控制/交互的自动驾驶车辆100b从包括摄像头的传感器获取传感器信息时，自动驾驶车辆100b或xr装置100c可以基于传感器信息生成xr图像，并且xr装置100c可以输出所生成的xr图像。自动驾驶车辆100b可以基于通过诸如xr装置100c的外部装置输入的控制信号或者用户的交互来进行操作。
144.图4是例示了根据本公开的实施方式的ai装置的框图。
145.将省略与参照图1给出的描述重复的描述。
146.通信单元110也可以被称为通信调制解调器或通信电路。
147.输入单元120可以被称为输入接口。
148.输出单元150可以被称为输出接口。
149.参照图4，输入单元120可以包括用于输入图像信号的摄像头121、用于接收音频信号的麦克风122以及用于从用户接收信息的用户输入单元123等。
150.由输入单元120收集的语音数据或图像数据可以作为用户的控制命令被分析和处理。
151.输入单元120用于输入图像信息(或信号)、音频信息(或信号)、数据或从用户输入的信息。为了输入图像信息，ai装置100可以包括一个或多个摄像头121。
152.摄像头121处理诸如由图像传感器在视频呼叫模式或拍摄模式下获得的静止图像或移动图像的图像帧。经处理的图像帧可以被显示在显示单元151上或存储在存储器170中。
153.麦克风122将外部声音信号处理成电学语音数据。可以根据在ai装置100中执行的功能(或运行的应用程序)以各种方式来利用经处理的语音数据。此外，可以在麦克风122中应用各种降噪算法以去除在接收外部声音信号的过程中发生的噪声。
154.用户输入单元123用于从用户接收信息。当通过用户输入单元123输入信息时，处理器180可以控制ai装置100的操作以与输入的信息相对应。
155.用户输入单元123可以包括机械输入装置(或机械键，例如，位于ai装置100的前部/后部或侧面的按钮、圆顶开关、点动轮(jog wheel)或点动开关)和触摸输入装置。作为示例，触摸输入装置可以包括通过软件处理在触摸屏上显示的虚拟键、软键或视觉键，或者设置在除了触摸屏之外的其它部分中的触摸键。
156.感测单元140可以被称为传感器单元。
157.输出单元150可以包括显示单元151、声音输出单元152、触觉模块153和光学输出单元154中的至少一者。
158.显示单元151显示(输出)由ai装置100处理的信息。例如，显示单元151可根据执行屏幕信息来显示在ai装置100上运行的应用程序的执行屏幕信息，或ui(用户接口)或图形用户接口(gui)信息。
159.显示单元151可以以显示单元151与触摸传感器形成层结构或与触摸传感器整体形成的方式来实现触摸屏。这种触摸屏可以用作提供ai装置100与用户之间的输入接口用户输入单元123，并且可以同时提供终端100与用户之间的输出接口。
160.声音输出单元152可以在呼叫信号接收、呼叫模式或记录模式、语音识别模式、广播接收模式等中输出从通信单元110接收或存储在存储器170中的音频数据。
161.声音输出单元152可以包括接收器、扬声器和蜂鸣器中的至少一者。
162.触觉模块153生成用户能够感觉到的各种触觉效果。由触觉模块153生成的触觉效果的代表性示例可以是振动。
163.光学输出单元154通过使用ai装置100的光源的光来输出用于通知事件的发生的信号。由ai装置100生成的事件的示例可以包括消息接收、呼叫信号接收、未接来电、闹钟、日程通知、电子邮件接收和通过应用的信息接收等。
164.图5是例示了根据本公开的实施方式的人工智能系统1的框图。
165.参照图5，人工智能系统1可以包括人工智能装置100、语音到文本(stt：speech to text)服务器300、自然语言处理(nlp)服务器400和语音合成服务器500。
166.人工智能装置100可以将语音数据发送到stt服务器300。stt服务器300可以将从人工智能装置100接收到的语音数据转换成文本数据。nlp服务器400可以从stt服务器300接收文本数据。nlp服务器400可以基于所接收的文本数据来对文本数据执行意图分析。nlp服务器400可以将指示执行意图分析的结果的意图分析信息发送到人工智能装置100或语音合成服务器500。语音合成服务器500可以基于意图分析信息来生成反映用户意图的合成语音，并且将所生成的合成语音发送到人工智能装置100。
167.stt服务器300可以通过使用语言模型来增加语音-文本转换的准确性。语言模型可以指能够计算句子的概率或计算下一单词在给定先前单词时将出现的概率的模型。例如，语言模型可以包括诸如一元模型、二元模型、n元模型等的概率语言模型。一元模型是假设所有单词的使用完全彼此独立的模型，以及将单词串的概率计算为单词的概率的乘积的模型。二元模型是假设单词的使用仅取决于一个先前单词的模型。n元模型是假设单词的使用取决于先前(n-1)个单词的模型。
168.也就是说，stt服务器300可以通过使用语言模型来确定从语音数据转换的文本数据是否被适当地转换，从而提高从语音数据到文本数据的转换的准确性。
169.nlp服务器400可以通过对文本数据顺序地执行语素分析操作、语法分析操作、对话行为分析操作和对话处理操作来生成意图分析信息。
170.语素分析操作是将与用户发出的语音相对应的文本数据分类成语素(morpheme)单元并且确定每个经分类语素具有语音的哪个部分的操作，语素单元是具有含义的最小单元。语法分析操作是使用语素分析操作的结果来将文本数据分类成名词短语、动词短语、形
容词短语等并且确定短语之间的关系的操作。通过语法分析操作，可以确定用户说出的语音的主语、宾语和修饰语。对话行为分析操作是使用语法分析操作的结果来分析用户发出的语音的意图的操作。具体地，对话行为分析操作是确定句子的意图(例如，用户是否询问问题、做出请求、或表达简单的情绪)的操作。对话处理操作是用于使用语音行为分析操作的结果来确定是否回答用户的话语、响应于话语或者询问查询附加信息的问题的操作。
171.在对话处理操作之后，nlp服务器400可以生成包括对用户发出的意图的回答以及对意图的响应和附加信息查询中的一者或更多者的意图分析信息。
172.此外，nlp服务器400可以从人工智能装置100接收文本数据。例如，当人工智能装置100支持语音到文本转换功能时，人工智能装置100可以将语音数据转换成文本数据并将经转换的文本数据发送到nlp服务器400。
173.语音合成服务器500可以通过组合预存储的语音数据的片段来生成合成语音。语音合成服务器500可以记录被选择为模型的人的语音，并且将所记录的语音划分成音节或单词。语音合成服务器500可以将以音节或单词为单位划分的语音存储在内部或外部数据库中。
174.语音合成服务器500可以搜索与来自数据库的给定文本数据相对应的音节或单词，并且合成被搜索的音节或单词的组合以生成合成语音。
175.语音合成服务器500可以存储分别与多种语言相对应的多个语音语言组。例如，语音合成服务器500可以包括以韩语记录的第一语音语言组以及以英语记录的第二语音语言组。
176.语音合成服务器500可以将第一语言的文本数据转换成第二语言的文本，并且通过使用第二语音语言组来生成与经翻译的第二语言的文本相对应的合成语音。
177.人工智能系统1还可以包括人工智能服务器200。人工智能服务器200可以允许在stt服务器300中使用的stt引擎、在nlp服务器400中使用的nlp引擎和在语音合成服务器500中使用的语音合成引擎中的至少一者进行学习。也就是说，stt服务器300、nlp服务器400和语音合成服务器500中的至少一者可以使用在人工智能服务器200中训练的模型或引擎。
178.在图5中，人工智能装置100、stt服务器300、nlp服务器400和语音合成服务器500被例示为彼此分离，但本公开不限于此。在一个实施方式中，人工智能服务器200、stt服务器300、nlp服务器400或语音合成服务器500中的一些可以被配置为一个服务器。在实施方式中，stt服务器300、nlp服务器400或语音合成服务器500中的一些可以被包括在人工智能装置100中，这隐含人工智能装置100执行stt服务器300、nlp服务器400或语音合成服务器500的功能。
179.图6是例示了根据本公开的各种实施方式的基于装置之间的配对来提供装置控制功能的人工智能系统1的图。
180.参照图6，人工智能系统1基本上包括人工智能装置100，并且可以可选地还包括人工智能服务器200和iot(物联网(internet of things))装置600中的至少一个或更多个。
181.提供基于装置间配对的装置控制功能的人工智能系统1可以包括作为配对目标的人工智能装置100或iot装置600中的至少两个或更多个，以便于提供装置控制功能。也就是说，人工智能系统1可以仅包括多个人工智能装置100，或者可以包括一个或多个人工智能
装置100和一个或更多个iot装置600。
182.包括在人工智能系统1中的人工智能装置100、人工智能服务器200或iot装置600中的至少一些可以基于有线/无线通信技术彼此进行通信。包括在人工智能系统1中的人工智能装置100、人工智能服务器200或iot装置600中的所有可以彼此直接进行通信，或者它们中的一些可以彼此直接进行通信。具体地，包括在人工智能系统1中的人工智能装置100或iot装置600可以彼此直接或间接地进行通信。
183.彼此间接地进行通信的两个装置可以意指两个装置通过至少一个或更多个第三装置(例如，人工智能装置100、人工智能服务器200或iot装置600)来彼此进行通信。另一方面，彼此直接进行通信的两个装置可以意指两个装置通过通信专用装置(例如，基站、路由器等)或在没有通信专用装置的情况下彼此直接进行通信。
184.在图6中，(a)和(b)示出了包括第一人工智能装置100_1、第二人工智能装置100_2、人工智能服务器200和iot装置600的人工智能系统1，并且(c)示出了包括第一人工智能装置100_1、第二人工智能装置100_2和iot装置600的人工智能系统1。
185.在图6的(a)中所示的实施方式中，第一人工智能装置100_1、第二人工智能装置100_2、人工智能服务器200和iot装置600可以彼此直接进行通信。
186.在图6的(b)中所示的实施方式中，第一人工智能装置100_1、人工智能服务器200和iot装置600可以彼此直接进行通信，并且第二人工智能装置100_2可以与第一人工智能装置100_1直接进行通信。因此，第二人工智能装置100_2可以仅通过第一人工智能装置100_1与iot装置600进行通信。
187.在图6的(c)中所示的实施方式中，第一人工智能装置100_1可以与第二人工智能装置100_2和iot装置600直接进行通信，并且第二人工智能装置100_2可以与第一人工智能装置100_1直接进行通信，并且iot装置600可以与第一人工智能装置100_1直接进行通信。因此，第二人工智能装置100_2和iot装置600可以通过第一人工智能装置100_1彼此间接地进行通信。
188.如图6的(a)至(c)中所示，包括在人工智能系统1中的人工智能装置100或iot装置600可以彼此直接或间接地进行通信。
189.包括在人工智能系统1中的人工智能装置100可以通过通信来执行与另一人工智能装置100或iot装置600的装置间配对，并且将信息存储在配对装置上。此外，当人工智能装置100连接到人工智能服务器200时，人工智能装置100可以将关于配对装置的信息发送到人工智能服务器200。
190.关于配对装置的信息可以包括与彼此配对的装置相关联的装置标识信息、通信方法和配对平台中的至少一者或更多者。关于配对装置的信息可以以表的形式存储，该表可以被称为配对信息表。配对信息表可以被存储在人工智能装置100的存储器170或人工智能服务器200的存储器230中。
191.装置标识信息可以包括与每个装置(例如，人工智能装置或iot装置)相对应的装置序列号。通信方法是指配对装置的通信方法，并且可以包括蓝牙、wi-fi、蜂窝网络、以太网、红外通信等。配对平台可以指由配对装置用于彼此交互的服务平台或命令平台，并且可以包括指示对应平台的值、api的列表、语法规则等。
192.例如，针对图6的(b)中示出的第一人工智能装置100_1的配对信息表可以包括第
一人工智能装置100_1的配对信息。具体地，针对图6的(b)中示出的第一人工智能装置100_1的配对信息表的第一项可以是第一人工智能装置100_1与第二人工智能装置100_2之间的配对信息，并且第二项可以是第一人工智能装置100_1与iot装置600之间的配对信息。此外，针对图6的(b)中示出的第一人工智能装置100_1的配对信息表的第三项可以是第一人工智能装置100_1与人工智能服务器200之间的配对信息。
193.人工智能服务器200可以从所连接的人工智能装置100接收配对信息表，并且管理从多个人工智能装置100接收的配对信息表。
194.包括在人工智能系统1中的人工智能装置100、人工智能服务器200或iot装置600中的一些可以在所连接的装置之间共享它们的配对信息表。例如，在图6的(b)中所示的人工智能系统1中，第二人工智能装置100_2可以与所配对的第一人工智能装置100_1共享其自己的配对信息表(第二配对信息表)，并且第一人工智能装置100_1可以存储和管理其自己的配对信息表(第一配对信息表)以及从第二人工智能装置100_2接收的配对信息表(第二配对信息表)。
195.在这种情况下，当人工智能装置100需要与目标装置(例如，另一人工智能装置100、人工智能服务器200、iot装置600等)连接时，人工智能装置100可以基于其自己的配对信息表的至少一部分或从另一装置接收的配对信息表来建立连接路径，考虑所确定的连接路径来生成用于执行特定操作的命令，并且经由所确定的连接路径将所生成的命令发送到目标装置以允许目标装置执行特定操作。
196.另选地，针对装置到装置安全性，包括在人工智能系统1中的人工智能装置100不与其它人工智能装置100或iot装置600共享其配对信息表，并且仅与人工智能服务器200共享其自己的配对信息表。在这种情况下，人工智能装置100可以向另一装置查询人工智能装置100是否连接到期望的目标装置，并且从另一装置接收连接信息或连接路径，以间接地使用另一装置的配对信息表。
197.在这种情况下，当人工智能装置100需要与目标装置(例如，另一人工智能装置100、人工智能服务器200、iot装置600等)连接时，人工智能装置100可以基于其自己的配对信息表的至少一部分或从配对的其它装置接收的连接信息来建立连接路径，考虑所确定的连接路径来生成用于执行特定操作的命令，并且经由所确定的连接路径将所生成的命令发送到目标装置以允许目标装置执行特定操作。
198.所生成的命令可以包括发送装置信息和接收装置信息。因此，当发送装置通过另一装置与接收装置进行通信时，也就是说，当在连接路径上在发送装置与接收装置之间存在另一装置时，所生成的命令还可以包括路径点装置信息。发送装置可以指生成命令的人工智能装置100，并且接收装置可以指执行特定操作的目标装置或者接收所生成的命令并执行操作的目的地装置。
199.人工智能装置100可以接收用户发出的语音，通过确定接收到的用户发出的语音的意图来确定与目标装置或接收装置的操作，并且使用配对信息表来确定到接收装置的连接路径，并且基于所确定的连接路径和所确定的操作来生成并发送用于允许目标装置执行操作的命令。
200.用户发出的语音可以包括用于呼叫发送装置的起始单词、指示接收装置的名称或昵称、指示将由接收装置执行的操作的命令等。用于呼叫发送装置的起始单词可以是指示
发送装置的名称或昵称，或者可以是安装在发送装置中或由发送装置使用的语音识别平台中的起始单词集。
201.图7是例示了根据本公开的实施方式的基于装置间配对来提供装置控制功能的方法的操作流程图。
202.具体地，图7例示了示出根据本公开的实施方式的人工智能装置100基于装置间配对来与另一装置(例如，另一人工智能装置100或iot装置600)进行配对以提供装置控制功能的方法的操作流程图。
203.参照图7，人工智能装置100的处理器180进入装置配对模式(s701)。
204.装置配对模式可以指人工智能装置100尝试与另一人工智能装置100或iot装置600进行配对的模式。进入装置配对模式的步骤可以意指装置配对模式被激活。
205.当执行装置配对应用或者进入用于装置配对的设置项时，处理器180可以进入装置配对模式。
206.然后，人工智能装置100的处理器180通过通信单元110来搜索可配对装置(s703)。
207.搜索可配对装置的步骤可以意指通过使用通信单元110中可用于装置间配对的通信技术来检测从另一装置输出的配对请求信号，或者通过通信单元110输出配对请求信号，并且响应于配对请求信号而检测从另一装置输出的配对请求信号。
208.然后，人工智能装置100的处理器180可以与所发现的可配对装置配对(s705)。
209.当发现多个可配对装置时，处理器180可以通过显示单元151输出包括多个可配对装置的可配对装置列表，并且与由通过输入单元120的用户输入所选择的装置配对。配对装置可以被称为目标装置。
210.当发现一个可配对装置时，处理器180可以通过显示单元151输出包括一个可配对装置的可配对装置列表或者输出询问是否与一个发现的可配对装置配对的通知，并且基于通过输入单元120的用户输入来与发现的可配对装置配对。
211.处理器180可以获得在装置配对过程中发现的装置的标识信息、装置名称信息、装置类型信息、通信地址信息等。配对装置的标识信息可以包括配对装置的序列号。通信地址信息可以包括ip地址(因特网协议地址)、mac地址(介质接入控制地址)、蓝牙地址等。
212.然后，人工智能装置100的处理器180可以设置配对装置的名称或昵称(s707)。
213.可以选择性地执行设置配对装置的名称或昵称的步骤(s707)。
214.可以基于通过输入单元130的用户输入来设置配对装置的名称或昵称，并且用户输入可以包括用户说出的文本或语音。
215.此后，人工智能装置100的处理器180可以更新配对信息表(s709)。
216.配对信息表可以包括配对装置的标识信息、名称、昵称、类型信息、通信方法、配对平台等。具体地，配对信息表可以包括与配对装置相关联的信息。
217.配对信息表可以包括关于配对装置的配对信息，并且处理器180可以通过将新配对装置上的配对信息添加到配对信息表来更新配对信息表。
218.在实施方式中，人工智能装置100的处理器180可以通过通信单元110将更新的配对信息表发送到人工智能服务器200或配对装置。类似地，人工智能装置100的处理器180可以通过通信单元110从人工智能服务器200或配对装置接收另一配对装置的配对信息表。
219.如上所述，根据本公开的实施方式的装置配对方法可以不包括将用户的账户与装
置配对的过程，而是仅包括执行装置间配对的过程。因此，在本公开的实施方式中，存在以下优点：通过装置之间的配对，可以在不依赖于特定用户的情况下进行装置间配对。
220.在图7中示出的步骤的顺序仅是示例，并且本公开不限于此。也就是说，根据实施方式，图7中所示的步骤中的一些步骤的顺序可以被颠倒以执行。在一实施方式中，可以并行地执行在图7中示出的步骤中的一些步骤。此外，可以仅执行在图7中示出的步骤中的一些步骤。
221.图7例示了人工智能装置100与其它装置配对的方法的一个循环，并且本公开不限于此。也就是说，可以重复执行在图7中示出的步骤，并且因此，人工智能装置100可以与多个装置配对。
222.图8是例示了根据本公开的实施方式的用于提供关于配对装置的信息的装置配对接口的图。
223.参照图8，人工智能装置100的处理器180可以通过显示单元151提供装置配对接口，装置配对接口提供关于配对装置的信息，并且装置配对接口可以包括指示当前配对装置的配对装置列表811。
224.当存在与人工智能装置100进行配对的装置时，处理器180可以提供包括指示配对装置的配对装置列表811的装置配对接口(图8的(a))。
225.另一方面，当不存在与人工智能装置100配对的装置时，处理器180可以提供包括指示不存在配对装置或者空配对装置列表的通知821的装置配对接口(图8的(b))。
226.图9是例示了根据本公开的实施方式的与新装置进行配对的装置配对接口的图。
227.参照图9，人工智能装置100的处理器180可以通过显示单元151提供与新装置配对的装置配对接口，并且装置配对接口可以包括可配对装置列表911、针对配对装置的名称设置接口921和配对装置列表931中的至少一个或更多个。
228.当进入装置配对模式时，处理器180可以搜索可配对装置并且提供包括指示所发现的可配对装置的可配对装置列表911的装置配对接口(图9的(a))。另外，处理器180可以基于通过输入单元120的用户输入与包括在可配对装置列表911中的可配对装置中的至少一个可配对装置进行配对。
229.处理器180可以提供包括用于设置配对装置的名称的名称设置接口921的装置配对接口(图9的(b))。配对装置的设置名称可以指用于通过语音呼叫配对装置的昵称。例如，参照图9的(b)，在与人工智能装置100配对的装置中，名为“我家的空调2”的装置可以被设置成“卧室空调”，并且在这种情况下，用户可以通过用语音呼叫“卧室空调”来指定“我家的空调2”。
230.在与新装置配对之后，处理器180可以提供包括指示配对装置的配对装置列表931的装置配对接口(图9的(c))。
231.图7至图9例示了根据本方法的人工智能装置100与另一装置直接配对的方法以及装置配对接口，但本公开不限于此。也就是说，在一实施方式中，可以通过连接到人工智能装置100的终端来执行人工智能装置100与其它装置之间的配对，并且可以在设置在终端中的显示单元上设置装置配对接口。类似地，人工智能装置100可以执行诸如基于通过终端的输入单元的用户输入来设置是否与另一装置进行配对或者设置要配对的装置的昵称的操作。
232.图10是例示了根据本公开的实施方式的基于装置间配对来提供装置控制功能的方法的操作流程图。
233.参照图10，人工智能装置100的处理器180可以通过输入单元120从用户接收装置使用命令(s1001)。
234.装置使用命令可以包括用于控制目标装置(或接收装置)的操作或状态的命令或者用于使用目标装置的功能的命令。例如，当目标装置是空调时，装置使用命令可以是控制空调的功率或操作的命令，或者是请求空调的状态信息的命令。装置使用命令也可以被称为装置使用请求。
235.装置使用命令可以是由用户发出的语音形式的输入，或者可以是装置使用接口上的触摸形式的输入，或者文本。
236.然后，人工智能装置100的处理器180可以通过使用装置使用命令来获得发送装置信息、接收装置信息和操作信息(s1003)。
237.由于装置使用命令包括关于目标装置(或接收装置)中的操作的信息，所以处理器180可以基于装置使用命令来获得发送装置信息、接收装置信息和操作信息。此外，由于人工智能装置100用作发送装置的作用，所以处理器180可以获得发送装置信息。
238.发送装置信息是用于将人工智能装置100指定为发送装置的信息，并且可以包括人工智能装置100的名称或序列号。接收当装置信息是用于指定执行操作的接收当装置(或目标装置)的信息，并且可以包括接收装置的名称、标题、昵称、序列号等。操作信息可以指示要由接收装置(或目标装置)执行的操作。
239.当装置使用命令是发出的语音时，人工智能装置100的处理器180可以将发出的语音直接或通过人工智能服务器200转换成文本，并且对经转换的文本执行自然语言处理(nlp)技术以确定用户的意图。
240.然后，人工智能装置100的处理器180可以使用配对信息表来确定到接收装置的连接路径(s1005)。
241.到接收装置的连接路径可以意指作为发送装置的人工智能装置100连接到接收装置(或目标装置)的路径。当人工智能装置100与接收装置直接进行配对时，连接路径可以仅包括作为发送装置的人工智能装置100和接收装置。另一方面，当人工智能装置100与特定中间装置进行配对并且该特定中间装置与接收装置进行配对时，连接路径可以依次包括作为发送装置的人工智能装置100、中间装置和接收装置，并且这样的连接路径可以意指人工智能装置100可以通过中间装置连接到接收装置。
242.处理器180可以通过使用存储在存储器170中的配对信息表来标识配对装置，并且可以基于配对信息表来确定连接路径。
243.存储器170可以仅存储人工智能装置100的配对信息表(在下文被称为第一配对信息表)，但是还可以存储从配对装置接收的配对装置的配对信息表(在下文称为第二配对信息表)。
244.在实施方式中，处理器180可以通过使用存储在存储器170中的其自己的配对信息表(在下文称为第一配对信息表)来确定接收装置是否包括在直接配对装置当中。当接收装置被包括在直接配对装置当中时，处理器180可以确定连接路径。当接收装置不包括在直接配对装置当中时，处理器180可以通过通信单元110从包括在第一配对信息表中的装置(即，
直接配对装置)请求从发送装置到接收装置的连接路径。另外，当从直接配对的装置当中接收到连接路径时，处理器180可以基于接收到的连接路径来确定连接路径。这里，直接配对装置可以以与人工智能装置100相同的方法来确定连接路径。
245.在一实施方式中，处理器180可以通过通信单元110从人工智能服务器200请求到接收装置的连接路径。人工智能服务器200的处理器260可以使用从每个装置(例如，人工智能装置100或iot装置600)接收的配对信息表来确定从发送装置到接收装置的连接路径，并且通过通信单元210将所确定的连接路径发送到人工智能装置100。
246.在实施方式中，处理器180可以使用存储在存储器170中的其自己的配对信息表(第一配对信息表)以及其它装置的配对信息表(第二配对信息表)来确定从发送装置到接收装置的连接路径。
247.然后，人工智能装置100的处理器180可以确定是否存在到接收装置的连接路径(s1007)。
248.当处理器180未能确定连接路径时，处理器180可以确定不存在连接路径。
249.作为步骤s1007中的确定的结果，当没有到接收装置的连接路径时，人工智能装置100的处理器180可以通过输出单元150输出指示不能执行装置使用命令的通知(s1009)。
250.由于没有到接收装置的连接路径的情况意指不能确定到接收装置的连接路径，所以可能意指不能指定接收装置(或目标装置)来执行由用户输入的装置使用命令。因此，由于处理器180没有发现用于执行装置使用命令的目标，所以处理器180可以输出指示装置使用命令不能执行的通知并终止相关过程。
251.当作为在步骤s1007中的确定的结果，存在到接收装置的连接路径时，人工智能装置100的处理器180可以生成用于执行与接收装置中的装置使用命令相对应的操作的命令(s1011)。
252.所生成的命令可以包括发送装置信息、接收装置信息和操作信息。此外，所生成的命令还可以包括连接路径。
253.然后，人工智能装置100的处理器180可以通过通信单元110根据所确定的连接路径来发送所生成的命令(s1013)。
254.当作为发送装置的人工智能装置100直接连接到连接路径中的接收装置时，处理器180可以通过通信单元110将所生成的命令发送到接收装置。当通过连接路径上的至少一个中间装置将作为发送装置的人工智能装置100连接到接收装置时，处理器180可以通过通信单元110将所生成的命令发送到在连接路径上与人工智能装置100直接配对的中间装置。
255.在图10中示出的步骤的顺序仅是示例，并且本公开不限于此。也就是说，根据实施方式，图10中所示的步骤中的一些步骤的顺序可以被颠倒以执行。此外，在一实施方式中，可以并行地执行在图10中示出的步骤中的一些步骤。此外，可以仅执行在图10中示出的步骤中的一些步骤。
256.图10仅例示了人工智能装置100提供装置控制功能的方法的一个循环，并且本公开不限于此。也就是说，可以重复执行在图10中示出的步骤，并且因此，人工智能装置100可以多次执行对外部装置的控制。
257.图11是例示了根据本公开的实施方式的基于装置间配对来提供装置控制功能的方法的操作流程图。
258.将省略与参照图10给出的描述重复的描述。
259.参照图11，人工智能装置100的处理器180可以通过输入单元120从用户接收装置使用命令(s1101)。这个步骤与图10中示出的接收装置使用命令的步骤s1001相对应。
260.然后，人工智能装置100的处理器180可以通过使用装置使用命令来获得发送装置信息、接收装置信息和操作信息(s1103)。这个步骤与在图10中示出的获得发送装置信息、接收装置信息和操作信息的步骤s1103相对应。
261.人工智能装置100的处理器180可以生成用于执行与接收装置中的装置使用命令相对应的操作的命令(s1105)。
262.所生成的命令可以包括发送装置信息、接收装置信息和操作信息。所生成的命令可以包括将所生成的命令发送到接收装置的命令。
263.然后，人工智能装置100的处理器180可以通过通信单元110将所生成的命令发送到人工智能服务器200(s1107)。
264.人工智能服务器200可以在从人工智能装置100接收的命令中标识接收装置，确定是否存在从作为发送装置的人工智能装置100到接收装置的连接路径，并且当存在连接路径时，将接收到的命令发送到所标识的接收装置。
265.在图11中示出的步骤的顺序仅是示例，并且本公开不限于此。也就是说，根据实施方式，图11中所示的步骤中的一些步骤的顺序可以被颠倒以执行。此外，在一实施方式中，可以并行地执行在图11中示出的步骤中的一些步骤。此外，可以仅执行在图11中示出的步骤中的一些步骤。
266.图11仅例示了人工智能装置100提供装置控制功能的方法的一个循环，并且本公开不限于此。也就是说，可以重复执行在图11中示出的步骤，并且因此，人工智能装置100可以多次执行对外部装置的控制。
267.图12是例示了根据本公开的实施方式的配对信息表的示例的图。
268.参照图12，在配对信息表中，第一配对装置1210的名称1211、第一配对装置1210的昵称1212、第一配对装置1210的标识信息1213、第二配对装置1220的名称1221、第二配对装置1220的昵称1222、第二配对装置1220的标识信息1223、配对装置之间的通信方法1230以及配对装置之间的配对平台1240。
269.图12可以是第一人工智能装置的配对信息表。
270.根据第一配对信息1251，第一人工智能装置和第二人工智能装置在第一平台上彼此进行配对，并且第一人工智能装置和第二人工智能装置可以经由wi-fi彼此进行通信。
271.根据第二配对信息1252，第一人工智能装置和第三人工智能装置在第一平台上彼此进行配对，并且第一人工智能装置和第三人工智能装置可以经由wi-fi彼此进行通信。
272.根据第三配对信息1253，第一人工智能装置和iot装置在第二平台上彼此进行配对，并且第一人工智能装置和iot装置可以经由蓝牙低功耗(ble)彼此进行通信。
273.根据第四配对信息1254，第一人工智能装置和人工智能服务器在第一平台上彼此进行配对，并且第一人工智能装置和人工智能服务器可以经由以太网或wi-fi彼此进行通信。
274.在新装置被配对或者现有配对装置被断开连接的情况下，可以更新配对信息表。
275.图13至图15是例示了根据本公开的各种实施方式的人工智能系统的图。
276.图13至图15，人工智能系统1300可以包括作为第一人工智能装置的冰箱1310、作为第二人工智能装置的tv 1320和作为第三人工智能装置的空调1330以及人工智能服务器1340。冰箱1310可以与tv 1320和人工智能服务器1340进行配对。tv 1320可以与冰箱1310、空调1330和人工智能服务器1340进行配对。空调1330可以与tv1320和人工智能服务器1340进行配对。也就是说，冰箱1310通过tv 1320间接连接到空调1330。
277.另外，虽然分别存储在装置1310、1320、1330和1340中的配对信息表1311、1321和1331在图13至图15中示出，但是仅第一装置的昵称和第二装置的昵称被显示在包括在所例示的配对信息表中的多个项中。也就是说，实际上存储在每个装置中的配对信息表还可以不仅包括在图13至图15中示出的项，而且还包括每个装置的名称、标识信息、配对平台、通信方法等。
278.图13至图15，用户1360可以通过相对于冰箱1310说出“使空调通电”1361来输入用于接通空调1330的电力的装置使用命令。
279.当冰箱1310获得用户1360的发出的语音1361时，冰箱1310可以分析用户的意图以将冰箱1310确定为发送装置，将关键词“空调”确定为接收装置信息，并将“通电”确定为操作信息。由于冰箱1310尚未标识出从用户发出的语音获得的针对接收装置的关键词“空调”是否指示包括在人工智能系统1300中的空调1330，所以可以仅以关键词“空调”的形式确定接收装置信息。例如，冰箱1310可以将“意图”项确定为意图信息中的“通电”，并且将作为“槽位(slot)”项的子项的“装置关键词”确定为“空调”作为附加信息。由于尚未标识出与“空调”相对应的装置，所以不清楚“空调”是配对装置的名称还是昵称，并且因此“空调”可以被分类成装置关键词项。
280.图13示出了每个装置1310、1320、1330或1340不将其自己的配对信息表(第一配对信息表)发送到其它装置的实施方式。
281.参照图13，冰箱1310可以仅存储冰箱1310的配对信息表1311，tv 1320可以仅存储tv 1320的配对信息表1321，空调1330可以仅存储空调1330的配对信息表1331，并且人工智能服务器1340可以仅存储人工智能服务器1340的配对信息表1341。
282.冰箱1310可以基于配对信息表1311来确定在直接配对的装置当中是否存在与关键词“空调”相对应的装置。然而，由于冰箱1310没有与空调1330直接配对，所以冰箱1310可以从包括在配对信息表1311中的作为配对装置的tv 1320或人工智能服务器1340请求到与关键词“空调”相对应的装置的连接路径。
283.由于tv 1320基于配对信息表1321与空调1330进行配对并且空调1330的昵称是“空调”，所以与关键词“空调”相对应的装置可以被确定为空调1330。另外，tv1320可以将到空调1330的连接路径确定为“tv-》空调”并且将连接路径发送到冰箱1310。除了连接路径之外，由tv 1320发送到冰箱1310的信息还可以包括关于作为接收装置的空调1330的信息和关于作为中间装置的tv 1320的信息。
284.冰箱1310可以基于从tv 1320接收的信息来标识与关键词“空调”相对应的装置是空调1330，并且将到空调1330的连接路径确定为“冰箱-》tv-》空调”。另外，冰箱1310可以在考虑所确定的连接路径的情况下生成接通空调1330的电力的命令，并且根据连接路径将所生成的命令发送到tv 1320。所发送的命令可以包括关于作为发送装置的冰箱1310的信息、关于作为接收装置的空调1330的信息、作为操作信息的“通电”等。
285.tv 1320可以基于包括在从冰箱1310接收到的命令中的连接路径或者从冰箱1310单独接收的连接路径，将从冰箱1310接收到的命令发送到空调1330。另外，空调1330可以基于接收到的命令来执行接通电力的操作。
286.因此，冰箱1310可以通过tv 1320执行与未直接进行配对的空调1330相关联的装置使用命令。
287.图14示出了每个装置1310、1320、1330或1340将其自己的配对信息表(第一配对信息表)发送到其它装置的实施方式。
288.参照图14，冰箱1310、tv 1320、空调1330和人工智能服务器1340可以彼此共享配对信息表，并且存储包括各种装置1411、1421、1431和1441的配对信息的配对信息表1411。
289.冰箱1310可以基于配对信息表1411来确定在直接配对装置中是否存在与关键词“空调”相对应的装置，并且可以确定与关键词“空调”相对应的装置是空调1330。另外，冰箱1310可以基于所存储的配对信息表1441来确定从冰箱1310到空调1330的连接路径为“冰箱-》tv-》空调”和“冰箱-》人工智能服务器-》空调”。
290.冰箱1310可以基于预设通信协议或用户输入将连接路径确定为“冰箱-》tv-》空调”和“冰箱-》人工智能服务器-》空调”中的一者。另外，冰箱1310可以在考虑所确定的连接路径的情况下生成接通空调1330的电力的命令，并且根据连接路径将所生成的命令发送到tv 1320或人工智能服务器1340。所发送的命令可以包括关于作为发送装置的冰箱1310的信息、关于作为接收装置的空调1330的信息、作为操作信息的“通电”等。
291.tv 1320或人工智能服务器1340可以基于包括在从冰箱1310接收到的命令中的连接路径或者从冰箱1310单独接收的连接路径，将从冰箱1310接收到的命令发送到空调1330。另外，空调1330可以基于接收到的命令来执行接通电力的操作。
292.因此，冰箱1310可以通过tv 1320或人工智能服务器1340执行与未直接配对的空调1330相关联的装置使用命令。
293.图15示出了除人工智能服务器1340之外的装置1310、1320、1330将它们自己的配对信息表(第一配对信息表)发送到人工智能服务器1340的实施方式。
294.参照图15，冰箱1310、tv 1320和空调1330将它们自身的配对信息表与人工智能服务器1340共享，并且人工智能服务器1340可以存储包括与人工智能服务器1340配对的装置1310、1320和1330的配对信息的配对信息表1541。另外，冰箱1310可以仅存储冰箱1310的配对信息表1311，tv 1320可以仅存储tv 1320的配对信息表1321，并且空调1330可以仅存储空调1330的配对信息表1341。
295.冰箱1310可以基于配对信息表1511来确定在直接配对的装置当中是否存在与关键词“空调”相对应的装置。然而，由于冰箱1310没有与空调1330直接进行配对，所以冰箱1310可以从包括在配对信息表1311中的作为配对装置的tv 1320或人工智能服务器1340请求到与关键词“空调”相对应的装置的连接路径。
296.在图15所示的实施方式中，由于与图13中示出的实施方式不同，人工智能服务器1340已经从装置1310、1320和1330中的每个装置获得了配对信息表，所以即使人工智能服务器1340不与其它装置1310、1320和1330进行通信，人工智能服务器1340也可以确定与接收装置的连接路径。在图15的实施方式中，与图13类似，tv1320可以设置连接路径，并且用作用于将命令从冰箱1310发送到空调1330的中间装置。
297.人工智能服务器1340可以基于配对信息表1541来标识空调1330的昵称是“空调”，并且将与关键词“空调”相对应的装置确定为空调1330。此外，人工智能服务器1340可以基于配对信息表1541来标识tv 1320和人工智能服务器1340分别连接到冰箱1310和空调1330，并且基于该标识来将到空调1330的连接路径确定为“冰箱-》tv-》空调”和“冰箱-》人工智能服务器-》空调”。另外，人工智能服务器1340可以将两个确定的连接路径发送到冰箱1310。除了连接路径之外，由人工智能服务器1340发送到冰箱1310的信息还可以包括关于作为接收装置的空调1330的信息和关于作为中间装置的tv 1320的信息。
298.冰箱1310可以基于从tv 1320接收的信息来标识与关键词“空调”相对应的装置是空调1330，并且基于预设通信协议或用户输入来确定连接路径为“冰箱-》tv-》空调”或“冰箱-》ai服务器-》空调”中的一者。另外，冰箱1310可以考虑所确定的连接路径而生成接通空调1330的电力的命令，并且根据连接路径将所生成的命令发送到tv 1320或人工智能服务器1340。所发送的命令可以包括关于作为发送装置的冰箱1310的信息、关于作为接收装置的空调1330的信息、作为操作信息的“通电”等。
299.tv 1320或人工智能服务器1340可以基于包括在从冰箱1310接收的命令中的连接路径或者从冰箱1310单独接收的连接路径，将从冰箱1310接收到的命令发送到空调1330。另外，空调1330可以基于接收到的命令来执行接通电力的操作。
300.在另一实施方式中，冰箱1310不确定连接路径，并且可以生成包括作为发送装置信息的关于冰箱1310的信息、作为接收装置信息的关键词“空调”以及作为关于人工智能服务器1340的操作信息的“通电”的命令，并且将所生成的命令发送到人工智能服务器1340。人工智能服务器1340可以基于包括在从冰箱1310接收的命令中的接收装置信息来将接收装置确定为空调1330，并且将包括“通电”的命令作为操作信息发送到空调1330。另外，空调1330可以基于接收到的命令来执行接通电力的操作。
301.因此，冰箱1310可以通过tv 1320或人工智能服务器1340执行与未直接配对的空调1330相关联的装置使用命令。
302.根据本公开的实施方式，上述方法可以在记录有程序的介质上利用计算机可读代码来实现。计算机可读介质包括存储有计算机系统可读数据的所有种类的记录装置。计算机可读介质的示例可以包括硬盘驱动器(hdd)、固态盘(ssd)、硅盘驱动器(sdd)、rom、ram、cd-rom、磁带、软盘、光学数据存储装置等。