一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

控制外部电子装置的方法和用于支持该方法的电子装置与流程

2021-09-07 19:09:00 来源:中国专利 TAG:装置 方法 电子 用于 公开


1.本公开涉及一种控制外部电子装置的方法和用于支持该方法的电子装置。


背景技术:

2.具有语音识别方案的电子装置可响应于用户的语音输入来执行功能。例如,电子装置可对通过麦克风接收的语音输入执行语音识别,并且当语音识别的结果中包括预定指令时,执行与相应指令相应的功能。
3.对于响应于用户的语音输入执行功能的电子装置,用户可将指代相应电子装置的名称用作可与另一电子装置区分开的标识符。例如,当用户说出其功能被控制的电子装置的名称时,可激活使用相应名称的电子装置以执行功能。
4.在多个物联网(iot)装置通过有线/无线网络连接的系统中,iot装置中的每一个iot装置可使用指代相应iot装置以彼此区分开的名称。因此,当用户说出其功能被控制的iot装置的名称时,包括麦克风并且用于连接和控制iot装置的iot集线器装置可响应于用户的语音输入来执行语音识别并且使用相应的名称来控制iot装置以执行功能,或者包括麦克风并且使用相应的名称的iot装置可响应于用户的语音输入来直接执行语音识别并且执行预定功能。
5.通常,当发布电子装置时,电子装置的制造商可考虑电子装置的类型或功能来配置电子装置的名称。此外,已经购买了电子装置的用户可根据用户便利性将电子装置的预设名称改变为用户期望的名称。
6.在特定空间内存在相同类型或执行相同功能的多个电子装置或者相同类型或执行相同功能的多个电子装置在特定空间内彼此链接的环境中,当使用由制造商配置的电子装置的名称而没有任何改变时,制造商考虑电子装置的类型或功能来配置电子装置的名称,使得电子装置的名称可彼此相同。因此,尽管用户说出电子装置的名称,但由于使用相应名称的电子装置的数量是多个,因此可能难以执行其功能。此外,如果用户改变电子装置的名称,则用户由于必须记住所有电子装置的名称而感到不便。
7.传统上,即使电子装置具有与方向或位置相关的功能,相应的功能也限于基于电子装置的位置或指示区域(或空间)的固定信息的绝对位置来指定绝对方向(例如,向上、向下、向左和向右)。也就是说,可能难以结合基于邻近对象的相对方向或与邻近对象的相对位置来执行电子装置的功能。
8.上述信息仅作为背景技术信息呈现,以帮助理解本公开。关于上述任何内容是否可以作为关于本公开的现有技术适用,没有做出任何确定,也没有做出断言。


技术实现要素:

9.问题的解决方案
10.本公开的实施例可提供一种通过基于与邻近对象的位置关系的配置的名称确认将被控制的外部电子装置并且控制所确认的外部电子装置的方法,以及用于支持该方法的
电子装置。
11.本公开的示例实施例还可提供一种基于与邻近对象的位置关系控制外部电子装置执行与方向或位置中的至少一个相关的功能的方法,以及用于支持该方法的电子装置。
12.根据本公开的示例方面,提供了一种电子装置。所述电子装置包括:通信电路,被配置为与外部电子装置进行通信;处理器,所述处理器可操作地连接到所述通信电路;以及存储器,可操作地连接到所述处理器,其中,所述存储器存储指令,其中,所述指令在被执行时促使所述处理器控制所述电子装置进行以下操作:获取关于设置在第一空间内的多个对象的类型的第一信息和关于所述多个对象在针对第一空间的第一方向上的位置的第二信息,从所述多个对象之中选择将被命名的目标对象,基于第一信息中的关于所述目标对象的类型的信息生成所述目标对象的至少一个第一名称,基于第一信息中的关于设置在所述目标对象周围的对应对象的类型的信息生成至少一个对应对象的至少一个第二名称,基于第二信息来确定所述目标对象与所述至少一个对应对象之间的相对位置关系,并且基于所述至少一个第一名称、所述至少一个第二名称以及所述目标对象与所述至少一个对应对象之间的所述相对位置关系来生成所述目标对象的至少一个第三名称。
13.根据本公开的另一示例方面,提供了一种电子装置。所述电子装置包括:相机;通信电路;处理器,可操作地连接到所述相机和所述通信电路;以及存储器,可操作地连接到所述处理器,其中,所述存储器存储指令,其中,所述指令在被执行时促使所述处理器控制所述电子装置进行以下操作:通过所述相机或所述通信电路获取与至少一个外部电子装置被设置的第一空间相关的第一图像,通过分析第一图像,获取与设置在第一空间内的所述至少一个外部电子装置的类型相关的第一信息和与所述至少一个外部电子装置在针对第一空间的第一方向上的位置相关的第二信息,基于第一信息生成所述至少一个外部电子装置的名称,基于第二信息确定所述电子装置与所述至少一个外部电子装置之间的位置关系,并且基于第一信息和第二信息中的至少一些生成所述至少一个外部电子装置的名称。
14.根据本公开的另一示例方面,提供了一种由电子装置控制外部电子装置的方法。所述方法包括:通过麦克风获取语音指令;对所述语音指令执行语音识别;基于包括在所述语音识别的结果中的与名称相关的表达来确认将被要控制的外部电子装置;基于包括在所述语音识别的结果中的与功能相关的表达来确定针对所述外部电子装置的功能的方向或位置;以及通过通信电路将与所述外部电子装置的功能和针对所述外部电子装置的功能的所述方向或所述位置相关的信号发送到所述外部电子装置。
15.根据本公开的各种示例实施例,用户可基于将被控制的电子装置与邻近对象之间的位置关系直观地指示电子装置,从而增加使用语音识别方案的便利性。
16.根据本公开的各种实施例,用户可基于与邻近对象的位置关系直观地指示与方向或位置中的至少一个相关的控制功能,从而增加使用语音识别处理的便利性。
17.此外,可提供通过本公开直接或间接检测的各种效果。
附图说明
18.根据以下结合附图的详细描述,本公开的某些实施例的上述和其他方面、特征和优点将更加明显,其中:
19.图1是示出根据各种实施例的网络环境中的示例电子装置的框图;
20.图2是示出根据各种实施例的电子装置的示例控制模块的框图;
21.图3是示出根据各种实施例的多个电子装置存在于特定空间内或者彼此链接以进行操作的示例环境的示图;
22.图4a是示出根据本公开的各种实施例的作为将被命名的目标的电子装置与用于控制功能并生成名称的电子装置分离的示例第一环境的示图;
23.图4b是示出根据本公开的各种实施例的作为将被命名的目标的电子装置与用于控制功能并生成名称的电子装置分离的示例第二环境的示图;
24.图4c是示出根据本公开的各种实施例的作为将被命名的目标的电子装置直接生成名称并执行功能的示例第三环境的示图;
25.图4d是示出根据本公开的各种实施例的作为将被命名的目标的电子装置直接生成名称并执行功能的示例第四环境的示图;
26.图4e是示出根据本公开的各种实施例的作为将被命名的目标的电子装置、用于生成名称的电子装置和用于控制功能的电子装置彼此分离的示例第五环境的示图;
27.图4f是示出根据本公开的各种实施例的作为将被命名的目标的电子装置、用于控制功能的电子装置彼此分离的示例第六环境的示图;
28.图5是示出根据本公开的各种实施例的示例对象识别方法的示图;
29.图6是示出根据本公开的各种实施例的关于对象的类型、位置和空间的示例信息的示图;
30.图7是示出根据本公开的各种实施例的关于对象之间的位置关系的示例信息的示图;
31.图8a是示出根据本公开的各种实施例的当对象的识别方向和用户的注视方向彼此相同时对象之间的示例位置关系的示图;
32.图8b是示出根据本公开的各种实施例的当对象的识别方向和用户的注视方向彼此不同时对象之间的示例位置关系的示图;
33.图8c是示出根据本公开的各种实施例的当对象的识别方向和用户的注视方向彼此正交时对象之间的示例位置关系的示图;
34.图9是示出根据本公开的各种实施例的在作为将被命名的目标的电子装置与用于生成名称的电子装置分离的环境中的示例命名方法的流程图;
35.图10是示出根据本公开的各种实施例的在将被命名的电子装置直接生成名称的环境中的示例命名方法的流程图;
36.图11是示出根据本公开的各种实施例的用于用户的语音输入的示例语音识别功能的示图;
37.图12是示出根据本公开的各种实施例的通过电子装置的名称标识电子装置的示例功能的示图;
38.图13是示出根据本公开的各种实施例的描述对象识别方法的示例屏幕的示图;
39.图14是示出根据本公开的各种实施例的描述选择将被命名或控制的目标的方法的示例屏幕的示图;
40.图15是示出根据本公开的各种实施例的描述配置对象的空间信息的方法的示例屏幕的示图;
41.图16是示出根据本公开的各种实施例的控制外部电子装置的示例方法的流程图;
42.图17a是示出根据本公开的各种实施例的基于对象之间的位置关系说出用于控制装置的语音指令的示例方法的示图;以及
43.图17b是示出根据本公开的各种实施例的用于处理语音指令的示例处理的示图。
44.结合附图的描述,相同或相似的附图标记可以用于相同或相似的元件。
具体实施方式
45.在下文中,将参考附图更详细地描述本公开的各种示例实施例。为了便于描述,附图中所示的元件可能被夸大或缩小,并且本公开不受附图的限制。
46.图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1,网络环境100中的电子装置101可经由第一网络198(例如,短距离无线通信网络)与电子装置102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例,电子装置101可经由服务器108与电子装置104进行通信。根据实施例,电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(sim)196或天线模块197。在一些实施例中,可从电子装置101中省略所述组件中的至少一个(例如,显示装置160或相机模块180),或者可将一个或更多个其它组件添加到电子装置101中。在一些实施例中,可将所述组件中的一些组件实现为单个集成电路。例如,可将传感器模块176(例如,指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如,显示器)中。
47.处理器120可运行例如软件(例如,程序140)来控制电子装置101的与处理器120连接的至少一个其它组件(例如,硬件组件或软件组件),并可执行各种数据处理或计算。根据示例实施例,作为所述数据处理或计算的至少部分,处理器120可将从另一组件(例如,传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施例,处理器120可包括主处理器121(例如,中央处理器(cpu)或应用处理器(ap))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(gpu)、图像信号处理器(isp)、传感器中枢处理器或通信处理器(cp))。另外地或者可选择地,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。
48.在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123(而非主处理器121)可控制与电子装置1011的组件之中的至少一个组件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可与主处理器121一起来控制与电子装置101的组件之中的至少一个组件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例,可将辅助处理器123(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一组件(例如,相机模块180或通信模块190)的部分。
49.存储器130可存储由电子装置101的至少一个组件(例如,处理器120或传感器模块
176)使用的各种数据。所述各种数据可包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
50.可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作系统(os)142、中间件144或应用146。
51.输入装置150可从电子装置101的外部(例如,用户)接收将由电子装置101的其它组件(例如,处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如,手写笔)。
52.声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的,接收器可用于呼入呼叫。根据实施例,可将接收器实现为与扬声器分离,或实现为扬声器的部分。
53.显示装置160可向电子装置101的外部(例如,用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例,显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如,压力传感器)。
54.音频模块170可将声音转换为电信号,反之亦可。根据实施例,音频模块170可经由输入装置150获得声音,或者经由声音输出装置155或与电子装置101直接(例如,有线地)连接或无线连接的外部电子装置(例如,电子装置102)的耳机输出声音。
55.传感器模块176可检测电子装置101的操作状态(例如,功率或温度)或电子装置101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施例,传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
56.接口177可支持将用来使电子装置101与外部电子装置(例如,电子装置102)直接(例如,有线地)或无线结合的一个或更多个特定协议。根据实施例,接口177可包括例如高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
57.连接端178可包括连接器,其中,电子装置101可经由所述连接器与外部电子装置(例如,电子装置102)物理连接。根据实施例,连接端178可包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如,耳机连接器)。
58.触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179可包括例如电机、压电元件或电刺激器。
59.相机模块180可捕获静止图像或运动图像。根据实施例,相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
60.电力管理模块188可管理对电子装置101的供电。根据示例实施例,可将电力管理模块188实现为例如电力管理集成电路(pmic)的至少部分。
61.电池189可对电子装置101的至少一个组件供电。根据实施例,电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
62.通信模块190可支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通
信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(ap))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块194(例如,局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的相应一个可经由第一网络198(例如,短距离通信网络,诸如蓝牙
tm
、无线保真(wi

fi)直连或红外数据协会(irda))或第二网络199(例如,长距离通信网络,诸如蜂窝网络、互联网、或计算机网络(例如,lan或广域网(wan)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个组件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个组件(例如,多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(imsi))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
63.天线模块197可将信号或电力发送到电子装置101的外部(例如,外部电子装置)或者从电子装置101的外部(例如,外部电子装置)接收信号或电力。根据实施例,天线模块197可包括天线,所述天线包括辐射元件,所述辐射元件由形成在基底(例如,pcb)中或形成在基底上的导电材料或导电图案构成。根据实施例,天线模块197可包括多个天线。在这种情况下,可由例如通信模块190(例如,无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例,除了辐射元件之外的另外的组件(例如,射频集成电路(rfic))可附加地形成为天线模块197的一部分。
64.上述组件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(gpio)、串行外设接口(spi)或移动工业处理器接口(mipi))相互结合并在它们之间通信地传送信号(例如,命令或数据)。
65.根据实施例,可经由与第二网络199结合的服务器108在电子装置101与外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置,或者是与电子装置101不同类型的装置。根据实施例,将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或外部电子装置108中的一个或更多个运行。例如,如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置101除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术或客户机

服务器计算技术。
66.图2是示出根据本公开的各种实施例的电子装置的示例控制模块的框图。图2的控制模块200可被实现为图1所示出的电子装置101的硬件元件或软件元件。例如,控制模块
200可以以存储在电子装置101的存储器130中的程序140的形式实现。例如,控制模块200可由存储在存储器130中的指令来实现,并且该指令可在被执行时使处理器120执行与该指令相应的功能。
67.参照图2,控制模块200可包括对象识别单元(例如,包括处理电路和/或可执行程序元件)210、空间信息获取单元(例如,包括处理电路和/或可执行程序元件)230、位置关系确定单元(例如,包括处理电路和/或可执行程序元件)250、名称生成单元(例如,包括处理电路和/或可执行程序元件)270和指令处理单元(例如,包括处理电路和/或可执行程序元件)290。
68.对象识别单元210可包括各种处理电路和/或可执行程序元件,并且识别特定空间中的对象。例如,对象识别单元210可确定特定空间中的对象的类型和特定空间中的对象的位置。对象识别单元210可以以图像识别方法、无线电波/声波识别方法或通过iot系统的识别方法来识别对象。对象可包括电子装置或家具,并且对象的形状或功能可通过图像分析被检测,但是本公开不限于此。
69.图像识别方法可包括使用基于深度学习的算法识别图像内的对象的方法。当通过图像识别方法识别对象时,对象识别单元210可从电子装置101内的相机模块180获取通过捕捉特定空间而获得的图像,或者从通过通信模块190连接到电子装置101的外部电子装置(例如,电子装置102、电子装置104或服务器108)获取通过捕捉特定空间而获得的图像。此外,当获取图像时,对象识别单元210可通过作为多对象检测技术的例如但不限于区域卷积神经网络(r

cnn)算法、快速r

cnn算法、你仅看一次(yolo)算法等来识别包括在图像中的对象。对象识别单元210可获取使用诸如蓝牙或wi

fi直连的技术识别的对象的装置信息,将获取的装置信息映射到关于对象的类型和位置的信息,并且将映射信息存储在存储器130中。
70.无线电波/声波识别方法可包括将无线电波或声波辐射到特定空间、接收和分析从特定空间内的对象反射的信号、以及识别对象的方法。例如,对象识别单元210可通过将辐射的无线电波或声波的方向或强度与接收信号的方向和强度进行比较来确定特定空间内的对象的形状和位置。此外,对象识别单元210可通过将对象的形状与预先存储在存储器130中的关于各种对象的形状的信息进行比较来确定对象的类型。
71.通过iot系统的识别方法可包括从iot集线器装置接收连接到iot集线器装置的设置在特定空间内的iot装置(对象)的类型和位置的方法。在iot系统中,iot集线器装置用于连接和控制iot装置,并且当iot装置最初连接到iot集线器装置时(当在iot集线器装置中登记iot装置时),可存储关于iot装置的类型和位置的信息。因此,当特定空间内的对象是iot装置时,对象识别单元210可从iot集线器装置(或服务器)获取关于iot装置的类型和位置的信息。
72.根据实施例,当iot系统是智能家居系统时,对象识别单元210可通过包括在智能家居系统中的传感器来检测特定空间(例如,家内)的天花板、底部和墙壁的变化,并且确定特定空间内的对象的类型和位置。
73.空间信息获取单元230可包括各种处理电路和/或可执行程序元件,并且获取通过对象识别单元210识别的对象被设置的特定空间的空间信息。空间信息可包括基于特定空间中包括的结构(例如,天花板、底部和墙壁)的形状和位置所确定的结构信息、包括设置在
特定空间内的对象的类型和位置的布置信息、以及指代特定空间的空间名称(例如,起居室、浴室、厨房或卧室)。
74.可在对象识别单元210识别对象的处理期间获取空间信息的结构信息和布置信息。例如,可在对象识别单元210获取并分析特定空间的图像的处理期间获取特定空间的结构信息和布置信息。
75.在空间信息中,可通过与多个预先存储的空间的空间信息进行比较来获取指代特定空间的空间名称,或者可通过用户输入来获取指代特定空间的空间名称。例如,空间信息获取单元230可通过将特定空间的结构信息和布置信息与预先存储在存储器130中的空间信息的结构信息和布置信息进行比较来获得相似性。当存在相似度大于或等于阈值的空间信息(结构信息和布置信息)时,特定空间的名称可被配置为与相应空间信息的名称相同。在另一示例中,空间信息获取单元230可基于通过包括在电子装置101中的输入装置150或连接到电子装置101的外部电子装置(例如,电子装置102、电子装置104或服务器108)的输入装置接收的用户输入来获取空间的名称。例如,特定空间的名称可被配置为由用户所选择的名称。
76.位置关系确定单元250可包括各种处理电路和/或可执行程序元件,并且确定特定空间内的对象之间的位置关系。位置关系确定单元250可基于在对象识别单元210的对象识别处理期间获取的关于对象的位置的信息来确定对象之间的位置关系。例如,位置关系确定单元250可通过关系推理网络算法来确定对象之间的位置关系,其中,所述关系推理网络算法可包括用于提取通过捕捉特定空间获得的图像中的对象之间的关系的深度学习技术。关于对象的位置的信息(例如,坐标值)可用作用于确定对象之间的位置关系的学习数据。此外,位置关系确定单元250可将关于对象之间的位置关系的信息存储在存储器130中。
77.根据实施例,为了更准确地检测对象的位置,位置关系确定单元250可使用特定空间内的对象的深度信息。可通过深度相机另外获取对象的深度信息。
78.名称生成单元270可包括各种处理电路和/或可执行程序元件,并且基于在对象识别单元210的对象识别处理期间获取的关于对象的类型的信息来生成对象的名称。基于对象的类型生成的名称可与通常指代对象的默认名称相应。例如,当对象的类型是电灯时,名称生成单元270可将对象的名称生成为“电灯”、“灯”、“光”或“照明”。根据各种示例实施例,名称生成单元270可将可基于对象的类型生成的所有名称进行映射,并且将其存储在存储器130中。例如,当对象的类型是电灯时,名称生成单元270可将可作为对象的名称生成的“电灯”、“灯”、“光”和“照明”彼此映射,并且将其存储在存储器130中。因此,当用户说出“电灯”、“灯”、“光”或“照明”中的任何一个时,电子装置101可将类型为电灯的对象选为目标对象。
79.名称生成单元270可基于关于通过位置关系确定单元250所确定的对象之间的位置关系的信息生成对象的名称。当作为将被命名的目标的目标对象被选择时,名称生成单元270可基于目标对象与设置在目标对象周围的对应对象之间的位置关系来生成目标对象的基于位置关系的描述性名称。例如,名称生成单元270可基于与对应对象的位置关系来生成目标对象的描述性名称(第三名称),其中,所述位置关系基于以下项:基于目标对象的类型生成的目标对象的默认名称(第一名称)、基于对应对象的类型生成的对应对象的默认名称(第二名称)以及目标对象与对应对象之间的位置关系。例如,名称生成单元270可通过顺
序地组合第二名称、指示位置关系的表达和第一名称来生成第三名称。名称生成单元270可在生成第三名称的同时添加指示状态的表达。例如,第三名称可包括指示存在状态的表达(诸如,“存在”、“被设置”或“位于”),或者指示不存在状态的表达(诸如,“不存在”、“不被设置”或“不位于”)。
80.指示目标对象和对应对象之间的位置关系的表达,诸如“上方”(或“上部”)、“下方”(或“下部”)、“右边”(或“右侧”)、“左边”(或“左侧”)、“后面”(或“后向”)或“前面”(或“前向”)。指示位置关系的表达不限于上述表达,而是通常可包括指示对象之间的相对位置的各种表达。例如,指示位置关系的表达可包括指示方位或方向的表达。
81.根据实施例,名称生成单元270可基于通过空间信息获取单元230获取的所获取的目标对象被设置的特定空间的空间信息来生成目标对象的名称。例如,名称生成单元270可基于空间信息中的指代特定空间的空间名称(例如,起居室、浴室、厨房或卧室)来生成目标对象的名称。名称生成单元270可基于以目标对象的类型为基础而生成的目标对象的默认名称(第一名称)和指代目标对象被设置的特定空间的空间名称(第四名称)来生成目标对象的基于空间的描述性名称(第五名称)。例如,名称生成单元270可通过顺序地组合第四名称和第一名称来生成第五名称。名称生成单元270可在生成第五名称的同时添加指示状态的表达。例如,第五名称可包括指示存在状态的表达(诸如,“存在”、“被设置”或“位于”),或者指示不存在状态的表达(诸如,“不存在”、“不被设置”或“不位于”)。
82.在另一示例中,名称生成单元270可基于空间信息的结构信息和布置信息来生成目标对象的名称。例如,名称生成单元270可基于关于目标对象与包括在特定空间中的结构(例如,天花板、底部或墙壁)之间的位置关系的信息来生成目标对象的名称。当目标对象被设置在结构上或与该结构相邻时,名称生成单元270可基于与结构的位置关系来生成目标对象的描述性名称(第七名称),其中,所述位置关系基于以下项:基于目标对象的类型生成的目标对象的默认名称(第一名称)、指代结构(例如,“天花板”、“底部”或“墙壁”)的名称(第六名称)以及目标对象与结构之间的位置关系。例如,名称生成单元270可通过顺序地组合第六名称、指示位置关系的表达和第一名称来生成第七名称。名称生成单元270可以在生成第七名称的同时添加指示状态的表达。例如,第七名称可包括指示存在状态的表达(诸如,“存在”、“被设置”或“位于”),或者指示不存在状态的表达(诸如,“不存在”、“不被设置”或“不位于”)。
83.在这方面,关于目标对象和特定空间中包括的结构之间的位置关系的信息可通过位置关系确定单元250被生成并且被传送到名称生成单元270。位置关系确定单元250可基于包括在结构信息中的关于结构的形状和位置的信息以及包括在布置信息中的关于目标对象的位置的信息来生成关于目标对象和结构之间的位置关系的信息。
84.指令处理单元290可包括各种处理电路和/或可执行程序元件,并且处理例如通过麦克风接收的用户的语音输入。例如,指令处理单元290可通过对语音输入执行语音识别来将语音输入转换为文本数据,并从文本数据中提取与名称相关的表达和与功能相关的表达。
85.根据实施例,指令处理单元290可基于与名称相关的表达来识别目标对象。目标对象可以是电子装置101或能够与电子装置101进行通信的外部电子装置(例如,电子装置102或电子装置104)。此外,与名称相关的表达可包括例如基于目标对象的类型生成的名称(默
认名称)、基于与周围对象的位置关系生成的名称(基于第一位置关系的描述性名称)、基于目标对象被设置的空间的空间名称生成的名称(基于空间的描述性名称)、或基于包括在目标对象被设置的空间中的结构之间的位置关系生成的名称(基于第二位置关系的描述性名称)。
86.根据实施例,指令处理单元290可基于与功能相关的表达来确定指令。指令可包括可由目标对象执行的功能之中的将执行的至少一个功能的触发输入。当将执行的功能是与方向或位置相关的功能(例如,移动功能或具有操作方向的功能)时,与该功能相关的表达可包括指示绝对方向或绝对位置的表达或者指示基于与周围对象的位置关系的相对方向或相对位置的表达,其中,所述绝对方向或绝对位置指示基于目标对象的位置的区域(或空间)的固定信息。
87.根据实施例,当所识别的目标对象是电子装置101时,指令处理单元290可将与指令相关的信号传送到电子装置101内的相关模块。此外,当所识别的目标对象是外部电子装置(例如,电子装置102或电子装置104)时,指令处理单元290可将与指令相关的信号发送到外部电子装置(例如,电子装置102或电子装置104)。
88.图3是示出多个电子装置存在于特定空间内或在彼此链接的同时操作的示例环境的示图。
89.参照图3,设置在特定空间300内的多个电子装置(例如,电子装置331、电子装置333、电子装置351、电子装置352、电子装置353、电子装置354、电子装置355、电子装置356,它们在下文中可被称为电子装置331至电子装置356)可以是属于电子装置310用作iot集线器装置的iot系统的iot装置,或者可以是可与电子装置310进行通信但与其他电子装置分开操作的电子装置。所述多个电子装置(例如,电子装置331至电子装置356)可以是对通过麦克风接收的用户的语音输入执行语音识别并根据语音识别结果执行功能的电子装置,或者是根据来自电子装置310(例如,iot集线器装置)的语音识别结果接收与功能相关的信号并执行功能的电子装置。
90.图2所示出的控制模块200可被包括在连接到设置在特定空间300内的至少一个电子装置331至356的电子装置310中,或者被包括在设置在特定空间300内的电子装置331至电子装置356中。在图3中,为了便于描述,描述了控制模块200被包括在电子装置310中的情况。电子装置310可被设置在特定空间300内或除了特定空间300之外的空间中。
91.包括控制模块200的电子装置310(例如,电子装置101)可生成设置在特定空间300内的多个电子装置331至电子装置356的名称。电子装置310可从包括相机的电子装置331和电子装置333获取捕捉的图像,其中,相机能够捕捉特定空间300或设置在特定空间300内的多个电子装置。包括相机的电子装置331和电子装置333可包括例如固定和安装在特定空间300内的相机装置331(例如,cctv相机)或者能够在移动期间捕捉特定空间300的机器人型装置333(例如,机器人真空吸尘器),但本公开不限于此。根据各种实施例,电子装置310可包括相机,或者可通过包括在电子装置310中的相机捕捉特定空间300或设置在特定空间300内的多个电子装置331至356,并且获取捕捉的图像。
92.获取捕捉的图像的电子装置310可通过控制模块200的对象识别单元210来识别特定空间300中的对象。例如,在图3所示出的环境中,对象识别单元210可识别设置在天花板371上的电灯351、设置在左侧墙375附近的冰箱352、设置在底部373右侧的抽屉353、设置在
抽屉353上的tv 354、设置在tv 354左侧的第一立灯355和设置在tv 354右侧的第二立灯356。
93.当识别出对象时,电子装置310可通过控制模块200的名称生成单元270生成对象的默认名称。例如,名称生成单元270可基于关于对象的类型的信息来生成对象的默认名称。
94.此后,电子装置310可通过控制模块200的空间信息获取单元230获取特定空间300的空间信息。例如,在图3所示出的环境中,空间信息获取单元230可获取基于天花板371、底部373以及墙壁375和墙壁377的形状和位置确定的结构信息、包括对象的类型和位置的布置信息以及指代特定空间300的名称。可在对象识别单元210的对象识别处理期间获取结构信息和布置信息,并且可通过与预先存储在存储器130中的多个空间的空间信息进行比较或通过用户输入来获取指代特定空间300的名称。例如,空间信息获取单元230可基于通过连接到电子装置101的外部电子装置390(例如,电子装置102、电子装置104或服务器108)的输入部件接收的用户输入来获取特定空间300的名称。外部电子装置390的输入部件可包括例如外部电子装置390的触摸屏391。
95.电子装置310可通过控制模块200的位置关系确定单元250确定特定空间300内的对象之间的位置关系。例如,位置关系确定单元250可从对象中选择目标对象,并且确定目标对象与设置在目标对象周围的对应对象之间的位置关系。目标对象可以是对象之中可被控制的电子装置(例如,电子装置331、电子装置333、电子装置351、电子装置352,它们在下文中可被称为电子装置331至电子装置352,或者电子装置354、电子装置355、电子装置356,它们在下文中可被称为电子装置354至电子装置356),并且对应对象可以是设置在特定空间300内的任何对象。例如,当tv 354被选为目标对象时,位置关系确定单元250可确定tv 354与设置在tv 354周围的抽屉353、第一立灯355或第二立灯356之间的位置关系。例如,在图3所示出的环境中,位置关系确定单元250可确定tv 354被设置在抽屉353上、第一立灯355的右侧和第二立灯356的左侧。如上所述,可根据设置在目标对象周围的对应对象的数量来配置关于目标对象与对应对象之间的位置关系的信息。例如,当设置在目标对象(例如,tv 354)周围的对应对象(例如,抽屉353、第一立灯355和第二立灯356)的数量是三个时,与目标对象相关的位置关系信息可被配置为具有三项(例如,指示与抽屉353的位置关系的第一项、指示与第一立灯355的位置关系的第二项、以及指示与第二立灯356的位置关系的第三项)。
96.当对象之间的位置关系被确定时,电子装置310可通过名称生成单元270生成对象的描述性名称。例如,名称生成单元270可基于关于对象之间的位置关系的信息来生成对象的描述性名称。例如,名称生成单元270可基于与对应对象的位置关系来生成目标对象的描述性名称,其中,所述位置关系基于以下项:基于目标对象的类型生成的目标对象的默认名称、基于对应对象的类型生成的对应对象的默认名称以及目标对象与对应对象之间的位置关系。例如,在图3所示出的环境中,当目标对象是tv 354并且对应对象是抽屉353时,名称生成单元270可通过顺序地组合抽屉353的默认名称(例如,“抽屉”)、指示tv 354与抽屉353之间的位置关系的表达(例如,“在
……
上”)和tv 354的默认名称(例如,“tv”)来生成tv 354的描述性名称。名称生成单元270可在生成tv 354的描述性名称的同时使用指示状态的表达(例如,“存在”)。例如,名称生成单元270可将指示状态的表达(例如,“存在”)添加到指
示tv 354与抽屉353之间的位置关系的表达(例如,“在
……
上”)。因此,tv 354的描述性名称可被生成为例如“存在于抽屉上的tv”。
97.根据实施例,名称生成单元270可基于通过空间信息获取单元230获取的目标对象被设置的特定空间300的空间信息来生成目标对象的描述性名称。例如,名称生成单元270可基于空间信息中的指代特定空间300的空间名称(例如,起居室、浴室、厨房或卧室)来生成目标对象的描述性名称。名称生成单元270可基于目标对象的默认名称和目标对象被设置的特定空间300的空间名称来生成目标对象的基于空间的描述性名称。例如,在图3所示出的环境中,当目标对象是冰箱352时,名称生成单元270可通过顺序地组合特定空间300的空间名称(例如,“客厅”)和冰箱352的默认名称(例如,“冰箱”)来生成冰箱352的描述性名称。例如,名称生成单元270可在生成冰箱352的描述性名称的同时使用后置助词(例如,“在
……
中”)和指示状态的表达(例如,“存在”)。例如,名称生成单元270可添加后置派生词(例如,“在
……
中”)、表示特定空间300的空间名称(例如,“客厅”)和冰箱352的默认名称(例如,“冰箱”)之间的状态的表达(例如,存在)。因此,冰箱352的描述性名称可被生成为例如“存在于客厅中的冰箱”。
98.在另一示例中,名称生成单元270可基于空间信息的结构信息和布置信息来生成目标对象的描述性名称。名称生成单元270可基于关于目标对象与包括在特定空间300中的结构(例如,天花板371、底部373或者墙壁375和墙壁377)之间的位置关系的信息来生成目标对象的描述性名称。例如,在图3所示出的环境中,当目标对象是电灯351并且结构是天花板371时,名称生成单元270可通过顺序地组合指代天花板371的名称(例如,“天花板”)、指示电灯351与天花板371之间的位置关系的表达(例如,“在
……
上”)(当目标对象被添加到结构时,它们不具有上方、下方、左侧和右侧的关系,因此后置助词“在
……
上”用于表示位置关系)以及电灯351的默认名称(例如,“电灯”)来生成电灯351的描述性名称。名称生成单元270可在生成电灯351的描述性名称的同时使用表示状态的表达(例如,“存在”)。例如,名称生成单元270可将指示状态的表达(例如,“存在”)添加到指示电灯351与天花板371之间的位置关系的表达(例如,“在
……
上”)。因此,电灯351的描述性名称可被生成为例如“存在于天花板上的电灯”。
99.图4a是示出根据本公开的各种实施例的作为将被命名的目标的电子装置与用于控制功能并生成名称的电子装置分离的示例第一环境的示图。图4b是示出根据本公开的各种实施例的作为将被命名的目标的电子装置与用于控制功能并生成名称的电子装置分离的示例第二环境的示图。图4c是示出根据本公开的各种实施例的作为将被命名的目标的电子装置直接生成名称并执行功能的示例第三环境的示图。图4d是示出根据本公开的各种实施例的作为将被命名的目标的电子装置直接生成名称并执行功能的示例第四环境的示图。图4e是示出根据本公开的各种实施例的作为将被命名的目标的电子装置、用于生成名称的电子装置和用于控制功能的电子装置彼此分离的示例第五环境的示图。图4f是示出根据本公开的各种实施例的作为将被命名的目标的电子装置、用于控制功能的电子装置彼此分离的示例第六环境的示图。
100.在图4a、图4b、图4c、图4d、图4e和图4f中,描述了将被命名的目标与用于生成名称的控制模块200之间的关系。将被命名的第二电子装置450(目标对象)可以是能够与如图4a、图4b、图4e和图4f所示出的包括控制模块200的第一电子装置410进行通信的装置,或者
是如图4c和图4d所示出的包括控制模块200以直接生成名称并执行功能的装置。
101.参照图4a和图4b,包括控制模块200的第一电子装置410可生成设置在特定空间内的第二电子装置450的名称。例如,第一电子装置410可经由通过捕捉第二电子装置450被设置的特定空间而获得的图像,基于关于第二电子装置450(目标对象)与设置在特定空间内的至少一个其他对象(对应对象)之间的位置关系的信息来生成第二电子装置450的描述性名称。可从如图4a所示出的包括能够捕捉特定空间的相机的第三电子装置431或第三电子装置433获取通过捕捉特定空间所获得的图像,或者可通过如图4b所示出的包括在第一电子装置410中的相机413获取通过捕捉特定空间所获得的图像。第三电子装置431或第三电子装置433可包括固定和安装在特定空间内的相机装置431(例如,cctv相机)或能够在特定空间中移动的同时进行捕捉的机器人型装置433(机器人真空吸尘器)。
102.根据实施例,第一电子装置410可控制第二电子装置450的功能。第一电子装置410可包括麦克风411并且对用户的语音输入执行语音识别。例如,第一电子装置410可基于语音识别处理或通过服务器(例如,服务器108)执行语音识别。当语音识别结果包括指示第二电子装置450的第二电子装置450的名称时,第一电子装置410可将激活(例如,唤醒)信号发送到第二电子装置450。当语音识别结果包括用于执行特定功能的指令时,第一电子装置410可将与指令相应的信号发送到第二电子装置450。例如,图4a和4b中所示出的第一电子装置410可以是iot集线器装置,iot集线器装置包括麦克风并且用于连接和控制iot装置,并且第二电子装置450可以是连接到iot集线器装置的iot装置。
103.参照图4c和图4d,第二电子装置450可包括控制模块200并且它自己生成第二电子装置450的名称。例如,第二电子装置450可经由通过捕捉第二电子装置450被设置的特定空间而获得的图像,基于关于第二电子装置450(目标对象)与设置在特定空间内的至少一个其他对象(对应对象)之间的位置关系的信息来生成第二电子装置450的描述性名称。可从如图4c所示出的包括能够捕捉特定空间的相机的第三装置431或第三装置433获取通过捕捉特定空间获得的图像,或者可通过包括在如图4d所示出的第二电子装置450中的相机453获取通过捕捉特定空间获得的图像。
104.根据实施例,第二电子装置450可包括麦克风451并且对用户的语音输入执行语音识别。此外,当语音识别结果包括指示第二电子装置450的第二电子装置450的名称时,可激活第二电子装置450。当语音识别结果包括用于执行特定功能的指令时,第二电子装置450可执行与该指令相应的特定功能。
105.参照图4e和图4f,控制模块200的至少一些元件可被包括在第四电子装置470中。例如,第四电子装置470可包括控制模块200的对象识别单元210、空间信息获取单元230、位置关系确定单元250和名称生成单元270中的至少一些。在这种情况下,第四电子装置470可生成设置在特定空间内的第二电子装置450的名称。例如,第四电子装置470可经由通过捕捉第二电子装置450被设置的特定空间而获得的图像,基于关于第二电子装置450(目标对象)与设置在特定空间内的至少一个其他对象(对应对象)之间的位置关系的信息来生成第二电子装置450的描述性名称。可从如图4e所示出的包括能够捕捉特定空间的相机的第三装置431或第三装置433获取通过捕捉特定空间而获得的图像,或者可通过包括在如图4f所示出的第四电子装置470中的相机473获取通过捕捉特定空间获得的图像。第三电子装置431或第三电子装置433可包括例如固定和安装在特定空间内的相机装置431(例如,cctv相
机)或能够在特定空间中移动的同时进行捕捉的机器人型装置433(机器人真空吸尘器)。
106.根据实施例,第四电子装置470可提供支持邻近装置(iot装置)的注册的ui,并且在注册邻近装置的处理期间生成邻近装置的名称。第四电子装置470可将生成的邻近装置的名称存储在数据库中。例如,邻近装置的名称可被映射到关于邻近装置的信息(例如,邻近装置的类型或位置、与邻近对象的位置关系、或关于邻近装置被布置在的空间的信息)并且被存储在数据库中。数据库可被存储在第四电子装置470的存储器中或能够与第四电子装置470进行通信的第一电子装置410的存储器中。例如,第四电子装置470可经由通信模块471将生成的邻近装置的名称发送到第一电子装置410。
107.控制模块200的至少一些元件可被包括在第一电子装置410中。例如,控制模块200的指令处理单元290可被包括在第一电子装置410中。在这种情况下,第一电子装置410可控制第二电子装置450的功能。第一电子装置410可包括麦克风411,具有语音识别方案,并且对用户的语音输入执行语音识别。当语音识别结果包括指示第二电子装置450的第二电子装置450的名称时,第一电子装置410可将激活(例如,唤醒)信号发送到第二电子装置450。第一电子装置410可基于存储在数据库中的信息来识别第二电子装置450。例如,第一电子装置410可在数据库中搜索第二电子装置450的名称,并且识别映射到第二电子装置450的名称的第二电子装置450的类型或位置、与邻近对象的位置关系或关于第二电子装置450被设置的空间的信息。当语音识别结果包括用于执行特定功能的指令时,第一电子装置410可将与指令相应的信号发送到第二电子装置450。根据一些实施例,语音识别方案可被安装到服务器(例如,服务器108)。在这种情况下,第一电子装置410可将通过麦克风411接收的用户的语音输入发送到服务器,并且服务器可对用户的语音输入执行语音识别并且将其结果发送到第一电子装置410。
108.图5是示出根据本公开的各种实施例的示例对象识别方法的示图。图6是示出根据本公开的各种实施例的关于对象的类型、位置和空间的示例信息的示图。图7是示出根据本公开的各种实施例的关于对象之间的位置关系的示例信息的示图。
109.参照图5、图6和图7,图2的控制模块200可识别设置在特定空间(例如,空间a)内的多个对象。例如,控制模块200的对象识别单元210可确定特定空间中的对象的类型和对象在特定空间中的位置。在图5所示出的环境中,对象识别单元210可确定第一对象(b)510、第二对象(c)520、第三对象(d)530、第四对象(e)540、第五对象(f)550、第六对象(g)560和第七对象(h)570的类型和位置。
110.对象识别单元210可将关于对象的类型的信息610和关于对象的位置的信息630映射到对象,并且如图6所示出的将信息以表600的形式存储在存储器130中。当特定空间由三维坐标表示(特定空间的一个位置由x轴坐标值、y轴坐标值和z轴坐标值来表示)时,关于对象的位置的信息630可以是各个对象的三维坐标值。例如,对象识别单元210可将特定空间的中心配置为三维坐标轴的中心点。例如,当特定空间是房间时,房间的中心可以是三维坐标轴的中心点。在另一示例中,当包括名称生成单元270的电子装置捕捉特定空间时(当通过经由包括在电子装置中的相机捕捉特定空间而获得的图像被获取时),对象识别单元210可将电子装置的位置配置为三维坐标轴的中心点。根据实施例,特定对象的三维坐标值可包括针对特定对象的中心点的三维坐标值。根据另一实施例,特定对象的三维坐标值可包括针对特定对象的拐角点或边界点的多个三维坐标值。
111.控制模块200的空间信息获取单元230可获取特定空间的空间信息650。空间信息650可包括由特定空间中包括的结构的形状和位置确定的结构信息、包括设置在特定空间内的对象的类型和位置的布置信息、以及指代特定空间的空间名称。此外,空间信息获取单元230可将所获取的特定空间的空间信息650、关于设置在特定空间内的对象的类型的信息610和关于对象的位置的信息630映射到每一个对象,并且如图6所示出的将所映射的信息以表600的形式存储在存储器130中。图6示出指代特定空间的空间名称(例如,“a”)作为空间信息650被存储在表600中,但不限于此。除了空间名称之外,结构信息和布置信息也可被存储在表600中。
112.控制模块200的位置关系确定单元250可确定特定空间内的对象之间的位置关系。位置关系确定单元250可基于关于对象的位置的信息630来确定对象之间的位置关系。例如,位置关系确定单元250可从对象中选择目标对象,并且确定目标对象与设置在目标对象周围的对应对象之间的位置关系。此外,当目标对象与对应对象之间的位置关系被确定时,位置关系确定单元250可将关于目标对象的信息710、关于对应对象的信息730、关于目标对象与对应对象之间的位置关系的信息750映射到每一个目标对象和每一个对应对象,并且如图7所示出的将映射的信息以表700的形式存储在存储器130中。图7示出当目标对象是第一对象510时,关于与每一个对应对象的位置关系的信息750被存储在表700中,但不限于此。当目标对象是第二对象520、第三对象530、第四对象540、第五对象550、第六对象560或第七对象570时,表700可存储关于与每一个对应对象730的位置关系的信息750。
113.根据实施例,图6所示出的表600或图7所示出的表700可被包括在图4e和图4f所示出的数据库中。例如,表600和表700可基于目标对象被彼此映射并且可被存储在数据库中,并且目标对象的名称也可被映射并存储在数据库中。
114.图8a是示出根据本公开的各种实施例的当对象的识别方向和用户的注视方向彼此相同时对象之间的示例位置关系的示图。图8b是示出根据本公开的各种实施例的当对象的识别方向和用户的注视方向彼此不同时对象之间的示例位置关系的示图。图8c是示出根据本公开的各种实施例的当对象的识别方向和用户的注视方向彼此正交时对象之间的示例位置关系的示图。
115.参照图8a、图8b和图8c,图2的控制模块200可基于关于设置在特定空间800(例如,空间a)内的多个对象的位置的信息来确定对象之间的位置关系。例如,控制模块200可从能够捕捉特定空间800的相机装置810获取捕捉图像,识别图像内的对象,并且确定对象之间的位置关系。
116.如图8a所示出的,当对象的识别方向(第一方向)801(例如,相机装置810的捕捉方向)与用户830查看特定空间800的注视方向(第二方向)803基本相同时,由控制模块200确定的设置在特定空间800内的对象之间的位置关系可与用户830查看(识别)的对象之间的位置关系相同。例如,由控制模块200识别的特定空间800的第一布置结构850中的第一对象(b)851、第二对象(c)852、第三对象(d)853、第四对象(e)854、第五对象(f)855、第六对象(g)856和第七对象(h)857之间的位置关系可与由用户830查看的特定空间800的第二布置结构870中的第一对象(b)871、第二对象(c)872、第三对象(d)873、第四对象(e)874、第五对象(f)875、第六对象(g)876和第七对象(h)857之间的位置关系相同。
117.在这方面,描述了第一方向801与第二方向803基本上彼此相同的情况。假设相机
装置810在预定高度处捕捉特定空间800的预定点的方向是第一方向801,并且用户830在相同高度处查看特定空间800的相同点的方向是第二方向803。在这种情况下,当作为具有第一方向801的单位矢量的第一矢量的起始点与作为具有第二方向803的单位矢量的第二矢量的起始点相匹配,并且第一矢量与第二矢量之间的角度在基于第一矢量所确定的第一角度范围内时,可确定第一方向801和第二方向803基本上彼此相同。第一角度范围可以是例如距0度有45度的误差容限的从

45度至 45度。
118.如图8b和图8c所示出的,当第一方向801与第二方向803基本上不同时,由控制模块200确定的设置在特定空间800内的对象之间的位置关系可与由用户830查看(识别)的对象之间的位置关系不同。
119.例如,如图8b所示出的,当第一方向801与第二方向803基本上相反时,由控制模块200识别的特定空间800的第一布置结构850中的对象之间的位置关系可与由用户830查看(识别)的特定空间800的第二布置结构870中的对象之间的位置关系完全相反,使得对象之间的位置关系的向左方向和向右方向(x轴方向)和前后方向(z轴方向)基于向上和向下方向(y轴方向)彼此相反。在这种情况下,可基于对象的x轴坐标值和z轴坐标值的符号的变化再次确定由控制模块200确定的对象之间的位置关系,因此可将其校正为与由用户830查看的对象之间的位置关系相同。例如,如图8b所示出的,当第一布置结构850中的对象的坐标值为(x,y,z)时,第二布置结构870中的相同对象的坐标值可以是(

x,y,

z)。因此,当在x轴坐标值和z轴坐标值的符号从第一布置结构850中的对象的坐标值被改变之后确定对象之间的位置关系时,控制模块200可获取与第二布置结构870中的对象之间的位置关系的结果相同的结果。
120.例如,当第一布置结构850中的第一对象(b)851的坐标值为(x1,y1,z1),第四对象(e)854的坐标值为(x4,y4,z4),并且第一对象851的x轴坐标值(x1)大于第四对象854的x轴坐标值(x4)时,控制模块200可确定第一对象851位于第四对象854的右侧。然而,由于用户830确定在第二布置结构870中第一对象871位于第四对象874的左侧,因此控制模块220可执行校正位置关系的功能。例如,控制模块200可将第一对象851的坐标值改变为(

x1,y1,

z1),将第四对象854的坐标值改变为(

x4,y4,

z4),然后再次确定第一对象851与第四对象854之间的位置关系。由于第一对象851的改变的x轴坐标值(

x)小于第四对象854的x轴坐标值(

x4),因此控制模块200可确定第一对象851位于第四对象854的右侧。
121.在这方面,描述了第一方向801和第二方向803基本上彼此相反的情况。假设相机装置810在预定高度处捕捉特定空间800的预定点的方向是第一方向801,并且用户830在相同高度处查看特定空间800的相同点的方向是第二方向803。在这种情况下,当作为具有第一方向801的单位矢量的第一矢量的起始点与作为具有第二方向803的单位矢量的第二矢量的起始点相匹配,并且第一矢量与第二矢量之间的角度在基于第一矢量所确定的第二角度范围内时,可确定第一方向801与第二方向803基本上彼此相反。第二角度范围可以是例如距180度有45度的误差容限的从135度至225度。
122.在另一示例中,第一方向801基本上垂直于第二方向803的情况可被分为第二方向803从第一方向801沿顺时针方向旋转约90度的情况和第二方向803从第一方向801沿逆时针方向旋转约90度的情况。
123.当第二方向803从第一方向801沿顺时针方向旋转约90度时,第二布置结构870中
的向左方向和向右方向可相应于第一布置结构850中的前后方向(z轴方向),并且第二布置结构870中的前后方向可相应于第一布置结构850中的向左方向和向右方向(x轴方向)的相反方向。在这种情况下,通过在将对象的x轴坐标值改变为z轴坐标值的同时改变符号并且将z轴坐标值改变为x轴坐标值之后执行重新确定,可将由控制模块200确定的对象之间的位置关系校正为与用户830查看的对象之间的位置关系相同。例如,当第一布置结构850中的对象的坐标值为(x,y,z)时,第二布置结构870中的相同对象的坐标值可以是(z,y,

x)。因此,控制模块200可通过在第一布置结构850中的对象的坐标值中将x轴坐标值改变为z轴坐标值的同时改变符号并将z轴坐标值改变为x轴坐标值之后确定对象之间的位置关系来获取与第二布置结构870中的对象之间的位置关系相同的结果。
124.例如,当第一布置结构850中的第一对象(b)851的坐标值为(x1,y1,z1),第五对象(f)855的坐标值为(x5,y5,z5),第一对象851的x轴坐标值(x1)小于第五对象855的x轴坐标值(x5),并且第一对象851的z轴坐标值(z1)大于第五对象854的z轴坐标值(z5)时,控制模块200可确定第一对象851位于第五对象855的右前侧。然而,由于用户830确定在第二布置结构870中第一对象871位于第五对象875的右前侧,因此控制模块200可执行校正位置关系的功能。例如,控制模块200可将第一对象851的坐标值改变为(z1,y1,

x1),将第五对象855的坐标值改变为(z5,y5,

x5),然后再次确定第一对象851和第五对象855之间的位置关系。第一对象851的x轴坐标值(z1)大于第五对象855的改变后的x轴坐标值(z5),并且第一对象851的z轴坐标值(

x1)大于第五对象855的改变后的z轴坐标值(

x5),使得控制模块200可确定第一对象851位于第五对象855的右后侧。
125.如图8c所示出的,当第二方向803从第一方向801沿逆时针方向旋转约90度时,第二布置结构870中的向左和向右方向可相应于第一布置结构850中的前后方向(z轴方向),并且第二布置结构870中的前后方向可相应于第一布置结构850中的向左方向和向右方向(x轴方向)。在这种情况下,通过在将对象的z轴坐标值改变为x轴坐标值的同时改变z轴坐标值的符号并将x轴坐标值改变为z轴坐标值之后执行重新确定,可将由控制模块200确定的对象之间的位置关系校正为与由用户830查看的对象之间的位置关系相同。例如,当第一布置结构850中的对象的坐标值为(x,y,z)时,第二布置结构870中的相同对象的坐标值可以是(

z,y,x)。因此,控制模块200可通过在第一布置结构850中的对象的坐标值中将z轴坐标值改变为x轴坐标值并且将x轴坐标值改变为z轴坐标值之后确定对象之间的位置关系来获取与第二布置结构870中的对象之间的位置关系相同的结果。
126.例如,当第一布置结构850中的第一对象(b)851的坐标值为(x1,y1,z1),第五对象(f)855的坐标值为(x5,y5,z5),第一对象851的x轴坐标值(x1)小于第五对象855的x轴坐标值(x5),并且第一对象851的z轴坐标值(z1)大于第五对象854的z轴坐标值(z5)时,控制模块200可确定第一对象851位于第五对象855的右前侧。然而,由于用户830确定在第二布置结构870中第一对象871位于第五对象875的左后侧,因此控制模块200可执行校正位置关系的功能。例如,控制模块200可将第一对象851的坐标值改变为(

z1,y1,x1),将第五对象855的坐标值改变为(

z5,y5,x5),然后再次确定第一对象851与第五对象855之间的位置关系。第一对象851的x轴坐标值(

z1)小于第五对象855的改变后的x轴坐标值(

z5),并且第一对象851的改变后的z轴坐标值(x1)小于第五对象855的改变后的z轴坐标值(x5),使得控制模块200可以确定第一对象851位于第五对象855的左后侧。
127.在这方面,描述了第一方向801和第二方向803基本上彼此正交的情况。假设相机装置810在预定高度处捕捉特定空间800的预定点的方向是第一方向801,并且用户830在相同高度处查看特定空间800的相同点的方向是第二方向803。在这种情况下,当作为具有第一方向801的单位矢量的第一矢量的起始点与作为具有第二方向803的单位矢量的第二矢量的起始点相匹配,并且第一矢量与第二矢量之间的角度在基于第一矢量所确定的第三角度范围内时,可确定第一方向801与第二方向803基本上彼此正交。第三角度范围可以是例如距90度有45度的误差裕度的从45度至135度(第二方向803从第一方向801沿逆时针方向旋转约90度的情况),以及距270度有45度的误差裕度的从225度至315度(第二方向803从第一方向801沿顺时针方向旋转约90度的情况)。根据实施例,考虑到与第一角度范围与第二角度范围重叠的角度,第三角度范围可被配置为46度至134度和226度至314度。
128.如上所述,根据各种示例实施例,电子装置(例如,电子装置101)可包括:通信电路(例如,通信电路190),被配置为与外部电子装置进行通信;处理器(例如,处理器120),可操作地连接到通信电路;以及存储器(例如,存储器130),可操作地连接到处理器,其中,存储器存储指令,该指令在被执行时促使处理器控制电子装置进行以下操作:获取关于设置在第一空间内的多个对象的类型的第一信息和关于所述多个对象在针对第一空间的第一方向上的位置的第二信息,在所述多个对象之中选择将被命名的目标对象,基于第一信息中的关于目标对象的类型的信息生成目标对象的至少一个第一名称,基于第一信息中的关于设置在所述目标对象周围的对应对象的类型的信息生成至少一个对应对象的至少一个第二名称,基于第二信息确定目标对象与所述至少一个对应对象之间的相对位置关系,并且基于所述至少一个第一名称、所述至少一个第二名称以及目标对象与所述至少一个对应对象之间的相对位置关系来生成目标对象的至少一个第三名称。
129.根据各种示例实施例,指令在被执行时可促使处理器控制电子装置进行以下操作:通过通信电路从包括能够捕捉第一空间的相机的外部电子装置获取通过沿第一方向捕捉第一空间而获得的图像,并且通过分析图像来获取第一信息和第二信息。
130.根据各种示例实施例,电子装置还可包括相机(例如,相机模块180),其中,指令在被执行时促使处理器控制电子装置进行以下操作:获取通过经由相机沿第一方向捕捉第一空间而获得的图像,并且通过分析图像来获取第一信息和第二信息。
131.根据各种示例实施例,指令在被执行时可促使处理器控制电子装置进行以下操作:确定用户查看第一空间的第二方向,基于根据确定的结果的第一方向与第二方向基本上彼此不同,校正包括在第二信息中的目标对象的坐标值和所述至少一个对应对象的坐标值,以及基于目标对象的校正的坐标值和所述至少一个对应对象的校正的坐标值,重新确定目标对象与所述至少一个对应对象之间的相对位置关系。
132.根据各种示例实施例,指令在被执行时可促使处理器控制电子装置进行以下操作:基于确定了第一方向和第二方向基本上彼此相反,改变包括在第二信息中的目标对象的坐标值和所述至少一个对应对象的坐标值中的x轴坐标值的符号和z轴坐标值的符号,并且校正目标对象的坐标值和所述至少一个对应对象的坐标值。
133.根据各种示例实施例,指令在被执行时可促使处理器控制电子装置进行以下操作:基于确定了第二方向相应于从第一方向沿顺时针方向旋转约90度的方向,在包括在第二信息中的目标对象的坐标值和所述至少一个对应对象的坐标值中,在改变x轴坐标值的
符号的同时将x轴坐标值改变为z轴坐标值,并且将z轴坐标值改变为x轴坐标值,以校正目标对象的坐标值和所述至少一个对应对象的坐标值。
134.根据各种示例实施例,指令在被执行时可促使处理器控制电子装置进行以下操作:基于确定了第二方向相应于从第一方向沿逆时针方向旋转约90度的方向,在包括在第二信息中的目标对象的坐标值和所述至少一个对应对象的坐标值中,将x轴坐标值改变为z轴坐标值,并且在改变z轴坐标值的符号的同时将z轴坐标值改变为x轴坐标值,以校正目标对象的坐标值和所述至少一个对应对象的坐标值。
135.根据各种示例实施例,指令在被执行时可促使处理器控制电子装置通过通信电路将所述至少一个第三名称发送到外部电子装置。
136.根据各种示例实施例,电子装置还可包括麦克风,其中,指令在被执行时可促使处理器控制电子装置进行以下操作:通过麦克风获取用户的语音指令,对语音指令执行语音识别,基于包括在语音识别的结果中的与名称相关的表达来识别目标对象,基于包括在语音识别的结果中的与功能相关的表达来确定用于执行目标对象的功能的方向或位置,以及通过通信电路将与目标对象的功能和用于执行目标对象的功能的方向或位置相关的信号发送到目标对象。
137.如上所述,根据各种示例实施例,电子装置(例如,电子装置101)可包括:相机(例如,相机模块180);通信电路(例如,通信模块190);处理器(例如,处理器120),可操作地连接到相机和通信电路;以及存储器(例如,存储器130),可操作地连接到处理器,其中,存储器存储指令,该指令在被执行时促使处理器控制电子装置进行以下操作:通过相机或通信电路获取与至少一个外部电子装置被设置的第一空间相关的第一图像,通过分析第一图像获取与设置在第一空间内的所述至少一个外部电子装置的类型相关的第一信息和与所述至少一个外部电子装置在针对第一空间的第一方向上的位置相关的第二信息,基于第一信息生成所述至少一个外部电子装置的名称,基于第二信息确定电子装置与所述至少一个外部电子装置之间的位置关系,并且基于第一信息和第二信息中的至少一些信息生成所述至少一个外部电子装置的名称。
138.根据各种示例实施例,指令在被执行时可促使处理器控制电子装置进行以下操作:通过相机或通信电路获取包括用户的第二图像,通过分析第二图像来确定用户查看第一空间的第二方向,并且基于根据确定的结果的第一方向与第二方向基本上彼此不同来校正包括在第二信息中的所述至少一个外部电子装置的位置关系。
139.根据各种示例实施例,指令在被执行时可促使处理器控制电子装置进行以下操作:基于根据确定的结果的第一方向与第二方向基本上彼此相反,改变包括在第二信息中的所述至少一个外部电子装置的坐标值中的x轴坐标值的符号和z轴坐标值的符号,以校正所述至少一个外部电子装置的位置关系。
140.根据各种示例实施例,指令在被执行时可促使处理器控制电子装置进行以下操作:基于根据确定的结果的第二方向从第一方向沿顺时针方向旋转约90度,在包括在第二信息中的所述至少一个外部电子装置的坐标值中,在改变x轴坐标值的符号的同时将x轴坐标值改变为z轴坐标值,并且将z轴坐标值改变为x轴坐标值对象,以校正所述至少一个外部电子装置的位置关系。
141.根据各种示例实施例,指令在被执行时可促使处理器控制电子装置进行以下操
作:基于根据确定的结果的第二方向从第一方向沿逆时针方向旋转约90度,在包括在第二信息中的所述至少一个外部电子装置的坐标值中,将x轴坐标值改变为z轴坐标值,并且在改变z轴坐标值的符号的同时将z轴坐标值改变为x轴坐标值,以校正所述至少一个外部电子装置的位置关系。
142.图9是示出根据本公开的各种实施例的在作为将被命名的目标的电子装置与用于生成名称的电子装置分离的环境中的示例命名方法的流程图。
143.参照图9,在操作910,电子装置101(例如,图4a和图4b的第一电子装置410或者图4e和图4f的第四电子装置470)可通过控制模块200的对象识别单元210获取关于设置在特定空间内的对象的类型的第一信息和关于对象的位置的第二信息,其中,电子装置101包括控制模块200(例如,对象识别单元210、空间信息获取单元230、位置关系确定单元250、和名称生成单元270)中的至少一些。例如,对象识别单元210可以以图像识别方法、无线电波/声波识别方法或诸如通过iot系统的识别的方法来确定设置在特定空间内的对象的类型和位置,并且获取关于对象的类型的第一信息和关于对象的位置的第二信息。
144.控制模块200的名称生成单元270可在对象之中选择将被命名的电子装置(例如,图4a、图4b、图4e和图4f的第二电子装置450)作为目标对象,并且将存在于目标对象周围的对象选为对应对象。在操作920,名称生成单元270可生成目标对象的第一名称和对应对象的第二名称。例如,名称生成单元270可基于第一信息中的关于目标对象的类型的信息来生成目标对象的第一名称,并且基于第一信息中的关于对应对象的类型的信息来生成对应对象的第二名称。基于对象的类型生成的名称可相应于通常指代对象的默认名称。例如,在图像识别方法中,可基于通过图像分析的对象识别来生成目标对象和对应对象的默认名称。
145.在操作930,控制模块200的位置关系确定单元250可确定目标对象与对应对象之间的位置关系。位置关系确定单元250可基于关于对象的位置的第二信息来确定目标对象与对应对象之间的位置关系。例如,位置关系确定单元250可基于关系推理网络算法来确定对象之间的位置关系,其中,所述关系推理网络算法是用于提取通过捕捉特定空间获得的图像中的对象之间的关系的深度学习技术。关于对象的位置的第二信息可被用作用于确定对象之间的位置关系的学习数据。
146.在操作940,名称生成单元270可基于目标对象的第一名称、对应对象的第二名称以及目标对象与对应对象之间的位置关系来生成目标对象的第三名称。例如,名称生成单元270可通过顺序地组合第二名称、指示位置关系的表达以及第一名称来生成第三名称。名称生成单元270可在生成第三名称的同时添加指示状态的表达。例如,第三名称可包括指示存在状态的表达(诸如,“存在”、“被设置”或“位于”),或者指示不存在状态的表达(诸如,“不存在”、“不被设置”或“不位于”)。例如,当目标对象是立灯并且位于立灯左侧的tv是对应对象时,名称生成单元270可将目标对象的第一名称生成为“立灯”,将对应对象的第二名称生成为“tv”,并且基于目标对象与对应对象之间的位置关系将目标对象的第三名称生成为“存在于tv右侧的立灯”。
147.在操作950,控制模块200可确定目标对象是否是能够执行语音识别的装置。例如,控制模块200可确定目标对象是否包括麦克风并且具有语音识别处理。
148.当目标对象是能够执行语音识别的装置时(例如,当目标对象包括控制模块200的指令处理单元290时),在操作960,控制模块200可将所生成的目标对象的第三名称发送到
目标对象。因此,当用户说出第三名称时,目标对象可对用户的语音输入执行语音识别。当语音识别结果包括第三名称时,目标对象可被激活并执行与包括在语音识别结果中的特定指令相应的功能。根据各种实施例,控制模块200可将目标对象的第一名称与第三名称一起发送到目标对象。
149.当目标对象不是能够执行语音识别的装置(例如,目标对象不包括控制模块200的指令处理单元290)时,在操作970,控制模块200可将所生成的目标对象的第三名称映射到指示目标对象的指令字并且将指令字存储在存储器130中。因此,当用户说出第三名称时,对通过电子装置101的麦克风接收的用户的语音输入执行语音识别。当语音识别结果包括第三名称时,可在存储器130中搜索映射到第三名称的指令字,并且可将激活信号发送到找到的指令的目标对象。当语音识别结果包括用于执行特定功能的指令时,可将与指令相应的信号发送到目标对象。根据一些实施例,控制模块200可将目标对象的第一名称与第三名称一起映射到指示目标对象的指令字并且将指令字存储在存储器130中。
150.根据实施例,电子装置101可省略操作950。例如,当电子装置101是用于控制目标对象的装置(例如,用于控制iot装置的iot集线器装置)时,电子装置101可在没有操作950的情况下执行操作970。在另一示例中,当电子装置101是连接到用于控制目标对象的装置(例如,iot集线器装置)的装置(例如,智能电话)时,电子装置101可在没有操作950的情况下在操作970将目标对象的第三名称(和第一名称)发送到用于控制目标对象的装置(例如,iot集线器装置)。电子装置101可将关于目标对象的信息(例如,目标对象的类型和位置、与邻近对象的位置关系或关于设置目标对象的空间的信息)发送到用于控制目标对象的装置。
151.图10是示出根据本公开的各种实施例的在将被命名的电子装置直接生成名称的环境中的示例命名方法的流程图。
152.参照图10,在操作1010,包括控制模块200的电子装置101(例如,图4c和图4d的第二电子装置450)可通过控制模块200的对象识别单元210获取关于设置在特定空间内的对应对象的类型的第一信息和关于对应对象的位置的第二信息。例如,对象识别单元210可以以图像识别方法、无线电波/声波识别方法或通过iot系统的方法来确定设置在特定空间内的对应对象的类型和位置,并且获取关于对应对象的类型的第一信息和关于对应对象的位置的第二信息。根据实施例,当电子装置101不通过包括在电子装置101中的元件(例如,相机)直接获取第一信息和第二信息时,第一信息可包括关于电子装置101的类型的信息,并且第二信息可包括关于电子装置101的位置的信息。
153.在操作1020,控制模块200的名称生成单元270可生成对应对象的名称。例如,名称生成单元270可基于关于对应对象的类型的第一信息来生成对应对象的名称。基于对象的类型生成的名称可相应于通常指代对象的默认名称。根据实施例,控制模块200可从存储器130获取电子装置101的默认名称,或者当第一信息包括关于电子装置101的类型的信息时,可基于第一信息生成电子装置101的默认名称。
154.在操作1030,控制模块200的位置关系确定单元250可确定与对应对象的位置关系。位置关系确定单元250可基于关于对应对象的位置的第二信息来确定电子装置101与对应对象之间的位置关系。第二信息可包括关于电子装置101的位置的信息。当第二信息不包括关于电子装置101的位置的信息时,例如,当电子装置101通过包括在电子装置101中的元
件(例如,相机)直接获取第二信息时,基于电子装置101的位置获取第二信息,使得位置关系确定单元250可基于根据电子装置101的位置获取的第二信息来确定电子装置101与对应对象之间的位置关系。
155.在操作1040,名称生成单元270可基于对应对象的名称和与对应对象的位置关系来生成电子装置101的名称。例如,名称生成单元270可通过顺序地组合对应对象的名称、指示位置关系的表达和电子装置101的默认名称来生成电子装置101的名称。名称生成单元270可在生成电子装置101的名称的同时添加指示状态的表达。例如,电子装置101的名称可包括指示存在状态的表达(诸如“存在”、“被设置”或“位于”),或者指示不存在状态的表达(诸如“不存在”、“不被设置”或“不位于”)。
156.在操作1050,控制模块200可将生成的电子装置101的名称存储在存储器130中。因此,当用户说出电子装置101的名称时,电子装置101可对通过电子装置101的麦克风接收的用户的语音输入执行语音识别,并且当语音识别结果包括电子装置101的名称时,电子装置101可被激活并执行与包括在语音识别结果中的特定指令相应的功能。根据一些实施例,控制模块200可将生成的电子装置101的名称映射到预先存储的电子装置101的默认名称,并且将生成的电子装置101的名称存储在存储器130中。
157.根据示例实施例,当基于与对应对象的位置关系生成目标对象的名称,然后通过图9和图10的操作改变目标对象的位置或对应对象的位置中的至少一个时,控制模块200可基于改变的位置再次确定目标对象与对应对象之间的位置关系,并且基于重新确定的位置关系再次生成(更新)目标对象的名称。
158.根据示例实施例,控制模块200可周期性地识别目标对象的位置或对应对象的位置是否被改变。根据各种实施例,控制模块200可从服务器或外部电子装置接收指示目标对象的位置或对应对象的位置被改变的事件,从而识别目标对象的位置或对应对象的位置的改变。
159.根据示例实施例,当找到(识别)新对象时,控制模块200可将新对象配置为对应对象并且确定与目标对象的位置关系。例如,当通过通信电路(例如,通信模块190)连接新对象(电子装置)时,控制模块200可识别新对象。
160.图11是示出根据本公开的各种实施例的用于用户的语音输入的示例语音识别功能的示图。图12是示出根据本公开的各种实施例的通过电子装置的名称识别电子装置的示例功能的示图。
161.参照图11和图12,包括麦克风并且具有语音识别方案(例如,包括控制模块200的指令处理单元290)的电子装置101可对用户1101的语音输入1100执行语音识别。根据实施例,电子装置101可将语音输入1100(例如,语音数据)转换为文本数据。例如,电子装置101可基于声学模型和语言模型将语音输入转换为文本数据。声学模型可包括与说话有关的信息,并且语言模型可包括单元音素信息和关于单元音素信息的组合的信息。关于声学模型和语言模型的信息可以以数据库的形式被存储在存储器130中。
162.根据实施例,电子装置101可标记文本数据中的关键字,并且基于标记信息对说话的含义进行详细分类。例如,电子装置101可从文本数据提取与名称相关的表达,并且从与名称相关的表达提取有意义的标记信息。
163.当用户1101说出“打开存在于tv右侧的立灯”时,指令处理单元290可将用户的语
音输入转换为文本数据(“打开存在于tv右侧的立灯”)。此外,指令处理单元290可从文本数据提取与名称相关的表达1110。例如,指令处理单元290可从文本数据提取与功能相关的表达1130(例如,“打开”)分开的与名称相关的表达1110(例如,“存在于tv右侧的立灯”)。此外,指令处理单元290可从与名称相关的表达1110提取有意义的标记信息。例如,指令处理单元290可从与名称相关的表达1110提取用于执行功能的目标对象的名称1113(例如,“立灯”)和用于另外解释目标对象的表达1111(例如,“存在于tv右侧”)。目标对象的名称1113可以是基于目标对象的类型配置的默认名称。此外,用于另外解释目标对象的表达1111可包括描述目标对象的空间位置和与邻近对象的相对位置的表达。指令处理单元290可提取对应对象的名称1111a(例如,“tv”)、指示目标对象与对应对象之间的位置关系的表达1111b(例如,“在右侧”)以及来自用于另外解释目标对象的表达1111的指示状态的表达1111c(例如,“存在”)。
164.根据实施例,指令处理单元290可从与功能相关的表达1130提取有意义的标记信息。例如,指令处理单元290可从与功能相关的表达1130提取用于执行功能的指令和描述功能的方向或位置的表达。描述功能的方向或位置的表达可包括例如指示绝对方向或绝对位置(例如,空间名称)的表达或者指示基于与邻近对象的位置关系的相对方向或相对位置的表达,其中,所述绝对方向或绝对位置指示基于目标对象的位置的区域(或空间)的固定信息。图11示出与功能相关的表达1130包括特定指令的状态。
165.根据实施例,指令处理单元290可基于分类的标记信息来检测用户1101的意图。例如,如图7所示出的,指令处理单元290可在表700中搜索适合于用户1101的意图的目标对象和对应对象,并且基于找到的目标对象和对应对象以及关于位置关系的映射信息来准确地检测用户1101的意图,其中,表700存储被映射到每一个目标对象和每一个对应对象的目标对象的信息710、关于对应对象的信息730以及关于目标对象与对应对象之间的位置关系的信息750。
166.对于检测用户1101的意图的功能,如图12所示出的,可使用决策树算法。例如,指令处理单元290可在与表700的对应对象相应的第一项1231、第一项1232、第一项1233和第一项1234之中搜索与包括在与用户1101的语音输入相应的文本数据1210中的对应对象的名称1111a(例如,“tv”)相应的第一项1233,在映射到第一项1233的第二项1251、第二项1252、第二项1253、第二项1254、第二项1255和第二项1256之中搜索与指示位置关系的表达1111b(例如,“在右侧”)相应的第二项1253,识别找到的第二项目1253是否相应于目标对象的名称1113(例如,“立灯”),并且当第二项目1253与目标对象的名称1113相应时,检测适合于用户1101的意图的目标对象。根据一些实施例,指令处理单元290可使用随机森林算法来提高准确度,以便减少在学习处理期间生成的噪声。
167.图13是示出根据本公开的实施例的描述对象识别方法的示例屏幕的示图。
168.参照图13,包括控制模块200的电子装置1300(例如,电子装置101)可通过控制模块200的对象识别单元210识别特定空间中的对象。例如,对象识别单元210可确定特定空间中的对象的类型和对象在特定空间中的位置。
169.根据实施例,在电子装置1300在显示器1301上显示通过捕捉特定空间获得的图像的状态下,对象识别单元210可将图形效果应用于图像,以便将所识别的对象之中的将被命名的目标对象与邻近对象区分开。例如,在包括目标对象1310和邻近对象1330的图像被输
出到显示器1301的状态下,对象识别单元210可在目标对象1310附近显示指示目标对象1310的信息(例如,装置类型)的文本对象1313,并且在目标对象1310周围显示指示目标对象1310的边缘或分离区域的框对象1311。
170.根据实施例,电子装置1300可在显示器1301的第一区域1301a(例如,左侧区域)中输出通过捕捉特定空间而获得的图像,并且在显示器1301的第二区域1301b(例如,右侧区域)中输出图像的捕捉方向和关于特定空间的信息。例如,电子装置1300可在第二区域1301b中输出指示图像的捕捉方向的指南针对象1370和用于配置特定空间的空间名称的包括空间名称的列表对象1390。
171.图14是示出根据本公开的实施例的描述选择将被命名或控制的目标的方法的示例屏幕的示图。
172.参照图14,包括控制模块200的电子装置1400(例如,电子装置101)可通过控制模块200的对象识别单元210识别特定空间中的对象。例如,对象识别单元210可确定特定空间中的对象的类型和对象在特定空间中的位置。
173.根据实施例,在电子装置1400将通过捕捉特定空间获得的图像输出到显示器1401的状态下,对象识别单元210可将图形效果应用于图像,以将所识别的对象之中的将被命名或控制的目标对象与邻近对象区分开。例如,在显示器1401上显示第一对象1410、第二对象1430和第三对象1450的同时,对象识别单元210可在第一对象1410附近显示指示关于第一对象1410的信息的文本对象1413、在第一对象1410附近显示指示第一对象1410的边缘或分隔区域的框对象1411、在第三对象1450附近显示指示关于第三对象1450的信息的文本对象1453,并在第三对象1450附近显示指示第三对象1450的边缘或分离区域的框对象1451。
174.根据实施例,当在特定空间中存在相同类型或执行相同功能的多个电子装置时,电子装置101可执行将电子装置中的一个选为将被命名或控制的目标对象的功能。例如,电子装置1400可通过用户输入1403选择目标对象。例如,在接收到用于选择第三对象1450的用户输入1403时,电子装置101可将所选择的第三对象1450选为目标对象。在这种情况下,电子装置101可释放应用于从目标对象的选择中排除的第一对象1410的图形效果。例如,电子装置101可从显示器1401省略指示关于第一对象1410的信息的文本对象1413和指示第一对象1410的边缘或分离区域的框对象1411。因此,可引导用户从相同类型或执行相同功能的多个电子装置中准确地选择将被命名的电子装置或将被控制的电子装置。
175.根据实施例,电子装置1400可在显示器1401的第一区域1401a(例如,左侧区域)中输出通过捕捉特定空间而获得的图像,并且在显示器1401的第二区域1401b(例如,右侧区域)中输出图像的捕捉方向和关于特定空间的信息。例如,电子装置1400可在第二区域1401b中输出指示图像的捕捉方向的指南针对象1470和用于配置特定空间的空间名称的包括空间名称的列表对象1490。
176.图15是示出根据本公开的实施例的描述配置对象的空间信息的方法的示例屏幕的示图。
177.参照图15,包括控制模块200的电子装置1500(例如,电子装置101)可通过控制模块200的对象识别单元210识别特定空间中的对象。例如,对象识别单元210可确定特定空间中的对象的类型和对象在特定空间中的位置。
178.根据实施例,在电子装置1500在显示器1501上显示通过捕捉特定空间获得的图像
的状态下,对象识别单元210可将图形效果应用于图像,以便将所识别的对象中的将被命名的目标对象与邻近对象区分开。例如,在显示器1501上显示第一对象1510和第二对象1530的同时,对象识别单元210可在第一对象1510附近显示指示关于第一对象1510的信息的文本对象1513,并在第一对象1510附近显示指示第一对象1510的边缘或分离区域的框对象1511。此外,在显示器1501的第一区域1501a(例如,左侧区域)中输出通过捕捉特定空间而获得的图像的同时,电子装置1500可在显示器1501的第二区域1501b(例如,右侧区域)中输出图像的捕捉方向和关于特定空间的信息。例如,电子装置1500可在第二区域1501b中输出指示图像的捕捉方向的指南针对象1570和用于配置特定空间的空间名称的包括空间名称的列表对象1590。
179.根据实施例,控制模块200的空间信息获取单元230可获取通过对象识别单元210识别的对象被设置的特定空间的空间信息。例如,空间信息获取单元230可通过用户的输入1503获取空间信息之中的特定空间的空间名称。例如,当用户从显示器1501上显示的用于配置特定空间大的空间名称的包括空间名称的列表对象1590中选择一个项时,与所选择的项相应的空间名称可被配置为特定空间的空间名称。
180.根据实施例,控制模块200可提供用于允许用户直接输入空间名称的ui。例如,控制模块200可在第二区域1501b中输出可输入空间名称的文本字段对象(未示出)。
181.根据实施例,可基于结构信息和布置信息中的至少一条信息来确定包括在列表对象1590中的空间名称,其中,所述结构信息是基于包括在空间中的结构的形状和位置被确定的,所述布置信息包括设置在空间内的对象的类型和位置。例如,当基于结构信息和布置信息中的至少一条信息确定空间是包括在房屋中的空间时,控制模块200可将包括在列表对象1590中的空间名称配置为包括在房屋中的普通空间的名称(例如,起居室、浴室、厨房或卧室)。根据另一实施例,包括在列表对象1590中的空间名称可被配置为用户先前输入的空间名称。例如,控制模块200可将包括在列表对象1590中的空间名称配置为用户通过文本字段对象输入的空间名称。
182.图16是示出根据本公开的各种实施例的控制外部电子装置的示例方法的流程图。
183.参照图16,电子装置101(例如,图4a、图4b、图4e和图4f的第一电子装置410)可包括控制模块200中的至少一些(例如,指令处理单元290)。在操作1610,控制模块200的指令处理单元290可获取通过电子装置101的麦克风接收的语音指令。
184.在操作1620,指令处理单元290可分析语音指令。根据实施例,指令处理单元290可通过对语音指令执行语音识别来将语音指令转换为文本数据,并且从文本数据提取与名称相关的表达和与功能相关的表达。
185.在操作1630,指令处理单元290可识别(确认)将被控制的目标对象(外部电子装置)。根据实施例,指令处理单元290可基于从文本数据提取的与名称相关的表达来确认目标对象。与名称相关的表达可包括基于目标对象的类型生成的名称(默认名称)、基于与邻近对象的位置关系生成的名称(与第一位置关系相关的描述性名称)、基于目标对象被设置的空间的空间名称生成的名称(基于空间的描述性名称)、或者基于与目标对象被设置的空间中包括的结构的位置关系生成的名称(基于第二位置关系的描述性名称)。
186.根据实施例,指令处理单元290可基于存储关于对象的信息(例如,对象的名称、类型和位置,与邻近对象的位置关系,或者关于对象被设置的空间的信息)的数据库来确认目
标对象。数据库可被存储在电子装置101的存储器130中,或者被存储在能够与电子装置101进行通信的外部电子装置(例如,电子装置102、电子装置104或服务器108)的存储器中。
187.当目标对象被确认出时,在操作1640,指令处理单元290可确认控制功能。根据实施例,指令处理单元290可基于从文本数据提取的与功能相关的表达来确认控制功能。与功能相关的表达可包括用于执行控制功能的指令和解释针对控制功能的方向或位置的表达。解释针对控制功能的方向或位置的表达可包括例如指示基于目标对象的位置的绝对方向或指示区域(或空间)的固定信息的绝对位置(例如,空间名称)的表达、或者指示基于与邻近对象的位置关系的相对方向或相对位置的表达。
188.当控制功能被确认出时,在操作1650,指令处理单元290可将与控制功能相关的指令发送到目标对象。例如,当与功能相关的表达包括用于执行控制功能的指令时,指令处理单元290可将与指令相应的信号发送到目标对象。根据实施例,当与功能相关的表达包括解释针对控制功能的方向或位置的表达时,指令处理单元290可将与用于执行控制功能的指令和针对控制功能的方向或位置相应的信号发送到目标对象。
189.图17a是示出根据本公开的各种实施例的基于对象之间的位置关系说出用于控制装置的语音指令的示例方法的示图,并且图17b是示出根据本公开的各种实施例的用于处理语音指令的示例处理的示图。
190.参照图17a和图17b,当用户1701说出语音指令1700时,包括控制模块200的电子装置1709(例如,电子装置101)可通过麦克风接收用户1701的语音指令1700,并且分析接收到的语音指令1700。根据实施例,控制指令200的指令处理单元290可通过对语音指令1700执行语音识别来将语音指令转换为文本数据,并且从文本数据提取与名称相关的表达和与功能相关的表达。
191.根据实施例,语音指令1700可包括多个指令。在这种情况下,指令处理单元290可在从语音指令1700转换的文本数据中的指令之间进行区分。例如,如图17b所示出的,可在从语音指令1700转换的文本数据中对与第一指令相应的第一文本数据1710和与第二指令相应的第二文本数据1730进行区分。
192.指令处理单元290可从与每一个指令相应的文本数据提取与名称相关的表达和与功能相关的表达。例如,指令处理单元290可从第一文本数据1710提取与第一名称相关的表达1711和与第一功能相关的表达1713,并且从第二文本数据1730提取与第二名称相关的表达1731和与第二功能相关的表达1733。
193.指令处理单元290可从与名称相关的表达1711和与名称相关的表达1731提取有意义的标记信息。例如,指令处理单元290可从与第一名称相关的表达1711提取第一目标对象1702(例如,“空调”)的名称1711d(以及用于另外解释第一目标对象的表达(例如,“存在于tv的左侧”))以执行第一功能,并且从与第二名称相关的表达1730提取第二目标对象1703(例如,“清理机器人”)的名称1731(以及另外解释第二目标对象的表达)以执行第二功能。图17b示出没有用于另外解释第二目标对象1703的表达的状态。
194.当存在用于另外解释目标对象的表达时,指令处理单元290可从用于另外解释目标对象的表达提取对应对象的名称1711a(例如,“tv”)、指示目标对象与对应对象之间的位置关系的表达1711b(例如,“在左侧”)以及指示状态的表达1711c(例如,“存在”)。因此,指令处理单元290可基于目标对象与对应对象之间的位置关系来确认目标对象。
195.指令处理单元290可从与功能相关的表达1713和与功能相关的表达1733提取有意义的标记信息。例如,指令处理单元290可从与第一功能相关的表达1713提取用于执行第一功能的指令1713a和指令1713d(例如,“风”和“使”)以及解释针对第一功能的方向或位置的表达1713b和表达1713c(例如,“沙发”和“朝向”),并且从与第二功能相关的表达1733提取用于执行第二功能的指令1733c(例如,“清洁”)以及解释针对第二功能的方向或位置的表达1733a和表达1733b(例如,“tv与空调”以及“之间”)。
196.解释针对功能的方向或位置的表达可包括例如指示基于对象的位置的绝对方向或指示区域(或空间)的固定信息的绝对位置(例如,空间名称)的表达、或者指示基于与邻近对象的位置关系的相对方向或相对位置的表达。解释针对第一功能的方向或位置的表达1713b和表达1713c指示包括指示基于与第一对应对象1704(例如,沙发)的位置关系的相对方向的表达的状态,并且解释针对第二功能的方向或位置的表达1733a和表达1733b指示包括指示基于与第二对应对象1705(例如,tv)和第三对应对象1702(例如,空调)的位置关系的相对位置的表达的状态。如上所述,指令处理单元290可基于目标对象与对应对象之间的位置关系来确定针对目标对象的功能的方向或位置。
197.如上所述,根据各种示例实施例,由电子装置(例如,电子装置101)控制外部电子装置的方法可包括:通过麦克风获取用户的语音指令的操作;对所述语音指令执行语音识别,基于包括在语音识别的结果中的与名称相关的表达来确认将被控制的外部电子装置的操作;基于包括在语音识别的结果中的与功能相关的表达,确定针对外部电子装置的功能的方向或位置的操作;以及通过通信电路将与外部电子装置的功能和针对外部电子装置的功能的方向或位置相关的信号发送到外部电子装置的操作。
198.根据各种示例实施例,控制外部电子装置的方法还可包括:获取与设置在特定空间内的多个外部电子装置的类型相关的第一信息和与所述多个外部电子装置在针对特定空间的第一方向上的位置相关的第二信息的操作,基于第一信息从与名称相关的表达提取所述多个外部电子装置的名称的操作,以及基于第二信息从与名称相关的表达提取指示所述多个外部电子装置的相对位置关系的表达的操作。
199.根据各种示例实施例,控制外部电子装置的方法还可包括:确定用户查看特定空间的第二方向的操作,基于确定第一方向和第二方向基本上彼此不同来校正包括在第二信息中的所述多个外部电子装置的坐标值的操作,以及基于所述多个外部电子装置的校正的坐标值来重新确定所述多个外部电子装置的位置关系的操作。
200.根据各种示例实施例,校正所述多个外部电子装置的坐标值的操作可包括以下操作:基于确定第一方向和第二方向基本上彼此相反,改变包括在第二信息中的所述多个外部电子装置的坐标值中的x轴坐标值的符号和z轴坐标值的符号。
201.根据各种示例实施例,校正所述多个外部电子装置的坐标值的操作可包括以下操作:基于确定第二方向相应于从第一方向沿顺时针方向旋转约90度的方向,在包括在第二信息中的所述多个外部电子装置的坐标值中,在改变x轴坐标值的符号的同时将x轴坐标值改变为z轴坐标值,并且将z轴坐标值改变为x轴坐标值。
202.根据各种示例实施例,校正所述多个外部电子装置的坐标值的操作可包括以下操作:基于确定第二方向相应于从第一方向沿逆时针方向旋转约90度的方向,在包括在第二信息中的所述多个外部电子装置的坐标值中,将x轴坐标值改变为z轴坐标值,并且在改变z
轴坐标值的符号的同时将z轴坐标值改变为x轴坐标值。
203.根据各种实施例的电子装置可以是各种类型的电子装置中的一种。电子装置可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例,电子装置不限于上述那些。
204.应当理解的是,本公开的各种实施例和在其中使用的术语不旨在将本文阐述的技术特征限制于特定实施例,并且包括相应实施例的各种改变、等同形式或替换形式。关于附图的描述,类似的附图标记可被用于指代类似或相关的元件。应当理解的是,除非相关上下文另有明确说明,否则相应于项的名词的单数形式可包括一个或更多个事物。如这里所使用的,诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”和“a、b或c中的至少一个”的短语中的每一个可包括在相应的一个短语中一起列举的项中的任何一个或所有可能的组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可被用于简单地将相应的组件与另一个组件区分开,并且不在其他方面(例如,重要性或顺序)限制组件。应当理解的是,如果元件(例如,第一元件)在有或没有术语“可操作地”或“可通信地”的情况下被称为“与”另一元件(例如,第二元件)“结合”、“结合到”另一元件(例如,第二元件)、“与”另一元件(例如,第二元件)“连接”或“连接到”另一元件(例如,第二元件),则该元件可直接(例如,有线地)、无线地或经由第三元件与另一元件(例如,第二元件)结合。
205.如这里所使用的,术语“模块”可包括以硬件、软件或固件或者硬件、软件和固件的任何组合实现的单元,并且可与其他术语互换使用,例如“逻辑”、“逻辑块”、“部分”或“电路”。模块可以是适于执行一个或更多个功能的单个集成组件或其最小单元或部分。例如,根据实施例,模块可以以专用集成电路(asic)的形式实现。
206.这里阐述的各种实施例可实现为包括存储在可由机器(例如,电子装置101)读取的存储介质(例如,内部存储器136或外部存储器138)中的一个或更多个指令的软件(例如,程序140)。例如,机器(例如,电子装置101)的处理器(例如,处理器120)可调用存储在存储介质中的一个或更多个指令中的至少一个,并且在处理器的控制下使用或不使用一个或更多个其他组件来执行所述至少一个指令。这允许操作机器根据所调用的所述至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器生成的代码或可由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式来提供。其中,“非暂时性”存储介质是有形装置,并且可以不包括信号(例如,电磁波),但该术语不区分数据半永久地存储在存储介质中和数据临时存储在存储介质中。
207.根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在卖方和买方之间进行交易。计算机程序产品可以以机器可读存储介质(例如,光盘只读存储器(cd

rom))的形式分发,或者经由应用商店(例如,playstore
tm
)在线分发(例如,下载或上传),或者直接在两个用户装置(例如,智能电话)之间分发。如果在线分发,则计算机程序产品的至少一部分可临时生成或至少临时被存储在机器可读存储介质(诸如,制造商的服务器、应用商店的服务器或中继服务器的存储器)中。
208.根据各种实施例,上述组件中的每一个组件(例如,模块或程序)可包括单个实体或多个实体。根据各种实施例,可省略上述组件中的一个或更多个组件,或者可添加一个或更多个其他组件。可选地或另外地,多个组件(例如,模块或程序)可集成到单个组件中。在
这种情况下,根据各种实施例,集成组件仍然可以以与在集成之前由多个组件中的相应组件执行的方式相同或相似的方式执行多个组件中的每一个组件的一个或更多个功能。根据各种实施例,由模块、程序或另一组件执行的操作可顺序地、并行地、重复地或启发式地执行,或者可以以不同的顺序执行一个或更多个操作,或省略一个或更多个操作,或者可添加一个或更多个其他操作。
209.虽然已经参考各种示例实施例示出和描述了本公开,但是应当理解的是,各种示例实施例旨在是说明性的而不是限制性的。本领域普通技术人员将理解的是,在不脱离本公开(包括所附权利要求及其等同物)的精神和范围的情况下,可在形式和细节上进行各种改变。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文章

  • 日榜
  • 周榜
  • 月榜