用于生成自然语言响应的电子装置及其方法与流程

1.本公开涉及电子装置的交互式用户界面(ui)技术。


背景技术：

2.交互式ui技术包括向用户提供信息或者生成谈话所需要的句子以通过诸如扬声器、显示装置等的输出装置来输出语音或文本的一系列过程所需要的技术。
3.作为应用交互式ui技术的电子装置的示例，存在交互式语音接口系统。在该交互式语音接口系统中，电子装置通过诸如麦克风等的输入装置来接收人类的语音，然后将该语音转换成文本。此外，该交互式语音接口系统根据转换后的文本来掌握用户话语的意图，然后根据所掌握的意图来生成句子。
4.上述信息仅作为背景技术信息被呈现以帮助理解本公开。至于上述任一项是否可能适用作为关于本公开的现有技术，尚未做出确定，并且未做出断言。


技术实现要素：

5.技术问题
6.交互式ui技术仅输出对相同事件的统一响应。本说明书中公开的实施例是为了提供动态地为用户提供更适合于用户的上下文的响应的电子装置和方法。
7.此外，应用交互式ui技术的电子装置或方法可以收集用于生成对需要响应的事件的响应的信息，然后可以基于所收集的信息来生成响应。这里，需要生成在所收集的信息当中包括适当量的信息的响应。此外，需要在所收集的信息当中选择对用户有用的信息。本说明书中公开的实施例是为了提供给用户提供包括有用的适当量的信息的响应的电子装置和方法。
8.问题的解决方案
9.根据本公开的一个方面，提供了一种电子装置。所述电子装置包括：输出装置；至少一个处理器，所述至少一个处理器可操作地连接到所述输出装置；以及存储器，所述存储器可操作地连接到所述至少一个处理器。所述存储器可以存储指令，当所述指令被执行时，所述指令使得所述至少一个处理器检测事件的发生，响应于所述事件的发生而确定与所述事件相对应的查询，基于所确定的查询的至少一部分来获得原始数据，基于与所述事件相关联的上下文信息来确定用于定义用于选择数据的条件的主要信息条件表，基于所述主要信息条件表来从所获得的原始数据中选择主要信息，以及通过所述输出装置来输出基于所选择的主要信息而生成的自然语言响应。
10.根据本公开的另一方面，提供了一种电子装置提供自然语言响应的方法。所述方法包括：检测事件的发生；作为对所述事件的发生的响应确定与所述事件相对应的查询；基于所述查询的至少一部分来获得原始数据；基于与所述事件相关联的上下文信息来确定用于定义用于选择数据的条件的主要信息条件表；基于所述主要信息条件表来从所述原始数据中选择主要信息；以及输出基于所选择的主要信息而生成的自然语言响应。
11.根据本公开的另一方面，提供了一种非暂时性计算机可读记录介质，在其上记录有用于执行方法的计算机程序。所述非暂时性计算机可读记录介质包括：检测事件的发生；作为对所述事件的发生的响应确定与所述事件相对应的查询；基于所述查询的至少一部分来获得原始数据；基于与所述事件相关联的上下文信息来确定用于定义用于选择数据的条件的主要信息条件表；基于所述主要信息条件表来从所述原始数据中选择主要信息；以及输出基于所选择的主要信息而生成的自然语言响应。
12.根据以下详细描述，本公开的其他方面、优点和显著特征将变得对本领域的技术人员而言显而易见，以下详细描述结合附图进行，公开了本公开的各种实施例。
13.发明的有利效果
14.本公开的各方面是为了解决至少上面提及的问题和/或缺点并且为了提供至少下述优点。因此，本公开的一个方面是为了提供动态地给用户提供更适合于用户的上下文的响应的电子装置和方法。
15.附加方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过对所呈现的实施例的实践来学习。
附图说明
16.根据结合附图进行的以下描述，本公开的某些实施例的上述及其他方面、特征和优点将更加显而易见，在附图中：
17.图1是示出根据本公开的实施例的网络环境中的电子装置的框图；
18.图2示出根据本公开的实施例的电子装置的配置；
19.图3是示出根据本公开的实施例的电子装置提供自然语言响应的过程的流程图；
20.图4示出根据本公开的实施例的用于电子装置为每个模块提供自然语言响应的配置；
21.图5示出根据本公开的实施例的电子装置的自然语言理解(nlu)模块的配置；
22.图6示出根据本公开的实施例的电子装置获得原始数据的过程；
23.图7示出根据本公开的实施例的主要信息条件表；
24.图8示出由根据本公开的实施例的电子装置确定的主要信息候选列表和所选择的主要信息；
25.图9示出根据本公开的实施例的电子装置取决于使用响应模板选择的主要信息项的数量而生成自然语言响应；
26.图10示出根据本公开的实施例的电子装置从候选条件表中选择主要信息条件表的方法；
27.图11示出根据本公开的实施例的电子装置取决于主要信息中的优先级而排除字段的值的方法；
28.图12示出根据本公开的实施例的电子装置在存在包括主要信息的数据的仅一个字段时输出自然语言响应；
29.图13示出根据本公开的实施例的电子装置在存在包括主要信息的数据的多个字段时输出自然语言响应；
30.图14是示出根据本公开的实施例的集成智能系统的框图；
31.图15是示出根据本公开的实施例的概念与动作之间的关系信息被存储在数据库中的形式的图；
32.图16是示出根据本公开的实施例的用户终端显示处理通过智能应用接收的语音输入的画面的视图；以及
33.图17示出根据本公开的实施例的电子装置选择主要信息并且输出自然语言响应。
34.在整个附图中，相似的附图记号将被理解为是指相似的部分、部件和结构。
具体实施方式
35.参照附图的以下描述被提供来帮助全面地理解如由权利要求及其等同形式所限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但是这些应被视为仅仅示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，能够对本文描述的各种实施例做出各种变化和修改。另外，为了清楚和简洁，可省略对公知功能和构造的描述。
36.以下描述和权利要求中使用的术语和单词不限于书目含义，而是，仅仅由发明人用于使得能够清楚且一致地理解本公开。因此，对本领域的技术人员而言应当显而易见的是，本公开的各种实施例的以下描述是仅为了图示目的而提供，而不是为了限制如由所附权利要求及其等同形式所限定的本公开的目的而提供的。
37.应当理解，除非上下文另外清楚地规定，否则单数形式“一”、“一个”和“该”也复数指示物。因此，例如，对“部件表面”的引用包括对此类表面中的一个或多个的引用。
38.图1是示出根据各种实施例的网络环境100中的电子装置101的框图。
39.参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(sim)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
40.处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(cpu)或应用处理器(ap))以及与主处理器121可操作地独立的或者相结合的辅助处理器123(例如，图形处理单元(gpu)、图像信号处理器(isp)、传感器中枢处理器或通信处理器(cp))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅
助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
41.在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
42.存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
43.可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(os)142、中间件144或应用146。
44.输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
45.声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或受话器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，受话器可用于呼入呼叫。根据实施例，可将受话器实现为与扬声器分离，或实现为扬声器的部分。
46.显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
47.音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
48.传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
49.接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
50.连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
51.触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺
激器。
52.相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
53.电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(pmic)的至少部分。
54.电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
55.通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(ap))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块194(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(wi
‑
fi)直连或红外数据协会(irda))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，lan或广域网(wan)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(imsi))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
56.天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，pcb)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的部件(例如，射频集成电路(rfic))可附加地形成为天线模块197的一部分。
57.上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(gpio)、串行外设接口(spi)或移动工业处理器接口(mipi))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
58.根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装
置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机
‑
服务器计算技术。
59.图2示出根据本公开的实施例的电子装置的配置。
60.参照图2，根据本公开的实施例，电子装置200可包括处理器210、存储器220和输出装置230。处理器210(例如，图1的处理器120)可电连接到电子装置200的部件。此外，处理器210可以通过执行加载到存储器220(例如，图1的存储器130)上的指令来控制电子装置200的部件或者可处理数据。在本说明书中，可以理解出处理器210或电子装置200的操作随着处理器210执行存储在存储器220中的指令时而被执行。
61.根据本公开的实施例，当发生事件时，处理器210可确定与该事件相对应的查询。事件的发生可意味着满足允许电子装置200开始输出响应的操作的条件。此外，查询可意指用于做出对与正在发生的事件相对应的信息的请求的计算机语言。例如，当自然语言输入为“i have no schedule today.what should i do？(我今天没有日程安排。我应当做什么？)”时，电子装置200可确定对搜索信息如天气、广播节目日程安排、休闲活动、体育或电影放映信息等的查询。
62.根据实施例的电子装置200还可以包括输入装置240。输入装置240(例如，图1的输入装置150)可以指能够接收信息的装置。根据本公开的实施例，事件的发生可意味着通过输入装置240来执行用于做出对响应的请求的自然语言输入。
63.在本说明书中，自然语言输入包括与人类能够理解的语言相对应的信息；自然语言输入可指具有能够被电子装置200接收的形式(例如，文本或语音)的输入。例如，可能发生电子装置200通过麦克风接收到包括唤醒话语和命令话语的事件。这里，唤醒话语可以意指包括使电子装置200接收命令话语的单词的语音。命令话语可以指在唤醒话语之后接收到的并且包括用于指示电子装置200执行操作的单词的语音。例如，当电子装置200接收到“bixby,how is the weather today(bixby，今天天气如何)”的语音时，“bixby”可以是唤醒话语，而“how is the weather today”可以是命令话语。
64.又如，可能发生电子装置200通过键盘接收用自然语言书写的文本的事件。例如，电子装置200可以接收为运行的聊天机器人应用输入的文本。
65.根据本公开的另一实施例，电子装置200还可以包括检测电子装置200的操作状态或外部环境状态的传感器模块(例如，图1的传感器模块176)。根据实施例的事件的发生可以意味着通过传感器模块检测到指定感测值。例如，事件的发生可以意味着在指定时间(例如，早晨时间或在发生闹钟之后的指定时段内)检测到移动物体。
66.根据本公开的另一实施例，事件的发生可以意味着满足与电子装置200或电子装置200的用户相关联的条件。例如，在本说明书中，当用户注册指示用户想要外出的日程安排时，在安装在电子装置200中的日程安排管理应用中，在设置为所注册的日程安排的开始时间的时间(例如，1小时)之前的时间到达的情况可以被视为发生了事件。
67.根据本公开的实施例，处理器210可以基于与已发生的事件相关联的上下文信息
来确定主要信息条件表。上下文信息可以指示与已发生的事件相关联的信息。例如，上下文信息可以包括关于当发生事件时的时间点的信息。又如，上下文信息可以包括关于当发生事件时的时间点所属于的季节的信息。再如，上下文信息可以包括指示与事件相关联的用户的特征的用户信息。例如，用户信息可以意指诸如用户的年龄、性格、爱好或职业的信息。又如，上下文信息可以包括指示电子装置的位置的地点信息。
68.主要信息条件表可以是包括定义用于选择数据的条件的值的数据。根据本公开的实施例，存储器220可以存储多个候选条件表。存储在存储器220中的候选条件表可以定义用于选择数据的不同条件。根据实施例的处理器210可以基于上下文信息来选择多个候选条件表中的一个作为主要信息条件表。例如，当上下文信息包括指示冬天和早晨时间的时间信息时，处理器210可以选择应用于冬天和早晨时间的候选条件表作为主要信息条件表。
69.根据本公开的实施例，电子装置200还可以包括用于与另一装置(例如，图1的电子装置102、电子装置104或服务器108)进行通信的通信电路250(例如，图1的通信模块190)。根据本公开的实施例，电子装置200可以通过通信电路250向另一装置(或外部装置)发送查询。电子装置200可以从对查询的响应中获得原始数据。然而，本公开的实施例不限于此。例如，电子装置200可以使用查询来从存储在存储器220中的数据中搜索原始数据。
70.根据本公开的实施例，处理器210可以基于查询从使用主要信息条件表获得的原始数据中选择主要信息。当主要信息被选择时，处理器210可以基于所选择的主要信息来生成自然语言响应，然后可以通过输出装置230来输出所生成的自然语言响应。在本说明书中，自然语言响应可以表示电子装置200的以能够被人类理解的语言的形式输出的输出。例如，处理器210可以通过扬声器(例如，图1的声音输出装置155)来输出与用自然语言书写的句子相对应的语音。又如，处理器210可以通过显示装置(例如，图1的显示装置160)来输出文本。
71.图3是示出根据本公开的实施例的电子装置200提供自然语言响应的过程的流程图。
72.参照图3，根据实施例的电子装置200可以执行检测是否发生需要响应的事件的操作310。检测事件可以意指获得能够被电子装置200识别的信号。例如，当电子装置200通过输入装置接收到需要响应的自然语言输入时，电子装置200可以检测需要响应的发生的事件。又如，电子装置200可以响应于通过通信电路接收到的信息而检测事件。再如，电子装置200可以基于通过传感器检测到的信号来检测事件的发生。又如，电子装置200可以基于是否满足与电子装置200的用户相关联的条件来检测事件的发生。
73.当在操作310中检测到事件的发生时，根据实施例的电子装置200可以执行确定与所检测到的事件相对应的查询的操作320。根据本公开的实施例，在操作320中，电子装置200可以确定用于做出对与事件相对应的信息的请求的地址(例如，统一资源定位符(url))。
74.此后，根据实施例的电子装置200可以执行基于所确定的查询来获得原始数据的操作330。例如，电子装置200可以使用与事件相对应的请求url来访问服务器并且可以从服务器获得与该url相对应的电子文档(例如，json格式或html格式的文档)。电子装置200可以通过解析所获得的电子文档来获得原始数据。
75.此外，根据实施例的电子装置200可以执行基于上下文信息来确定主要信息条件
表的操作340。在图3中，示出了操作340在操作330之后被执行，但是不限于此。无论是否执行了操作330，操作340可以被单独地执行。例如，可以与操作330并行地执行操作340；活着，可以在操作330之前执行操作340。
76.根据本公开的实施例，电子装置200可以执行基于所确定的主要信息条件表来从所获得的原始数据中选择主要信息的操作350。此后，电子装置200可以基于所选择的主要信息来生成自然语言响应。电子装置200可以执行通过输出装置来输出所生成的自然语言响应的操作360。
77.图4示出根据本公开的实施例的用于电子装置200为每个模块提供自然语言响应的配置。
78.参照图4，它示出了事件10为接收自然语言输入的情况的实施例。
79.根据实施例的电子装置200可以被配置为包括nlu模块410、信息获取模块420、主要信息选择器430和自然语言生成器(nlg)440。图4所示出的模块可以使用图1或图2所示出的部件中的至少一个来实现。例如，当图2的处理器210执行存储在存储器220中的指令时，可以实现图4所示出的模块410、420、430和440中的每一个。
80.根据本公开的实施例，当发生接收到语音形式的自然语言输入的事件10时，nlu模块410可以将所接收到的自然语言输入转换成能够被计算机理解的文本类型数据。
81.根据实施例的信息获取模块420可以基于从由nlu模块410接收到的自然语言输入转换的文本类型数据来确定对获得信息的查询。此外，信息获取模块420可以通过网络490(例如，图1的第一网络198或第二网络199)来与内容提供者408(例如，图1的电子装置102、服务器108或电子装置104)进行通信。根据实施例的信息获取模块420可以基于所确定的查询来向内容提供者408发送信息请求。信息获取模块420可以从内容提供者408接收作为对信息请求的响应的信息并且可以获得包括所接收到的信息的原始数据。
82.根据本公开的实施例，主要信息选择器430可以在原始数据中包括的信息中选择主要信息。根据本公开的实施例，主要信息选择器430可以使用主要信息条件表来从原始数据中选择主要信息。这里，主要信息选择器430可以选择候选条件表450中的至少一个作为主要信息条件表。这里，候选条件表450可以被存储在存储介质中。例如，候选条件表450可以被存储在图2的存储器220或另一装置(例如，图1的电子装置102、电子装置140或服务器108)中。根据本公开的实施例，主要信息选择器430可以取决于与事件相关联的上下文信息而确定主要信息条件表。
83.根据本公开的另一实施例，主要信息选择器430可以基于由用户直接从信息列表中选择的信息项来选择主要信息。由用户选择的信息可以总是被包括在响应中。例如，主要信息选择器可以将由用户在信息列表中包括的多个信息项中选择的信息项的优先级设置为第一优先级。可选信息项的数量可以等于或小于能够被包括在响应中的信息项的数量。当选择的信息项的数量小于能够被包括的信息项的最大数量时，主要信息选择器可以附加地选择除所选择的多条信息以外的具有最高优先级的信息项的信息作为主要信息。
84.根据本公开的另一实施例，主要信息选择器430可以取决于上下文信息而动态地生成主要信息条件表。
85.根据本公开的实施例，nlg 440可以生成包括所选择的主要信息的自然语言响应20。根据本公开的实施例，nlg 440可以使用存储在响应模板数据库460中的响应模板来生
成自然语言响应20。根据本公开的实施例，响应模板数据库460可以被存储在电子装置200的存储器(例如，图2的存储器220)中。
86.根据本公开的实施例，响应模板数据库460可以包括基本模板461和扩展模板462。nlg 440可以基于基本模板461来生成包括与事件10相对应的信息的基本响应，并且可以基于扩展模板462来生成包括主要信息的扩展响应。nlg 440可以输出包括基本响应和扩展响应的自然语言响应20。自然语言响应20可以包括基本响应和一个或更个扩展响应。或者，自然语言响应20可能不包括扩展响应。
87.图5示出根据本公开的实施例的电子装置的nlu模块的配置。根据实施例的nlu模块410可以包括域确定单元510、意图确定单元520和参数确定单元530。
88.参照图5，域确定单元510分析自然语言输入以确定能够处理自然语言响应的域。意图确定单元520可以基于自然语言输入和所确定的域中的至少一个来确定与自然语言输入相对应的意图。参数确定单元530可以基于自然语言输入、所确定的域和所确定的意图中的至少一个或更多个来确定用于执行与意图相对应的功能的参数。由参数确定单元530确定的参数可以用于由信息获取模块420生成查询。
89.图6示出根据本公开的实施例的电子装置获得原始数据的过程。
90.参照图6，根据本公开的实施例，电子装置200可以基于与已发生的事件相对应的查询从内容提供者接收包括与查询相对应的信息的电子文档610。根据实施例，可以以各种格式实现电子文档610。
91.根据实施例的电子装置200可以解析电子文档610以获得原始数据620。根据本公开的实施例，原始数据620可以包括数据字段621，诸如“位置”、“天气”、“当前温度”、“最高温度”等，以及数据字段的值622，诸如“首尔”、“晴”、“20”、“26”等。
92.图7示出根据本公开的实施例的主要信息条件表。
93.参照图7，根据实施例的主要信息条件表750可以包括至少一个数据字段项751和与该至少一个数据字段项751相对应的优先级确定条件752。
94.图7所示出的主要信息条件表750可以包括数据字段项751，诸如“每日温度范围”、“细粉尘”、“18:00的天气”、“湿度”、“降水”和“紫外线(uv)指数”。此外，图7所示的主要信息条件表750可以包括用于确定值是否在指定范围内从而使得优先级能够取决于数据字段项751的值所属于的范围而被确定的条件语句以及在值在指定范围内的情况下指定值(或信息)的优先级的优先级确定条件752。
95.根据实施例的电子装置200可以通过将原始数据中包括的信息与优先级确定条件752进行比较来确定优先级。例如，当原始数据具有为
‘7’
的“每日温度范围”的数据字段时，因为
‘7’
在优先级确定条件752的
‘
9>差>＝7’的范围内，所以电子装置200可以将作为原始数据的
‘
每日温度范围数据字段’的值的
‘7’
的优先级确定为第一优先级。
96.然而，主要信息条件表750不限于图7所示的形式。例如，主要信息条件表750可以包括通过输入与数据字段项751相对应的值来输出优先级分数的函数，代替图7所示出的优先级确定条件752。
97.图8示出由根据本公开的实施例的电子装置确定的主要信息候选列表和所选择的主要信息。
98.参照图8，电子装置200可以选择原始数据当中与主要信息条件表的数据字段项相
对应的多条信息作为主要信息候选列表810。
99.参照图6、图7和图8，因为图7的主要信息条件表750具有“每日温度范围”、“细粉尘”、“18:00的天气”、“湿度”、“降水”和“uv指数”作为图7的数据字段项751，所以电子装置200可以选择诸如图6的620的原始数据的多条信息当中的“每日温度范围”、“细粉尘”、“18:00的天气”、“湿度”、“降水”和“uv指数”的字段的值作为主要信息候选列表810。
100.电子装置200可以通过将主要信息候选列表810中包括的值与图7的主要信息条件表750中的图7的优先级确定条件752进行比较来确定优先级。此后，电子装置200可以基于所确定的优先级来确定主要信息820。例如，当关于
‘
细粉尘’和
‘
18:00的天气’的信息具有第一优先级而关于其他字段的信息具有等于或小于第二优先级的优先级时，电子装置200可以确定关于
‘
细粉尘’和
‘
18:00的天气’的多条项信息作为主要信息820。
101.图9示出根据本公开的实施例的电子装置取决于使用响应模板选择的主要信息项的数量而生成自然语言响应。
102.参照图9，根据本公开的实施例，电子装置200可以使用存储在图4的响应模板数据库460中的响应模板900来生成自然语言响应。根据本公开的实施例，电子装置200可以在存储在图4的响应模板数据库460中的模板当中基于事件的域或意图中的至少一个来选择要用于生成自然语言响应的响应模板。
103.根据本公开的实施例，响应模板900可以包括值令牌910和模板令牌920。值令牌910可以表示用指定信息值替换的令牌。此外，模板令牌920可以表示取决于主要信息或用户信息而分支的令牌。模板令牌920可以生成部分句子；在一些情况下，模板令牌920可以具有另一模板令牌。
104.电子装置200可以使用响应模板900来输出取决于主要信息而不同的自然语言响应。参照图9，当生成了对用户的“how’s the weather in seoul today？(今天首尔的天气如何？)”话语的自然语言响应时，在没有在选择主要信息的操作(例如，图3的操作350)中选择的主要信息的情况下，电子装置200可以输出通过将指定信息输入到值令牌910中所获得的响应901。或者，当关于
‘
每日温度范围’的信息被包括在主要信息中时(当存在主要信息的单个字段(项)时)，电子装置200可以将指定信息输入到值令牌910中并且可以将通过输入与主要信息相关联的部分句子所获得的响应902输出到模板令牌920。又如，当关于
‘
每日温度范围’和
‘
空气质量’的信息被包括在主要信息中时(当存在主要信息的两个字段时)，电子装置200可以输出包括两个部分句子的响应903。
105.因此，因为电子装置200可以取决于上下文信息而确定作为用于选择主要信息的准则的主要信息条件表并且可以基于该主要信息条件表根据所选择的主要信息来输出响应，所以能够允许电子装置200甚至相对于相同事件(例如，相同话语)取决于上下文输出而不同的响应。
106.图10示出根据本公开的实施例的电子装置从候选条件表中选择主要信息条件表的方法。
107.参照图10，根据本公开的实施例，电子装置200可以以各种方式获得上下文信息1000。例如，电子装置200可以获得存储在存储器中的用户信息，可以获得关于事件发生时间的信息，或者可以获得关于电子装置200的位置的信息。
108.根据本公开的实施例，电子装置200的存储器220可以可存储分别与候选条件表
1510、1520、1530和1540相对应的多条属性信息1511、1512、1513和1514。多条属性信息1511、1512、1513和1514分别可以意指关于为候选条件表1510、1520、1530和1540设置的特征的信息。例如，多条属性信息1511、1512、1513、1514可以包括如在夏季选择的候选条件表、当用户为成年男性时选择的候选条件表、在早晨选择的候选条件表、在韩国选择的候选条件表等这样的特征。根据本公开的实施例，电子装置200可以比较上下文信息以及多条属性信息1511、1512、1513和1514。根据比较结果，电子装置200可以从候选条件表中选择主要信息条件表。例如，电子装置200可以计算上下文信息与多条属性信息1511、1512、1513和1514之间的相关性并且可以选择与多条属性信息具有高相关性的候选条件表作为主要信息条件表。在另一示例中，当属性信息定义了范围，例如定义了在上午6点与上午9点之间的范围并且上下文信息被包括在属性信息的范围内时，电子装置200可以选择具有该属性信息的候选条件表作为主要信息条件表。
109.图11示出根据本公开的实施例的电子装置取决于主要信息中的优先级而排除字段的值的方法。
110.参照图11，根据本公开的实施例，电子装置200可以取决于通过与主要信息条件表的比较结果而选择的主要信息的优先级从主要信息中排除主要信息的多个项(字段)当中的一些值。
111.例如，参照图11，当要包括在自然语言响应中的信息项的数量限于两个并且如图11的主要信息1100所示的那样在主要信息1100中包括三个信息项时，电子装置200可以基于优先级从主要信息1100中排除一些项。例如，在图11的情况下，可以从主要信息中排除优先级低于具有第一优先级的其他信息的天气字段1101的值。电子装置200可以基于通过排除具有低优先级的项所获得的主要信息1110来生成并输出自然语言响应。当所有三个主要信息都具有相同的优先级时，电子装置200可以从主要信息中随机地排除一条信息。
112.图12示出根据本公开的实施例的电子装置在存在包括主要信息的数据的仅一个字段时输出自然语言响应。
113.参照图12，当用户1具有“how is the weather in kerea today(今天韩国的天气如何)”的用户话语1200时，电子装置200可以掌握用户话语1200的意图，可以收集信息，并且可以从所收集的信息中选择主要信息。
114.在接收到用户话语1200时，当包括一个字段(综合大气指数)的值(非常差)的主要信息1211被电子装置200选择时，电子装置200可以输出包括使用基本模板来生成的基本句子1230以及响应于主要信息1211而生成的部分句子1241的自然语言响应1221。
115.在接收到用户话语1200时，当包括一个字段(综合大气指数)的值(好)的主要信息1212被电子装置200选择时，电子装置200可以输出包括使用基本模板来生成的基本句子1230以及响应于主要信息1212而生成的部分句子1242的自然语言响应1222。
116.图13示出根据本公开的实施例的电子装置在存在包括主要信息的数据的多个字段时输出自然语言响应。更具体地，
117.参照图13，示出了电子装置200在随着接收到用户1的用户话语1200的事件发生而选择主要信息1310时输出响应的操作。
118.如图13所示出的，当主要信息1310包括关于“降水”、“uv指数”和“每日温度范围”的信息时，电子装置200可以基于主要信息条件表1320来确定每个项的优先级。参照图13，
有关“uv指数”和“每日温度范围”的优先级可以属于第一优先级的范围；有关“降水”的优先级可以属于第三优先级的范围。因此，电子装置200可以输出基于关于“uv指数”和“每日温度范围”的主要信息而不是关于属于第三优先级的范围的“降水”的信息而生成的自然语言响应1300。
119.图14是示出根据本公开的实施例的集成智能系统的框图。
120.参照图14，根据本公开的实施例，集成智能系统可以包括用户终端101(例如，图1的电子装置101或图2的电子装置200)、智能服务器1500(例如，图1的服务器108)和服务服务器1600。
121.根据实施例的用户终端1400可以是能够连接到互联网的终端装置(或电子装置)，并且可以是例如移动电话、智能电话、个人数字助理(pda)、笔记本计算机、tv、白色家电、可穿戴装置、头戴式显示器(hmd)或智能扬声器。
122.根据所示出的本公开的实施例，用户终端1400可以包括通信接口1410、麦克风1420、扬声器1430、显示器1440、存储器1450或处理器1460。所列举的部件可以可操作地或电力地彼此连接。
123.根据实施例的通信接口1410可以被配置为向外部装置发送数据或者从外部装置接收数据。根据实施例的麦克风1420可以接收声音(例如，用户话语)以将该声音转换成电信号。根据本公开的实施例，扬声器1430可以将电信号作为声音(例如，语音)输出。根据实施例的显示器1440可以被配置为显示图像或视频。根据实施例的显示器1440可以显示运行的应用(或应用程序)的图形用户界面(gui)。
124.根据实施例的存储器1450可以存储客户端模块1451、软件开发套件(sdk)1453和多个应用1455。客户端模块1451和sdk 1453可以构成用于执行通用功能的框架(或解决方案程序)。此外，客户端模块1451或sdk1453可以构成用于处理语音输入的框架。
125.在根据本公开的实施例的存储器1450中，多个应用1455可以是用于执行指定功能的程序。根据本公开的实施例，多个应用1455可以包括第一应用1455_1和第二应用1455_2。根据本公开的实施例，多个应用1455中的每一个应用可以包括用于执行指定功能的多个动作。例如，应用可以包括闹钟应用、消息应用和/或日程安排应用。根据本公开的实施例，多个应用1455可以由处理器1460执行以顺序地执行多个动作中的至少一部分。
126.根据本公开的实施例，处理器1460可以控制用户终端1400的整体动作。例如，处理器1460可以电连接到通信接口1410、麦克风1420、扬声器1430和显示器1440以执行指定动作。
127.此外，根据实施例的处理器1460可以执行存储在存储器1450中的程序以执行指定功能。例如，根据本公开的实施例，处理器1460可以执行客户端模块1451或sdk 1453中的至少一个以执行用于处理语音输入的以下动作。处理器1460可以经由sdk 1453控制多个应用1455的动作。被描述为客户端模块1451或sdk 1453的动作的以下动作可以是由处理器1460执行的动作。
128.根据本公开的实施例，客户端模块1451可以接收语音输入。例如，客户端模块1451可以接收与经由麦克风1420检测到的用户话语相对应的语音信号。客户端模块1451可以向智能服务器1500发送所接收到的语音输入。客户端模块1451可以向智能服务器1500发送用户终端1400的状态信息以及所接收到的语音输入。例如，状态信息可以是应用的执行状态
信息。
129.根据本公开的实施例，客户端模块1451可以接收与所接收到的语音输入相对应的结果。例如，当智能服务器1500能够计算与所接收到的语音输入相对应的结果时，客户端模块1451可以接收与所接收到的语音输入相对应的结果。客户端模块1451可以将所接收到的结果显示在显示器1440上。
130.根据本公开的实施例，客户端模块1451可以接收与所接收到的语音输入相对应的计划。客户端模块1451可以在显示器1440上显示取决于计划而执行应用的多个动作的结果。例如，客户端模块1451可以在显示器上顺序地显示多个动作的执行结果。又如，用户终端1400可以在显示器上显示执行多个动作的结果(例如，最后一个动作的结果)的仅一部分。
131.根据本公开的实施例，客户端模块1451可以从智能服务器1500接收对获得计算与语音输入相对应的结果所必需的信息的请求。根据本公开的实施例，客户端模块1451可以响应于请求而向智能服务器1500发送所必需的信息。
132.根据本公开的实施例，客户端模块1451可以向智能服务器1500发送关于取决于计划而执行多个动作的结果的信息。智能服务器1500可以使用结果信息来确定所接收到的语音输入被正确地处理。
133.根据本公开的实施例，客户端模块1451可以包括语音识别模块。根据本公开的实施例，客户端模块1451可以经由语音识别模块来识别要执行受限功能的语音输入。例如，客户端模块1451可以经由指定输入(例如，wake up！(醒来！))来启动处理语音输入以便执行基本动作的智能应用。
134.根据本公开的实施例，智能服务器1500可以通过通信网络从用户终端1400接收与用户的语音输入相关联的信息。根据本公开的实施例，智能服务器1500可以将与所接收到的语音输入相关联的数据改变为文本数据。根据本公开的实施例，智能服务器1500可以基于文本数据来生成用于执行与用户语音输入相对应的任务的计划。
135.根据本公开的实施例，计划可由人工智能(ai)系统生成。ai系统可以是基于规则的系统，或者可以是基于神经网络的系统(例如，前馈神经网络(fnn)或循环神经网络(rnn))。或者，ai系统可以是上述系统或与上述系统不同的ai系统的组合。根据本公开的实施例，计划可以从一组预定义计划中选择或者可以响应于用户请求被实时地生成。例如，ai系统可以选择多个预定义计划中的至少一个计划。
136.根据本公开的实施例，智能服务器1500可以向用户终端1400发送根据所生成的计划的结果或者可以向用户终端1400发送所生成的计划。根据本公开的实施例，用户终端1400可以将根据计划的结果显示在显示器上。根据本公开的实施例，用户终端1400可以在显示器上显示根据计划执行动作的结果。
137.根据实施例的智能服务器1500可以包括前端1510、自然语言平台1520、封装数据库(db)1530、执行引擎1540、终端ui 1550、管理平台1560、大数据平台1570或分析平台1580。
138.根据本公开的实施例，前端1510可以接收从用户终端1400接收的语音输入。前端1510可以向第一服务中心1501、第二服务中心1503和第三服务中心中的任何一个发送与语音输入相对应的响应。
139.根据本公开的实施例，自然语言平台1520可以包括自动语音识别(asr)模块1521、nlu模块1523、计划器模块1525、nlg模块1527或文本至语音(tts)模块1529。
140.根据本公开的实施例，asr模块1521可以将从用户终端1400接收的语音输入转换成文本数据。根据本公开的实施例，nlu模块1523可以使用语音输入的文本数据来掌握用户的意图。例如，nlu模块1523可以通过执行句法分析或语义分析来掌握用户的意图。根据本公开的实施例，nlu模块1523可以通过使用诸如语素或短语的语言特征(例如，句法元素)来掌握从语音输入中提取的词语的含义并且可以通过使所掌握的词语的含义与意图匹配来确定用户的意图。
141.根据本公开的实施例，计划器模块1525可以通过使用由nlu模块1523确定的意图和参数来生成计划。根据本公开的实施例，计划器模块1525可以基于所确定的意图来确定执行任务所必需的多个域。计划器模块1525可以确定基于意图而确定的多个域中的每一个域中包括的多个动作。根据本公开的实施例，计划器模块1525可以确定执行所确定的多个动作所必需的参数或通过执行多个动作所输出的结果值。可以将参数和结果值定义为指定形式(或类)的概念。因此，计划可以包括通过用户的意图所确定的多个动作和多个概念。计划器模块1525可以逐步(或分层地)确定多个动作与多个概念之间的关系。例如，计划器模块1525可以基于多个概念来确定基于用户的意图而确定的多个动作的执行顺序。也就是说，计划器模块1525可以基于执行多个动作所必需的参数和通过多个动作的执行所输出的结果来确定多个动作的执行顺序。因此，计划器模块1525可以生成包括多个动作与多个概念之间的关系的信息(例如，本体)的计划。计划器模块1525可以使用存储在存储概念与动作之间的一组关系的封装db 1530中的信息来生成计划。
142.根据本公开的实施例，nlg模块1527可以将指定信息改变为文本形式的信息。改变为文本形式的信息可以是自然语言语音的形式的。根据实施例的tts模块1529可以将文本形式的信息改变为语音形式的信息。
143.根据本公开的实施例，也可以在用户终端1400中实现自然语言平台1520的功能的全部或一部分。
144.封装db 1530可以存储关于与多个域相对应的动作与多个概念之间的关系的信息。根据本公开的实施例，封装可以包括计划中包括的多个动作对象(或动作信息)和概念对象(或概念信息)。根据本公开的实施例，封装db1530可以以概念动作网络(can)的形式存储多个封装。根据本公开的实施例，多个封装可以被存储在封装db 1530中包括的功能注册表中。
145.封装db 1530可以包括存储确定与语音输入相对应的计划所必需的策略信息的策略注册表。策略信息可以包括用于当存在与语音输入相对应的多个计划时确定单个计划的参考信息。根据本公开的实施例，封装db 1530可以包括后续注册表，该后续注册表存储用于在指定上下文中向用户建议后续动作的后续动作的信息。例如，后续动作可以包括后续话语。根据本公开的实施例，封装db 1530可以包括用于存储经由用户终端1400输出的信息的布局信息的布局注册表。根据本公开的实施例，封装db 1530可以包括词汇注册表，该词汇注册表存储封装信息中包括的词汇信息。根据本公开的实施例，封装db 1530可以包括存储关于与用户的对话(或交互)的信息的对话注册表。封装db 1530可以经由开发者工具更新所存储的对象。例如，开发者工具可以包括用于更新动作对象或概念对象的功能编辑器。
开发者工具可以包括用于更新词汇的词汇编辑器。开发者工具可以包括生成并注册用于确定计划的策略的策略编辑器。开发者工具可以包括创建与用户的对话的对话编辑器。开发者工具可以包括能够激活后续目标并且编辑后续话语以便提供提示的后续编辑器。可以基于当前设置的目标、用户的偏好或环境条件来确定后续目标。也可以在用户终端1400中实现根据实施例的封装db 1530。
146.根据本公开的实施例，执行引擎1540可以使用生成的计划来计算结果。终端ui 1550可以向用户终端1400发送计算出的结果。因此，用户终端1400可以接收结果并且可以给用户提供所接收到的结果。根据本公开的实施例，管理平台1560可以管理由智能服务器1500使用的信息。根据本公开的实施例，大数据平台1570可以收集用户的数据。根据本公开的实施例，分析平台1580可以管理智能服务器1500的服务质量(qos)。例如，分析平台1580可以管理智能服务器1500的部件和处理速度(或效率)。
147.根据本公开的实施例，服务服务器1600可以给用户终端1400提供指定服务(例如，订餐或酒店预订)。根据本公开的实施例，服务服务器1600可以是由第三方运营的服务器。根据本公开的实施例，服务服务器1600可以给智能服务器1500提供用于生成与所接收到的语音输入相对应的计划的信息。所提供的信息可以被存储在封装db 1530中。此外，服务服务器1600可以根据计划给智能服务器1500提供结果信息。
148.在上述集成智能系统中，用户终端1400可以响应于用户输入而向用户提供各种智能服务。用户输入可以包括例如通过物理按钮的输入、触摸输入或语音输入。
149.根据本公开的实施例，用户终端1400可以经由存储在其中的智能应用(或语音识别应用)提供语音识别服务。在这种情况下，例如，用户终端1400可以识别经由麦克风接收的用户话语或语音输入，并且可以给用户提供与经识别的语音输入相对应的服务。
150.根据本公开的实施例，用户终端1400可以基于所接收到的语音输入、独立地或与智能服务器和/或服务服务器一起执行指定动作。例如，用户终端1400可以执行与所接收到的语音输入相对应的应用并且可以经由所执行的应用执行指定动作。
151.根据本公开的实施例，当用户终端1400与智能服务器1500和/或服务服务器一起提供服务时，用户终端可以使用麦克风1420来检测用户话语并且可生成与所检测到的用户话语相对应的信号(或语音数据)。用户终端可以使用通信接口1410来向智能服务器1500发送语音数据。
152.根据本公开的实施例，作为对从用户终端1400接收到的语音输入的响应，智能服务器1500可以生成用于执行与语音输入相对应的任务的计划或取决于该计划而执行动作的结果。例如，计划可以包括用于执行与用户的语音输入相对应的任务的多个动作以及与多个动作相关联的多个概念。概念可以定义要为了多个动作的执行而输入的参数或通过多个动作的执行所输出的结果值。计划可以包括多个动作与多个概念之间的关系信息。
153.根据本公开的实施例，用户终端1400可以使用通信接口1410来接收响应。用户终端1400可以使用扬声器1430来向外部输出在用户终端1400中生成的语音信号或者可以使用显示器1440来向外部输出在用户终端1400中生成的图像。
154.图15是示出根据本公开的实施例的概念与动作之间的关系信息被存储在数据库中的形式的图。
155.参照图15，智能服务器1500的封装数据库(例如，封装db 1530)可以can的形式存
储封装。封装数据库可以以can形式存储用于处理与语音输入相对应的任务的动作和该动作所必需的参数。
156.封装数据库可以存储分别与多个域(例如，应用)相对应的多个封装：封装(a)1701和封装(b)1704。根据本公开的实施例，单个封装(例如，封装(a)1701)可以对应于一个域(例如，位置(地理)或应用)。此外，用于针对与封装相关联的域执行功能的至少一个服务提供者(例如，cp 11702、cp 2 1703、cp 2 1705或cp 2 1706)可以对应于单个封装。根据本公开的实施例，单个封装可以包括用于执行指定功能的至少一个或更多个动作1710和至少一个或更多个概念1720。
157.自然语言平台1520可以使用存储在封装数据库中的封装来生成用于执行与所接收到的语音输入相对应的任务的计划。例如，自然语言平台的计划器模块1525可以使用存储在封装数据库中的封装来生成计划。例如，计划器模块1525可以使用封装(a)1701的动作4011和4013及概念4012和4014以及封装(b)1704的动作4041和概念4042来生成计划1707。
158.图16是示出根据本公开的实施例的用户终端处理通过智能应用接收的语音输入的画面的视图。
159.参照图16，用户终端1400可以执行智能应用以通过智能服务器1500处理用户输入。
160.根据本公开的实施例，在画面1610中，当识别出指定语音输入(例如，wake up！)或者经由硬件键(例如，专用硬件键)接收到输入时，用户终端1400可以启动用于处理语音输入的智能应用。例如，用户终端1400可以在正在执行日程安排应用的状态下启动智能应用。根据本公开的实施例，用户终端1400可以在显示器1440上显示与智能应用相对应的对象(例如，图标)1611。根据本公开的实施例，用户终端1400可以通过由用户话语接收语音输入。例如，用户终端1400可以接收说出“let me know the schedule of this week！(让我知道本周的日程安排！)”的语音输入。根据本公开的实施例，用户终端1400可以在显示器上显示在其中显示所接收到的语音输入的文本数据的智能应用的ui 1613(例如，输入窗口)。
161.根据本公开的实施例，在画面1620中，用户终端1400可以在显示器上显示与所接收到的语音输入相对应的结果。例如，用户终端1400可以接收与所接收到的用户输入相对应的计划并且可以取决于计划而在显示器上显示“本周的日程安排”。
162.图17示出根据本公开的实施例的电子装置选择主要信息并且输出自然语言响应。
163.参照图17，电子装置1700(例如，图1的电子装置101或图2的电子装置200)可以获得关于由用户选择的信息项的信息。例如，电子装置1700可以基于由用户输入到电子装置1700中的用户输入来获得关于所选择的信息项的信息以选择信息项。更具体地，电子装置1700可以通过用于显示信息列表的gui来接收用户输入或者可以接收与信息项相对应的语音。又如，电子装置1700可以从另一装置(例如，图1的电子装置102、电子装置140或服务器108)获得关于由用户选择的信息项的信息。
164.参照图17，电子装置1700可以使用包括信息列表的图形ui 1710来选择信息项。当从信息列表中选择综合大气指数信息项1711和花粉指数信息项1712时，电子装置1700可以将综合大气指数信息项1711和花粉指数信息项1712中的每一个的优先级设置为第一优先级。此后，当接收到用户1的“how is the weather in korea today？”的话语1720时，电子装置可以基于指定优先级来选择与综合大气指数信息项1711和花粉指数信息项1712相对
应的信息作为主要信息。
165.例如，当信息获取模块(例如，图4的信息获取模块420)从内容提供者(例如，图4的内容提供者408)接收到属于天气域的信息时，主要信息选择器(例如，图4的主要信息选择器430)可以从所接收到的信息中选择与综合大气指数信息项1711和花粉指数信息项1712相对应的信息作为主要信息。
166.电子装置1700可以输出包括综合大气指数信息1731和花粉指数信息1732的响应1730作为对所接收到的话语1720的响应。
167.例如，当最高温度信息项1715和洗衣指数项1716被选择时，电子装置1700可以基于指定优先权来选择与最高温度信息项1715和洗衣指数项1716相对应的信息作为主要信息。在这种情况下，电子装置1700可以对于用户1的相同话语1720输出包括最高温度信息1745和洗衣指数信息1746的响应1740。
168.根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可以包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
169.应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的附图标记可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可以包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”以及“a、b或c中的至少一个”的短语中的每一个短语可以包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
170.如这里所使用的，术语“模块”可以包括以硬件、软件或固件实现的单元，并且可以与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(asic)的形式来实现模块。
171.可以将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可以在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可以包
括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
172.根据实施例，可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(cd
‑
rom))的形式来发布计算机程序产品，或者可经由应用商店(例如，play store
tm
)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可以将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
173.根据各种实施例，上述部件中的每个部件(例如，模块或程序)可以包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可以将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
174.根据本说明书中公开的实施例，因为电子装置取决于事件或用户上下文而动态地选择用于选择要包括在响应中的信息的准则，所以电子装置可以动态地生成适合于用户的响应。
175.此外，根据说明书中公开的实施例，电子装置可以从所收集的信息中选择适合于响应的信息。
176.此外，可提供通过本公开直接或间接理解的各种效果。
177.虽然已参照本公开的各种实施例示出并描述了本公开，但是本领域的技术人员将理解，在不脱离如由所附权利要求及其等同形式所限定的本公开的精神和范围的情况下，可以在其中做出形式和细节上的各种变化。