用于注册用于语音助理服务的设备的系统和方法与流程

1.本公开涉及一种用于注册用于语音助理服务的新设备的系统和方法。


背景技术：

2.随着多媒体和网络技术的发展，已通过设备向用户提供各种服务。特别地，随着语音识别技术的发展，用户能够将他们的语音(例如，话语)说出到语音助理设备中，并且通过服务提供代理接收作为对语音输入的答复的响应消息。
3.当语音助理服务将要理解来自用户的语音输入中包含的意图时，可以使用人工智能(ai)技术来破译来自用户的语音输入的正确意图，并且也可以使用基于规则的自然语言理解(nlu)。
4.然而，在提供语音助理服务时，当新设备被添加到包括多个设备的家庭网络环境中时，难以通过考虑新设备的功能来响应于用户的语音输入提供设备控制。特别地，即使在新设备不是预注册有语音助理服务的设备时，也需要在语音助理服务中有效地体现新设备的功能。


技术实现要素：

5.技术方案
6.提供了一种用于使用用于语音助理服务的预注册设备的功能来注册新设备的系统和方法。
7.根据本公开的一方面，提供了一种用于通过组合或删除至少一个预注册设备的功能来注册新设备的功能的系统和方法。
8.根据本公开的一方面，提供了一种用于使用与预注册设备的功能相关的话语数据来注册新设备的系统和方法。
9.根据本公开的一方面，提供了一种用于使用预注册设备的话语数据和行动数据来获取与新设备的功能相关的话语数据和行动数据的系统和方法。
10.根据本公开的一方面，提供了一种用于使用与新设备的功能相关的话语数据和行动数据来生成和更新指定给新设备的语音助理模型的系统和方法。
11.额外方面将部分地在之后的描述中陈述，并且部分地将从描述中明白，或者可以通过本公开的所呈现实施例的实践获知。
附图说明
12.从以下结合附图所作的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加显而易见，在附图中：
13.图1是根据本公开的实施例的用于提供语音助理服务的系统的概念图；
14.图2展示了根据本公开的实施例的基于预注册设备的功能来注册新设备的语音助理服务器的机制；
15.图3是展示了根据本公开的实施例的语音助理服务器注册新设备的方法的流程图；
16.图4是展示了根据本公开的实施例的服务器将预注册设备的功能与新设备的功能进行比较的方法的流程图；
17.图5a展示了根据本公开的实施例的预注册设备的功能与新设备的功能之间的比较；
18.图5b展示了根据本公开的实施例的预注册设备的一组功能与新设备的功能之间的比较；
19.图5c展示了根据本公开的实施例将预注册设备的功能和功能组的组合与新设备的功能进行比较；
20.图5d展示了根据本公开的实施例的将多个预注册设备的功能和功能组的组合与新设备的功能进行比较；
21.图5e展示了根据本公开的实施例的删除预注册设备的一些功能并将剩余功能与新设备的功能进行比较；
22.图6是展示了根据本公开的实施例的语音助理服务器生成与在新设备的功能中与预注册的设备的功能不同的功能相关的话语数据和行动数据的方法的流程图；
23.图7a展示了根据本公开的实施例的来自语音助理服务器的用于生成与新设备的功能相关的话语数据和行动数据的查询输出；
24.图7b展示了根据本公开的实施例的用于推荐话语语句以生成与新设备的功能相关的话语数据和行动数据的查询输出；
25.图8是展示了根据本公开的实施例的语音助理服务器扩展话语数据的方法的流程图；
26.图9a展示了根据本公开的实施例的从话语数据生成近义话语数据；
27.图9b展示了根据本公开的实施例的映射到行动数据的代表性话语语句和近义话语数据；
28.图10a展示了根据本公开的另一实施例的从话语数据生成近义话语数据；
29.图10b展示了根据本公开的实施例的映射到行动数据的代表性话语语句和近义话语数据；
30.图11a展示了根据本公开的实施例的话语数据；
31.图11b展示了根据本公开的另一实施例的话语数据；
32.图12展示了根据本公开的另一实施例的设备的规范；
33.图13是根据本公开的实施例的语音助理服务器的框图；
34.图14是根据本公开的另一实施例的语音助理服务器的框图；
35.图15是展示了根据本公开的实施例的行动计划管理模型的概念图；
36.图16展示了根据本公开的实施例的存储在行动计划管理模型中的封装(capsule)数据库；
37.图17是根据本公开的实施例的物联网(iot)云服务器的框图；并且
38.图18是根据本公开的实施例的客户端设备的框图。
具体实施方式
39.根据本公开的第一方面，提供了一种由服务器执行的注册用于语音助理服务的新设备的方法，方法包括：获取指示预注册设备的第一功能的第一技术规范以及指示新设备的第二功能的第二技术规范；基于第一技术规范和第二技术规范来将预注册设备的第一功能与新设备的第二功能进行比较；基于比较来将与新设备的第二功能匹配的预注册设备的第一功能识别为匹配功能；获取与匹配功能相关的预注册话语数据；基于匹配功能和预注册话语数据来为新设备生成行动数据；并且存储与新设备相关联的预注册话语数据和行动数据，其中行动数据包括与和预注册话语数据相对应的新设备的一系列详细操作相关的数据。
40.根据本公开的第二方面，提供了一种用于注册用于语音助理服务的新设备的服务器，服务器包括：通信接口；存储器，该存储器存储包括一个或多个指令的程序；以及处理器，该处理器被配置为执行存储在存储器中的程序的一个或多个指令以：获取指示预注册设备的第一功能的第一技术规范以及指示新设备的第二功能的第二技术规范，基于第一技术规范和第二技术规范来将预注册设备的第一功能与新设备的第二功能进行比较；将与新设备的第二功能匹配的预注册设备的第一功能识别为匹配功能；获取与匹配功能相关的预注册话语数据；基于匹配功能和预注册话语数据来为新设备生成行动数据；并且将与新设备相关联的预注册话语数据和行动数据存储在数据库中，并且其中行动数据包括与和预注册话语数据相对应的新设备的一系列详细操作相关的数据。
41.根据本公开的第三方面，提供了一种其上具有用于计算机执行本公开的第一方面的方法和本公开的第二方面的操作的程序的计算机可读记录介质。
42.发明模式
43.现在将参考附图描述本公开的实施例。然而，本公开的实施例可以以多种不同的形式实施，并且不限于本文将讨论的。在附图中，为了清楚起见省略了与描述无关的部分，并且在整个说明书中相同的数字指代相同的元件。
44.当a被称为“连接”到b时，意思是“直接连接”到b或“电连接”到b，并且可能包括插置在在a与b之间的c。除非另有说明，否则术语“包括(include)(或包括(including))”或“包含(comprise)(或包含(comprising))”是包含性的或开放式的，并且不排除额外的、未列举的要素或方法步骤。
45.贯穿本公开，表达“a、b或c中的至少一者”指示仅a；仅b；仅c、a和b两者；a和c两者；b和c两者；a、b和c全部，或其变化形式。
46.根据本公开的实施例的与人工智能(ai)相关的功能通过处理器和存储由处理器执行的计算机可读指令的存储器来实施。可以存在一个或多个处理器。一个或多个处理器可以包括通用处理器，诸如中央处理单元(cpu)、应用处理器(ap)、数字信号处理器(dsp)等，专用图形处理器，诸如图形处理单元(gp)、视觉处理单元(vpu)等，或者专用ai处理器，例如神经处理单元(npu)。一个或多个处理器可以根据预定义的运算规则或存储在存储器中的ai模型来控制输入数据的处理。当一个或多个处理器为专用ai处理器时，它们可以设计成专门用于处理特定ai模型的硬件结构。
47.可以通过学习来构建预定义的运算规则或ai模型。具体地，通过学习构建的预定义的运算规则或ai模型是指在通过学习算法通过处理训练数据来训练基本ai模型时构建
的用于执行所需功能(或对象)的预定义的运算规则或ai模型。这种学习可以由根据本公开执行ai的设备本身执行，或者由单独的服务器和/或系统执行。学习算法的示例可以包括监督学习、无监督学习、半监督学习或增强学习，但不限于此。
48.ai模型可以包括多个神经网络层。多个神经网络层中的每一个可以具有多个权重值，并且通过根据前一层的运算结果和多个权重值的运算来执行神经网络计算。可以通过ai模型的学习结果来优化分配给多个神经网络层的多个权重值。例如，可以在学习过程期间更新多个权重值，从而减小或最小化由ai模型获取的损失值或成本值。人工神经网络可以包括例如卷积神经网络(cnn)、深度神经网络(dnn)、循环神经网络(rnn)、受限玻尔兹曼机(rbm)、深度信念网络(dbn)、双向循环深度神经网络(brdnn)或深度q网络，但不限于此。
49.现在将参考附图描述本公开。
50.图1是根据本公开的实施例的用于提供语音助理服务的系统的概念图。
51.参考图1，在本公开的实施例中，用于提供语音助理服务的系统可以包括客户端设备1000、至少一个附加设备2000、语音助理服务器3000和物联网(iot)云服务器4000。至少一个设备2000可以是在语音助理服务器3000或iot云服务器4000中预注册的用于语音助理服务的设备。
52.客户端设备1000可以从用户接收语音输入(例如，话语)。在本公开的实施例中，客户端设备1000可以包括语音识别模块。在本公开的实施例中，客户端设备1000可以包括具有有限语音处理功能的语音识别模块。例如，客户端设备1000可以包括具有检测指定语音输入(例如，诸如“嗨，比克斯比。”、“好吧，谷歌。”等的唤醒输入)的功能或者预处理从某些语音输入中获取的语音信号的功能的语音识别模块。客户端设备1000可以是ai扬声器，但不限于此。在本公开的实施例中，至少一个设备2000中的一些还可以实现为附加客户端设备1000。
53.至少一个设备2000可以是响应于来自语音助理服务器3000和/或iot云服务器4000的控制命令执行特定操作的目标受控设备。可以控制至少一个设备2000基于由客户端设备1000接收的用户的语音输入来执行特定操作。在本公开的实施例中，至少一个设备2000中的至少一些可以从客户端设备1000接收控制命令，而无需从语音助理服务器3000和/或iot云服务器4000接收任何控制命令。因此，至少一个设备2000可以由客户端设备1000、语音助理服务器3000和iot云服务器4000中的一个或多个基于用户语音来控制。
54.客户端设备1000可以通过麦克风接收用户的语音输入，并将语音输入转发到语音助理服务器3000。在本公开的实施例中，客户端设备1000可以从接收的语音输入中获取语音信号并将该语音信号转发到语音助理服务器3000。
55.语音助理服务器3000可以从客户端设备1000接收用户的语音输入，通过解释用户的语音输入根据用户的意图从至少一个设备2000中选择执行操作的目标设备，并且向iot云服务器4000或将要控制的至少一个目标设备2000提供关于目标设备或将要由目标设备执行的操作的信息。
56.iot云服务器4000可以注册和管理关于用于语音助理服务的至少一个设备2000的信息，并将用于语音助理服务的至少一个设备2000的设备信息提供给语音助理服务器3000。至少一个设备2000的设备信息可以是与用于提供语音助理服务的设备有关的信息，并且包括例如设备的标识(id)信息(设备id信息)、能力信息、位置信息、以及设备的状态信
息。此外，iot云服务器4000可以从语音助理服务器3000接收关于目标设备和将要由目标设备执行的操作的信息，并向将要控制的至少一个目标设备2000提供用于控制至少一个设备2000的操作的控制信息。
57.当将新设备2900添加到例如家庭网络以用于语音助理服务时，语音助理服务器3000可以使用至少一个设备2000的预注册的功能、话语数据、以及与话语数据相对应的操作来生成新设备2900的话语数据和行动数据。语音助理服务器3000可以使用新设备2900的话语数据和行动数据来生成或更新将要用于新设备2900的语音助理模型。
58.话语数据与用户为获取语音助理服务而发出的代表用户的话语的语音相关。话语数据可以用于解释与设备2000的操作相关的用户意图。话语数据可以包括文本形式的话语语句或具有自然语言理解(nlu)模型的输出值形式的话语参数中的至少一种。话语参数可以是从nlu模型输出的数据，可以包括意图和参数。意图可以是通过使用nlu模型解释文本而确定的信息，并且可以指示用户话语的意图。例如，意图可以是指示用户意图或用户请求由将要被控制的至少一个设备2000执行的设备操作的信息。意图可以包括指示用户话语的意图的信息(以下称为意图信息)以及与指示用户意图的信息相对应的数值。数值可以指示文本与指示特定意图或意向的信息相关的概率。当使用nlu模型解释文本的结果是存在指示用户意图的多条信息时，可以将多条意图信息中具有最高数值的一个确定为意图。此外，该参数可以是用于确定与意图相关的设备的详细操作的可变信息。该参数可以是与意图相关的信息，并且可以存在与意图相对应的多种类型的参数。参数可以包括用于确定设备的操作信息的可变信息以及指示文本与可变信息相关的概率的数值。作为使用nlu模型解释文本的结果，可以获取指示参数的多条可变信息。在这种情况下，可以将多条可变信息中，对应于该可变信息具有最高数值的一条确定为参数。
59.行动数据可以是与特定话语数据相对应的和至少一个设备2000的一系列详细操作相关的数据。例如，行动数据可以包括对应于特定话语数据的与将要由至少一个设备2000执行的详细操作相关的信息、每个详细操作与另一详细操作之间的相关性、以及详细操作的执行顺序。详细操作与另一详细操作之间的相关性可以包括关于在执行一个详细操作以执行该一个详细操作之前要执行的另一详细操作的信息。例如，当将要执行的操作是“播放音乐”时，“开电源”可以是在“播放音乐”操作之前要执行的另一详细操作。行动数据可以包括例如将要由目标设备执行以执行特定操作的功能、功能的执行顺序、执行功能所需的输入值、以及作为执行功能的结果输出的输出值。
60.当识别出新设备2900时，语音助理服务器3000可以获取新设备2900的功能信息，并且通过将预注册的至少一个设备2000的功能信息与新设备2900的功能信息比较来确定可以与新设备2900的功能相关地使用的预注册话语数据。此外，语音助理服务器3000可以编辑预注册话语数据和对应的功能，并且使用与编辑的话语数据和功能相关的数据来生成行动数据。
61.至少一个设备2000可以包括智能手机、平板个人计算机(平板pc)、个人计算机(pc)、智能电视(智能tv)、个人数字助理、膝上型计算机、媒体播放器、微型服务器、全球定位系统(gps)、电子书(e-book)阅读器、数字广播终端、导航、信息亭、mp3播放器、数码相机、以及移动或非移动计算设备，但不限于此。此外，至少一个设备2000可以是诸如配备有通信和数据处理功能的台灯、空调、电视、机器人清洁器、洗衣机、秤、冰箱、机顶盒、家庭自动化
控制面板、安全控制面板、游戏机、电子钥匙、摄录像机或电子相框的家用电器。此外，至少一个设备2000可以是诸如手表、眼镜、发带、戒指的可穿戴设备，每个设备都具有通信功能和数据处理功能。然而，不限于此，并且至少一个设备2000可以包括能够通过诸如家庭网络、有线或无线网络或蜂窝数据网络的网络从语音助理服务器3000和/或iot云服务器4000发送或接收数据的任何类型的设备。
62.网络可以包括局域网(lan)、广域网(wan)、增值网络(van)、移动无线电通信网络、卫星通信网络及其任何组合，该网络是允许图1中示出的网络组成实体在彼此之间执行平稳的通信的综合数据通信网络，该网络包括有线互联网、无线互联网和移动无线通信网络。无线通信可以包括任何各种无线通信协议与技术，包括无线lan(wi-fi)、蓝牙、低功耗蓝牙、zigbee、wi-fi直连(wfd)、超宽带(uwb)、红外数据协会(irda)、近场通信(nfc)等，但不限于此。
63.图2展示了根据本公开的实施例的基于预注册设备的功能来注册新设备的语音助理服务器的机制。
64.参考图2，当识别新设备2900(例如空调b)时，语音助理服务器3000可以获取空调b的功能和操作信息，该信息指示空调b的功能和空调b的操作。一些功能和操作可以包括温度设置、风扇速度设置、操作调度、湿度设置等。语音助理服务器3000可以将空调b的功能信息与预注册设备2000、空调a和除湿机a的功能信息进行比较。
65.语音助理服务器3000可以将空调b的功能与空调a的功能和除湿机a的功能进行比较，并且在空调b的功能中识别出与空调a和除湿机a的功能相同或相似的功能。例如，语音助理服务器3000可以在空调b的功能中识别“电源开/关”、“制冷模式开/关”、“除湿模式开/关”、“升温/降温”和“湿度控制”对应于空调a和除湿机a的功能。
66.语音助理服务器3000可以确定与所识别的功能中的至少一个相对应的话语数据，并生成与所确定的话语数据相对应的行动数据。例如，语音助理服务器3000可以使用与空调a的“电源开”相对应的话语数据“打开电源”、与空调a的“制冷模式开，降温”相对应的话语数据“降低温度”、与空调a的“制冷模式开，升温”相对应的话语数据“升高温度”、与除湿机a的“电源开”相对应的话语数据“打开电源”、以及与除湿机a的“减湿”相对应的话语数据“降低湿度”来生成或编辑与空调b的功能中的至少一项相对应的话语数据。
67.图3是展示了根据本公开的实施例的由语音助理服务器3000执行的注册新设备的方法的流程图。图12展示了根据本公开的实施例的设备的规范。
68.在操作s300中，语音助理服务器3000获取关于新设备2900和预注册设备2000的功能的功能信息。当新设备2900被添加到用于语音助理服务的系统时，语音助理服务器3000可以从通过新设备2900或外部来源获取的新设备2900的技术规范中识别由新设备2900所支持的功能，该外部来源诸如新设备2900的制造商或存储设备的技术规范的数据库。例如参考图12，语音助理服务器3000可以从包括设备的标识号、型号或部件号、可执行功能的名称、关于可执行功能的描述、以及关于执行该功能所需的因素的信息的规范中识别由新设备2900所支持的功能。
69.语音助理服务器3000可以从设备2000的技术规范中识别预注册设备2000的功能。语音助理服务器3000可以从存储在语音助理服务器3000的数据库(db)中的技术规范中识别设备2000的功能。替代性地，语音助理服务器3000可以接收存储在iot云服务器4000的数
据库中的设备2000的说明书，并从技术规范中识别设备2000的功能。与新设备2900的技术规范类似，预注册设备2000的技术规范可以包括关于设备的标识号、型号或部件号的信息、可执行功能的名称、关于可执行功能的描述、以及关于执行该功能所需的因素的信息。
70.在操作s310中，语音助理服务器3000可以确定新设备2900的功能是否与预注册设备2000的功能相同或相似。语音助理服务器3000可以通过将预注册设备2000的功能与新设备2900的功能进行比较来识别新设备2900的与预注册设备2000的功能相同或相似的任何功能。
71.语音助理服务器3000可以从新设备2900的技术规范中识别出指示由新设备2900所支持的功能名称，并且确定识别出的名称是否与由预注册设备2000所支持的功能名称相同或相似。在这种情况下，语音助理服务器3000可以关联地存储关于指示某些功能的名称和近义词的信息，并且基于存储的关于近义词的信息来确定预注册设备2000的功能和新设备2900的功能是否彼此相同或相似。
72.此外，语音助理服务器3000可以通过参考话语数据来确定功能是否彼此相同或相似。语音助理服务器3000可以使用与预注册设备2000的功能相关的话语数据来确定新设备2900的功能是否与预注册设备2000的功能相同或相似。在这种情况下，语音助理服务器3000可以基于话语数据中包括的单词的含义来确定新设备2900的功能是否与预注册设备2000的功能相同或相似。
73.语音助理服务器3000可以确定新设备2900的单一功能是否与预注册设备2000的单一功能相同或相似。单一功能可以是指诸如“电源开”、“电源关”、“升温”和“降温”的功能。语音助理服务器3000可以确定新设备2900的一组功能是否与预注册设备2000的一组功能相同或相似。一组功能可以是指一组单一功能的功能组合，例如“电源开 升温”、“降温 减湿”。
74.当在操作s310中确定预注册设备2000的功能和新设备2900的功能彼此相同或相似时，语音助理服务器3000可以在操作s320中获取与该相同或相似功能相关的预注册话语数据。
75.语音助理服务器3000可以从数据库中提取与在预注册设备2000的功能中被确定为与新设备2900的功能相同或相似的功能相对应的话语数据。
76.语音助理服务器3000可以从数据库中提取与在预注册设备2000的功能组中被确定为与新设备2900的功能组相同或相似的功能组相对应的话语数据。
77.在这种情况下，对应于预注册设备2000的功能的话语数据和对应于预注册设备2000的功能组的话语数据可以在将新设备2900安装或设置到网络之前存储在数据库中。
78.同时，语音助理服务器3000可以编辑被确定为相同或相似的一个功能和一组功能，并且生成与所编辑功能相对应的话语数据。语音助理服务器3000可以组合被确定为相同或相似的功能并且生成与所组合的功能相对应的话语数据。此外，语音助理服务器3000可以组合被确定为相同或相似的一个功能和一组功能，并且生成与所组合的功能相对应的话语数据。此外，语音助理服务器3000可以删除被确定为相同或相似的一组功能中的一些功能，并且生成与从中删除一些功能的一组功能相对应的话语数据。
79.语音助理服务器3000可以扩展话语数据。语音助理服务器3000可以通过修改提取或生成的话语数据的表达方式来从提取或生成的话语数据中生成具有相同含义但不同表
达的近义话语数据。
80.在操作s330中，语音助理服务器3000可以基于相同或相似的功能和话语数据为新设备2900生成行动数据。行动数据可以是指示设备的详细操作和详细操作的执行顺序的数据。行动数据可以包括例如详细操作的标识值、详细操作的执行顺序、以及执行详细操作的控制命令，但不限于此。
81.例如，当与话语数据相对应的功能是单一功能时，语音助理服务器3000可以生成包括表示单一功能的详细操作的行动数据。在另一示例中，当与话语数据相对应的功能是一组功能时，语音助理服务器3000可以生成表示该组中的功能的详细操作以及详细操作的执行顺序。
82.在操作s340中，语音助理服务器3000可以使用话语数据和行动数据来生成或更新与新设备2900相关的语音助理模型。
83.语音助理服务器3000可以使用与新设备2900的功能相关的对应于预注册设备2000的功能的话语数据、与新设备2900的功能相关的新生成的话语数据、以及扩展的话语数据和行动数据来生成或更新与新设备2900相关的语音助理模型。语音助理服务器3000可以累积和存储与新设备2900相关的话语数据和行动数据。此外，语音助理服务器3000可以生成或更新概念行动网络(can)，该网络是包括在行动计划管理模型中的封装类型数据库。
84.与新设备2900相关的语音助理模型作为用于语音助理服务的模型与新设备2900相关联，该模型确定与用户的语音输入相对应的目标设备将要执行的操作。与新设备2900相关的语音助理模型可以包括例如nlu模型、自然语言生成(nlg)模型和行动计划管理模型。与新设备2900相关的nlu模型是用于考虑到新设备2900的功能，解释用户的输入语音的ai模型，并且与新设备2900相关的nlg模型是用于考虑到新设备2900的功能，生成用于与用户进行对话的自然语言的ai模型。此外，与新设备2900相关的行动计划管理模型是用于考虑到新设备2900的功能，规划由新设备2900执行的操作信息的模型。行动计划管理模型可以基于经解释的用户发出的语音来选择将要由新设备2900执行的详细操作，并且来规划所选择的详细操作的执行顺序。行动计划管理模型可以使用计划结果来获取关于将要由新设备2900执行的详细操作的操作信息。操作信息可以是与设备将要执行的详细操作、详细操作之间的关联、以及详细操作的执行顺序有关的信息。操作信息可以包括例如由新设备2900执行以执行详细操作的功能、功能的执行顺序、执行功能所需的输入值、以及作为执行功能的结果输出的输出值。
85.当用于新设备2900的语音助理模型已经存在时，语音助理服务器3000可以更新语音助理模型。
86.语音助理服务器3000可以使用与新设备2900的功能相关的对应于预注册设备2000的功能的话语数据、与新设备2900的功能相关的新生成的话语数据、以及扩展的话语数据和行动数据来生成或更新与新设备2900相关的语音助理模型。
87.行动计划管理模型可以管理关于多个详细操作的信息和关于多个详细操作之间的关系的信息。多个详细操作中的每一个与另一详细操作之间的相关性可以包括关于在执行一个详细操作以执行该一个详细操作之前要执行的另一详细操作的信息。
88.在本公开的实施例中，行动计划管理模型可以包括can、指示设备的操作以及操作之间的相关性的封装类型数据库。can可以包括将要由设备执行以执行特定操作的功能、功
能的执行顺序、执行功能所需的输入值、以及作为执行功能的结果输出的输出值，并且可以在包括指示概念和概念之间关系的知识三元组的本体图中实施。
89.当在操作s310中确定预注册设备2000的功能和新设备2900的功能彼此不相同或相似时，语音助理服务器3000可以在操作s350中针对与预注册设备2000的功能不同的功能请求话语数据和行动数据。语音助理服务器3000可以注册新设备2900的不同功能，并向用户输出查询消息以生成和编辑与该不同功能相关的话语数据。查询消息可以经由客户端设备1000、新设备2900或开发者的设备提供给用户。语音助理服务器3000可以从客户端设备1000、新设备2900或开发者的设备接收用户对查询消息的响应。语音助理服务器3000可以提供用于向客户端设备1000、新设备2900或开发者的设备注册新设备2900的功能的软件开发工具包(sdk)工具。此外，语音助理服务器3000可以向用户的设备2000或开发者的设备提供在新设备2900的功能中与预注册设备2000的功能不同的功能的列表。语音助理服务器3000可以向用户的设备2000或开发者的设备提供与至少一些不同功能相关的推荐的话语数据。
90.在操作s360中，语音助理服务器3000可以获取话语数据和行动数据。语音助理服务器3000可以使用nlu模型来解释对查询的响应。语音助理服务器3000可以使用经训练以注册功能并生成话语数据的nlu模型来解释用户的响应或开发者的响应。语音助理服务器3000可以基于解释的响应来生成与新设备2900的功能相关的话语数据。语音助理服务器3000可以使用解释的用户响应或解释的开发者的响应来生成与新设备2900的功能相关的话语数据，并且推荐话语数据。语音助理服务器3000可以选择新设备2900的一些功能并且生成与每个选择的功能相关的话语数据。此外，语音助理服务器3000可以选择新设备2900的一些功能并且生成与所选择的功能的组合相关的话语数据。此外，语音助理服务器3000可以从所生成的话语数据中生成具有相同含义但不同表达的近义话语数据。语音助理服务器3000可以使用生成的话语数据来生成行动数据。语音助理服务器3000可以识别与生成的话语数据相关的新设备2900的功能，并且确定所识别的功能的执行顺序以生成与生成的话语数据相对应的行动数据。
91.图4是展示了根据本公开的实施例的由服务器执行的将预注册设备的功能与新设备的功能进行比较的方法的流程图。
92.在操作s400中，语音助理服务器3000可以将预注册设备2000的功能与新设备2900的功能进行比较。语音助理服务器3000可以将由新设备2900支持的功能名称与由预注册设备2000支持的功能名称进行比较。在这种情况下，语音助理服务器3000可以存储关于指示某些功能的名称和近义词的信息，并且基于存储的关于近义词的信息来比较预注册设备2000的功能和新设备2900的功能。
93.此外，语音助理服务器3000可以参考存储在iot云服务器4000中的话语数据来比较预注册设备2000的功能和新设备2900的功能。语音助理服务器3000可以使用与预注册设备2000的功能相关的话语数据来确定新设备2900的功能是否与预注册设备2000的功能相同或相似。在这种情况下，语音助理服务器3000可以基于话语数据中包括的单词的含义来确定新设备2900的功能是否与预注册设备2000的功能相同或相似。
94.在操作s405中，语音助理服务器3000可以确定是否存在与预注册设备2900的功能不对应的新设备2900的任何功能。语音助理服务器3000可以确定新设备2900的所有功能是
否对应于预注册设备2000的至少一个功能。例如，语音助理服务器3000可以在第一设备2100的功能、第二设备2200的功能和第三设备2300的功能中识别与新设备2900的功能相对应的功能。
95.当新设备2900的功能名称与预注册设备2000的功能名称相同时，语音助理服务器3000可以确定预注册设备2000的功能对应于新设备2900的功能。
96.此外，当确定新设备2900的功能名称与预注册设备2000的功能名称相似并且预注册设备2000的功能和新设备2900的功能具有控制设备的相同效果时，语音助理服务器3000可以确定预注册设备2000的功能对应于新设备2900的功能。
97.在操作s405中，当确定新设备2900的功能对应于预注册设备2000的功能时，语音助理服务器3000可以执行操作s320至s340。语音助理服务器3000可以使用与和新设备2900的功能相对应的预注册设备2000的功能相关的话语数据和行动数据来生成与新设备2900的功能相关的话语数据和行动数据，并且生成或更新用于提供与新设备2900相关的语音助理服务的语音助理模型。
98.在操作s405中，当确定新设备2900的至少一个功能与预注册设备2000的功能不对应时，语音助理服务器3000可以在操作s410中组合预注册设备2000的功能。
99.语音助理服务器3000可以组合至少一个设备2000的单一功能。例如，语音助理服务器3000可以组合第一设备2100的第一功能和第一设备2100的第二功能。在另一示例中，语音助理服务器3000可以组合第一设备2100的第一功能和第二设备2200的第三功能。
100.语音助理服务器3000可以组合至少一个设备2000的一组功能。例如，语音助理服务器3000可以组合第一设备2100的第一组功能和第一设备2100的第二组功能。在另一示例中，语音助理服务器3000可以组合第一设备2100的第一组功能和第二设备2200的第三组功能。
101.语音助理服务器3000可以组合至少一个设备2000的单一功能和一组功能。例如，语音助理服务器3000可以组合第一设备2100的第一功能和第一设备2100的第一组功能。在另一示例中，语音助理服务器3000可以组合第一设备2100的第一功能和第二设备2200的第三组功能。
102.语音助理服务器3000可以根据与预注册设备2000的功能相对应的话语数据来组合预注册设备2000的功能。例如，语音助理服务器3000可以从数据库中提取与第一设备2100的第一功能相对应的第一话语数据和与第一设备2100的第二功能相对应的第二话语数据，并且基于第一话语数据和第二话语数据的含义来确定组合第一功能和第二功能。在另一示例中，语音助理服务器3000可以从数据库中提取与和第一设备2100的第一功能相对应的第一话语数据和与第二设备2200的第三功能相对应的第三话语数据，并且基于第一话语数据和第三话语数据的含义来确定组合第一功能和第三功能。
103.在操作s415中，语音助理服务器3000可以将组合的功能与新设备2900的功能进行比较。语音助理服务器3000可以将组合功能的名称与预注册设备2000所支持的功能的名称进行比较。此外，语音助理服务器3000可以参考存储在iot云服务器4000中的话语数据来将组合的功能与新设备2900的功能进行比较。
104.在操作s420中，语音助理服务器3000可以确定新设备2900的任一功能是否与预注册设备2900的功能不对应。当组合功能的名称与预注册设备2000的功能名称相同时，语音
助理服务器3000可以确定组合功能对应于新设备2900的功能。
105.当确定组合功能的名称与预注册设备2000的功能名称相似并且组合功能与新设备2900的功能具有相同目的时，语音助理服务器3000可以确定组合的功能对应于新设备2900的功能。
106.在操作s420中，当确定新设备2900的功能对应于预注册设备2000的功能时，语音助理服务器3000可以执行操作s320至s340。语音助理服务器3000可以使用与和新设备2900的功能相对应的预注册设备2000的功能相关的话语数据和行动数据以及与组合功能相关的话语数据和行动数据来生成与新设备2900的功能相关的话语数据和行动数据，并且生成或更新用于提供与新设备2900相关的语音助理服务的语音助理模型。
107.当在操作s420中确定新设备2900的功能对应于预注册设备2000的功能时，语音助理服务器3000可以删除设备2000的一些功能。
108.语音助理服务器3000可以删除至少一个设备2000的一些单一功能。语音助理服务器3000可以删除被确定为新设备2900不支持的设备2000的任何单一功能。
109.语音助理服务器3000可以删除至少一个设备2000的一组功能中的一些功能。语音助理服务器3000可以删除被确定为不被新设备2900支持的设备2000的一组功能的任一功能。
110.语音助理服务器3000可以删除至少一个设备2000的功能组中的一些功能组。语音助理服务器3000可以删除被确定为新设备2900不支持的设备2000的任何一组功能。
111.在操作s430中，语音助理服务器3000可以将删除之后剩余的设备2000的功能与新设备2900的功能进行比较。语音助理服务器3000可以将删除后的剩余功能的名称与预注册设备2000所支持的功能的名称进行比较。此外，语音助理服务器3000可以参考存储在iot云服务器4000中的话语数据，以将删除后的剩余功能与新设备2900的功能进行比较。
112.在操作s435中，语音助理服务器3000可以确定新设备2900的任一功能是否与预注册设备2900的功能不对应。当删除后剩余功能的名称与预注册设备2000的功能名称相同时，语音助理服务器3000可以确定删除后的设备2000的剩余功能对应于新设备2900的功能。
113.此外，当确定删除后的剩余功能的名称与预注册设备2000的功能的名称相似并且删除后的剩余功能与新设备2900的功能具有相同的目的时，语音助理服务器3000可以确定删除后的剩余功能对应于新设备2900的功能。
114.在操作s435中，当确定新设备2900的功能对应于预注册设备2000的功能时，语音助理服务器3000可以执行操作s320至s340。语音助理服务器3000可以使用与和新设备2900的功能相对应的预注册设备2000的功能相关的话语数据和行动数据、与组合功能相关的话语数据和行动数据、以及与删除后的剩余功能相关的话语数据和行动数据来生成与新设备2900的功能相关的话语数据和行动数据，并且生成或更新用于提供与新设备2900相关的语音助理服务的语音助理模型。
115.在操作s435中，当确定新设备2900的任一功能不对应于预注册设备2000的功能时，语音助理服务器3000可以执行操作s350。
116.虽然操作s400、s410、s415、s425和s430在图4中被示出为顺序执行，但是顺序不限于此。例如，在如在操作s400中将新设备2900的功能与预注册设备2000的功能进行比较之
前，预注册设备2000的功能可以如操作s410中那样组合或者如s425中那样删除一些功能以建立数据库。在这种情况下，通过使用数据库，可以在操作s400、s415和s430中将新设备2900的功能与预注册设备2000的功能、预注册设备2000的组合功能、以及在删除之后的剩余功能进行比较，并且可以确定是否新设备2900的任一功能与预注册设备2000的功能不对应。
117.图5a展示了根据本公开的实施例的预注册设备的功能与新设备的功能之间的比较。
118.参考图5a，语音助理服务器3000可以比较预注册空调a的功能、预注册除湿机a的功能和新空调b的功能。
119.例如，新空调b支持的功能可以包括电源开/关、制冷模式开/关、除湿模式开/关、温度设置、升温/降温、湿度设置、增湿/减湿、ai模式开/关等。此外，例如，预注册空调a支持的功能可以包括电源开/关、制冷模式开/关、温度设置、升温/降温等。此外，例如，预注册的除湿机a支持的功能可以包括电源开/关、湿度设置、增湿/减湿等。
120.语音助理服务器3000可以在新空调b的功能中确定“电源开/关”、“制冷模式开/关”、“温度设置”、“升温/降温”、“湿度设置”和“增湿/减湿”对应于空调a和除湿机a的功能。语音助理服务器3000可以使用与空调a的功能相关的话语数据和与除湿机a的功能相关的话语数据来确定这些功能是否彼此对应。
121.语音助理服务器3000可以获取与由预注册的空调a提供的每个功能相对应的话语数据“电源开/关”、“制冷模式开/关”、“温度设置”和“升温/降温”，并且获取与由预注册除湿机a提供的每个功能相对应的话语数据“电源开/关”、“湿度设置”和“增湿/减湿”。此外，语音助理服务器3000可以使用匹配的功能和获取的话语数据来生成新空调b的行动数据。
122.图5b展示了根据本公开的实施例的预注册设备的一组功能与新设备的功能之间的比较。
123.参考图5b，语音助理服务器3000可以识别预注册空调a的一组功能“制冷模式开 升温”与新空调b的“制冷模式开/关”和“升温/降温”匹配。
124.语音助理服务器3000可以获取与预注册的空调a的一组功能“制冷模式开 升温”相对应的话语数据“升高温度”。此外，语音助理服务器3000可以使用新空调b的功能“制冷模式开/关”和“升温/降温”以及获取的话语数据“升高温度”来生成用于执行之后是“升温”功能的“制冷模式开”的功能的行动数据。
125.图5c展示了根据本公开的实施例将预注册设备的功能和功能组的组合与新设备的功能进行比较。
126.参考图5c，语音助理服务器3000可以识别出预注册空调a的功能“电源开”与预注册空调a的一组功能“制冷模式开 降温”的组合与新空调b的“电源开/关”、“制冷模式开/关”和“升温/降温”匹配。
127.语音助理服务器3000可以获取与预注册的空调a的功能“电源开”相对应的话语数据“打开电源”，以及与预注册的空调a的一组功能“制冷模式开 降温”相对应的话语数据“降低温度”。此外，语音助理服务器3000可以编辑获取的话语数据。例如，语音助理服务器3000可以从话语数据“打开电源”和“降低温度”生成表示“打开空调”和“降低温度”的话语数据。
128.此外，语音助理服务器3000可以使用新空调b的“电源开/关”、“制冷模式开/关”和“升温/降温”的功能以及生成的话语数据“打开空调并降低温度”来执行“电源开”功能，然后执行“制冷模式开”功能，然后执行“降温”功能。
129.图5d展示了根据本公开的实施例的将多个预注册设备的功能和功能组的组合与新设备的功能进行比较。
130.参考图5d，语音助理服务器3000可以识别以下各项的组合：i)预注册空调a的功能“电源开”；ii)预注册空调a的一组功能“制冷模式开 降温”；以及iii)除湿机a的一组功能“电源开 减湿”与新空调b的“电源开/关”、“制冷模式开/关”、“升温/降温”、以及“增湿/减湿”匹配。
131.语音助理服务器3000可以获取：i)与预注册的空调a的功能“电源开”相对应的话语数据“打开电源”；ii)与预注册的空调a的一组功能“制冷模式开 降温”相对应的话语数据“降低温度”；以及iii)与预注册的除湿机a的一组功能“电源开 减湿”相对应的话语数据“降低湿度”。此外，语音助理服务器3000可以编辑获取的话语数据。例如，语音助理服务器3000可以从话语数据“打开电源”、“降低温度”和“降低湿度”生成表示“打开空调并降低温度和湿度”的话语数据。
132.此外，语音助理服务器3000可以使用新空调b的“电源开/关”、“制冷模式开/关”、“升温/降温”、“除湿模式开/关”和“增湿/减湿”的功能，并且使用生成的话语数据“打开空调并降低温度和湿度”以执行功能“电源开”，然后按特定顺序执行功能“制冷模式开”、“降温”、“除湿模式开”和“减湿”。
133.图5e展示了根据本公开的实施例的删除预注册设备的一些功能并将剩余功能与新设备的功能进行比较。
134.参考图5e，语音助理服务器3000可以从预注册的空调a的“设置温度为26度 检查温度 ai模式开”的一组功能中删除“设置温度为26度 检查温度”，并获取剩余功能“ai模式开”。此外，语音助理服务器3000可以识别以下各项的组合：i)剩余功能“ai模式开”；以及ii)预注册空调a的功能“电源开”与新空调b的“电源开/关”和“ai模式开/关”匹配。
135.语音助理服务器3000可以获取与预注册空调a的“电源开”的功能相对应的话语数据“打开电源”。此外，语音助理服务器3000可以从对应于预注册空调a的一组功能“设置温度为26度 检查温度 ai模式开。”的话语数据“在温度26度时打开ai功能”中提取与剩余功能“ai模式开”相对应的话语数据“打开ai功能”。此外，语音助理服务器3000可以从“打开电源”和“打开ai功能”生成表示“打开电源然后打开ai功能”的话语数据。
136.此外，语音助理服务器3000可以使用新空调b的“电源开/关”和“ai模式开/关”的功能和生成的话语数据“打开电源然后打开ai功能”来生成用于执行“电源开”功能然后执行“ai模式开”的功能的行动数据。
137.图6是展示了根据本公开的实施例的由语音助理服务器执行的生成与新设备的功能中与预注册设备的功能不同的功能相关的话语数据和行动数据的方法的流程图。
138.在操作s600中，语音助理服务器3000使用nlg模型来输出用于注册附加功能以及生成或编辑话语数据的查询。语音助理服务器3000可以向用户的设备2000或开发者的设备提供用于注册新设备2900的功能和生成话语数据的图形用户界面(gui)。开发者的设备可以安装有用于注册新设备的特定sdk，并且通过sdk从语音助理服务器3000接收gui。
139.语音助理服务器3000可以向用户、向用户的设备2000或开发者的设备提供引导文本或引导语音数据，以注册新设备2900的功能并生成话语数据。语音助理服务器3000可以使用被训练来注册功能并生成话语数据的nlg模型来生成用于注册附加功能并生成话语数据的查询。
140.此外，语音助理服务器3000可以向用户的设备2000或开发者的设备提供在新设备2900的功能中与预注册设备2000的功能不同的功能的列表。语音助理服务器3000可以向用户的设备2000或开发者的设备提供与至少一些不同功能相关的推荐的话语数据。
141.在操作s610中，语音助理服务器3000可以使用nlu模型来解释对查询的响应。语音助理服务器3000可以从用户的设备2000接收用户对查询的响应，或者从开发者的设备接收开发者对查询的响应。语音助理服务器3000可以使用经训练以注册功能并生成话语数据的nlu模型来解释用户的响应或开发者的响应。
142.此外，语音助理服务器3000可以通过为用户的设备2000提供的gui从用户的设备2000接收用户的响应输入，或者通过为开发者的设备提供的gui从开发者的设备接收开发者的响应输入。
143.在操作620中，语音助理服务器3000基于解释的响应来生成与新设备2900的功能相关的话语数据。语音助理服务器3000可以使用解释的用户响应或解释的开发者的响应来生成与新设备2900的功能相关的话语数据，并且推荐生成的话语数据。语音助理服务器3000可以选择新设备2900的一些功能并且生成与每个选择的功能相关的话语数据。此外，语音助理服务器3000可以选择新设备2900的一些功能并且生成与所选择的功能的组合相关的话语数据。
144.语音助理服务器3000可以使用用于基于新设备2900的功能的id和属性来生成话语数据的nlg模型来生成与新设备2900的功能相关的话语数据。例如，语音助理服务器3000可以将表示新设备的功能的id和属性的数据输入到nlg模型中，以用于生成话语数据并获取从nlg模型输出的话语数据，但不限于此。
145.语音助理服务器3000可以选择基于用户通过gui输入的响应和开发者通过gui输入的响应而生成的话语数据的至少一些部分。此外，语音助理服务器3000可以从所生成的话语数据中生成具有相同含义但不同表达的近义话语数据。
146.在操作s630中，语音助理服务器3000可以使用生成的话语数据来生成行动数据。语音助理服务器3000可以识别与生成的话语数据相关的新设备2900的功能，并且确定所识别的功能的执行顺序以生成与生成的话语数据相对应的行动数据。生成的行动数据可以匹配话语数据和近义话语数据。
147.图7a展示了根据本公开的实施例的来自语音助理服务器的用于生成与新设备的功能相关的话语数据和行动数据的查询输出。
148.参考图7a，语音助理服务器3000可以向用户的设备2000或开发者的设备提供用于接收与是空调的新设备2900的新功能相关的话语语句的查询。例如，可以从用户的设备2000或开发者的设备输出文本或查询语音“说出与自动烘干功能相关的话语语句”。
149.在另一示例中，语音助理服务器3000可以从用户的设备2000或开发者的设备接收从用户的设备2000或开发者的设备输入的话语语句“去除空调的异味”。
150.语音助理服务器3000可以将“去除空调的异味”修改为“去除空调的气味”。语音助
理服务器3000可以生成与修改的话语语句“去除空调的气味”相对应的行动数据“当前操作关闭 烘干功能开”。
151.图7b展示了根据本公开的实施例的用于推荐话语语句以生成与新设备的功能相关的话语数据和行动数据的查询输出。
152.参考图7b，语音助理服务器3000可以向用户的设备2000或开发者的设备提供用于通知作为空调的新设备2900的新功能的文本或语音。例如，语音助理服务器3000可以允许从用户的设备2000或开发者的设备输出文本或语音“自动烘干功能是新功能”。此外，语音助理服务器3000可以生成与新功能、即自动烘干功能相关的推荐话语语句，并且将表示推荐的话语语句的文本或语音提供给用户的设备2000或开发者的设备。例如，语音助理服务器3000可以允许从用户的设备2000或开发者的设备输出查询“我们是否应该注册话语语句“在关闭空调时执行烘干功能？
””
。
153.此外，语音助理服务器3000可以从用户的设备2000或开发者的设备接收选择推荐话语语句的输入。
154.语音助理服务器3000可以生成与推荐的话语语句“在关闭空调时执行烘干功能”相对应的行动数据“检查接收到电源关输入 烘干功能开 空调电源关”155.图8是展示了根据本公开的实施例的由语音助理服务器3000执行的扩展话语数据的方法的流程图。
156.在操作s800中，语音助理服务器3000可以通过将生成的话语数据输入到ai模型来获取与生成的话语数据相关的近义话语数据。语音助理服务器3000可以通过将生成的话语数据输入到被训练来生成与话语数据类似的话语数据的ai模型来获取从ai模型输出的近义话语数据。ai模型可以是例如用话语语句和一组近义话语数据作为学习数据来训练的模型。
157.例如，如图9a所示，当话语语句“去除空调的气味”被输入到ai模型中时，可以从ai模型输出近义话语数据，诸如“去除空调的异味。”、“空调很臭。”、“它闻起来发霉了。”、“去除霉味”等。输入到ai模型中的话语语句“去除空调的异味”可以被设置为代表性话语语句。可以考虑但不排他地考虑用户的使用频率、语法准确性等来设置代表性话语语句。
158.此外，例如，如图10a所示，当话语语句“在关闭空调时执行烘干功能”被输入ai模型中时，可以从ai模型输出近义话语数据，诸如“在您关闭空调时执行烘干功能。”、“在您关闭空调时除臭。”、“在关闭空调后除臭。”等。此外，可以将“在关闭空调时执行烘干功能”设置为代表性话语语句。替代性地，可以将从ai模型输出的近义话语数据之一“在您关闭空调时执行烘干功能”设置为代表性话语语句。可以考虑但不排他地考虑用户的使用频率、语法准确性等来设置代表性话语语句。
159.在操作s810中，语音助理服务器3000可以将行动数据映射到话语数据和近义话语数据。语音助理服务器3000可以将与输入到ai模型中的话语数据相对应的行动数据映射到从ai模型输出的近义话语数据。
160.例如，如图9b所示，代表性话语语句“去除空调的气味”和近义话语数据“去除空调的异味。”、“空调很臭。”、“它闻起来发霉了。”、“去除霉味”等可以映射到行动数据“当前操作关闭
‑‑
》烘干功能开”。
161.此外，例如，如图10b所示，代表性话语语句“在关闭空调时执行烘干功能”和近义
话语数据“去除空调的异味。”、“在您关闭空调时除臭。”、“在关闭空调后除臭。”可以映射到行动数据“检查电源关输入的接收
‑‑
》烘干功能开
‑‑
》空调电源关。”162.图11a展示了根据本公开的实施例的话语数据。
163.参考图11a，话语数据可以具有文本格式。例如，代表性的话语语句“为我打开电视”和近义话语数据“请打开电视。”、“打开电视。”和“电视打开”可以是话语数据。
164.图11b展示了根据本公开的另一实施例的话语数据。
165.参考图11b，话语数据可以包括话语参数和话语语句。话语参数可以是包括意图和参数的nlu模型的输出值。例如，包含在话语数据中的话语参数可以包括意图(行动、功能或命令)“电源开”和参数(对象或设备)“电视”。进一步地，话语数据中包含的话语语句可以包括文本，诸如“为我打开电视。”、“请打开电视。”、“打开电视。”和“电视打开”。尽管在图11b中将话语数据示出为包括话语参数和话语语句，但是不限于此，并且话语数据可以仅包括话语参数。
166.图13是根据本公开的实施例的语音助理服务器的框图。
167.参考图13，语音助理服务器3000可以包括通信接口3100、处理器3200和存储装置3300。存储装置3300可以包括第一语音助理模型3310、至少一个第二语音助理模型3320、sdk接口模块3330和数据库(db)3340。
168.通信接口3100进行通信以向客户端设备1000、设备2000和iot云服务器4000发送数据和从其接收数据。例如，通信接口3100可以包括用于与客户端设备1000、设备2000和iot云服务器4000进行有线或无线通信的一个或多个网络硬件和软件部件。
169.处理器3200控制语音助理服务器3000的整体操作。例如，处理器3200可以通过将存储在存储装置3300中的程序加载到语音助理服务器3000的存储器中并执行加载的程序来控制语音助理服务器3000的功能。
170.存储装置3300可以存储用于控制处理器3200的程序，并且存储与新设备2900的功能相关的数据。存储装置3300可以包括至少一种类型的存储介质，包括闪存、硬盘、多媒体卡微型存储器、卡型存储器(例如，安全数字(sd)或极限数字(xd)存储器)、随机存取存储器(ram)、静态随机存取存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁存储器、磁盘和光盘。
171.存储在存储装置3300中的程序可以根据功能分类成多个模块，例如分类成第一语音助理模型3310、至少一个第二语音助理模型3320、sdk接口模块3330等。
172.第一语音助理模型3310是用于通过分析用户的语音输入来确定与用户的意图相关的目标设备的模型。第一语音助理模型3310可以包括自动语音识别(asr)模型3311、第一nlu模型3312、第一nlg模型3313、设备确定模块3314、功能比较模块3315、话语数据获取模块3316、行动数据生成模块3317和模型更新器3318。
173.asr模型3311通过执行asr将语音信号转换为文本。asr模型3311可以利用诸如声学模型(am)或语言模型(lm)的预定义模型来执行将语音信号转换为计算机可读文本的asr。当从客户端设备110接收到带有噪声的声学信号时，asr模型3311可以通过从接收到的声学信号中消除噪声来获取语音信号并对优化的语音信号执行asr。
174.第一nlu模型3312分析文本并基于分析结果确定与用户意图相关的第一意图。第一nlu模型3312可以是训练来解释文本并获取与文本相对应的第一意图的模型。意图可以
是指示包含在文本中的用户的话语的意图的信息。
175.设备确定模型3314可以使用第一nlu模型3312来执行句法分析或语义分析以从转换后的文本确定用户的第一意图。在本公开的实施例中，设备确定模型3314可以使用第一模型3312将转换后的文本解析为词素、单词或短语的单元，并且使用解析词素、单词或短语的语言特征(例如，句法元素)来推断从解析后的文本中提取的单词的含义。设备确定模型3314可以通过将推断的单词的含义与从第一nlu模型3312提供的预定义意图进行比较来确定与单词的推断含义相对应的第一意图。设备确定模型3314可以基于第一意图确定目标设备的类型。在本公开的实施例中，设备确定模型3314可以通过使用使用第一nlu模型3312获取的第一意图来确定目标设备的类型。设备确定模型3314将解析的文本和目标设备信息提供给第二语音助理模型3320。在本公开的实施例中，设备确定模型3314可以将所确定的目标设备的标识信息(例如，设备id)与解析的文本一起提供给第二语音助理模型3320。
176.第一nlg模型3313可以注册新设备2900的功能并生成用于生成或编辑话语数据的查询消息。
177.功能比较模块3315可以将预注册设备2000的功能与新设备2900的功能进行比较。功能比较模块3315可以确定预注册设备2000的功能是否与新设备2900的功能相同或相似。功能比较模块3315可以识别新设备2900的与预注册设备2000的功能相同或相似的任何功能。
178.功能比较模块3315可以从新设备2900的技术规范中识别出指示由新设备2900所支持的功能名称，并且确定识别出的名称是否与由预注册设备2000所支持的功能名称相同或相似。在这种情况下，数据库3340可以存储关于指示某些功能的名称和近义词的信息，并且基于存储的关于近义词的信息来确定预注册设备2000的功能和新设备2900的功能是否彼此相同或相似。
179.此外，功能比较模块3315可以通过参考存储在数据库3340中的话语数据来确定功能是否彼此相同或相似。功能比较模块3315可以使用与预注册设备2000的功能相关的话语数据来确定新设备2900的功能是否与预注册设备2000的功能相同或相似。在这种情况下，功能比较模块3315可以使用第一nlu模型来解释话语数据，并且基于话语数据中包括的单词的含义来确定新设备2900的功能是否与预注册设备2000的功能相同或相似。
180.功能比较模块3315可以确定预注册设备2000的单一功能是否与新设备2900的单一功能相同或相似。功能比较模块3315可以确定预注册设备2000的一组功能是否与新设备2900的一组功能相同或相似。
181.话语数据获取模块3316可以获取与新设备2900的功能相关的话语数据。话语数据获取模块3316可以从话语数据数据库3341中提取与预注册设备2000的功能中被确定为与新设备2900的功能相同或相似的功能相对应的话语数据。
182.话语数据获取模块3316可以从话语数据数据库3341中提取与预注册设备2000的功能组中被确定为与新设备2900的功能相同或相似的功能组相对应的话语数据。在这种情况下，与预注册设备2000的功能相对应的话语数据和与预注册设备2000的功能组相对应的话语数据可以预先存储在话语数据数据库3341中。
183.话语数据获取模块3316可以编辑被确定为相同或相似的功能或功能组，并且生成与编辑的功能相对应的话语数据。话语数据获取模块3316可以组合被确定为相同或相似的
功能并且生成与组合的功能相对应的话语数据。此外，话语数据获取模块3316可以组合被确定为相同或相似的功能和功能组，并且生成与组合的功能相对应的话语数据。此外，话语数据获取模块3316可以删除被确定为相同或相似的功能组中的一些功能，并且生成与从中删除一些功能的功能组相对应的话语数据。
184.话语数据获取模块3316可以扩展话语数据。话语数据获取模块3316可以通过修改提取或生成的话语数据的表达方式来从提取或生成的话语数据中生成具有相同含义但不同表达的近义话语数据。
185.话语数据获取模块3316可以使用第一nlg模型3313来输出用于注册附加功能、生成或编辑话语数据的查询。话语数据获取模块3316可以向用户、向用户的设备2000或开发者的设备提供引导文本或引导语音数据，以用于注册新设备2900的功能并生成话语数据。话语数据获取模块3316可以向用户的设备2000或开发者的设备提供在新设备2900的功能中与预注册设备2000的功能不同的功能的列表。话语数据获取模块3316可以向用户的设备2000或开发者的设备提供与至少一些不同功能相关的推荐的话语数据。
186.话语数据获取模块3316可以使用第一nlu模型3312来解释对查询的响应。话语数据获取模块3316可以基于解释的响应来生成与新设备2900的功能相关的话语数据。话语数据获取模块3316可以使用解释的用户响应或解释的开发者的响应来生成与新设备2900的功能相关的话语数据，并且推荐生成的话语数据。话语数据获取模块3316可以选择新设备2900的一些功能并且生成与每个选择的功能相关的话语数据。话语数据获取模块3316可以选择新设备2900的一些功能并且生成与所选择的功能的组合相关的话语数据。话语数据获取模块3316可以基于新设备2900的功能的标识符和属性使用第一nlg模型3313来生成与新设备2900的功能相关的话语数据。
187.行动数据生成模块3317可以基于相同或相似的功能和话语数据为新设备2900生成行动数据。例如，当与话语数据相对应的功能是单一功能时，行动数据生成模块3317可以生成包括表示单一功能的详细操作的行动数据。在另一示例中，当与话语数据相对应的功能是功能组时，行动数据生成模块3317可以生成表示该组中的功能的详细操作以及详细操作的执行顺序。行动数据生成模块3317可以使用与新设备2900的新功能相关地生成的话语数据来生成行动数据。行动数据生成模块3317可以识别与话语数据相关的新设备2900的新功能，并且确定所识别的功能的执行顺序以生成与生成的话语数据相对应的行动数据。生成的行动数据可以映射到话语数据和近义话语数据
188.模型更新器3318可以使用话语数据和行动数据来生成或更新与新设备2900相关的第二语音助理模型3320。模型更新器3318可以使用与和预注册设备2000的功能相对应的新设备2900的功能相关的话语数据、与新设备2900的功能相关的新生成的话语数据、以及扩展的话语数据和行动数据来生成或更新与新设备2900相关的第二语音助理模型3320。模型更新器3318可以累积与新设备2900相关的话语数据和行动数据，并且将结果存储在话语数据数据库3341和行动数据数据库3342中。此外，模型更新器3318可以生成或更新can，其是包括在行动计划管理模型3323中的封装类型数据库。
189.第二语音助理模型3320是针对特定设备的，并且可以确定将要由与用户的语音输入相对应的目标设备执行的操作。第二语音助理模型3320可以包括第二nlu模型3321、第二nlg模型3322和行动计划管理模型3323。语音助理服务器3000可以包括用于每个设备类型
的第二语音助理模型3320。
190.第二nlu模型3321是针对特定设备的nlu模型，以用于分析文本并基于分析结果来确定与用户的意图相关的第二意图。第二nlu模型3321可以考虑到设备的功能来解释用户的输入语音。第二nlu模型3321可以是训练来解释文本并获取与文本相对应的第二意图的模型。
191.第二nlg模型3322可以是针对特定设备的nlg模型，以用于生成向用户提供语音助理服务所需的查询消息。第二nlu模型3322可以考虑到设备的特定功能生成用于与用户对话的自然语言。
192.行动计划管理模型3323是针对特定设备的模型，该设备用于与用户的语音输入相对应地确定将要由目标设备执行的操作。行动计划管理模型3323可以考虑到新设备2900的特定功能来规划将要由新设备2900执行的操作信息。
193.行动计划管理模型3323可以基于经解释的用户发出的语音来选择将要由新设备2900执行的详细操作，并且规划所选择的详细操作的执行顺序。行动计划管理模型3323可以使用计划结果获取关于要由新设备2900执行的详细操作的操作信息。操作信息可以是与设备将要执行的详细操作、详细操作之间的关联、以及详细操作的执行顺序有关的信息。操作信息可以包括例如由新设备2900执行以执行详细操作的功能、功能的执行顺序、执行功能所需的输入值、以及作为执行功能的结果输出的输出值。
194.行动计划管理模型3323可以管理关于多个详细操作的信息和关于多个详细操作之间的关系的信息。多个详细操作中的每一个与另一详细操作之间的相关性可以包括关于在执行一个详细操作以执行该一个详细操作之前要执行的另一详细操作的信息。
195.行动计划管理模型3323可以包括can、指示设备的操作以及操作之间的相关性的封装格式的数据库。can可以包括将要由设备执行以执行特定操作的功能、功能的执行顺序、执行功能所需的输入值、以及作为执行功能的结果输出的输出值，并且可以在包括指示概念以及概念之间的关系的知识三元组的本体图中实施。
196.sdk接口模块3330可以通过通信接口3100向客户端设备1000或开发者的设备发送数据或从其接收数据。客户端设备1000或开发者的设备其中可以安装有用于注册新设备的特定sdk，并且通过sdk从语音助理服务器3000接收gui。处理器3200可以通过sdk接口模块3330向用户的设备2000或开发者的设备提供用于注册新设备2900的功能并生成话语数据的gui。处理器3200可以通过sdk接口模块3330从用户的设备2000接收通过为用户的设备2000提供的gui输入的用户的响应，或者通过sdk接口模块3330从开发者的设备接收通过为开发者的设备提供的gui输入的开发者的响应。sdk接口模块3330可以通过通信接口3100向iot云服务器4000发送数据或从其接收数据。
197.数据库3340可以存储语音助理服务的各种信息。数据库3340可以包括话语数据数据库3341和行动数据数据库3342。
198.话语数据数据库3341可以存储与客户端设备1000、设备2000和新设备2900的功能相关的话语数据。
199.行动数据数据库3342可以存储与客户端设备1000、设备2000和新设备2900的功能相关的行动数据。存储在话语数据数据库中的话语数据和存储在行动数据数据库3342中的行动数据可以相互映射。
200.图14是根据本公开的另一实施例的语音助理服务器的框图。
201.参考图14，语音助理服务器3000可以包括第二语音助理模型3320。在这种情况下，第二语音助理模型3320可以包括多个第二nlu模型3324、3325和3326。多个第二nlu模型3324、3325和3326可以是专用于各种类型的设备中的每一个的nlu模型。
202.图15是展示了根据本公开的实施例的行动计划管理模型的概念图。
203.参考图15，行动计划基站3323可以包括扬声器can 212、移动can 214和电视can216。
204.扬声器can 212可以包括关于扬声器控制、媒体播放、天气和电视控制的详细操作的信息，并且可以包括以封装格式存储与每个详细操作相对应的概念的行动计划。
205.移动can 214可以包括关于社交网络服务(sns)、移动控制、地图和提问与回答(q&a)的详细操作的信息，并且可以包括以封装格式存储与每个详细操作相对应的概念的行动计划。
206.tv can 216可以包括关于购物、媒体播放、教育和电视播放的详细操作的信息，并且可以包括以封装格式存储与每个详细操作相对应的概念的行动计划。在本公开的实施例中，包括在扬声器can 212、移动can 214和tv can 216中的每一个中的多个封装可以存储在功能注册表中，该功能注册表是行动计划管理模型3323中的组成元素。
207.在本公开的实施例中，在语音助理服务器3000确定与通过利用第二nlu模型解释从语音输入转换的文本而确定的第二意图和参数相对应的详细操作时，行动计划管理模型3323可以包括策略注册表。策略注册表可以包括用于在多个行动计划与文本相关时确定行动计划的参考信息。在本公开的实施例中，行动计划管理模型3323可以包括后续注册表，在该注册表中存储关于后续操作的信息，以在指定情况下向用户建议后续操作。后续操作可以包括例如后续话语。
208.在本公开的实施例中，行动计划管理模型3323可以包括布局注册表，其中存储由目标设备输出的布局信息。
209.在本公开的实施例中，行动计划管理模型3323可以包括词汇注册表，其中存储包括在封装信息中的词汇信息。在本公开的实施例中，行动计划管理模型3323可以包括对话注册表，其中存储关于与用户的对话或交互的信息。
210.图16展示了根据本公开的实施例的存储在行动计划管理模型中的封装数据库。
211.参考图16，封装数据库存储详细操作和关于与详细操作相对应的概念的关联信息。封装数据库可以以can的形式实施。封装数据库可以存储多个封装230、240和250。封装数据库可以存储用于执行与用户的语音输入相关的操作的详细操作、详细操作所需的输入参数、以及以can形式输出的结果值。
212.封装数据库可以存储与每个设备的操作有关的信息。在本公开的实施例中，如图16所示，封装设备可以存储与由特定设备(例如，tv)执行的操作相关的多个封装230、240和250。在本公开的实施例中，封装(例如封装a 230)可以对应于应用。封装可以包括至少一个详细操作和用于执行指定功能的至少一个概念。例如，封装a 230可以包括详细操作231a和与详细操作231a相对应的概念231b，并且封装b 240可以包括多个详细操作241a、242a和243a以及分别对应于详细操作241a、242a和243a的多个概念241b，242b和243b。
213.行动计划管理模型210可以使用存储在封装数据库中的封装来生成用于执行与用
户的语音输入相关的操作的行动计划。例如，行动计划管理模型210可以使用存储在封装数据库中的封装来生成行动计划。例如，行动计划管理模型210可以通过使用封装a 230的详细操作231a和概念231b、封装b240的多个详细操作241a、242a和243a以及多个概念241b、242b和243b中的一些(即操作241a和241b以及概念241b和243b)以及封装c 250的详细操作251a和概念251b来生成与和将要由设备执行的操作相关的行动计划260。当然，可以从封装(230、240、250)的操作和概念当中选择操作和概念的任何组合来生成行动计划260。
214.图17是根据本公开的实施例的iot云服务器的框图。
215.参考图17，iot云服务器4000可以包括通信接口4100、处理器4200和存储装置4300。存储装置4300可以包括sdk接口模块4310、功能比较模块4320、设备注册模块4330和数据库4340。数据库4340可以包括设备功能数据库4341和行动数据数据库4342。
216.通信接口4100与客户端设备1000、设备2000和语音助理服务器3000进行通信。通信接口4100可以包括用于与客户端设备1000、设备2000和语音助理服务器3000进行有线或无线通信的一个或多个网络硬件和软件部件。
217.处理器4200控制iot云服务器4000的整体操作。例如，处理器4200可以通过将存储在存储装置4300中的程序加载到存储器中并执行加载到存储器中的程序来控制iot云服务器4000的功能。
218.存储装置4300可以存储提供对处理器4200的控制的程序，并且存储与设备2000的功能相关的数据。存储装置4300可以包括至少一种类型的存储介质，包括闪存、硬盘、多媒体卡微型存储器、卡型存储器(例如，sd或xd存储器)、ram、sram、rom、eeprom、prom、磁存储器、磁盘和光盘。
219.存储在存储装置4300中的程序可以根据功能分为多个模块，例如sdk接口模块4310、功能比较模块4320、设备注册模块4330等。
220.sdk接口模块4310可以通过通信接口4100向语音助理服务器3000发送数据或从其接收数据。处理器4200可以通过sdk接口模块4310向语音助理服务器3000提供设备2000的功能信息。
221.当iot云服务器4000中包括功能比较模块4320时，根据客户端-服务器或基于云的模型，功能比较模块4320可以用作语音助理服务器3000的前述功能比较模型3315。
222.在这种情况下，功能比较模块4320可以将预注册设备2000的功能与新设备2900的功能进行比较。功能比较模块4320可以确定预注册设备2000的功能是否与新设备2900的功能相同或相似。功能比较模块4320可以识别新设备2900的与预注册设备2000的功能相同或相似的任何功能。
223.功能比较模块4320可以从新设备2900的技术规范中识别出指示由新设备2900所支持的功能名称，并且确定识别出的名称是否与由预注册设备2000所支持的功能名称相同或相似。在这种情况下，数据库4340可以存储关于指示某些功能的名称和近义词的信息，并且基于存储的关于近义词的信息来确定预注册设备2000的功能和新设备2900的功能是否彼此相同或相似。
224.此外，功能比较模块4320可以通过参考存储在数据库4340中的话语数据来确定功能是否彼此相同或相似。功能比较模块3315可以使用与预注册设备2000的功能相关的话语数据来确定新设备2900的功能是否与预注册设备2000的功能相同或相似。功能比较模块
4320可以确定预注册设备2000的单一功能是否与新设备2900的单一功能相同或相似。功能比较模块4320可以确定预注册设备2000的一组功能是否与新设备2900的一组功能相同或相似。
225.设备注册模块4330可以为语音助理服务注册设备。当识别出新设备2900时，设备注册模块4330可以从语音助理服务器3000接收关于新设备2900的功能的信息，并且将接收的信息注册到数据库4330中。关于新设备2900的功能的信息可以包括例如新设备2900支持的功能、与功能相关的行动数据等，但不限于此。
226.数据库4340可以存储语音助理服务所需的设备信息。数据库4340可以包括设备功能数据库4341和行动数据数据库4342。设备行动数据数据库4340可以存储客户端设备1000、设备2000和新设备2900的功能信息。功能信息可以包括关于设备功能的id值以及功能的名称和属性的信息，但不限于此。行动数据数据库4342可以存储与客户端设备1000、设备2000和新设备2900的功能相关的行动数据。
227.图18是根据本公开的实施例的客户端设备的框图。
228.参考图18，在本公开的实施例中，客户端设备1000可以包括输入模块1100、输出模块1200、处理器1300、存储器1400和通信接口1500。存储器1400可以包括sdk模块1420。
229.设备2000可以作为客户端设备1000运行，或者新设备2900可以在预注册之后作为客户端设备1000运行。设备2000或新设备2900也可以包括如图18所示的部件。
230.输入模块1100是指允许用户输入数据以控制客户端设备1000的硬件和/或软件。例如，输入模块1100可以包括小键盘、弹片开关、(电容式、电阻式、红外检测类型、表面声波类型、积分应变计类型、压电效应类型)触摸板、滚轮、滚轮开关、显示在显示器上的图形用户界面(gui)、由音频提供给用户的音频用户界面等，但不限于此。
231.输入模块1100可以接收用户输入以注册新设备2900。
232.输出模块1200可以输出音频信号、视频信号或振动信号，并且输出模块1210可以包括显示器、声音输出或振动马达中的至少一个。输入模块1100和输出模块1200可以组合成输入/输出接口，诸如用于接收用户输入并向用户显示输出信息的触摸屏显示器。当然，可以提供软件和硬件部件的任何组合来执行客户端设备1000和用户之间的输入/输出功能。
233.处理器1300控制客户端设备1000的整体操作。例如，处理器1300可以执行从存储器1400加载的程序，以总体上控制用户输入模块1100、输出模块1200、存储器1400、以及通信接口1500。
234.处理器1300可以向用户请求输入以注册新设备2900的功能。处理器1300可以通过控制sdk模块1420来执行向语音助理服务器300注册新设备2900的操作。
235.处理器1300可以从语音助理服务器3000接收用于生成和编辑与新设备2900的功能相关的话语数据的查询消息并输出该查询消息。处理器1300可以向用户提供新设备2900的功能当中与预注册设备1300的功能不同的功能的列表。处理器1300可以经由输出模块1200向用户提供与新设备2900的至少一些功能相关的推荐的话语数据。
236.处理器1300可以经由输入模块1100接收用户对查询消息的响应。处理器1300可以向语音助理服务器3000提供用于生成与新设备2900的功能相关的话语数据和行动数据的用户的响应。
237.通信接口1500可以包括允许与语音助理服务器3000、iot云服务器4000、设备2000和新设备2900进行通信的一个或多个硬件和/或软件通信部件。例如，通信接口1500可以包括短程通信模块(红外、wifi等)、移动通信模块(4g、5g等)和广播接收器。
238.短程通信模块可以包括蓝牙通信模块、蓝牙低功耗(ble)通信模块、nfc模块、无线lan(wlan)(例如wi-fi)、通信模块、zigbee通信模块、irda通信模块、wfd通信模块、uwb通信模块、ant 通信模块等，但不限于此。
239.移动通信模块在移动通信网络中将rf信号发射到以下各者中的至少一者或者从以下各者中的至少一者接收rf信号：基站、外部终端或服务器。rf信号可以包括语音呼叫信号、视频呼叫信号或涉及文本/多媒体消息的发送/接收的不同类型的数据。
240.广播接收器在广播信道上从外侧接收广播信号和/或广播相关信息。广播信道可以包括卫星信道或地面信道。根据实施方式，客户端设备1000可以不包括广播接收器。
241.存储器1400可以存储用于处理器1300的处理和控制的程序，并且存储输入到设备1000或从设备输出的数据。
242.存储装置1400可以包括至少一种类型的存储介质，包括闪存、硬盘、多媒体卡微型存储器、卡型存储器(例如，sd或xd存储器)、ram、sram、rom、eeprom、prom、磁存储器、磁盘和光盘。
243.存储在存储器1400中的程序可以根据功能被分类为多个模块，例如sdk模块1420、ui模块、触摸屏模块、通知模块等。
244.可以由处理器1300执行sdk模块1420以执行注册新设备2900所需的操作。可以从语音助理服务器300下载sdk模块1420并安装在客户端设备1000中。sdk模块1420可以在客户端设备1000的屏幕上输出用于注册新设备2900的gui。当客户端设备1000不包括任何显示模块时，sdk模块1420可以允许客户端设备1000输出用于注册新设备2900的语音消息。sdk模块1420可以允许客户端设备1000接收来自用户的响应并将响应提供给语音助理服务器3000。
245.本公开的实施例可以以包括计算机可执行指令(诸如由计算机执行的程序模块)的计算机可读记录介质的形式来实施。计算机可读记录介质可以是计算机可以访问的任意可用介质，包括易失性介质、非易失性介质、可移动介质和不可移动介质。计算机可读记录介质还可以包括计算机存储介质和通信介质。易失性、非易失性、可移动和不可移动介质可以通过用于存储信息的任意方法或技术来实施，诸如计算机可读指令、数据结构、程序模块或其他数据。通信介质可以包括经调制数据信号的其他数据，诸如计算机可读指令、数据结构或程序模块。
246.在说明书中，术语“模块”可以是指诸如处理器或电路系统的硬件部件和/或由诸如处理器的硬件部件执行的软件部件。
247.上文已经描述了本公开的若干实施例，但是本领域普通技术人员将理解和明白，在不脱离本公开的范围的情况下，可以进行各种修改。因此，对于本领域普通技术人员显而易见的是，本公开不限于所描述的本公开的实施例，而是可以不仅包括所附权利要求而且包括等效物。例如，以单数形式描述的元素可以被实施为分布式，并且以分布式形式描述的元素可以被实施为组合。
248.本公开的范围由所附权利要求限定，并且本领域的普通技术人员应当理解，在不
脱离如由所附权利要求书及其等效物限定的本公开的精神和范围的情况下，可以进行各种形式和细节的改变。