一种数据交互方法、系统和介质与流程

1.本发明实施例涉及计算机技术领域，尤其涉及一种数据交互方法、系统和介质。


背景技术：

2.在酒店或者景区或者商场等前台，通过机器人智能迎宾的服务。但现有技术无法根据客户信息进行区分，只是以统一的方式展示固定的语言或表情，即现有技术无法拉近与人之间的距离，因为对于每一个人，它的反应是一致的，而在真实的世界中发现，人类能够敏锐的通过对方的表情用不同的方式和人类进行沟通，或者表达不同的语句，展示不同的表情，如果机器人也能这样的话才可以真正拉近人与人之间的距离，真正实现机器人服务的优质体验。


技术实现要素：

3.有鉴于此，本发明实施例提供一种数据交互方法、系统和介质，提升了机器人的服务体验，以及提升了用户的使用体验。
4.第一方面，本发明实施例提供了一种数据交互方法，应用于机器人，包括：
5.响应于用户触发指令，将获取到的目标用户的当前面部信息和/或当前语音信息发送至云平台；
6.接收所述云平台反馈的根据所述当前面部信息和/或所述当前语言信息确定的回复策略和表情展示策略；
7.按照所述回复策略进行语音答复，以及按照所述表情展示策略进行表情展示。
8.第二方面，本发明实施例还提供了一种数据交互方法，应用于云平台，包括：
9.接收机器人发送的目标用户的当前面部信息和/或当前语音信息；
10.根据所述当前面部信息和/或当前语音信息确定对应的回复策略和表情展示策略；
11.将所述回复策略和表情展示策略反馈至机器人。
12.第三方面，本发明实施例还提供了一种数据交互系统，包括：客户端、机器人和云平台；所述客户端和所述机器人均与所述云平台建立通信连接；
13.所述客户端用于将目标用户的用户注册信息发送至云平台，以在云平台进行信息注册；所述机器人检测到用户触发指令，将获取到的目标用户的当前面部信息和/或当前语音信息发送至云平台，以使所述云平台根据当前面部信息和/或所述当前语言信息确定回复策略和表情展示策略，并通过所述机器人按照所述回复策略进行语音答复，以及按照所述表情展示策略进行表情展示。
14.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一实施例所述的数据交互方法。
15.本发明实施例通过根据目标用户的当前面部信息和/或当前语音信息确定合适的回复策略和表情展示策略，并按照该回复策略对目标用户进行语音答复，以及按照表情展
示策略进行表情展示，实现了目标用户与具有类似于真情实感的机器人之间的交流，从而提升了机器人的服务体验，以及提升了用户的使用体验。
附图说明
16.图1是本发明实施例提供的一种数据交互方法的流程图；
17.图2是本发明实施例提供的另一种数据交互方法的流程图；
18.图3是本发明实施例提供的一种数据交互系统的结构框图；
19.图4是本发明实施例提供的又一种数据交互方法的流程图；
20.图5是本发明实施例提供的一种数据交互装置的结构框图；
21.图6是本发明实施例提供的另一种数据交互装置的结构框图；
22.图7是本发明实施例提供的一种数据交互设备的硬件结构示意图。
具体实施方式
23.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
24.在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
25.图1是本发明实施例提供的一种数据交互方法的流程图，本发明实施例可适用于机器人采用不同策略进行智能迎宾的情况。本实施例由机器人执行。如图1所示，本实施例中的数据交互方法包括如下步骤：
26.s110、响应于用户触发指令，将获取到的目标用户的当前面部信息和/或当前语音信息发送至云平台。
27.其中，用户触发指令用于表征机器人的触发情况。在实施例中，在目标用户移动至机器人附近，并且目标用户与机器人之间的相对距离小于预设距离阈值时，结束机器人的待机状态，并唤醒机器人。可以理解为，在机器人检测到用户触发指令时，结束自身的待机状态，并进入工作状态。
28.在一实施例中，当前面部信息至少包括下述之一：当前表情；所述当前语音信息至少包括下述之一：当前语气；当前音量。在实施例中，当前表情指的是目标用户当前面部的表情或形态。示例性地，当前表情可以包括：喜怒哀乐等。
29.在实施例中，可以同时获取目标用户的当前面部信息和当前语音信息，并发送至与机器人建立通信连接的云平台；也可以只获取目标用户的当前面部信息，并发送至与机器人建立通信连接的云平台；也可以只获取目标用户的当前语音信息，只发送与机器人建立通信连接的云平台。
30.s120、接收云平台反馈的根据当前面部信息和/或当前语言信息确定的回复策略和表情展示策略。
31.其中，回复策略指的是机器人向目标用户回复语音信息的策略，也可以理解为机器人向目标用户发出的话术；表情展示策略指的是机器人向目标用户发送语音信息的同时所需要做出的表情。在实施例中，云平台根据机器人发送的目标用户的当前面部信息和/或当前语音信息确定目标用户的当前心情，并根据预先建立的当前心情与回复策略和表情展示策略之间的映射关系，确定所要采用的话术，以及所要做出的表情，并将所需要采用的话术，以及所需要做出的表情发送至机器人。
32.s130、按照回复策略进行语音答复，以及按照表情展示策略进行表情展示。
33.在实施例中，在机器人接收到云平台发送的回复策略和表情展示策略，机器人按照回复策略所对应的话术通过喇叭对语音进行播放，以及按照表情展示策略通过led编码方式展示对应的表情。
34.本实施例的技术方案，通过根据目标用户的当前面部信息和/或当前语音信息确定合适的回复策略和表情展示策略，并按照该回复策略对目标用户进行语音答复，以及按照表情展示策略进行表情展示，实现了目标用户与具有类似于真情实感的机器人之间的交流，从而提升了机器人的服务体验，以及提升了用户的使用体验。
35.在一实施例中，应用于机器人的数据交互方法，在按照回复策略进行语音答复，以及按照表情展示策略进行表情展示之后，还包括：采集目标用户针对于回复策略和表情展示策略的反应信息；将反应信息上报至云平台，以使云平台按照反应信息对用户反应神经网络模型进行重训练。在实施例中，反应信息指的是在机器人按照回复策略和表情展示策略进行答复之后，目标用户所作出的反应。其中，用户反应神经网络模型指的是可以根据用户的当前面部信息和当前语音信息确定用户的心情，并根据心情选择合适的话术和表情的模型。在实施例中，在机器人向目标用户按照回复策略进行语音答复，以及按照表情展示策略进行表情展示之后，机器人通过摄像头采集目标用户所做出的反应，并将该反应的相关信息上报至云平台，以使云平台按照反应信息对预先创建的用户反应神经网络模型进行重训练，从而可以提高用户反应神经网络模型的输出准确率。
36.在一实施例中，将获取到的目标用户的当前面部信息和/或语音信息发送至云平台，包括：通过图像采集装置获取目标用户的当前面部信息，并将当前面部信息发送至云平台；和/或，通过语音采集装置采集目标用户的当前语音信息，并将当前语音信息发送至云平台。其中，图像采集装置指的是可以对目标用户的图像进行采集的模块，示例性地，图像采集装置可以为摄像头；语音采集装置指的是可以对目标用户的语音信息进行采集的模块，示例性地，语音采集装置可以为麦克风。
37.在一实施例中，图2是本发明实施例提供的另一种数据交互方法的流程图，本发明实施例可适用于机器人采用不同态度进行智能迎宾的情况。本实施例应用于云平台。如图2所示，本实施例中的数据交互方法包括如下步骤：
38.s210、接收机器人发送的目标用户的当前面部信息和/或当前语音信息。
39.s220、根据当前面部信息和/或当前语音信息确定对应的回复策略和表情展示策略。
40.s230、将回复策略和表情展示策略反馈至机器人。
41.在实施例中，在云平台接收到机器人发送的目标用户的当前面部信息和/或当前语音信息，云平台将当前面部信息和/或当前语音信息输入至预先创建的用户反应神经网
络模型，以通过用户反应神经网络模型输出对应的回复策略和表情展示策略，并将回复策略和表情展示策略发送至机器人，以使机器人按照回复策略进行语音答复，以及按照表情展示策略做出对应的表情。
42.在一实施例中，应用于云平台的数据交互方法，在将回复策略和表情展示策略反馈至机器人之后，还包括：接收机器人发送的目标用户针对回复策略和表情展示策略的反应信息；按照反应信息对用户反应神经网络模型进行重训练。在实施例中，云平台将回复策略和表情展示策略反馈至机器人之后，机器人按照回复策略对应的话术语音答复目标用户，以及按照表情展示策略将对应的表情显示出来，并通过图像采集装置采集目标用户针对该话术和表情的反应，作为反应信息发送至云平台，以使云平台对用户反应神经网络模型进行重训练，实现了对模型的持续训练，提高了模型的准确率。
43.在一实施例中，应用于云平台的数据交互方法，在接收机器人发送的目标用户的当前面部信息和/或当前语音信息之前，还包括：接收目标用户所对应客户端发送的用户注册信息。其中，客户端指的是目标用户所使用智能终端中安装的应用程序。在实施例中，目标用户可以通过智能终端中的应用程序进行注册信息的填写，并通过客户端向云平台发送用户注册信息。其中，用户注册信息指的是目标用户通过客户端进行用户注册的信息。在实施例中，用户注册信息可以包括但不限于：用户基本信息、用户性格标签、用户心情特征等。示例性地，用户基本信息包括：用户姓名、用户年龄、用户人脸信息等；用户性格标签指的是用户性格的特点，比如，热情、温暖、内向、不苟言笑等；用户心情特征指的是用户的心情，比如，喜怒哀乐等。需要说明的是，由于机器人可以应用于不同的迎宾场景，比如，酒店、景区、商场等场所，相应的，不同的迎宾场景，所对应的客户端可以是相同的，也可以是不相同的。当然，为了提升用户的使用体验，不同的迎宾场景，客户端所对应的ui页面可以是不同的，可以根据迎宾场景配置不同的ui页面。
44.在一实施例中，根据当前面部信息和/或当前语音信息确定对应的回复策略和表情展示策略，包括：根据当前面部信息和/或当前语音信息确定对应的用户身份信息；通过预先创建的用户反应神经网络模型根据用户身份信息，以及当前面部信息和/或当前语音信息确定对应的回复策略和表情展示策略。
45.其中，用户身份信息可以理解为上述实施例中的用户注册信息。可以理解为，云平台根据当前面部信息和/或当前语音信息与预先存储的用户注册信息进行匹配，以确定目标用户的用户基本信息，并将当前面部信息和/或当前语音信息输入至用户反应神经网络模型，以通过用户反应神经网络模型根据当前面部信息和/或当前语音信息确定目标用户当前的心情标签，然后根据当前心情标签选择合适的话术和表情，并发送至机器人，以使机器人按照该话术和表情对目标用户进行答复，可以根据用户的不同心情选择不同的话术和表情，从而实现了用户与类似于具备真情实感的机器人之间的真实互动，从而提升了机器人的服务体验和用户的使用体验。
46.在此需要说明的是，应用于云平台的数据交互方法中，对当前面部信息、当前语音信息、回复策略、表情展示策略等相关参数的解释，见上述应用于机器人的数据交互方法的实施例中的相关描述，在此不再赘述。
47.在一实施例中，图3是本发明实施例提供的一种数据交互系统的结构框图，本发明实施例可适用于机器人采用不同态度进行智能迎宾的情况。如图3所示，本实施例中的数据
交互系统包括：客户端310、机器人320和云平台330；客户端310和机器人320均与云平台330建立通信连接；
48.客户端310用于将目标用户的用户注册信息发送至云平台330，以在云平台330进行信息注册；机器人320检测到用户触发指令，将获取到的目标用户的当前面部信息和/或当前语音信息发送至云平台330，以使云平台330根据当前面部信息和/或当前语言信息确定回复策略和表情展示策略，并通过机器人320按照回复策略进行语音答复，以及按照表情展示策略进行表情展示。
49.在实施例中，在机器人320检测到目标用户的触发指令时，获取目标用户的当前面部信息和/或当前语音信息，并将当前面部信息和/或当前语音信息发送至云平台330，云平台330将当前面部信息和/或当前语音信息发送至预先创建的用户反应神经网络模型中，以通过用户反应神经网络模型根据当前面部信息和/或当前语音信息确定回复策略和表情展示策略，并将回复策略和表情展示策略发送至机器人320，以使机器人320按照回复策略进行语音答复，以及按照表情展示策略进行表情展示，从而实现了用户与类似于具备真情实感的机器人之间的真实互动，从而提升了机器人的服务体验和用户的使用体验。
50.在一实施例中，图4是本发明实施例提供的又一种数据交互方法的流程图，本发明实施例可适用于机器人采用不同态度进行智能迎宾的情况。本实施例以用户的面部表情确定用户的心情，并选择合适的话术和表情为例，对机器人和云平台之间的交互过程进行说明。如图4所示，本实施例中的数据交互方法包括如下步骤：
51.s410、接收用户注册信息。
52.s420、上报用户的当前面部表情。
53.s430、根据当前面部表情识别用户身份信息和当前心情。
54.s440、通过用户反应神经网络模型对用户身份信息和当前心情进行分析。
55.s450、输出回复策略和表情展示策略。
56.s460、将回复策略和表情展示策略发送至机器人。
57.s470、按照回复策略进行语音答复，以及按照表情展示策略展示表情。
58.s480、对表情和语音答复做出反应。
59.s490、采集并上报用户的反应信息。
60.s4100、存储用户的反应信息，便于后续模型的持续训练。
61.在实施例中，首先，用户在云平台中注册个人信息，选择自身的性格表情和心情特征等。在用户与机器人之间交互的过程中，机器人可以通过摄像头识别用户的人脸信息和表情信息，以使云平台根据预先训练的用户反应神经网络模型选择合适的话术和表情。云平台调用所连接的机器人中的通信接口，或者，机器人主动向云平台拉取对应的表情图片或话术语音，并通过机器人显示表情和发出语音。可以理解为，机器人提供显示表情图片或输出语言的接口，或者，机器人具备主动从云平台中拉取表情图片或语言的功能模块，以展示表情或表达对应的文字语言。
62.在实施例中，在云平台获取到用户的人脸信息和表情信息，查询用户预先在云平台录入的性格标签和心情特征，并根据用户的表情识别用户当前的心情，输入至预先训练的用户反应神经网络模型中，得到合适的语言和表情。比如，在用户心情不好的情况下，则可以使用能让人开心的预定义表情，以及表达逗人开心的语言；在用户心情好的情况下，则
可以使用热情的预定义表情，以及热情的语言和用户打招呼。在实施例中，机器人可以通过pad显示代表表情的图片，或者，通过led编码的方式显示对应的表情；同样地，机器人可以通过语言模块进行相应语言的表达。
63.在一实施例中，图5是本发明实施例提供的一种数据交互装置的结构框图，本发明实施例可适用于机器人采用不同态度进行智能迎宾的情况。如图5所示，本实施例中的数据交互装置包括：发送模块510、接收模块520和回复模块530。
64.其中，发送模块510，用于响应于用户触发指令，将获取到的目标用户的当前面部信息和/或当前语音信息发送至云平台；
65.接收模块520，用于接收所述云平台反馈的根据所述当前面部信息和/或所述当前语言信息确定的回复策略和表情展示策略；
66.回复模块530，用于按照所述回复策略进行语音答复，以及按照所述表情展示策略进行表情展示。
67.在一实施例中，应用于机器人的数据交互装置，在所述按照所述回复策略进行语音答复，以及按照所述表情展示策略进行表情展示之后，还包括：
68.采集模块，用于采集所述目标用户针对于所述回复策略和所述表情展示策略的反应信息；
69.上报模块，用于将所述反应信息上报至云平台，以使所述云平台按照所述反应信息对用户反应神经网络模型进行重训练。
70.在一实施例中，发送模块510，具体用于：
71.通过图像采集装置获取目标用户的当前面部信息，并将所述当前面部信息发送至云平台；
72.和/或，通过语音采集装置采集目标用户的当前语音信息，并将所述当前语音信息发送至云平台。
73.上述数据交互装置可执行本发明任意实施例所提供的应用于机器人的数据交互方法，具备执行数据交互方法相应的功能模块和有益效果。
74.在一实施例中，图6是本发明实施例提供的另一种数据交互装置的结构框图，本发明实施例可适用于机器人采用不同态度进行智能迎宾的情况。本实施例应用于云平台。如图6所示，本实施例中的数据交互装置包括：第一接收模块610、确定模块620和反馈模块630。
75.其中，第一接收模块610，用于接收机器人发送的目标用户的当前面部信息和/或当前语音信息；
76.确定模块620，用于根据所述当前面部信息和/或当前语音信息确定对应的回复策略和表情展示策略；
77.反馈模块630，用于将所述回复策略和表情展示策略反馈至机器人。
78.在一实施例中，应用于云平台的数据交互装置，在所述将所述回复策略和表情展示策略反馈至机器人之后，还包括：
79.第二接收模块，用于接收机器人发送的目标用户针对所述回复策略和所述表情展示策略的反应信息；
80.重训练模块，用于按照所述反应信息对用户反应神经网络模型进行重训练。
81.在一实施例中，应用于云平台的数据交互装置，在所述接收机器人发送的目标用户的当前面部信息和/或当前语音信息之前，还包括：
82.第三接收模块，用于接收目标用户所对应客户端发送的用户注册信息。
83.在一实施例中，确定模块620，包括：
84.第一确定单元，用于根据所述当前面部信息和/或当前语音信息确定对应的用户身份信息；
85.第二确定单元，用于通过预先创建的用户反应神经网络模型根据所述用户身份信息，以及所述当前面部信息和/或当前语音信息确定对应的回复策略和表情展示策略。
86.在一实施例中，所述当前面部信息至少包括下述之一：当前表情、当前状态；
87.所述当前语音信息至少包括下述之一：当前语气；当前音量。
88.上述数据交互装置可执行本发明任意实施例所提供的应用于云平台的数据交互方法，具备执行数据交互方法相应的功能模块和有益效果。
89.在一实施例中，图7是本发明实施例提供的一种数据交互设备的硬件结构示意图。本发明实施例中的设备以机器人为例进行说明。如图7所示，本发明实施例提供的数据交互，包括：处理器710、存储器720、输入装置730和输出装置740。该数据交互设备中的处理器710可以是一个或多个，图7中以一个处理器710为例，数据交互设备中的处理器710、存储器720、输入装置730和输出装置740可以通过总线或其他方式连接，图7中以通过总线连接为例。
90.该数据交互设备中的存储器720作为一种计算机可读存储介质，可用于存储一个或多个程序，程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例或所提供数据交互方法对应的程序指令/模块(例如，图5所示的数据交互装置包括：发送模块510、接收模块520和回复模块530)。处理器710通过运行存储在存储器720中的软件程序、指令以及模块，从而执行云端服务器的各种功能应用以及数据处理，即实现上述方法实施例中数据交互方法。
91.存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器720可进一步包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
92.输入装置730可用于接收用户输入的数字或字符信息，以产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。
93.并且，在数据交互设备为机器人时，当上述数据交互设备所包括一个或者多个程序被一个或者多个处理器710执行时，程序进行如下操作：响应于用户触发指令，将获取到的目标用户的当前面部信息和/或当前语音信息发送至云平台；接收所述云平台反馈的根据所述当前面部信息和/或所述当前语言信息确定的回复策略和表情展示策略；按照所述回复策略进行语音答复，以及按照所述表情展示策略进行表情展示。
94.在数据交互设备为云平台时，当上述数据交互设备所包括一个或者多个程序被一个或者多个处理器710执行时，程序进行如下操作：接收机器人发送的目标用户的当前面部
信息和/或当前语音信息；根据所述当前面部信息和/或当前语音信息确定对应的回复策略和表情展示策略；将所述回复策略和表情展示策略反馈至机器人。
95.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的应用于机器人的数据交互方法，该方法包括：响应于用户触发指令，将获取到的目标用户的当前面部信息和/或当前语音信息发送至云平台；接收所述云平台反馈的根据所述当前面部信息和/或所述当前语言信息确定的回复策略和表情展示策略；按照所述回复策略进行语音答复，以及按照所述表情展示策略进行表情展示。
96.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的应用于云平台的数据交互方法，该方法包括：接收机器人发送的目标用户的当前面部信息和/或当前语音信息；根据所述当前面部信息和/或当前语音信息确定对应的回复策略和表情展示策略；将所述回复策略和表情展示策略反馈至机器人。
97.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read-only memory，rom)、可擦式可编程只读存储器(erasable programmable rom，eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
98.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
99.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
100.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
101.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，
本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。