一种基于多轮对话的人机交互控制系统及方法与流程

1.本发明涉及人机交互领域，尤其涉及一种基于多轮对话的人机交互控制系统及方法。


背景技术：

2.人机交互系统是伴着计算机的诞生就发展起来的，在现代和未来的社会里，只要有人利用通信、计算机等信息处理技术，为社会、经济、环境和资源进行活动时，人机交互都是永恒的主题，鉴于它对科技发展的重要性，研究如何实现自然、便利和无所不在的人机交互，成是现代信息技术，人工智能技术研究的至高目标，也是数学、信息科学、智能科学、神经科学，以及生理、心理科学多科学交叉的新结合点，并将引导着二十一世纪前期信息和计算机研究的热门方向。
3.人机交互技术通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术，人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等，人机交互技术是计算机用户界面设计中的重要内容之一。
4.与传统用户界面相比，引入了视频和音频之后的多媒体用户界面，最重要的变化就是界面不再是一个静态界面，而是一个与时间有关的时变媒体界面，人类使用语言和其它时变媒体的方式完全不同于其它媒体，从向用户呈现的信息来讲，时变媒体主要是顺序呈现的，而我们通常熟悉的视觉媒体通常是同时呈现的，在传统的静止界面中，用户或是从一系列选项中进行选择，或是用可再认的方式进行交互，在时变媒体的用户界面中，所有选项和文件必须顺序呈现，由于媒体带宽和人的注意力的限制,在时变媒体中，用户不仅要控制呈现信息的内容，也必须控制何时呈现和如何呈现，但是，终端反馈给用户的答案通常是客观答案，用户在交互过程中不仅需要进行控制，而且还需要对交互设备进行维护，但是现有的技术中的人机交互无法满足使用需求，影响了用户体验。


技术实现要素：

5.本发明所要解决的技术问题在于，提供一种基于多轮对话的人机交互控制系统及方法，以解决上述背景技术中提出的现有的人机交互对设备的控制和维护的效果不佳的问题。
6.为解决所述技术问题，本发明所采用的技术方案在于：作为本发明的一方面，提供一种基于多轮对话的人机交互控制系统，其包括集成于人机交互设备中的控制组件和维护单元，所述控制组件和维护单元电性连接，所述控制组件包括与控制中心单元电性连接的感应单元、身份识别单元、数据采集单元、数据分析单元、领域知识库以及执行单元，其中：
7.所述感应单元，其由红外感应器组成，用于对感应范围内的物体进行检测；
8.所述身份识别单元，用于在所述感应单元感应到有人体靠近时，对所述人体进行身份识别，其集成有人脸识别、指纹识别、ic卡识别、语音指令识别和密码识别功能；
9.所述数据采集单元，用于在身份识别单元验证通过后，进行数据采集，所述数据包括图像数据与音频数据；
10.所述数据分析单元，用于将数据采集模组采集的信息会通过数据分析模块进行分类，数据分析模块将据采集模组采集的信息分为音频数据信息和图像数据信息，然后将分类后的信息发送给控制中心单元；
11.所述领域知识库内部储存有知识库音频数据和知识库图像数据；
12.所述控制中心单元，用于将接收到的图像数据与所述领域知识库中的图像数据进行对比分析，获得相匹配的知识库图像数据，以判定接收到的图像数据所表达的含义；以及用于将接收到的音频数据与领域知识库中的音频数据进行对比分析，获得相匹配的知识库音频数据，以判定接收到的音频数据所表达的含义；
13.执行单元，用于执行所述控制中心单元获得的数据的含义所对应的执行操作；
14.所述维护单元包括信息接收单元、信息判定单元、维护单元和维护执行单元，所述信息接收单元、信息判定单元、维护单元均与维护执行单元电性连接。
15.优选地，在所述控制中心单元进一步包括：含义判断单元，用于判断所述控制中心单元获得的含义是否合理，若不合理，则不进行执行操作，若合理，则通过执行单元控制交互设备进行执行；并对执行后获得的数据进行分析，以确定是否结束交互流程。
16.优选地，所述数据分析单元为中频分析模块，所述中频分析模块包括依次连接的锁相主电路和zynq芯片，其中，所述锁相主电路利用外部输入的参考信号控制环路内部振荡信号的频率和相位，以实现输出信号频率对输入信号频率的自动跟踪；所述zynq芯片对数据信息进行处理以实现数据分析。
17.优选地，所述锁相主电路通过第一变频通道和第二变频通道的输入端连接至信号输入电路，所述第一变频通道和第二变频通的输出端连接至信号输出电路。
18.优选地，在所述维护单元中：
19.所述信息接收单元，用于在完成身份识别后，接收使用者通过人机交互设备所发送的指令；
20.所述信息判定单元，用于对所述信息接收单元所接收的指令进行读取、分析和分类，将所述指令分类为动作指令和语音指令；
21.所述维护单元，用于将信息判断单元所分析出动作指令和语音指令，与其内存储的维护指令进行对应比，选取重合度最高的维护指令；
22.所述维护执行单元，根据维护单元所确定的维护指令进行对应的维护操作，并在维护完成后，接收到系统自检合格的信息后，结束本次维护操作。
23.优选地，所述维护单元进一步包括：
24.维护异常处理单元，用于在系统自检未通过时判定维护异常，进行异常提示，并提示使用者重新发送指令；在出现异常达到预定阈值时，则提示人工对设备进行检查。
25.优选地，进一步包括有音频输出单元，所述人机交互设备的界面和音频输出单元输出文件时，监控文件输出进度，当输出进度到达预设的选择节点时，通过人机交互设备的界面和音频输出单元输出当前选择节点对应的互动文件。
26.作为本发明的另一方面，还提供一种基于多轮对话的人机交互控制方法，其在前述的控制系统中实现，所述方法包括：
27.步骤s10、所述感应单元对感应器范围内的物体进行检测，当感应到有人靠近时，进行身份识别；
28.步骤s11、在身份识别单元验证通过后，进行数据采集，所述数据包括图像数据与音频数据；
29.步骤s12、将数据采集模组采集的信息会通过数据分析模块进行分类，数据分析模块将据采集模组采集的信息分为音频数据信息和图像数据信息，然后将分类后的信息发送给控制中心单元；
30.步骤s13、所述控制中心单元将接收到的图像数据与所述领域知识库中预存的图像数据进行对比分析，获得相匹配的知识库图像数据，以判定接收到的图像数据所表达的含义；以将接收到的音频数据与领域知识库中预存的音频数据进行对比分析，获得相匹配的知识库音频数据，以判定接收到的音频数据所表达的含义；
31.步骤s14、执行单元所述控制中心单元获得的数据的含义所对应的执行操作。
32.优选地，所述方法进一步包括：
33.判断所述控制中心单元获得的含义是否合理，若不合理，则不进行执行操作，若合理，则通过执行单元控制交互设备进行执行；并对执行后获得的数据进行分析，以确定是否结束交互流程。
34.优选地，所述方法进一步包括：
35.在完成身份识别后，接收使用者通过人机交互设备所发送的指令；
36.对所述信息接收单元所接收的指令进行读取、分析和分类，将所述指令分类为动作指令和语音指令；
37.将所分析出动作指令和语音指令，与其内存储的维护指令进行对应比，选取重合度最高的维护指令；
38.根据所确定的维护指令进行对应的维护操作，并在维护完成后，接收到系统自检合格的信息后，结束本次维护操作；在系统自检未通过时判定维护异常，进行异常提示，并提示使用者重新发送指令；在出现异常达到预定阈值时，则提示人工对设备进行检查。
39.实施本发明，具有如下的有益效果：
40.本发明提供一种基于多轮对话的人机交互控制系统及方法，通过感应单元可以对范围内部的物体进行感应和判断，从而提高了设备的智能化程度，而且通过身份识别系统可以对使用者进行身份验证，通过信息接收单元可以对用户的图像指令或语音指令进行接收，并通过信息分析单元可以对接收的指令与领域知识库进行匹配，获得准确的指令含义，并执行对应的功能，可以使得系统的操作难度降低，适用于在各个年龄段的人群中推行使用。同时，通过维护单元中的信息接收单元可以更迅速更及时的刷新指令，并向设备的各个部件发送，从而使得指令可以共享，通过领域知识库不仅提高了文件的存储量，而且方便用户找到合适的文件，有利于推广和使用；提高了人机交互的方便程度，以及对机器设备的维护的方便程度。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
42.图1为本发明提供的一种基于多轮对话的人机交互控制系统的一个实施例的结构示意图；
43.图2为图1中控制组件的结构示意图；
44.图3为图2中控制中心单元的结构示意图；
45.图4为图1中维护单元的结构示意图；
46.图5为本发明提供的一种基于多轮对话的人机交互控制方法的一个实施例的主流程示意图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
48.在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
49.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
50.如图1所示，示出了本发明提供的一种基于多轮对话的人机交互控制系统的一个实施例的结构示意图。在本实施例中，所述基于多轮对话的人机交互控制系统1，其包括集成于人机交互设备中的控制组件10和维护单元11，所述控制组件10和维护单元11电性连接，所述控制组件10包括与控制中心单元104电性连接的感应单元100、身份识别单元101、数据采集单元102、数据分析单元103、领域知识库105以及执行单元106，其中：
51.所述感应单元100，其由红外感应器组成，用于对感应范围内的物体进行检测；
52.所述身份识别单元101，用于在所述感应单元感应到有人体靠近时，对所述人体进行身份识别，其集成有人脸识别、指纹识别、ic卡识别、语音指令识别和密码识别功能；
53.所述数据采集单元102，用于在身份识别单元验证通过后，进行数据采集，所述数据包括图像数据与音频数据；
54.所述数据分析单元103，用于将数据采集模组采集的信息会通过数据分析模块进行分类，数据分析模块将据采集模组采集的信息分为音频数据信息和图像数据信息，然后将分类后的信息发送给控制中心单元；
55.所述领域知识库105内部储存有知识库音频数据和知识库图像数据；更具体地，领域知识库为可拓展存盘，工作人员可将数据实时传输到存盘内部，从而提升领域知识库的存量；
56.所述控制中心单元104，用于将接收到的图像数据与所述领域知识库中的图像数据进行对比分析，获得相匹配的知识库图像数据，以判定接收到的图像数据所表达的含义；以及用于将接收到的音频数据与领域知识库中的音频数据进行对比分析，获得相匹配的知识库音频数据，以判定接收到的音频数据所表达的含义；
57.执行单元406，用于执行所述控制中心单元获得的数据的含义所对应的执行操作；
58.所述维护单元11包括信息接收单元110、信息判定单元111、维护单元112、维护执行单元113以及维护异常处理单元114，所述信息接收单元、信息判定单元、维护单元均与维护执行单元电性连接。
59.在一个具体的例子中，所述系统进一步包括有音频输出单元12，所述人机交互设备的界面和音频输出单元输出文件时，监控文件输出进度，当输出进度到达预设的选择节点时，通过人机交互设备的界面和音频输出单元输出当前选择节点对应的互动文件。
60.更进一步的，在所述控制中心单元104进一步包括：含义判断单元107，用于判断所述控制中心单元获得的含义是否合理，若不合理，则不进行执行操作，若合理，则通过执行单元控制交互设备进行执行；并对执行后获得的数据进行分析，以确定是否结束交互流程。
61.在一个具体的例子中，所述数据分析单元103为中频分析模块，所述中频分析模块包括依次连接的锁相主电路和zynq芯片，其中，所述锁相主电路利用外部输入的参考信号控制环路内部振荡信号的频率和相位，以实现输出信号频率对输入信号频率的自动跟踪；所述zynq芯片对数据信息进行处理以实现数据分析。
62.其中，所述锁相主电路通过第一变频通道和第二变频通道的输入端连接至信号输入电路，所述第一变频通道和第二变频通的输出端连接至信号输出电路。
63.在一个具体的例子中，在所述维护单元11中：
64.所述信息接收单元110，用于在完成身份识别后，接收使用者通过人机交互设备所发送的指令；
65.所述信息判定单元111，用于对所述信息接收单元所接收的指令进行读取、分析和分类，将所述指令分类为动作指令和语音指令；
66.所述维护单元112，用于将信息判断单元所分析出动作指令和语音指令，与其内存储的维护指令进行对应比，选取重合度最高的维护指令；
67.所述维护执行单元113，根据维护单元所确定的维护指令进行对应的维护操作，并在维护完成后，接收到系统自检合格的信息后，结束本次维护操作。
68.所述维护异常处理单元114，用于在系统自检未通过时判定维护异常，进行异常提示，并提示使用者重新发送指令；在出现异常达到预定阈值时，则提示人工对设备进行检查。
69.如图5所示，示出了本发明提供的一种基于多轮对话的人机交互控制方法，其在前述图1至图4描述的控制系统中实现，在本实施例中，所述方法包括：
70.步骤s10、所述感应单元对感应器范围内的物体进行检测，当感应到有人靠近时，进行身份识别；具体地，当红外线感应器感应到有人靠近交互设备时，人机交互设备的身份识别系统进行启动，此时身份识别通过人脸识别、指纹识别、ic卡识别、语音指令识别和密码识别等多种方式进行身份验证；
71.步骤s11、在身份识别单元验证通过后，进行数据采集，所述数据包括图像数据与
音频数据；具体地，验证符合后，使用者可以对人机交互设备进行使用，此时通过数据采集单元可以接收用户发出的指令数据；
72.步骤s12、将数据采集模组采集的信息会通过数据分析模块进行分类，数据分析模块将据采集模组采集的信息分为音频数据信息和图像数据信息，然后将分类后的信息发送给控制中心单元；
73.步骤s13、所述控制中心单元将接收到的图像数据与所述领域知识库中预存的图像数据进行对比分析，获得相匹配的知识库图像数据，以判定接收到的图像数据所表达的含义；以将接收到的音频数据与领域知识库中预存的音频数据进行对比分析，获得相匹配的知识库音频数据，以判定接收到的音频数据所表达的含义；
74.步骤s14、执行单元所述控制中心单元获得的数据的含义所对应的执行操作。
75.更具体地，所述方法进一步包括：
76.判断所述控制中心单元获得的含义是否合理，若不合理，则不进行执行操作，若合理，则通过执行单元控制交互设备进行执行；并对执行后获得的数据进行分析，以确定是否结束交互流程。
77.更具体地，所述方法进一步包括自动维护的过程，包括如下的步骤：
78.在完成身份识别后，接收使用者通过人机交互设备所发送的指令；
79.对所述信息接收单元所接收的指令进行读取、分析和分类，将所述指令分类为动作指令和语音指令；
80.将所分析出动作指令和语音指令，与其内存储的维护指令进行对应比，选取重合度最高的维护指令；
81.根据所确定的维护指令进行对应的维护操作，并在维护完成后，接收到系统自检合格的信息后，结束本次维护操作；在系统自检未通过时判定维护异常，进行异常提示，并提示使用者重新发送指令；在出现异常达到预定阈值时，则提示人工对设备进行检查。
82.实施本发明，具有如下的有益效果：
83.本发明提供一种基于多轮对话的人机交互控制系统及方法，通过感应单元可以对范围内部的物体进行感应和判断，从而提高了设备的智能化程度，而且通过身份识别系统可以对使用者进行身份验证，通过信息接收单元可以对用户的图像指令或语音指令进行接收，并通过信息分析单元可以对接收的指令与领域知识库进行匹配，获得准确的指令含义，并执行对应的功能，可以使得系统的操作难度降低，适用于在各个年龄段的人群中推行使用。同时，通过维护单元中的信息接收单元可以更迅速更及时的刷新指令，并向设备的各个部件发送，从而使得指令可以共享，通过领域知识库不仅提高了文件的存储量，而且方便用户找到合适的文件，有利于推广和使用；提高了人机交互的方便程度，以及对机器设备的维护的方便程度。
84.以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。