结合RPA和AI的语音控制方法及装置与流程

结合rpa和ai的语音控制方法及装置
技术领域
1.本技术涉及机器人流程自动化(robotic process automation，rpa)、人工智能(artificial intelligence，ai)技术领域，尤其涉及一种结合rpa和ai的语音控制方法及装置。


背景技术：

2.机器人流程自动化(robotic process automation，rpa)是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。
3.人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。
4.rpa和ai技术具有自动化程度高、精确度高、成本低的优点。随着rpa机器人的广泛应用，越来越多的人力工作由rpa机器人进行接管，同时随着数字大屏融合的系统越来越多，在大屏上查找某些数据时，人工操作演示或者调取某些数据时速度很慢，因此如何方便快捷地实现对数字大屏的演示控制成为业界急需解决的技术问题。


技术实现要素：

5.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此，本技术的第一个目的在于提出一种结合rpa和ai的语音控制方法，可以方便快捷地实现对可视化数字大屏等待控制设备的演示控制。
7.本技术的第二个目的在于提出一种结合rpa和ai的语音控制方法。
8.本技术的第三个目的在于提出一种结合rpa和ai的语音控制装置。
9.本技术的第四个目的在于提出一种结合rpa和ai的语音控制装置。
10.本技术的第五个目的在于提出一种计算设备。
11.本技术的第六个目的在于提出一种计算机可读存储介质。
12.为达上述目的，本技术第一方面实施例提出了一种结合rpa和ai的语音控制方法，包括：获取控制语音；根据所述控制语音生成对应的控制指令；将所述控制指令发送至rpa机器人，以控制所述rpa机器人根据所述控制指令对待控制设备进行对应的操作。
13.本技术实施例提出的结合rpa和ai的语音控制方法，获取控制语音，根据控制语音生成对应的控制指令，将控制指令发送至rpa机器人，以控制rpa机器人根据控制指令对待控制设备进行对应的操作。本实施例中，通过将rpa机器人与语音调度机器人集成,通过语音即可控制可视化数字大屏等待控制设备，从而方便快捷地实现对可视化数字大屏等待控制设备的演示控制。
14.根据本技术的一个实施例，所述待控制设备为可视化数字屏幕。
15.根据本技术的一个实施例，所述语音控制方法还包括：接收所述rpa机器人发送的操作结果；根据所述操作结果生成操作结果语音；输出所述操作结果语音。
16.根据本技术的一个实施例，所述根据所述控制语音生成对应的控制指令，包括：基
于语音转文本asr将所述控制语音转换为对应的控制文本；根据所述控制文本生成对应的所述控制指令。
17.根据本技术的一个实施例，所述根据所述操作结果生成操作结果语音，包括：基于文本转语音tts将所述操作结果转换为对应的所述操作结果语音。
18.为达上述目的，本技术第二方面实施例提出了一种结合rpa和ai的语音控制方法，包括：接收语音调度机器人发送的控制指令，所述控制指令为所述语音调度机器人根据控制语音生成的；根据所述控制指令对待控制设备进行对应的操作。
19.本技术实施例提出的结合rpa和ai的语音控制方法，接收语音调度机器人发送的控制指令，控制指令为语音调度机器人根据控制语音生成的，根据控制指令对待控制设备进行对应的操作。本实施例中，通过将rpa机器人与语音调度机器人集成，通过语音即可控制可视化数字大屏等待控制设备，从而方便快捷地实现对可视化数字大屏等待控制设备的演示控制。
20.根据本技术的一个实施例，所述待控制设备为可视化数字屏幕。
21.根据本技术的一个实施例，所述语音控制方法还包括：将操作结果发送至所述语音调度机器人，以供所述语音调度机器人根据所述操作结果输出对应的操作结果语音。
22.为达上述目的，本技术第三方面实施例提出了一种结合rpa和ai的语音控制装置，包括：获取模块，用于获取控制语音；第一生成模块，用于根据所述控制语音生成对应的控制指令；第一发送模块，用于将所述控制指令发送至rpa机器人，以控制所述rpa机器人根据所述控制指令对待控制设备进行对应的操作。
23.本技术实施例提出的结合rpa和ai的语音控制装置，获取控制语音，根据控制语音生成对应的控制指令，将控制指令发送至rpa机器人，以控制rpa机器人根据控制指令对待控制设备进行对应的操作。本实施例中，通过将rpa机器人与语音调度机器人集成，通过语音即可控制可视化数字大屏等待控制设备，从而方便快捷地实现对可视化数字大屏等待控制设备的演示控制。
24.根据本技术的一个实施例，所述待控制设备为可视化数字屏幕。
25.根据本技术的一个实施例，所述语音控制装置还包括：第一接收模块，用于接收所述rpa机器人发送的操作结果；第二生成模块，用于根据所述操作结果生成操作结果语音；输出模块，用于输出所述操作结果语音。
26.根据本技术的一个实施例，所述第一生成模块包括：第一转换单元，用于基于语音转文本asr将所述控制语音转换为对应的控制文本；生成单元，用于根据所述控制文本生成对应的所述控制指令。
27.根据本技术的一个实施例，所述第二生成模块包括：第二转换单元，用于基于文本转语音tts将所述操作结果转换为对应的所述操作结果语音。
28.为达上述目的，本技术第四方面实施例提出了一种结合rpa和ai的语音控制装置，包括：第二接收模块，用于接收语音调度机器人发送的控制指令，所述控制指令为所述语音调度机器人根据控制语音生成的；操作模块，用于根据所述控制指令对待控制设备进行对应的操作。
29.本技术实施例提出的结合rpa和ai的语音控制装置，接收语音调度机器人发送的控制指令，控制指令为语音调度机器人根据控制语音生成的，根据控制指令对待控制设备
进行对应的操作。本实施例中，通过将rpa机器人与语音调度机器人集成，通过语音即可控制可视化数字大屏等待控制设备，从而方便快捷地实现对可视化数字大屏等待控制设备的演示控制。
30.根据本技术的一个实施例，所述待控制设备为可视化数字屏幕。
31.根据本技术的一个实施例，所述语音控制装置还包括：第二发送模块，用于将操作结果发送至所述语音调度机器人，以供所述语音调度机器人根据所述操作结果输出对应的操作结果语音。
32.为达上述目的，本技术第五方面实施例提出了一种计算设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如本技术第一方面实施例所述的结合rpa和ai的语音控制方法，或者执行如本技术第二方面实施例所述的结合rpa和ai的语音控制方法。
33.为达上述目的，本技术第六方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术第一方面实施例所述的结合rpa和ai的语音控制方法，或者实现如本技术第二方面实施例所述的结合rpa和ai的语音控制方法。
附图说明
34.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中多需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些是实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是本技术实施例提供的一种结合rpa和ai的语音控制方法的流程图；
36.图2是本技术实施例提供的另一种结合rpa和ai的语音控制方法的流程图；
37.图3是本技术实施例提供的另一种结合rpa和ai的语音控制方法的流程图；
38.图4是本技术实施例提供的另一种结合rpa和ai的语音控制方法的流程图；
39.图5是本技术实施例提供的另一种结合rpa和ai的语音控制方法的流程图；
40.图6是本技术实施例提供的一种结合rpa和ai的语音控制方法的原理图；
41.图7是本技术实施例提供的一种结合rpa和ai的语音控制方法的整体流程图；
42.图8是本技术实施例提供的一种结合rpa和ai的语音控制方法的整体流程图对应的信令交互图；
43.图9是本技术实施例提供的一种结合rpa和ai的语音控制装置的框图；
44.图10是本技术实施例提供的另一种结合rpa和ai的语音控制装置的框图。
具体实施方式
45.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
46.下面结合附图来描述本技术实施例的结合rpa和ai的语音控制方法及装置。
47.图1是根据本技术一个实施例的结合rpa和ai的语音控制方法的流程图，如图1所
示，该结合rpa和ai的语音控制方法包括以下步骤：
48.s101，获取控制语音。
49.本技术实施例的语音控制方法具体可应用于本技术实施例提供的语音控制装置中，该语音控制装置设置在语音调度机器人中。语音调度机器人能通过可视化界面，无代码地搭建、训练、评测、发布机器人，实现多轮对话和个性化问答，并可以根据会话日志持续优化机器人效果。搭建好的机器人可以被集成到h5(hyper text markup language 5，超文本5.0)页面、小程序、app(application，手机应用软件)、im(instantmessaging，即时通讯)平台和iot(internet of things，物联网)设备中，提供7*24小时的稳定服务，并通过文本、语音等多模态的形式产生更友好的交互体验。
50.本技术实施例中，语音调度机器人获取控制语音，控制语音具体可包括但不限于用户(例如讲解员)通过麦克风说出的想查看的系统名字或一些关键字组成的语音流等。
51.s102，根据控制语音生成对应的控制指令。
52.本技术实施例中，语音调度机器人将步骤s101中获取的控制语音，基于自然语言处理(natural language processing，nlp)生成对应的控制指令。
53.s103，将控制指令发送至rpa机器人，以控制rpa机器人根据控制指令对待控制设备进行对应的操作。
54.本技术实施例中，语音调度机器人将控制指令发送至对应的rpa机器人，rpa机器人接收到控制指令后，根据控制指令对待控制设备进行对应的操作，例如进行在大屏上点击按钮或查找数据等操作。其中，待控制设备具体可包括但不限于可视化数字屏幕，例如可视化数字大屏等。
55.本技术实施例提出的结合rpa和ai的语音控制方法，语音调度机器人获取控制语音，根据控制语音生成对应的控制指令，将控制指令发送至rpa机器人，以控制rpa机器人根据控制指令对待控制设备进行对应的操作。本实施例中，通过将rpa机器人与语音调度机器人集成，通过语音即可控制可视化数字大屏等待控制设备，从而方便快捷地实现对可视化数字大屏等待控制设备的演示控制。
56.图2是本技术实施例提供的另一种结合rpa和ai的语音控制方法的流程图。如图2所示，在图1所示实施例的基础上，本实施例提出的语音控制方法，具体包括以下步骤：
57.s201，获取控制语音。
58.s202，根据控制语音生成对应的控制指令。
59.s203，将控制指令发送至rpa机器人，以控制rpa机器人根据控制指令对待控制设备进行对应的操作。
60.本技术实施例中，步骤s201
‑
s203与上述实施例中的步骤s101
‑
s103相同，此处不再赘述。
61.s204，接收rpa机器人发送的操作结果。
62.本技术实施例中，语音调度机器人接收rpa机器人操作完成后回传的操作结果。
63.s205，根据操作结果生成操作结果语音。
64.本技术实施例中，语音调度机器人可以基于文本转语音(text to speech，tts)将步骤s204中接收到的操作结果转换为对应的操作结果语音。
65.s206，输出操作结果语音。
66.本技术实施例中，语音调度机器人可以通过扬声器等声音输出设备输出步骤s205中生成的操作结果语音。
67.本技术实施例提出的结合rpa和ai的语音控制方法，语音调度机器人获取控制语音，根据控制语音生成对应的控制指令，将控制指令发送至rpa机器人，以控制rpa机器人根据控制指令对待控制设备进行对应的操作，根据rpa机器人发送的操作结果，基于文本转语音tts生成并输出操作结果语音。本实施例中，通过将rpa机器人与语音调度机器人集成，通过语音即可控制可视化数字大屏等待控制设备，从而方便快捷的实现对可视化数字大屏等待控制设备的演示控制，语音调度机器人中集成了文本转语音tts功能，可以支持本地部署，不依赖互联网，适应不同的业务场景。
68.图3是本技术实施例提供的另一种结合rpa和ai的语音控制方法的流程图。如图3所示，在上述图1所示实施例的基础上，步骤s102具体可包括：
69.s301，基于语音转文本asr将控制语音转换为对应的控制文本。
70.本技术实施例中，语音调度机器人可以基于语音转文本(automatic speech recognition，asr)将控制语音转换为对应的控制文本，例如asr把讲解员说出的语音实时转换为文字。
71.s302，根据控制文本生成对应的控制指令。
72.本技术实施例中，asr可以通过采用发布/订阅消息模式的即时通讯协议mqtt(message queuing telemetry transport，消息队列遥测传输)将控制文本传送给语音调度机器人，语音调度机器人接收到控制文本后，把控制文本转换成任务对话，基于自然语言处理nlp生成对应的控制指令。
73.本技术实施例提出的结合rpa和ai的语音控制方法，获取控制语音，基于语音转文本asr将控制语音转换为对应的控制文本，根据控制文本生成对应的控制指令，将控制指令发送至rpa机器人，以控制rpa机器人根据控制指令对待控制设备进行对应的操作。本实施例中，通过将rpa机器人与语音调度机器人集成，通过语音即可控制可视化数字大屏等待控制设备，从而方便快捷地实现对可视化数字大屏等待控制设备的演示控制，语音调度机器人中集成了文本转语音tts功能，可以支持本地部署，不依赖互联网，适应不同的业务场景。
74.图4是本技术实施例提供的另一种结合rpa和ai的语音控制方法的流程图，如图4所示，该结合rpa和ai的语音控制方法包括以下步骤：
75.s401，接收语音调度机器人发送的控制指令，控制指令为语音调度机器人根据控制语音生成的。
76.本技术实施例的语音控制方法具体可应用于本技术实施例提供的语音控制装置中，该语音控制设置在rpa机器人中。rpa机器人可通过用户使用界面，智能理解企业已有应用，将基于规则的常规操作自动化，自动重复读取邮件、读取office组件、操作数据库及网页和客户端软件等，采集数据，进行繁琐的计算，大批量生成文件和报告，完成枯燥的文件检查等工作。
77.s402，根据控制指令对待控制设备进行对应的操作。
78.其中，待控制设备具体可包括但不限于可视化数字屏幕，例如可视化数字大屏等。
79.关于上述步骤s401～s402的具体说明，可参见上述实施例中的相关内容，此处不再赘述。
80.本技术实施例提出的结合rpa和ai的语音控制方法，rpa机器人接收语音调度机器人发送的控制指令，控制指令为语音调度机器人根据控制语音生成的，根据控制指令对待控制设备进行对应的操作。本实施例中，通过将rpa机器人与语音调度机器人集成，通过语音即可控制可视化数字大屏等待控制设备，从而方便快捷地实现对可视化数字大屏等待控制设备的演示控制。
81.图5是本技术实施例提供的另一种结合rpa和ai的语音控制方法的流程图，如图5所示，在图4所示实施例的基础上，本实施例提出的语音控制方法，具体包括以下步骤：
82.s501，接收语音调度机器人发送的控制指令，控制指令为语音调度机器人根据控制语音生成的。
83.s502，根据控制指令对待控制设备进行对应的操作。
84.s503，将操作结果发送至语音调度机器人，以供语音调度机器人根据操作结果输出对应的操作结果语音。
85.关于上述步骤s501
‑
s503的具体说明，可参见上述实施例中的相关内容，此处不再赘述。
86.本技术实施例提出的结合rpa和ai的语音控制方法，rpa机器人接收语音调度机器人发送的控制指令，控制指令为语音调度机器人根据控制语音生成的，根据控制指令对待控制设备进行对应的操作，将操作结果发送至语音调度机器人，以供语音调度机器人根据操作结果输出对应的操作结果语音。本实施例中，通过将rpa机器人与语音调度机器人集成，通过语音即可控制可视化数字大屏等待控制设备，从而方便快捷地实现对可视化数字大屏等待控制设备的演示控制。
87.为清楚说明本技术实施例的语音控制方法，下面结合图6
‑
图7来进行详细描述。
88.图6是根据本技术实施例提供的一种语音控制方法的原理图。如图6所示，讲解员对着麦克风说出想查看的系统名字或一些关键字，语音转文本asr将接收到的控制语音转换为对应的控制文本并传给语音调度机器人，语音调度机器人基于自然语言处理nlp生成对应的控制指令，并发送给对应的rpa机器人，rpa机器人执行控制指令后，将操作结果发送至语音调度机器人，语音调度机器人根据操作结果基于文本转语音tts输出对应的操作结果语音，再由扬声器播放。
89.图7是根据本技术实施例提供的一种语音控制方法的整体流程图，如图7所示，包括以下步骤：
90.s701，获取控制语音。
91.s702，语音调度机器人基于语音转文本asr将控制语音转换为对应的控制文本。
92.s703，语音调度机器人根据控制文本基于自然语言处理nlp生成对应的控制指令。
93.s704，语音调度机器人将控制指令发送至rpa机器人。
94.s705，rpa机器人根据控制指令对待控制设备进行对应的操作并生成操作结果。
95.s706，rpa机器人将操作结果发送至语音调度机器人。
96.s707，语音调度机器人基于文本转语音tts将操作结果转换为对应的操作结果语音。
97.s708，语音调度机器人输出操作结果语音。
98.本技术实施例描述了一种语音控制方法的整体流程，对应的信令交互图如图8所
示。
99.为了实现上述实施例，本技术实施例还提出了一种结合rpa和ai的语音控制装置。如图9所示，本技术实施例提出的语音控制装置900可包括：获取模块901、第一生成模块902和第一发送模块903，其中：
100.获取模块901，用于获取控制语音。
101.第一生成模块902，用于根据控制语音生成对应的控制指令。
102.第一发送模块903，用于将控制指令发送至rpa机器人，以控制rpa机器人根据控制指令对待控制设备进行对应的操作。
103.进一步的，在本技术实施例一种可能的实现方式中，待控制设备为可视化数字屏幕。
104.进一步的，在本技术实施例一种可能的实现方式中，语音控制装置900还包括：第一接收模块，用于接收rpa机器人发送的操作结果；第二生成模块，用于根据操作结果生成操作结果语音；输出模块，用于输出操作结果语音。
105.进一步的，在本技术实施例一种可能的实现方式中，第一生成模块902包括：第一转换单元，用于基于语音转文本asr将控制语音转换为对应的控制文本；生成单元，用于根据控制文本生成对应的控制指令。
106.进一步的，在本技术实施例一种可能的实现方式中，第二生成模块包括：第二转换单元，用于基于文本转语音tts将操作结果转换为对应的操作结果语音。
107.需要说明的是，前述对结合rpa和ai的语音控制方法实施例的解释说明也适用于该实施例的结合rpa和ai的语音控制装置，此处不再赘述。
108.本技术实施例提出的结合rpa和ai的语音控制装置，语音调度机器人获取控制语音，根据控制语音生成对应的控制指令，将控制指令发送至rpa机器人，以控制rpa机器人根据控制指令对待控制设备进行对应的操作。本实施例中，通过将rpa机器人与语音调度机器人集成，通过语音即可控制可视化数字大屏等待控制设备，从而方便快捷地实现对可视化数字大屏等待控制设备的演示控制。
109.为了实现上述实施例，本技术实施例还提出了一种结合rpa和ai的语音控制装置。如图10所示，本技术实施例提出的语音控制装置1000可包括：第二接收模块1001和操作模块1002，其中：
110.第二接收模块1001，用于接收语音调度机器人发送的控制指令，控制指令为语音调度机器人根据控制语音生成的。
111.操作模块1002，用于根据控制指令对待控制设备进行对应的操作。
112.进一步的，在本技术实施例一种可能的实现方式中，待控制设备为可视化数字屏幕。
113.进一步的，在本技术实施例一种可能的实现方式中，语音控制装置1000还包括：第二发送模块，用于将操作结果发送至语音调度机器人，以供语音调度机器人根据操作结果输出对应的操作结果语音。
114.需要说明的是，前述对结合rpa和ai的语音控制方法实施例的解释说明也适用于该实施例的结合rpa和ai的语音控制装置，此处不再赘述。
115.本技术实施例提出的结合rpa和ai的语音控制方法，rpa机器人接收语音调度机器
人发送的控制指令，控制指令为语音调度机器人根据控制语音生成的，根据控制指令对待控制设备进行对应的操作。本实施例中，通过将rpa机器人与语音调度机器人集成，通过语音即可控制可视化数字大屏等待控制设备，从而方便快捷地实现对可视化数字大屏等待控制设备的演示控制。
116.在本技术的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
117.在本技术所提供的实施例中，应理解，“与a相应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。
118.另外，在本技术各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
119.上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本技术的各个实施例上述方法的部分或全部步骤。
120.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read
‑
only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read
‑
only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one
‑
time programmable read
‑
only memory，otprom)、电子抹除式可复写只读存储器(electrically
‑
erasable programmable read
‑
only memory，eeprom)、只读光盘(compact disc read
‑
only memory，cd
‑
rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
121.以上对本技术实施例公开的一种结合rpa和ai的语音控制方法及装置进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。