一种基于数据驱动的RPA流程自动化构建方法和系统与流程

一种基于数据驱动的rpa流程自动化构建方法和系统
技术领域
1.本技术涉及计算机领域，特别是涉及一种基于数据驱动的rpa流程自动化构建方法和系统。


背景技术：

2.机器人流程自动化(robotic process automation，简称rpa)系统是一种应用程序，它通过模仿最终用户在电脑的手动操作方式，提供了另一种方式来使最终用户手动操作流程自动化。rpa可迅速实现业务提效，将重复性劳动进行自动化处理，高效低门槛连接不同业务系统，让财务、税务、金融、人力资源、信息技术、保险、客服、运营商、制造等行业在业务流程上实现自动化智能升级。
3.在相关技术中，面对多样化的业务场景需求时，需提供各种的数据对接、数据清洗、数据转换、数据筛选、数据分发、数据报表等环节功能，但由于数据源、数据处理流程、数据筛选策略的不同，会导致重复开发工作，并且处理逻辑混乱。
4.目前针对相关技术中，在处理数据智能业务时，由于数据繁多、处理复杂而导致的开发成本高、效率低的问题，尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种网络用户角色识别的方法、系统、电子装置和存储介质，以至少解决相关技术中通过网络日志的数据对用户角色进行分析，准确度较低的问题。
6.第一方面，本技术实施例提供了一种基于数据驱动的rpa流程自动化构建的方法，应用到rpa数据智能业务系统中，所述方法包括：
7.将数据源接入并转存到系统内部后，对所述数据源进行数据校验和转换处理，其中，所述数据源包括数据库数据、文本数据和api接口数据；
8.对所述数据源进行数据筛选、数据合并、数据拆分和数据类别汇总，其中，所述数据合并是基于自定义规则将接入的多种数据源进行合并拼接处理；
9.将所述经过处理的数据源按照自定义逻辑策略分发到各类机器人功能节点上，通过所述各类机器人的功能节点完成驱动执行，其中，所述机器人的功能节点包括数据流转器、任务触发器和任务执行器。
10.在其中一些实施例中，所述通过所述各类机器人的功能节点完成驱动执行包括：
11.通过所述数据流转器将分发到的数据转换为当前功能节点的内在数据，并将所述内在数据发送到所述任务触发器；
12.通过所述任务触发器触发所述机器人的功能节点，调用唤醒执行，并通过所述任务执行器完成所述机器人的对应功能执行。
13.在其中一些实施例中，所述对所述数据源进行数据校验和转换处理包括：
14.对所述数据源的字段schema进行定义，并对所述数据源的接入路径配置进行处理，其中，所述字段schema包括字段名称、字段类型和是否可空，所述接入路径配置包括ip
地址、数据路径和账号密码；
15.获取所述数据源并转存，将各类异构数据转化为系统内部数据格式；
16.对所述数据源进行数据转换处理，所述数据转换处理包括数据格式转换和数据向量化处理。
17.在其中一些实施例中，所述对所述数据源进行数据转换处理还包括：
18.按照数据类型对所述数据源进行数据转换处理，其中，所述数据类型包括音频数据、文本数据和图片数据；
19.对所述音频数据的转换还需要进行音频asr识别处理、音频压缩转码，对所述文本数据的转换还需要进行文本分词、词性标注、文本向量化、文本转音频。
20.在其中一些实施例中，在对所述数据源进行数据合并之前，所述方法包括：
21.对所述数据源定义主键，所述主键用于对所述数据源进行合并对齐处理；
22.在所述数据源有相同主键的情况下，所述数据源可以进行合并；
23.在所述数据源没有相同主键的情况下，在第一数据源的基础上添加第二数据源的数据。
24.在其中一些实施例中，在将数据源接入系统进行任务流程执行之前，所述方法包括：
25.设置画布流程图，按照所述画布流程图对系统的既定流程进行驱动管理，根据各个流程节点上任务执行的状态，进行数据的流转，以及各个任务的唤醒执行，完成整个rpa系统的业务流程。
26.第二方面，本技术实施例提供了一种基于数据驱动的rpa流程自动化构建的系统，应用到rpa数据智能业务系统中，所述系统包括：
27.接入模块，用于将数据源接入并转存到系统内部后，对所述数据源进行数据校验和转换处理，其中，所述数据源包括数据库数据、文本数据和api接口数据；
28.清洗模块，用于对所述数据源进行数据筛选、数据合并、数据拆分和数据类别汇总，其中，所述数据合并是基于自定义规则将接入的多种数据源进行合并拼接处理；
29.执行模块，用于将所述经过处理的数据源按照自定义逻辑策略分发到各类机器人功能节点上，通过所述各类机器人的功能节点完成驱动执行，其中，所述机器人的功能节点包括数据流转器、任务触发器和任务执行器。
30.在其中一些实施例中，所述执行模块还用于通过所述数据流转器将分发到的数据转换为当前功能节点的内在数据，并将所述内在数据发送到所述任务触发器，
31.通过所述任务触发器触发所述机器人的功能节点，调用唤醒执行，并通过所述任务执行器完成所述机器人的对应功能执行。
32.第三方面，本技术实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于数据驱动的rpa流程自动化构建的方法。
33.第四方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于数据驱动的rpa流程自动化构建的方法。
34.相比于相关技术，本技术实施例提供的基于数据驱动的rpa流程自动化构建的方法，应用到rpa数据智能业务系统中，将数据源接入并转存到系统内部后，对该数据源进行
数据校验和转换处理，其中，数据源包括数据库数据、文本数据和api接口数据；接着对数据源进行数据筛选、数据合并、数据拆分和数据类别汇总，其中，数据合并是基于自定义规则将接入的多种数据源进行合并拼接处理；最后，将经过处理的数据源按照自定义逻辑策略分发到各类机器人功能节点上，通过各类机器人的功能节点完成驱动执行，其中，机器人的功能节点包括数据流转器、任务触发器和任务执行器。
35.本技术构建了一套自动化流程，该流程将包括数据接入、数据清洗、数据的转换、数据分发、任务执行以及任务扭转等功能节点串联起来，通过自定义配置实现复杂的业务流程自动化，且不需要额外改动底层服务架构逻辑。解决了在处理数据智能业务时，由于数据繁多、处理复杂而导致的开发成本高、效率低的问题，降低了开发成本，提高了工作效率。
附图说明
36.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
37.图1是根据本技术实施例的基于数据驱动的rpa流程自动化构建方法的流程图；
38.图2是根据本技术实施例的数据分发的自定义逻辑表达式示意图；
39.图3是根据本技术实施例的功能节点任务执行的流程示意图；
40.图4是根据本技术实施例的画布流程驱动执行示意图；
41.图5是根据本技术实施例的基于数据驱动的rpa流程自动化构建系统的结构框图；
42.图6是根据本技术实施例的基于数据驱动的rpa流程自动化构建系统的另一个结构框图；
43.图7是根据本技术实施例的电子设备的内部结构示意图。
具体实施方式
44.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
45.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
46.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单
元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
47.本技术提供了一种基于数据驱动的rpa流程自动化构建的方法，应用到rpa数据智能业务系统中，图1是根据本技术实施例的基于数据驱动的rpa流程自动化构建方法的流程图，如图1所示，该流程包括如下步骤：
48.步骤s101，将数据源接入并转存到系统内部后，对数据源进行数据校验和转换处理，其中，数据源包括数据库数据、文本数据和api接口数据；本实施例中将数据源包括数据库数据、文本数据和api接口数据等，接入并转存到数据智能业务系统中，对数据源进行相应的数据校验及转换处理，需要说明的是，这里的数据源不做具体限定。
49.可选的，上述提及的对数据源进行相应的数据校验及转换处理包括：
50.1、对数据源的字段schema进行定义和处理，其中，字段schema包括字段名称、字段类型和是否可空等；
51.2、对数据源的接入路径配置进行处理，其中，接入路径配置包括ip地址、数据路径和账号密码等；
52.3、获取数据源并将其转存到系统内部，将各类异构数据转化为系统内部数据格式，一般包括实时同步、定时同步、事件触发同步等几种类型；
53.4、对数据源进行数据转换处理，该数据转换处理包括数据格式转换和数据向量化处理。
54.在其中一些实施例中，对数据源进行相应数据转换处理还包括：
55.按照数据类型对数据源进行数据转换处理，具体地，数据类型包括音频数据、文本数据和图片数据；
56.在数据源为音频数据的情况下，对音频数据的转换主要为音频asr识别处理、音频压缩转码；在数据源为文本数据的情况下，对文本数据的转换主要为文本分词、词性标注、文本向量化和文本转音频等操作。
57.步骤s102，对数据源进行数据筛选、数据合并、数据拆分和数据类别汇总，其中，数据合并是基于自定义规则将接入的多种数据源进行合并拼接处理；优选的，本实施例中对数据源进行数据清洗，具体包括如下步骤：
58.1、数据筛选，主要是对接入的数据源进行筛选和过滤，保留满足条件的数据；
59.2、数据合并，主要的基于一定的自定义规则将接入的多种数据源进行合并拼接处理，可选的，这里的自定义规则，可以是按某个唯一性质的uuid对数据进行对齐合并；或联合唯一的key值，例如在身份脱敏认证中常见的有：脱敏用户姓氏(x**) 脱敏手机号码(xxx****xxxx) 身份证后4位(xxxx)来进行数据规则对齐合并。
60.优选的，在对数据源进行数据合并之前，需要对数据源定义主键，该主键用于对数据源进行合并对齐处理，在数据源有相同主键的情况下，数据源可以进行合并，成1条记录；
在数据源没有相同主键的情况下，则在第一数据源的基础上添加第二数据源的数据；
61.3、数据拆分，主要是对数据源中的数据按行或者按列进行数据拆分，分成两份或者多份数据；
62.4、数据类别汇总，主要是对数据进行条目统计和计数等处理，得到某列或某行中不同类别数据的总数。
63.步骤s103，将经过处理的数据源按照自定义逻辑策略分发到各类机器人功能节点上，通过各类机器人的功能节点完成驱动执行，其中，机器人的功能节点包括数据流转器、任务触发器和任务执行器。
64.优选的，本实施例中将经过处理的数据源按照一定策略分发到不同的功能机器人组件上进行功能执行。一般按自定义规则分发，将满足逻辑表达式组合规则的数据分发到特定功能机器人组件上，例如，将地区＝杭州且存款>5万的用户分发到大额存单外呼机器进行外呼拨打，具体地，图2是根据本技术实施例的数据分发的自定义逻辑表达式示意图，如图2所示，该表达式按照数值金额的大小分为3个不同的区间进行选择，并根据不同数值区间分发到不同的外呼机器人上执行相应的功能。
65.进一步地，在将数据按自定义逻辑策略分发到各类机器人功能节点上后，这些机器人会在一定数据基础上进行相应的业务功能处理，然后产生额外的结果数据。图3是根据本技术实施例的功能节点任务执行的流程示意图，如图3所示，一个机器人功能节点包括数据流转器、任务触发器和任务执行器，其执行业务功能的具体步骤如下：
66.1、数据流转，通过数据流转器将分发到的任务数据转换为当前功能节点的内在数据，并将该内在数据发送到任务触发器，其中，具体对源数据类型的转化是采用flow_from_type函数，转换数据类型为flow_to_type函数，转换方法为trans_data()函数；
67.2、任务触发，通过任务触发器的触发机制，触发机器人模块中机器人的功能节点，调用唤醒执行；
68.3、任务执行，通过任务执行器完成机器人的对应功能执行，例如发送一条短信或邮件、进行一次电话外呼，或者进行统计报表等。
69.需要说明的是，每种机器人的功能节点、输入数据格式和输出数据格式均需要提前进行定义，并且，在配置接入两个机器人时，需要数据连接器按需求配置字段映射和过滤条件。此外，这里的各类功能机器人包括ai外呼机器人、短信机器人、报表机器人等，不做具体的限定。
70.通过上述步骤s101至步骤s103，本实施例搭建了一个基于数据驱动的rpa流程自动化执行的系统，通过这样一套自动化流程，能将数据接入、数据清洗、数据转换、数据分发、任务执行以及任务扭转串联起来，实现复杂的业务流程，是的流程更加自动化。解决了在处理数据智能业务时，由于数据繁多、处理复杂而导致的开发成本高、效率低的问题，降低了开发成本，提高了工作效率。
71.在其中一些实施例中，在将数据源接入系统进行任务流程执行之前，设置画布流程图，按照画布流程图对系统的既定流程进行驱动管理，根据各个流程节点上任务执行的状态，进行数据的流转，以及各个任务的唤醒执行，完成整个rpa系统的业务流程。图4是根据本技术实施例的画布流程驱动执行示意图，如图4所示，通过画布流程图能够即时对各个功能节点进行驱动管理，提高了工作效率。
72.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
73.本实施例还提供了一种基于数据驱动的rpa流程自动化构建的系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
74.图5是根据本技术实施例的基于数据驱动的rpa流程自动化构建系统的结构框图，如图5所示，该系统包括接入模块51、清洗模块52和执行模块53：
75.接入模块51，用于将数据源接入并转存到系统内部后，对数据源进行数据校验和转换处理，其中，数据源包括数据库数据、文本数据和api接口数据；清洗模块52，用于对数据源进行数据筛选、数据合并、数据拆分和数据类别汇总，其中，数据合并是基于自定义规则将接入的多种数据源进行合并拼接处理；执行模块53，用于将经过处理的数据源按照自定义逻辑策略分发到各类机器人功能节点上，通过各类机器人的功能节点完成驱动执行，其中，机器人的功能节点包括数据流转器、任务触发器和任务执行器。
76.通过上述系统，接入模块51将各类数据源接入并转存到内部系统，清洗模块52对数据源数据进行筛选、合并、拆分和类别汇总等处理，执行模块53对按照自定义逻辑策略分发到各类功能机器人上的任务数据进行相应的功能执行。本实施例搭建了一个基于数据驱动的rpa流程自动化执行的系统，通过这样一套自动化流程，能将数据接入、数据清洗、数据转换、数据分发、任务执行以及任务扭转串联起来，实现复杂的业务流程，是的流程更加自动化。解决了在处理数据智能业务时，由于数据繁多、处理复杂而导致的开发成本高、效率低的问题，降低了开发成本，提高了工作效率。
77.在其中一些实施例中，该系统还包括任务扭转模块，图6是根据本技术实施例的基于数据驱动的rpa流程自动化构建系统的另一个结构框图，如图6所示，该系统包括接入模块51、清洗模块52、执行模块53和任务扭转模块61：在将数据源接入系统进行任务流程执行之前，任务扭转模块61设置画布流程图，按照画布流程图对系统的既定流程进行驱动管理，根据各个流程节点上任务执行的状态，进行数据的流转，以及各个任务的唤醒执行，完成整个rpa系统的业务流程。通过任务扭转模块能够即时对各个功能节点进行驱动管理，提高了工作效率。
78.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
79.此外，需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
80.本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
81.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备
和上述处理器连接，该输入输出设备和上述处理器连接。
82.另外，结合上述实施例中的基于数据驱动的rpa流程自动化构建的方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于数据驱动的rpa流程自动化构建的方法。
83.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于数据驱动的rpa流程自动化构建的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
84.在一个实施例中，图7是根据本技术实施例的电子设备的内部结构示意图，如图7所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图7所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种基于数据驱动的rpa流程自动化构建的方法，数据库用于存储数据。
85.本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
86.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
87.本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
88.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护
范围。因此，本技术专利的保护范围应以所附权利要求为准。