一种数据处理方法、系统、装置与存储介质与流程

1.本技术涉及数据处理技术领域，尤其是一种数据处理方法、系统、装置与存储介质。


背景技术：

2.在传统的数据平台获取数据环节，一般用表格对应数据库或接口匹配数据传输，但传统业务系统或网站等渠道数据驳杂，常有自身业务系统本地无数据，库数据获取困难或提供数据字段驳杂、各系统或数据获取渠道采集数据类型多样，无法直接上传数据平台，需要人工做后期加工处理后统一上传的方式，浪费人力成本和时间成本，因此亟需一种新的数据处理方法。
3.rpa(robotic process automation)＝机器人流程自动化


技术实现要素：

4.本技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
5.为此，本技术实施例的一个目的在于提供一种数据处理方法、系统、装置与存储介质，该方法可以实现业务数据匹配治理，减少人力资源的损耗。
6.为了达到上述技术目的，本技术实施例所采取的技术方案包括：
7.获取第一业务数据集；对所述第一业务数据集中的第一子数据进行数据格式调整，得到第二业务数据集；对所述第二业务数据集中的第二子数据进行数据前缀调整，得到第三业务数据集；对所述第三业务数据集中的第三子数据进行数据合并，得到有效业务数据。
8.另外，根据本发明中上述实施例的一种数据处理的方法，还可以有以下附加的技术特征：
9.进一步地，本技术实施例中，所述对所述第一业务数据集中的第一子数据进行数据格式调整，得到第二业务数据集这一步骤，具体包括：获取所述第一子数据的第一格式；将所述第一格式与预设的第二格式进行数据格式匹配，得到第一匹配结果；根据所述第一匹配结果，第一子数据进行格式调整，得到第二业务数据集。
10.进一步地，本技术实施例中，所述对所述第二业务数据集中的第二子数据进行数据前缀调整，得到第三业务数据集这一步骤，具体包括：提取所述第二子数据的第二前缀；将所述第二前缀与预设的第一前缀进行数据前缀匹配，得到第二匹配结果；根据所述第二匹配结果，对第二子数据进行格式调整，得到第三业务数据集。
11.进一步地，本技术实施例中，所述对所述第三业务数据集中的第三子数据进行数据合并，得到有效业务数据这一步骤，包括：提取两个所述第三子数据的数据字段；将所述数据字段与预设的第三数据字段进行数据字段匹配，得到第三匹配结果；根据所述第三匹配结果，对第三子数据进行字段合并，得到有效业务数据。
12.进一步地，本技术实施例中，所述根据所述第一匹配结果，第一子数据进行格式调
整，得到第二业务数据集这一步骤，具体包括：获取所述第一匹配结果；当所述第一匹配结果为不匹配，调整所述第一子数据的格式为预设的第二格式。
13.进一步地，本技术实施例中，还包括步骤：将所述有效业务数据发送至大数据平台。
14.另一方面，本技术实施例还提供一种数据处理系统，包括：
15.获取单元，用于获取第一业务数据集；
16.第一处理单元，用于所述第一业务数据集中的第一子数据进行数据格式调整，得到第二业务数据集；
17.第二处理单元，用于对所述第二业务数据集中的第二子数据进行数据前缀调整，得到第三业务数据集；
18.第三处理单元，用于对所述第三业务数据集中的第三子数据进行数据合并，得到有效业务数据。
19.进一步地，本技术实施例中还包括发送单元，所述发送单元用于发送所述有效业务数据至大数据平台。
20.另一方面，本技术还提供一种数据处理装置，包括：
21.至少一个处理器；
22.至少一个存储器，用于存储至少一个程序；
23.当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如发明内容中任一项所述一种数据处理方法。
24.此外，本技术还提供一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上述任一项所述一种数据处理方法。
25.本技术的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到：
26.本技术可以通过对业务数据进行数据格式、数据前缀以及数据合并的处理，最终可以得到符合要求的业务数据，该数据处理可以减少人力资源的损耗。
附图说明
27.图1为本发明中一种具体实施例中一种数据处理方法的步骤示意图；
28.图2为本发明中一种具体实施例中一种数据处理系统的结构示意图；
29.图3为本发明中一种具体实施例中一种数据处理装置的结构示意图。
具体实施方式
30.下面结合附图详细描述本发明的实施例对本发明实施例中的数据处理方法、系统、装置和存储介质的原理和过程作以下说明。
31.参照图1，本发明一种数据处理方法，包括以下步骤：aabb
32.s1、获取第一业务数据集；
33.在本技术实施例中，第一业务数据可以是从业务系统或者业务网站获取的业务数据，这些业务数据需要根据预设的数据资源目次对应进行一定的调整，而预设的数据资源目次可以是从大数据平台各库获取的数据资源目次，也可以有关人员从其他的数据库提前
准备数据资源目次。获取第一业务数据集的方式可以通过执行主体与数据存储器建立有线或者无线连接，无线连接可以包括但不限于3g/4g/5g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultra wide band)连接、以及其他现在已知或将来开发的无线连接方式。
34.s2、对所述第一业务数据集中的第一子数据进行数据格式调整，得到第二业务数据集；
35.在本技术实施例中，第一业务数据集可以包括很多的子数据，第一子数据为第一业务数据集中某一类型的子数据，如销售机会数据集，可以存在销售时间数据，或者是客户数据；其中某些子数据需要根据预设的资源目次对业务数据的子数据作一定的格式调整，具体地，如果预设的资源目次确定需要的子数据的数据格式为文本格式类型，而第一业务数据集中的第一子数据是图片格式或者其他格式等非结构数据格式类型，这时，可以通过rpa技术根据预设的资源目次确定的文本格式类型去处理第一子数据的数据格式，将这些图片或非结构数据格式类型转换为文本格式类型。
36.s3、对所述第二业务数据集中的第二子数据进行数据前缀调整，得到第三业务数据集；
37.在本技术实施例，第二业务数据集为第一子数据进行格式转换后的业务数据，在得到第二业务数据后，某些子数据可以进行数据前缀的调整。如根据预设的数据资源目次确定第二子数据为销售地点，预设的数据前缀为“广东省——” 城市名，而第二子数据只有城市名，此时，可以通过rpa技术实现一个添加前缀的处理，使第二子数据匹配变成“广东省” “城市名”的组合。
38.s4、对所述第三业务数据集中的第三子数据进行数据合并，得到有效业务数据。
39.在本技术实施例中，第三业务数据集是第二业务数据进行数据前缀调整后的业务数据集，得到第三业务数据集后，需要根据预设的数据资源目次，对一些子数据进行数据的合并，如可按数据资源目次内数据属性将获取到的第一业务数据中的两列子数据合并成同一列：比如“文章链接”、“文章名称”原本为两列数据但根据主题库所属的资源目次顺序和属性信息可以将第一业务数据集的子数据拼成一列“文章名称 文章链接”。
40.进一步地，所述对所述第一业务数据进行数据匹配，得到第二业务数据这一步骤，具体可以包括
41.s101、获取所述第一子数据的第一格式；
42.s102、将所述第一格式与预设的第二格式进行数据格式匹配，得到第一匹配结果；
43.s103、根据所述第一匹配结果，第一子数据进行格式调整，得到第二业务数据集。
44.具体地，在本技术实施例中，第一子数据可以是第一业务数据集中任意一列的数据，可以通过rpa获取第一子数据的第一格式，而预设的第二格式可以根据预设的数据资源目次确定，将第一子数据的格式与预设的第二格式进行匹配，如果第一格式与第二格式匹配，则第一子数据的格式不需要调整，若第一子数据的格式与预设的第二格式不匹配，需要对第一子数据的格式进行调整，将第一子数据的格式调整为与预设的第二格式相同格式的数据，第二业务数据是格式调整后的业务数据，需要说明的是如果第一业务数据集中多列的子数据的格式需要进行调整，第二业务数据集为多列子数据格式进行调整后的业务数据集合
45.所述对所述第二业务数据集中的第二子数据进行数据前缀调整，得到第三业务数据集这一步骤，具体可以包括：
46.s201、提取所述第二子数据的第二前缀；
47.s202、将所述第二前缀与预设的第一前缀进行数据前缀匹配，得到第二匹配结果；
48.s203、根据所述第二匹配结果，对第二子数据进行格式调整，得到第三业务数据集。
49.具体地，在本技术实施例中，第二子数据可以是第二业务数据集中任意一列需要进行前缀调整子数据，提取第二子数据的第二前缀，通过第二前缀与预设的第一前缀进行匹配，可以确定第二前缀是否需要修改，第一前缀可以通过预设的数据资源目次得到，若第二前缀与预设的第一前缀匹配则第二前缀不需要修改，若第二前缀与预设的第一前缀不匹配，需要通过rpa技术将第二业务数据集中某一列数据的第二前缀改为与第一前缀匹配的数据前缀。如预设的第一前缀为“xx省xx公司”而第二业务数据集中子数据的第二前缀为xx公司，则需要将第二业务数据集中的子数据的前缀改为xx省xx公司。
50.进一步地，所述对所述第三业务数据集中的第三子数据进行数据合并，得到有效业务数据这一步骤，可以包括：
51.s301、提取两个所述第三子数据的数据字段；
52.s302、将所述数据字段与预设的第三数据字段进行数据字段匹配，得到第三匹配结果；
53.s303、根据所述第三匹配结果，对第三子数据进行字段合并，得到有效业务数据。
54.在本技术实施例中，第三子数据是待合并子数据的，可以通过rpa技术提取第三子数据的数据字段，根据数据字段与预设的第三数据字段进行匹配，得到第三匹配结果，根据第三匹配结果，对第三子数据进行字段合并，得到有效业务数据，如提取任意两个的两个子数据的字段，如第一个子数据的字段为文章链接，而第二个子数据的字段为文章名称，预设的第三数据字段为文章链接与文章名称，第三匹配结果为字段匹配，则需要对第一个子数据的子弹文章链接与第二子数据的文章名称进行合并，最终得到字段合并后的有效数据，如第一个子数据的字段为文章字数，而第二个子数据的字段为文章段落，预设的第三数据字段为文章链接与文章名称，则第三匹配结果为不匹配，则不需要对第一个子数据以及第二个子数据进行字段合并。
55.进一步地。所述根据所述第一匹配结果，第一子数据进行格式调整，得到第二业务数据集这一步骤，具体可以包括：
56.s401、获取所述第一匹配结果；
57.s402、当所述第一匹配结果为不匹配，调整所述第一子数据的格式为预设的第二格式；
58.具体地，当第一子数据的第一格式与预设的第二格式不匹配，则调整第一子数据的数据格式为与预设的第二格式相同，若第一子数据的第一格式与预设的第二格式匹配，则不需要调整第一格式。
59.进一步地，在本技术的一些实施例中，还包括步骤：将所述有效业务数据发送至大数据平台。
60.具体地，得到有效业务数据后，需要将有效业务发送至大数据平台，大数据平台将
数据处理过的有效业务数据，可以实现rpa ai可以从各业务系统或数据源网址中获取大数据平台主题库所需的数据，实现了全流程的自动化全量数据采集，将数据处理人员从低价值数据收筛工作中解放出来，投入到更有价值的工作当中，实现多系统数据采集后自动去重并按数据平台库内所需数据顺序、格式等完成自动数据处理整合入库。
61.此外、参照图2，与图1的方法相对应，本技术的实施例中还提供一种数据处理系统，包括：
62.获取单元1001，用于获取第一业务数据集；
63.第一处理单元1002，用于对所述第一业务数据集中的第一子数据进行数据格式调整，得到第二业务数据集；
64.第二处理单元1003，用于对所述第二业务数据集中的第二子数据进行数据前缀调整，得到第三业务数据集；
65.第三处理单元1004，用于对所述第三业务数据集中的第三子数据进行数据合并，得到有效业务数据。。
66.进一步地，本技术的一些实施例中，数据处理系统还可以包括发送单元，发送单元可以用于发送所述有效业务数据至大数据平台。
67.与图1的方法相对应，本技术实施例还提供了一种数据处理装置，其具体结构可参照图3，包括：
68.至少一个处理器1011；
69.至少一个存储器1012，用于存储至少一个程序；
70.当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的数据处理方法。
71.上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
72.与图1的方法相对应，本技术实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的数据处理方法。
73.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本技术的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
74.此外，虽然在功能性模块的背景下描述了本技术，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本技术是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本技术。还可以理解的是，所公开的特定概念
仅仅是说明性的，并不意在限制本技术的范围，本技术的范围由所附权利要求书及其等同方案的全部范围来决定。
75.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
76.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行程序的定序列表，可以具体实现在任何计算机可读介质中，以供程序执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从程序执行系统、装置或设备取程序并执行程序的系统)使用，或结合这些程序执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供程序执行系统、装置或设备或结合这些程序执行系统、装置或设备而使用的装置。
77.计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
78.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的程序执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
79.在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
80.尽管已经示出和描述了本技术的实施方式，本领域的普通技术人员可以理解：在不脱离本技术的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本技术的范围由权利要求及其等同物限定。
81.以上是对本技术的较佳实施进行了具体说明，但本技术并不限于所述实施例，熟悉本领域的技术人员在不违背本技术精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。