一种数据处理方法、装置、电子设备及存储介质与流程

1.本发明涉及数据处理技术领域，具体涉及一种数据处理方法、装置、电子设备及存储介质。


背景技术：

2.数据分片一般包括数据库的分库和数据库的分表。数据库中存在多个分库，每个分库中存在多个分表，每个分库和每个存储不同的应用数据。
3.目前，应用端在处理不同应用时，均需要业务系统根据不同的应用进行对不同的数据进行分片处理，由业务系统根据配置的分片规则，先选择相应的业务数据进行计算，然后再通过计算得到的值对不同的分片进行访问。
4.而应用在调用业务系统服务时，应用无法直接得知调用业务系统服务对应的分片信息，需要通过业务系统进行计算；并且，业务系统在接收到应用请求时，需要根据应用请求对应的业务分片规则，访问相应的分片数据，并进行相应的业务处理。业务系统既要根据应用请求处理相应的业务，又要进行相应的计算以确定应用调用业务系统服务对应的分片信息，导致业务系统执行功能复杂和性能下降。


技术实现要素：

5.有鉴于此，本发明提供了一种数据处理方法、装置、电子设备及存储介质，以解决业务系统既要根据应用请求处理相应的业务，又要进行相应的计算以确定应用调用业务系统服务对应的分片信息，导致业务系统执行功能复杂和性能下降的问题。
6.为了实现上述目的，本发明实施例提供了如下技术方案：
7.本发明第一方面公开了一种数据处理方法，应用于应用端，所述方法包括：
8.在接收到应用请求之后，通过第一预设调用渠道，获取所述应用请求对应的分片键和分片键值；
9.基于所述分片键和所述分片键值，通过第二预设调用渠道，在预设业务分片库中查找到与所述分片键和所述分片键值相匹配的业务分片；
10.利用查找到的相匹配的业务分片对所述应用请求进行处理，得到所述应用请求的数据处理结果；
11.其中，所述第一预设调用渠道和所述第二预设调用渠道为预设分片系统中不同的调用渠道。
12.可选地，在上述的数据处理方法中，通过第一预设调用渠道，获取所述应用请求对应的分片键和分片键值，包括：
13.基于所述第一预设调用渠道，调用分片服务查找到所述应用请求对应的分片键；
14.利用所述分片键对应的分片类型进行计算，得到所述分片键对应的分片键值；其中，所述分片类型包括哈希计算、原值计算、取余计算中的至少一种。
15.可选地，在上述的数据处理方法中，在通过第一预设调用通道，获取所述应用请求
对应的分片键和分片键值之后，还包括：
16.将所述应用请求对应的分片键和分片键值存储至相应的数据库。
17.可选地，在上述的数据处理方法中，在接收到应用请求，且通过所述第一预设调用渠道，获取到所述应用请求对应的分片键之后，还包括：
18.判断所述数据库是否存储有所述分片键对应的分片键值；
19.若判断出所述数据库中已存储有所述分片键对应的分片键值，则从所述数据库中获取所述分片键对应的分片键值；
20.若判断出所述数据库中未存储有所述分片键对应的分片键值，则执行利用所述分片键对应的分片类型进行计算，得到所述分片键对应的分片键值的步骤。
21.可选地，在上述的数据处理方法中，在基于所述分片键和所述分片键值，通过第二预设调用渠道，在预设业务分片库中查找到与所述分片键和所述分片键值相匹配的业务分片之后，还包括：
22.利用所述预设分片系统中的标签函数，更新所述业务分片对应的分片键和分片键值。
23.本发明第二方面公开了一种数据处理装置，应用于应用端，所述装置包括：
24.获取单元，用于在接收到应用请求之后，通过第一预设调用渠道，获取所述应用请求对应的分片键和分片键值；
25.查找单元，用于基于所述分片键和所述分片键值，通过第二预设调用渠道，在预设业务分片库中查找到与所述分片键和所述分片键值相匹配的业务分片；
26.处理单元，用于利用查找到的相匹配的业务分片对所述应用请求进行处理，得到所述应用请求的数据处理结果；
27.其中，所述第一预设调用渠道和所述第二预设调用渠道为预设分片系统中不同的调用渠道。
28.可选地，在本技术提供的数据处理装置中，还包括：
29.存储单元，用于在通过第一预设调用通道，获取所述应用请求对应的分片键和分片键值之后，将所述应用请求对应的分片键和分片键值存储至相应的数据库。
30.可选地，在本技术提供的数据处理装置中，还包括：
31.判断单元，用于在接收到应用请求，且通过所述第一预设调用渠道，获取到所述应用请求对应的分片键之后，判断所述数据库是否存储有所述分片键对应的分片键值；
32.其中，若判断出所述数据库中已存储有所述分片键对应的分片键值，则从所述数据库中获取所述分片键对应的分片键值；若判断出所述数据库中未存储有所述分片键对应的分片键值，则执行利用所述分片键对应的分片类型进行计算，得到所述分片键对应的分片键值的步骤。
33.本发明第三方面公开了一种电子设备，包括处理器和存储器；其中：
34.所述存储器用于存储计算机指令；
35.所述处理器用于执行所述存储器存储的计算机指令，具体执行如第一方面公开的任意一项所述的数据处理方法。
36.本发明第四方面公开了一种存储介质，用于存储程序，所述程序被执行时，用于实现如第一方面公开的任意一项所述的数据处理方法。
37.本发明提供的数据处理方法，应用于应用端，所述方法包括：在接收到应用请求之后，通过第一预设调用渠道，获取应用请求对应的分片键和分片键值；基于分片键和分片键值，通过第二预设调用渠道，在预设业务分片库中查找到与分片键和分片键值相匹配的业务分片；利用查找到的相匹配的业务分片对应用请求进行处理，得到应用请求的数据处理结果；其中，第一预设调用渠道和第二预设调用渠道为预设分片系统中不同的调用渠道；也即，本技术提供的数据处理方法，能够利用预设分片系统中不同的调用渠道，将业务系统既要根据应用请求处理相应的业务，又要进行相应的计算以确定应用调用业务系统服务对应的分片信息相互分离，解决了业务系统既要根据应用请求处理相应的业务，又要进行相应的计算以确定应用调用业务系统服务对应的分片信息，导致业务系统执行功能复杂和性能下降的问题。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
39.图1为本技术实施例公开的一种数据处理方法的流程图；
40.图2为本技术实施例公开的一种获得分片键和分片键值的流程图；
41.图3至图5为本技术实施例公开的另三种数据处理方法的流程图；
42.图6为本技术实施例公开的一种数据处理方法的结构示意图；
43.图7为本技术实施例公开的一种数据处理方法的流程交互图；
44.图8为本技术实施例公开的一种数据处理装置的结构示意图。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.本技术实施例提供了一种数据处理方法，以解决业务系统既要根据应用请求处理相应的业务，又要进行相应的计算以确定应用调用业务系统服务对应的分片信息，导致业务系统执行功能复杂和性能下降的问题。
47.请参见图1，该数据处理方法应用于应用端，该数据处理方法，包括：
48.s100、在接收到应用请求之后，通过第一预设调用渠道，获取应用请求对应的分片键和分片键值。
49.实际应用中，应用请求是用户向应用端发送的应用处理请求，例如，存款请求、取款请求、余额查询请求等，视具有应用环境和用户需求确定即可，本技术不作具体限定，均属于本技术的保护范围。
50.其中，可以根据应用请求携带的请求报文中所包含的数据，确定出应用请求对应的分片键，再利用分片键以及与分片键对应的数据，计算得到分片键值。
51.具体的，执行步骤s100中通过第一预设调用渠道，获取所述应用请求对应的分片键和分片键值的具体过程可如图2所示，可以包括如下步骤：
52.s200、基于第一预设调用渠道，调用分片服务查找到应用请求对应的分片键。
53.实际应用中，分片服务是预先将应用请求以及与应用请求对应的分片键进行划分，得到的所有应用请求对应分片键的集合。
54.s202、利用分片键对应的分片类型进行计算，得到分片键对应的分片键值。
55.其中，分片类型包括哈希计算、原值计算、取余计算中的至少一种。
56.实际应用中，若分片类型为哈希计算，则利用分片键对应的分片类型进行计算，得到分片键对应的分片键值的具体过程可以是：使用哈希函数将分片键转换为一个数字，得到分片键对应的分片键值。
57.s102、基于分片键和分片键值，通过第二预设调用渠道，在预设业务分片库中查找到与分片键和分片键值相匹配的业务分片。
58.实际应用中，第一预设调用渠道和第二预设调用渠道可以是预设分片系统中不同的调用渠道。具体的，第一预设调用渠道可以是通过预设分片系统调用分片服务的渠道。第二预设调用渠道可以是通过预设分片系统调用业务分片数据的渠道。
59.需要说明的是，实际应用中，预设分片系统可以是tsf(tencent service framerwork，腾讯微服务平台)系统；当然，并不仅限于此，还可以是其他的具有分片功能的系统，本技术对预设分片系统的具体类型不作具体限定，均属于本技术的保护范围。
60.s104、利用查找到的相匹配的业务分片对应用请求进行处理，得到应用请求的数据处理结果。
61.实际应用中，业务分片也可称为业务功能，一般利用业务分片中携带的数据实现对应用请求的处理，以向用户展示处理结果。
62.基于上述原理，本实施例提供的提供的数据处理方法，应用于应用端，方法包括：在接收到应用请求之后，通过第一预设调用渠道，获取应用请求对应的分片键和分片键值；基于分片键和分片键值，通过第二预设调用渠道，在预设业务分片库中查找到与分片键和分片键值相匹配的业务分片；利用查找到的相匹配的业务分片对应用请求进行处理，得到应用请求的数据处理结果；其中，第一预设调用渠道和第二预设调用渠道为预设分片系统中不同的调用渠道；也即，本技术提供的数据处理方法，能够利用预设分片系统中不同的调用渠道，将业务系统既要根据应用请求处理相应的业务，又要进行相应的计算以确定应用调用业务系统服务对应的分片信息相互分离，解决了业务系统既要根据应用请求处理相应的业务，又要进行相应的计算以确定应用调用业务系统服务对应的分片信息，导致业务系统执行功能复杂和性能下降的问题。
63.并且，使用分片服务来进行分片处理，还能实现业务系统的统一部署。
64.可选地，在本技术提供的另一实施例中，在执行步骤s100中的在通过第一预设调用通道，获取应用请求对应的分片键和分片键值之后，请参见图3，该数据处理方还包括：
65.s300、将应用请求对应的分片键和分片键值存储至相应的数据库。
66.实际应用中，将应用请求对应的分片键和分片键值存储至相应的数据库，能够在下一次应用端执行相同的应用请求时，直接利用分片键从数据库中查找到对应的分片键值，避免重复计算，降低了系统消耗。
67.可选地，在图3对应的实施例的基础之上，在本技术提供的另一实施例中，在执行步骤s100中的在接收到应用请求，且通过第一预设调用渠道，获取到应用请求对应的分片键之后，请参见图4，该数据处理方法还包括：
68.s400、判断数据库是否存储有分片键对应的分片键值。
69.若判断出数据库中存储有分片键对应的分片键值，则执行步骤s402；若判断出数据库中未存储有分片键对应的分片键值，则执行利用分片键对应的分片类型进行计算，得到分片键对应的分片键值的步骤，也即步骤s202。
70.s402、从数据库中获取分片键对应的分片键值。
71.在本实施例中，在通过第一预设调用渠道得到应用请求对应的分片键之后，可以先判断数据库中是否存储有分片键对应的分片键值，若存储有则无需通过利用分片键对应的分片类型进行计算，得到分片键对应的分片键值，而是直接通过数据库获取得到分片键对应的分片键值即可，从而能够节省计算步骤，降低系统消耗。
72.可选地，在本技术提供的另一实施例中，在执行步骤s102、基于分片键和分片键值，通过第二预设调用渠道，在预设业务分片库中查找到与分片键和分片键值相匹配的业务分片之后，请参见图5，该数据处理方法，还包括：
73.s500、利用预设分片系统中的标签函数，更新业务分片对应的分片键和分片键值。
74.实际应用中。该标签函数可以是api(application programming interface)标签函数。其中，api标签可以是一个key/value的数据结构。
75.需要说明的是，利用预设分片系统中的标签函数，更新业务分片对应的分片键和分片键值之后，可以使得通过预设分片系统执行后续的应用业务处理时，预设分片系统能够清楚知道每个分片键值和分片键对应的业务分片，也即通过预设分片系统自动传递分片数据，使得业务处理更加系统、全面，避免调用的业务分片遗漏。
76.基于上述实施例提供的方法，针对上述实施例内容提供对应的实施例，为方便理解，结合图6和图7，以预设分片系统为tsf系统为例，本发明具体有以下实施过程：
77.应用端在执行应用时，如图6中的应用1
……
应用n，通过配置文件x调用tsf系统的分片服务。
78.分片服务根据接收到的应用请求，通过配置文件y找到分片键，使用分片类型来计算相应的分片键值，同时把结果存储至数据库中。若是分片服务查询到分片键已被存储至数据库中，则直接从数据库中获取，降低系统消耗。
79.分片服务将分片键和分片键值反馈至应用端。
80.应用端通过使用分片键匹配不同范围业务服务来获取业务分片，如图6中的业务分片1
……
业务分片n，再通过tsf系统的api标签函数设置分片键和分片键值。
81.应用端通过tsf平台传递分片键和分片键值，以调用不同的分片业务。
82.其中，配置文件x和配置文件y均为预先配置的，具体格式可以如下：
83.配置文件x：分片服务名
84.分片键值0
‑
10
85.业务分片1
86.分片键值11
‑
20
87.业务分片2
88.配置文件y：分片服务名
89.分片类型：哈希，原值等
90.分片键：应用请求中包含的相应字段。如：卡号，账号等。
91.本技术实施例还提供了一种数据处理装置，应用于应用端，请参见图8，所述数据处理装置主要包括：
92.获取单元101，用于在接收到应用请求之后，通过第一预设调用渠道，获取、应用请求对应的分片键和分片键值。
93.查找单元102，用于基于分片键和分片键值，通过第二预设调用渠道，在预设业务分片库中查找到与分片键和分片键值相匹配的业务分片。
94.处理单元103，用于利用查找到的相匹配的业务分片对应用请求进行处理，得到应用请求的数据处理结果。
95.其中，第一预设调用渠道和第二预设调用渠道为预设分片系统中不同的调用渠道。
96.在本实施例提供的数据处理装置中，应用于应用端，包括：获取单元101，用于在接收到应用请求之后，通过第一预设调用渠道，获取应用请求对应的分片键和分片键值；查找单元102，用于基于分片键和分片键值，通过第二预设调用渠道，在预设业务分片库中查找到与分片键和分片键值相匹配的业务分片；处理单元103，用于利用查找到的相匹配的业务分片对应用请求进行处理，得到应用请求的数据处理结果；其中，第一预设调用渠道和第二预设调用渠道为预设分片系统中不同的调用渠道；也即，本技术提供的数据处理方法，能够利用预设分片系统中不同的调用渠道，将业务系统既要根据应用请求处理相应的业务，又要进行相应的计算以确定应用调用业务系统服务对应的分片信息相互分离，解决了业务系统既要根据应用请求处理相应的业务，又要进行相应的计算以确定应用调用业务系统服务对应的分片信息，导致业务系统执行功能复杂和性能下降的问题。
97.需要说明的是，本实施例中公开的各个单元的具体工作过程，可参见对应方法实施例的内容，此处不再赘述。
98.可选地，本技术另一实施例提供的数据处理装置中的获取单元，具体用于：
99.基于所述第一预设调用渠道，调用分片服务查找到所述应用请求对应的分片键；
100.利用所述分片键对应的分片类型进行计算，得到所述分片键对应的分片键值；其中，所述分片类型包括哈希计算、原值计算、取余计算中的至少一种。
101.需要说明的是，本实施例中公开的各个单元的具体工作过程，可参见对应方法实施例的内容，此处不再赘述。
102.可选地，本技术另一实施例提供的数据处理装置还包括：存储单元，用于在通过第一预设调用通道，获取所述应用请求对应的分片键和分片键值之后，将所述应用请求对应的分片键和分片键值存储至相应的数据库。
103.需要说明的是，本实施例中公开的各个单元的具体工作过程，可参见对应方法实施例的内容，此处不再赘述。
104.可选地，本技术另一实施例提供的数据处理装置还包括：判断单元，用于在接收到应用请求，且通过所述第一预设调用渠道，获取到所述应用请求对应的分片键之后，判断所述数据库是否存储有所述分片键对应的分片键值；
105.其中，若判断出所述数据库中已存储有所述分片键对应的分片键值，则从所述数据库中获取所述分片键对应的分片键值；若判断出所述数据库中未存储有所述分片键对应的分片键值，则执行利用所述分片键对应的分片类型进行计算，得到所述分片键对应的分片键值的步骤。
106.需要说明的是，本实施例中公开的各个单元的具体工作过程，可参见对应方法实施例的内容，此处不再赘述。
107.可选地，本技术另一实施例提供的数据处理装置中还包括：更新单元，用于利用所述预设分片系统中的标签函数，更新所述业务分片对应的分片键和分片键值。
108.需要说明的是，本实施例中公开的各个单元的具体工作过程，可参见对应方法实施例的内容，此处不再赘述。
109.本技术另一实施例还公开了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述实施例示出的数据处理方法。上述数据处理方法的具体实现过程与实现原理和上述实施例示出的数据处理方法方法一致，可参见对应方法实施例的内容，这里不再赘述。
110.本技术实施例公开了一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述实施例示出的数据处理方法。
111.在具体实施中，所述电子设备可以包括但不限于手机、平板电脑、其他通用串行总线(universal serial bus，usb)接口设备等。
112.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
113.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
114.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。