一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于隐私计算的数据处理方法及系统与流程

2022-10-13 07:34:47 来源:中国专利 TAG:


1.本发明涉及数据处理技术,尤其涉及一种基于隐私计算的数据处理方法及系统。


背景技术:

2.隐私计算(privacy compute 或privacy computing)是指在保护数据本身不对外泄露的前提下实现数据分析计算的技术集合,达到对数据“可用、不可见”的目的;在充分保护数据和隐私安全的前提下,实现数据价值的转化和释放。
3.目前,隐私计算的参与方通常分为三大类:发起端、服务端以及服务端,发起端一般为数据的需求者,会发送相应的任务请求,服务端一般为数据的提供者,会相应发起端的任务请求,将相应的数据发送至服务端进行运算,服务端再将运算结果发送至发起端,现有技术为了规避隐私泄漏也可以将服务端去除,通过发起端与服务端建立联系,但,多个发起端可能会发送多个相同或相似任务请求给服务端,因此服务端则会进行多余的重复计算,浪费计算力资源,同时延缓了任务的处理效率。


技术实现要素:

4.本发明实施例提供一种基于隐私计算的数据处理方法及系统,通过服务端的进行数据的打包去重,减少了服务端的计算量,提高了数据的处理效率。
5.本发明实施例的第一方面,提供一种基于隐私计算的数据处理方法,包括:多个发起端发送任务请求,服务端根据所述任务请求从数据库中选取每个任务请求所对应的第一运算数据,对所述第一运算数据进行分类得到多个第二运算数据,根据所述第二运算数据与发起端的对应关系生成数据分类表;服务端根据每个区块链节点cpu的剩余占用量对所述第二运算数据进行分发,以使每个区块链节点具有相对应的隐私计算目标;区块链节点在对所分发的第二运算数据进行隐私计算后得到第三运算数据,将所述第三运算数据发送至服务端;服务端在判断所有区块链节点分别反馈第三运算数据后,根据所述数据分类表对所述第三运算数据进行合并,得到第四运算数据并发送至相对应的发起端。
6.可选地,在第一方面的一种可能实现方式中,所述多个发起端发送任务请求,服务端根据所述任务请求从数据库中选取每个任务请求所对应的第一运算数据,对所述第一运算数据进行分类得到多个第二运算数据,根据所述第二运算数据与发起端的对应关系生成数据分类表,包括:多个发起端发送任务请求,服务端根据所述任务请求从数据库中选取每个任务请求所对应第一运算数据;将多个发起端对应的第一运算数据进行交集计算,确定任意两个发起端的数据交集得到第一交集数据;将每个发起端的第一运算数据与其对应的第一交集数据比对,得到相应发起端的
第一差集数据;选取每一个发起端所对应的第一交集数据和/或第一差集数据,生成数据分类表,每个发起端对应至少一个第一交集数据和/或第一差集数据,将所述第一交集数据和/或第一差集数据作为第二运算数据。
7.可选地,在第一方面的一种可能实现方式中,所述将多个发起端对应的第一运算数据进行交集计算,确定任意两个发起端的数据交集得到第一交集数据,包括:获取多个发起端对应的第一运算数据的第一维度信息,根据所述第一维度信息对所述第一运算数据进行分解,得到至少一个运算子数据,确定每个运算子数据的第一维度标签;将任意两个发起端的运算子数据的第一维度标签进行比对,选取第一维度标签相同的运算子数据作为第一交集数据。
8.可选地,在第一方面的一种可能实现方式中,所述将多个发起端对应的第一运算数据进行交集计算,确定任意两个发起端的数据交集得到第一交集数据,包括:获取多个发起端对应的第一运算数据的第一维度信息,若所述第一维度信息为多个,则根据多个第一维度信息对所述第一运算数据进行分解,得到至少一个运算子数据;确定每个运算子数据的所对应的标签组,所述标签组包括相应多个种类的第一维度信息;将任意两个发起端的运算子数据的标签组进行比对,选取标签组相同的运算子数据作为第一交集数据。
9.可选地,在第一方面的一种可能实现方式中,所述选取每一个发起端所对应的第一交集数据和/或第一差集数据,生成数据分类表,每个发起端对应至少一个第一交集数据和/或第一差集数据,将所述第一交集数据和/或第一差集数据作为第二运算数据,包括:初始化数据分类表,在所述数据分类表中建立第一栏目和第二栏目,每个第一栏目中的第一单元格与第二栏目中的第二单元格具有对应关系;将每个发起端的id填写至第一栏目的第一单元格内,提取发起端的第一交集数据和/或第一差集数据所对应的第一维度标签和/或标签组,将所述第一维度标签和/或标签组填写至相对应的第二单元格内,生成数据分类表。
10.可选地,在第一方面的一种可能实现方式中,所述将每个发起端的id填写至第一栏目的第一单元格内,提取发起端的第一交集数据和/或第一差集数据所对应的第一维度标签和/或标签组,将所述第一维度标签和/或标签组填写至相对应的第二单元格内,生成数据分类表,包括:获取所述第一交集数据内所有运算子数据的元数据,根据第一交集数据的元数据生成第一元数据子列;获取所述第一差集数据内所有运算子数据的元数据,根据第一差集数据的元数据生成第二元数据子列;在所述数据分类表内建立第三单元格,每个第三单元格具有与其对应的第二单元格,将第一元数据子列和/或第二元数据子列填充至与第一维度标签和/或标签组对应的第三单元格内。
11.可选地,在第一方面的一种可能实现方式中,所述服务端根据每个区块链节点cpu
的剩余占用量对所述第二运算数据进行分发,以使每个区块链节点具有相对应的隐私计算目标,包括:获取每个第二运算数据所对应第一交集数据和/或第一差集数据的第一元数据子列和/或第二元数据子列;统计每一个第二运算数据所对应第一元数据子列和/或第二元数据子列内,元数据的数量之和,得到每个第二运算数据对应的元数据数量;对所有的第二运算数据按照所述元数据数量进行降序排序,得到数量序列;服务端根据每个区块链节点cpu的剩余占用量对每个区块链节点进行降序排序,生成运算序列;若所述数量序列中第二运算数据的数量小于等于运算序列中区块链节点的数量,则按照所述数量序列依次将第二运算数据,分发至运算序列中相对应的区块链节点处,以使每个区块链节点最多对应一个第二运算数据;若所述数量序列中第二运算数据的数量大于运算序列中区块链节点的数量,则按照所述数量序列依次将所有的第二运算数据,循环分发至运算序列中相对应的区块链节点处,以使每个区块链节点最少对应一个第二运算数据。
12.可选地,在第一方面的一种可能实现方式中,服务端在判断所有区块链节点分别反馈第三运算数据后,根据所述数据分类表对所述第三运算数据进行合并,得到第四运算数据并发送至相对应的发起端,包括:若判断所有区块链节点分别反馈第三运算数据后,则选中数据分类表中发起端的id所对应第二单元格内的第一维度标签和/或标签组;根据所述第一维度标签和/或标签组选取相对应的第三运算数据,对所选取的第三运算数据进行复制、合并,得到第四运算数据;将所述第四运算数据发送至相应id的发起端。
13.可选地,在第一方面的一种可能实现方式中,还包括:若所述发起端接收到相应的第四运算数据,则生成反馈信息,将所述反馈信息发送给服务端;服务端基于所述反馈信息将相应id的第四运算数据进行格式化处理。
14.本发明实施例的第二方面,提供一种基于隐私计算的数据处理系统,包括:分类模块,用于多个发起端发送任务请求,服务端根据所述任务请求从数据库中选取每个任务请求所对应的第一运算数据,对所述第一运算数据进行分类得到多个第二运算数据,根据所述第二运算数据与发起端的对应关系生成数据分类表;分发模块,用于服务端根据每个区块链节点cpu的剩余占用量对所述第二运算数据进行分发,以使每个区块链节点具有相对应的隐私计算目标;计算模块,用于区块链节点在对所分发的第二运算数据进行隐私计算后得到第三运算数据,将所述第三运算数据发送至服务端;合并模块,用于服务端在判断所有区块链节点分别反馈第三运算数据后,根据所述数据分类表对所述第三运算数据进行合并,得到第四运算数据并发送至相对应的发起端。
15.本发明实施例的第三方面,提供一种电子设备,包括:存储器、处理器以及计算机
程序,所述计算机程序存储在所述存储器中,所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能涉及的所述方法。
16.本发明实施例的第四方面,提供一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能涉及的所述方法。
17.本发明提供的一种基于隐私计算的数据处理方法及系统,通过对第一运算数据进行分类,当存在重复数据时,只选中一条数据作为相应的第二运算数据,本发明会根据发起端所对应第二运算数据的不同确定其相对应的数据分类表,使得对所隐私计算后第三运算数据进行组装时,能够按照数据分类表进行组装,得到每个发起端所需要的第四运算数据,该种方式,有效的降低了重复数据的隐私计算量,使得在隐私计算过程中,不同发起端所需要的隐私数据只计算一次即可,降低隐私计算量的同时,大幅提高在高并发场景下,为多个发起端减少了后续数据的计算量;本方案会根据第二运算数据的大小与区块链节点cpu的剩余占用量大小相互匹配,使得节点不会超负荷运转,根据各区块节点的运算力合理的向其分配数据,提高整个系统对所有第二运算数据的隐私计算效率剩余占用量。
18.本发明提供的技术方案,会将第一运算数据进行交集和差集运算,使得系统对于重复数据仅选中一条进行处理,并通过将每个发起端的id填写至数据分类表的第一单元格内,将第一维度标签和/或标签组填写至相对应的第二单元格,使得每个发起端都拥有与其相对应的第一维度标签和/或标签组,生成数据分类表,方便后续根据第三运算数据所对应的第一维度标签和/或标签组进行数据的复制合并,使得保证计算效率提高的同时,确保了发起端需求数据的准确性。
19.本发明提供的技术方案,将第二运算数据中的第一交集数据以及第一差集数据对应的第一元数据子列和第二元数据子列按照元数据数量进行降序排序,同时将服务端处的区块链节点cpu的剩余占用量进行降序排序,元数据的数量越多相对的数据量较大,则将元数据数量多的与区块链节点cpu的剩余占用量大的进行匹配,元数据数量少的与区块链节点cpu的剩余占用量小的进行匹配,与传统技术需要对数据量进行统计计算再与节点相匹配相比,本发明无须统计数据量直接通过元数据的数量进行分配,避免了计算力的浪费,较好的提升了计算效率。
附图说明
20.图1为本发明所提供的技术方案的应用场景示意图;图2为本发明所提供的一种基于隐私计算的数据处理方法的流程图;图3为本发明所提供的一种基于隐私计算的数据处理系统的结构示意图;图4为本发明提供的一种电子设备的硬件结构示意图。
具体实施方式
21.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
22.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
23.应当理解,在本发明的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
24.应当理解,在本发明中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
25.应当理解,在本发明中,“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含,“包含a、b或c”是指包含a、b、c三者之一,“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
26.应当理解,在本发明中,“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”,表示b与a相关联,根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b,还可以根据a和/或其他信息确定b。a与b的匹配,是a与b的相似度大于或等于预设的阈值。
27.取决于语境,如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
28.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
29.如图1所示,为本发明所提供的技术方案的场景示意图,包括:发起端以及服务端,多个发起端发送任务请求给服务端,其中,任务请求可以是一个,可以是多个,在此不做限定,服务端响应任务请求,并根据任务请求从数据库中提取相对应的第一运算数据,并对第一运算数据进行分类打包得到第二运算数据以及相应的数据分类表,根据每个第二运算数据所对应的元数据的数量进行降序排序,生成数量序列,并对每个区块链节点cpu的剩余占用量进行降序排序,生成运算序列,按照所述数量序列依次将第二运算数据,分发至运算序列中相对应的区块链节点处进行运算,得到第三运算数据,随后根据数据分类表对第三运算数据进行合并处理得到第四运算数据,并将第四运算数据发送至对应发起端。
30.本发明提供一种基于隐私计算的数据处理方法,如图2所示,包括:步骤s110、多个发起端发送任务请求,服务端根据所述任务请求从数据库中选取每个任务请求所对应的第一运算数据,对所述第一运算数据进行分类得到多个第二运算数据,根据所述第二运算数据与发起端的对应关系生成数据分类表。
31.本发明提供的技术方案,多个发起端发送任务请求至服务端,服务端根据任务请求从数据库中选取相对应的第一运算数据,其中,任务请求可以是一个可以是多个,在此不做限定,根据任务请求从数据库中选取相应的第一运算数据,可以理解的是,第一运算数据尚未去除重复数据,并对第一运算数据进行分类得到多个第二运算数据,可以理解的是,将
第一运算数据进行了拆分分类,将数据分为了重复数据与非重复数据,两者均为第二运算数据,根据第二运算数据与发起端的对应关系生成数据分类表。
32.例如:抖音、快手发送调查热门商品类别的任务请求给淘宝,抖音的任务请求为:调查食品中5月至8月的热门细分小类,快手的任务请求为:调查食品中7月至10月的热门细分小类,淘宝根据抖音、快手的任务请求从数据库中挑选出相应的第一运算数据,此时根据抖音的食品中5月至8月的热门细分小类与快手的食品中7月至10月的热门细分小类,可以知道的是,重复7月至8月食品的热门细分小类所对应的第一运算数据,因此将数据分为:食品中5月至6月的热门细分小类、食品中7月至8月的热门细分小类、食品中9月至10月的热门细分小类,对第一运算数据进行了分类,分为了多个第二运算数据,可以理解的是,将第一运算数据分为了重复数据以及非重复数据从而得到了第二运算数据,根据第二运算数据与抖音、快手对应关系生成数据分类表。
33.本发明通过对第一运算数据进行分类将多个发起端重复的数据需求去除,减少了数据运算量,提升了任务处理效率,并根据第二运算数据与发起端的对应关系生成数据分类表方便后续将计算结果进行合并。
34.本发明提供的技术方案,在一个可能的实施方式中,步骤s110具体包括:多个发起端发送任务请求,服务端根据所述任务请求从数据库中选取每个任务请求所对应第一运算数据。
35.本发明提供的技术方案,多个发起端发送任务请求,可以理解的是,发起端对应的任务请求可以是一个可以是多个,在此不做限定,服务端根据任务请求从数据库中选取每个任务请求所对应的第一运算数据,方便后续对第一运算数据进行运算得到每个任务请求所对应的结果。
36.例如:抖音发送调查热门商品类别的任务请求给淘宝,抖音的任务请求为:调查食品中5月至8月的热门细分小类,淘宝根据抖音的任务请求从数据库中挑选出调查食品中5月至8月的热门细分小类(任务请求)相对应的5月至8月食品的热门细分小类数据,从数据库中选择任务相对应的数据,确保数据计算结果的准确性。
37.将多个发起端对应的第一运算数据进行交集计算,确定任意两个发起端的数据交集得到第一交集数据。
38.本发明提供的技术方案,将多个发起端对应的第一运算数据进行交集计算,提取任意两个发起端的数据交集得到第一交集数据,可以理解的是,取多个的第一运算数据的交集部分的第一运算数据为第一交集数据,通过对第一运算数据做交集运算,方便后续对数据进行去重从而减少数据的计算量。
39.例如:抖音对应的第一运算数据为5月至8月食品的热门细分小类数据,快手对应的第一运算数据为7月至10月食品的热门细分小类数据,对两者进行交集运算,得到第一交集数据为7月至8月食品的热门细分小类数据。
40.本发明提供的技术方案,在一个可能的实施方式中,所述将多个发起端对应的第一运算数据进行交集计算,确定任意两个发起端的数据交集得到第一交集数据,包括:获取多个发起端对应的第一运算数据的第一维度信息,根据所述第一维度信息对所述第一运算数据进行分解,得到至少一个运算子数据,确定每个运算子数据的第一维度标签。
41.本发明提供的技术方案,本发明会获取多个发起端对应的第一运算数据的第一维度信息,其中,第一维度信息可以是时间信息、可以是类别信息,在此不做限定,根据第一维度信息对所述第一运算数据进行分解,得到多个运算子数据,确定每个运算子数据所对应的第一维度标签,方便后续根据第一维度标签对第一运算数据进行分类处理。
42.例如:获取抖音对应5月至8月食品的热门细分小类数据的时间信息,根据时间信息对第一运算数据进行分解,分解为5月运算子数据、6月运算子数据、7月运算子数据、8月运算子数据,确定每个运算子数据的第一维度标签为:5月、6月、7月、8月;获取快手对应的第一运算数据为7月至10月食品的热门细分小类数据的时间信息,根据时间信息对第一运算数据进行分解,分解为7月运算子数据、8月运算子数据、9月运算子数据、10月运算子数据,确定每个运算子数据的第一维度标签为:7月、8月、9月、10月。
43.将任意两个发起端的运算子数据的第一维度标签进行比对,选取第一维度标签相同的运算子数据作为第一交集数据。
44.本发明提供的技术方案,将任意两个发起端的运算子数据的第一维度标签进行一一对比,选取第一维度标签相同的运算子数据作为第一交集数据,可以理解的是,选择标签相同的数据作为第一交集数据。
45.例如:将抖音对应的第一维度标签:5月、6月、7月、8月以及快手对应的第一维度标签:7月、8月、9月、10月进行一一对比,第一维度标签相同的运算子数据为:7月至8月的运算子数据,则此时第一交集数据为7月至8月的运算子数据,也可以说是7月至8月的第一运算数据,方便后续根据第一交集数据进行去重。
46.本发明提供的技术方案,在一个可能的实施方式中,所述将多个发起端对应的第一运算数据进行交集计算,确定任意两个发起端的数据交集得到第一交集数据,包括:获取多个发起端对应的第一运算数据的第一维度信息,若所述第一维度信息为多个,则根据多个第一维度信息对所述第一运算数据进行分解,得到至少一个运算子数据。
47.本发明提供的技术方案,获取多个发起端对应的第一运算数据的第一维度信息,如果第一维度信息为多个,可以理解的是,第一维度信息可以是时间信息和类别信息,在此不做限定,则根据多个第一维度信息对所述第一运算数据进行分解,得到至少一个运算子数据。
48.例如:抖音的任务请求为:调查食品、日用品中5月至8月的热门细分小类,快手的任务请求为:调查食品、家具中7月至10月的热门细分小类,则抖音对应的第一运算数据为:5月至8月食品、日用品的热门细分小类数据,快手对应的第一运算数据为:7月至10月食品、家具的热门细分小类数据,此时的第一维度信息为:类别信息以及时间信息,则根据类别信息以及时间信息对第一运算数据进行分解,抖音的运算子数据为:5月食品运算子数据、6月食品运算子数据、7月食品运算子数据、8月食品运算子数据、5月日用品运算子数据、6月日用品运算子数据、7月日用品运算子数据、8月日用品运算子数据;抖音的运算子数据为:7月食品运算子数据、8月食品运算子数据、9月食品运算子数据、10月食品运算子数据、7月家具运算子数据、8月家具运算子数据、9月家具运算子数据、10月家具运算子数据。
49.确定每个运算子数据的所对应的标签组,所述标签组包括相应多个种类的第一维度信息。
50.本发明提供的技术方案,确定每个运算子数据的所对应的标签组,可以理解的是,
此时每个运算子数据对应的标签为多个对应为标签组,标签组包括相应多个种类的第一维度信息,第一维度信息可以是时间信息和类别信息,在此不做限定,方便后续根据标签组确定相同运算子数据,得到第一交集数据。
51.例如:抖音每个运算子数据的所对应的标签组为:(5月、食品),(6月、食品),(7月、食品),(8月、食品),(5月、日用品),(6月、日用品),(7月、日用品),(8月、日用品);快手每个运算子数据的所对应的标签组为:(7月、食品),(8月、食品),(9月、食品),(10月、食品),(7月、家具),(8月、家具),(9月、家具),(10月、家具)。
52.将任意两个发起端的运算子数据的标签组进行比对,选取标签组相同的运算子数据作为第一交集数据。
53.本发明提供的技术方案,将任意两个发起端的运算子数据的标签组进行比对,选取标签组相同的运算子数据作为第一交集数据,可以理解的是,选择标签组相同的数据作为第一交集数据,通过标签组计算交集数据实现对数据的去重。
54.例如:将抖音对应的标签组:(5月、食品),(6月、食品),(7月、食品),(8月、食品),(5月、日用品),(6月、日用品),(7月、日用品),(8月、日用品)与快手对应的标签组:(7月、食品),(8月、食品),(9月、食品),(10月、食品),(7月、家具),(8月、家具),(9月、家具),(10月、家具)进行比对,选取(7月、食品),(8月、食品)的运算子数据作为第一交集数据。
55.将每个发起端的第一运算数据与其对应的第一交集数据比对,得到相应发起端的第一差集数据。
56.本发明提供的技术方案,将每个发起端的第一运算数据与其对应的第一交集数据进行差集运算,得到对应的第一差集数据,通过交集和差集的运算对第一运算数据进行分类,使得数据去重,减少了后续数据的计算量。
57.例如:第一交集数据为(7月、食品),(8月、食品)的运算子数据,对应的也就是7月至8月食品的热门细分小类数据,将抖音的5月至8月食品、日用品的热门细分小类数据与7月至8月食品的热门细分小类数据求差集,得到的第一差集数据为:5月至6月食品的热门细分小类数据以及5月至8月日用品的热门细分小类数据,将快手的7月至10月食品、家具的热门细分小类数据与7月至8月食品的热门细分小类数据求差集,得到的第一差集数据为:9月至10月食品的热门细分小类数据,7月至10月家具的热门细分小类数据。
58.选取每一个发起端所对应的第一交集数据和/或第一差集数据,生成数据分类表,每个发起端对应至少一个第一交集数据和/或第一差集数据,将所述第一交集数据和/或第一差集数据作为第二运算数据。
59.本发明提供的技术方案,根据每一个发起端所对应的第一交集数据和/或第一差集数据,生成对应的数据分类表,每个发起端对应至少一个第一交集数据和/或第一差集数据,可以理解的是,第一交集数据可以是空集,也可以是所有第一运算数据即自己本身,因此对应的差集可以是所以所有第一运算数据,也可以是空集,将第一交集数据和/或第一差集数据作为第二运算数据,通过第一交集数据和/或第一差集数据与发起端的对应关系生成数据分类表方便后续根据数据分类表进行数据的合并以及将计算结果发送至对应的发起端。
60.本发明提供的技术方案,在一个可能的实施方式中,所述选取每一个发起端所对应的第一交集数据和/或第一差集数据,生成数据分类表,每个发起端对应至少一个第一交
集数据和/或第一差集数据,将所述第一交集数据和/或第一差集数据作为第二运算数据,包括:初始化数据分类表,在所述数据分类表中建立第一栏目和第二栏目,每个第一栏目中的第一单元格与第二栏目中的第二单元格具有对应关系。
61.本发明提供的技术方案,初始化数据分类表,在该数据分类表中建立第一栏目和第二栏目,并在第一栏目建立多个第一单元格,在第二栏目中建立多个第二单元格,每个第二单元格都有与其相对应的第一单元格。
62.将每个发起端的id填写至第一栏目的第一单元格内,提取发起端的第一交集数据和/或第一差集数据所对应的第一维度标签和/或标签组,将所述第一维度标签和/或标签组填写至相对应的第二单元格内,生成数据分类表。
63.本发明提供的技术方案,将每个发起端的id填写至第一栏目的第一单元格内,并且提取发起端的第一交集数据和/或第一差集数据所对应的第一维度标签和/或标签组,将第一维度标签和/或标签组填写至相对应的第二单元格内,可以理解的是,此时第一单元格内发起端的id与第二单元格内第一维度标签和/或标签组相对应,将数据填充完毕后生成相应的数据分类表。
64.本发明提供的技术方案,在一个可能的实施方式中,所述将每个发起端的id填写至第一栏目的第一单元格内,提取发起端的第一交集数据和/或第一差集数据所对应的第一维度标签和/或标签组,将所述第一维度标签和/或标签组填写至相对应的第二单元格内,生成数据分类表,包括:获取所述第一交集数据内所有运算子数据的元数据,根据第一交集数据的元数据生成第一元数据子列。
65.本发明提供的技术方案,获取所述第一交集数据内所有运算子数据的元数据,可以理解的是,运算子数据都有相对应的元数据,元数据又称中介数据,为描述数据的数据,用于查找相应的数据,根据第一交集数据的元数据生成第一元数据子列。
66.获取所述第一差集数据内所有运算子数据的元数据,根据第一差集数据的元数据生成第二元数据子列。
67.本发明提供的技术方案,获取所述第一差集数据内所有运算子数据的元数据,可以理解的是,运算子数据都有相对应的元数据,元数据又称中介数据,为描述数据的数据,用于查找相应的数据,根据第一差集数据的元数据生成第二元数据子列。
68.在所述数据分类表内建立第三单元格,每个第三单元格具有与其对应的第二单元格,将第一元数据子列和/或第二元数据子列填充至与第一维度标签和/或标签组对应的第三单元格内。
69.本发明提供的技术方案,在所述数据分类表内建立第三栏目,在所述第三栏目中建立第三单元格,每个第三单元格具有与其对应的第二单元格,同时第二单元格又有与其对应的第一单元格,将第一元数据子列和/或第二元数据子列填充至与第一维度标签和/或标签组对应的第三单元格内,方便后续根据元数据子列中元数据的数量去判断相对应的数据量大小,可以较为准确的匹配相应的区块链节点进行计算,使得计算效率较高。
70.步骤s120、服务端根据每个区块链节点cpu的剩余占用量对所述第二运算数据进行分发,以使每个区块链节点具有相对应的隐私计算目标。
71.本发明提供的技术方案,服务端根据每个区块链节点cpu的剩余占用量对所述第二运算数据进行分发,可以理解的是,区块链节点cpu的剩余占用量越大相对的剩余算力越高,使得区块链节点cpu的负载适中,提升使用寿命,较好的提升了计算效率,使得被分配的区块链节点都具有相对应额的隐私计算目标。
72.本发明提供的技术方案,在一个可能的实施方式中,步骤s120具体包括:获取每个第二运算数据所对应第一交集数据和/或第一差集数据的第一元数据子列和/或第二元数据子列。
73.本发明提供的技术方案,系统获取每个第二运算数据所对应第一交集数据和/或第一差集数据的第一元数据子列和/或第二元数据子列,可以理解的是,第一交集数据可以是空集,第一差集数据可以是空集,因此相对应的元数据子列可以只有第一元数据子列或第二元数据子列,当第一交集数据、第一差集数据不为空集时,则同时存在第一元数据子列以及第二元数据子列。
74.统计每一个第二运算数据所对应第一元数据子列和/或第二元数据子列内,元数据的数量之和,得到每个第二运算数据对应的元数据数量。
75.本发明提供的技术方案,统计每一个第二运算数据所对应第一元数据子列和/或第二元数据子列内,元数据的数量之和,得到每个第二运算数据对应的元数据数量,可以理解的是,多个运算子数据组成第一交集数据和第一差集数据,每个运算子数据对应一个元数据,第一元数据子列是由第一交集数据中每个运算子数据对应的元数据组成的,则第一元数据子列对应多个元数据,可以理解的是,元数据的数量越多相对的数据量较大,方便后续直接根据元数据的数量值对数据进行分配计算。
76.对所有的第二运算数据按照所述元数据数量进行降序排序,得到数量序列。
77.本发明提供的技术方案,按照元数据数量对所有的第二运算数据进行降序排序,可以理解的是,元数据的数量越多相对的数据量较大,因此可以较为准确的对所有的第二运算数据的数据量从高到低进行排序,方便后续进行分配。
78.服务端根据每个区块链节点cpu的剩余占用量对每个区块链节点进行降序排序,生成运算序列。
79.本发明提供的技术方案,服务端再根据每个区块链节点cpu的剩余占用量对每个区块链节点进行降序排序,生成运算序列,可以理解的是,此时的运算序列靠前的区块链节点剩余算力较高,方便后续根据数据量以及剩余算力进行相对应的分配,使得计算效率较高。
80.若所述数量序列中第二运算数据的数量小于等于运算序列中区块链节点的数量,则按照所述数量序列依次将第二运算数据,分发至运算序列中相对应的区块链节点处,以使每个区块链节点最多对应一个第二运算数据。
81.本发明提供的技术方案,如果数量序列中第二运算数据的数量小于等于运算序列中区块链节点的数量,则按照所述数量序列依次将第二运算数据,分发至运算序列中相对应的区块链节点处,使得每个被分配的区块链节点都有与其相对应的一个第二运算数据,可以理解的是,此时区块链节点数量较多则可以确保每个第二运算数据都能分配给对应的区块链节点,且每个区块链节点。
82.若所述数量序列中第二运算数据的数量大于运算序列中区块链节点的数量,则按
照所述数量序列依次将所有的第二运算数据,循环分发至运算序列中相对应的区块链节点处,以使每个区块链节点最少对应一个第二运算数据。
83.本发明提供的技术方案,如果数量序列中第二运算数据的数量大于运算序列中区块链节点的数量,则按照所述数量序列依次将所有的第二运算数据,循环分发至运算序列中相对应的区块链节点处,以使每个区块链节点最少对应一个第二运算数据,可以理解的是,此时数据的数量过多,则先按照数量序列依次将第二运算数据分发至运算序列中相对应的区块链节点处,当分配完最后一个区块链节点,还剩余第二运算数据,则此时会将剩余的第二运算数据还按照次序再依次分配给运算序列中相对应的区块链节点处,其中,循环分发是将第二运算数据按照运算序列中区块链节点cpu的剩余占用量从大到小进行分配,当数据量过多时,则将剩余的数据再次按照运算序列中区块链节点cpu的剩余占用量从大到小进行分配,则每个区块链节点最少对应一个第二运算数据,可以理解的是,区块链节点cpu的剩余占用量最大的对应至少2个第二运算数据。
84.本发明基于数据分类表直接对元数据的数量进行统计后,对第二运算数据进行排序分配,与传统技术需要对数据的数据量值进行统计后进行数据的分发,提高了数据分发的效率,进而提升了整个系统的数据处理效率。
85.本发明提供的技术方案,在按照所述数量序列依次将所有的第二运算数据,循环分发至运算序列中相对应的区块链节点处时,具有两种循环分发方案,第1种循环分发方案是直接按照运算序列中区块链节点的顺序进行再次的分发,该种分发方式具有逻辑简单、分发效率快的优势。
86.第2种循环分发方案是,在对运算序列中区块链节点进行一次分发之后,此时运算序列中每个区块链节点具有与其相对应的1个第二运算数据,此时本发明会根据每个区块链节点的剩余占用量、已分发的第二运算数据的元数据数量进行综合计算,得到相对应区块链节点的分发系数,根据每个区块链节点的分发系数再次对所有的区块链节点进行降序排序得到二次排序后的运算序列,再次选取数量序列中未被选取的第二运算数据,将未被选取的第二运算数据按照二次排序后的运算序列中每个区块链节点的顺序进行分发。
87.在判断二次排序后的运算序列中所有区块链节点都再次分发第二运算数据,且数量序列中还存在未被分发的第二运算数据,则此时再次计算运算序列中每个区块链节点的分发系数,并根据每个区块链节点的分发系数再次进行排序,执行上述的再次分发步骤,直至将数量序列中的所有第二运算数据向多个区块链节点依次分发完成。
88.本发明提供的技术方案,在计算分发系数时,首先会得到所有区块链节点的剩余占用量,进而计算得到多个区块链节点的平均剩余占用率,本发明通过以下公式计算分发系数,其中,为第个区块链节点的分发系数,为第个区块链节点cpu的剩余占用量,为第个区块链节点cpu的剩余占用量,为区块链节点的上限值,为区块链节点的数量值,为空间归一化值,为空间权重值,为第个区块链节点在第次数据分配时所
分发的第二运算数据的元数据数量,为第个区块链节点被分发第二运算数据次数的上限值,为数量归一化值,为数量权重值,为预设常数值;通过可以得到平均剩余占用率,通过可以得到第个区块链节点cpu的剩余占用量与平均剩余占用率之间的差值,当越大时,则证明相应的区块链节点的剩余占用率就越大,相对的计算能力就越强,所以应当分配具有元数据较多的第二运算数据。所以如果越大,则对分发系数则具有增大的趋势,通过可以得到相应区块链节点在经过多次分发之后,所分发的元数据的总量值,当某一个区块链节点所分发的元数据的总量值越大时,则证明相应的区块链节点所需要进行数据处理的量值就越大、处理负荷就越大,所以如果越大,则相对应的分发系数就应当越小。
89.本发明提供的技术方案,会根据空间归一化值对进行归一化处理,然后通过空间权重值对进行加权,使得是一个没有单位的标量值。根据数量归一化值对进行归一化处理,然后通过数量权重值对进行加权,使得是一个没有单位的标量值。为了保障分发系数为正数,本发明会将预先设置预设常数值,其中预设常数值。
90.如果分发系数越大,则相应区块链节点与其他多个区块链节点相比,具有相对较高的处理效率,所以此时优先对其分发元数据较多的第二运算数据,进而使得所有的第二运算数据能够在多个区块链节点中进行相对均匀、适应性的分配,在实现对第二运算数据进行动态分配的同时,使得多个区块链节点的相对负荷保持一致,提高系统整体的处理效率。
91.步骤s130、区块链节点在对所分发的第二运算数据进行隐私计算后得到第三运算数据,将所述第三运算数据发送至服务端。
92.本发明提供的技术方案,当所有的区块链节点完成对所分发的第二运算数据进行隐私计算后得到第三运算数据后,则将第三运算数据发送至服务端,方便后续服务端根据第三运算数据以及数据分类表进行数据合并。
93.步骤s140、服务端在判断所有区块链节点分别反馈第三运算数据后,根据所述数据分类表对所述第三运算数据进行合并,得到第四运算数据并发送至相对应的发起端。
94.本发明提供的技术方案,服务端在判断所有区块链节点分别反馈第三运算数据后,可以理解的是,此时所有的第二运算数据全部计算完毕,则根据数据分类表对所述第三运算数据进行合并,得到第四运算数据并发送至相对应的发起端,本发明通过数据分类表
在保证了数据计算效率有较好提高的同时,确保了发起端需求的相应数据的准确性。
95.本发明提供的技术方案,在一个可能的实施方式中,步骤s140具体包括:若判断所有区块链节点分别反馈第三运算数据后,则选中数据分类表中发起端的id所对应第二单元格内的第一维度标签和/或标签组。
96.本发明提供的技术方案,如果判断所有区块链节点分别反馈第三运算数据后,则选中数据分类表中多个发起端的id所对应第二单元格内的第一维度标签和/或标签组,例如:选中抖音对应的第一维度标签:5月、6月、7月、8月以及快手对应的第一维度标签:7月、8月、9月、10月,方便后续根据重复的第一维度标签和/或标签组所对应的第三运算数据进行复制、合并。
97.根据所述第一维度标签和/或标签组选取相对应的第三运算数据,对所选取的第三运算数据进行复制、合并,得到第四运算数据。
98.本发明提供的技术方案,服务端会根据所述第一维度标签和/或标签组选取相对应的第三运算数据,对所选取的第三运算数据进行复制、合并,例如:抖音对应的第一维度标签:5月、6月、7月、8月以及快手对应的第一维度标签:7月、8月、9月、10月,对应则需要选中7月、8月的第三运算数据进行复制,与5月、6月的第三运算数据进行合并得到抖音对应的第四运算数据,与9月、10月的第三运算数据进行合并得到快手对应的第四运算数据,可以理解的是,第四运算数据为计算结果。
99.将所述第四运算数据发送至相应id的发起端。
100.本发明提供的技术方案,当合并得到第四运算数据后,则将第四运算数据发送至相应id的发起端,例如:将:5月、6月、7月、8月对应的第四运算数据发送至抖音。
101.本发明提供的技术方案,通过数据分类表对数据的合并,保证了提升数据计算效率,节省运算时间的同时,确保了计算结果可以完整,准确的发送至对应的发起端。
102.本发明提供的技术方案,在一个可能的实施方式中,还包括:若所述发起端接收到相应的第四运算数据,则生成反馈信息,将所述反馈信息发送给服务端。
103.本发明提供的技术方案,如果发起端接收到相应的第四运算数据,且确认数据正确,则生成一个反馈信息,并将反馈信息发送给服务端,方便后续服务端根据反馈信息对计算结果进行删除,防止计算结果的泄漏。
104.服务端基于所述反馈信息将相应id的第四运算数据进行格式化处理。
105.本发明提供的技术方案,服务端基于反馈信息将已发送的相应id的第四运算数据进行删除处理,防止数据的泄漏或盗取。
106.为了更好的实现本发明所提供的一种基于隐私计算的数据处理方法,本发明还提供一种基于隐私计算的数据处理系统,如图3所示,包括:分类模块,用于多个发起端发送任务请求,服务端根据所述任务请求从数据库中选取每个任务请求所对应的第一运算数据,对所述第一运算数据进行分类得到多个第二运算数据,根据所述第二运算数据与发起端的对应关系生成数据分类表;分发模块,用于服务端根据每个区块链节点cpu的剩余占用量对所述第二运算数据进行分发,以使每个区块链节点具有相对应的隐私计算目标;计算模块,用于区块链节点在对所分发的第二运算数据进行隐私计算后得到第三
运算数据,将所述第三运算数据发送至服务端;合并模块,用于服务端在判断所有区块链节点分别反馈第三运算数据后,根据所述数据分类表对所述第三运算数据进行合并,得到第四运算数据并发送至相对应的发起端。
107.如图4所示,是本发明实施例提供的一种电子设备的硬件结构示意图,该电子设备50包括:处理器51、存储器52和计算机程序;其中存储器52,用于存储所述计算机程序,该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
108.处理器51,用于执行所述存储器存储的计算机程序,以实现上述方法中设备执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
109.可选地,存储器52既可以是独立的,也可以跟处理器51集成在一起。
110.当所述存储器52是独立于处理器51之外的器件时,所述设备还可以包括:总线53,用于连接所述存储器52和处理器51。
111.本发明还提供一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
112.其中,可读存储介质可以是计算机存储介质,也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如,可读存储介质耦合至处理器,从而使处理器能够从该可读存储介质读取信息,且可向该可读存储介质写入信息。当然,可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits,简称:asic)中。另外,该asic可以位于用户设备中。当然,处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(rom)、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
113.本发明还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令,至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
114.在上述设备的实施例中,应理解,处理器可以是中央处理单元(英文:central processing unit,简称:cpu),还可以是其他通用处理器、数字信号处理器(英文:digital signal processor,简称:dsp)、专用集成电路(英文:application specific integrated circuit,简称:asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
115.最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献