数据融合校验方法、装置及计算机存储介质与流程

1.本技术实施例涉及数据处理领域，特别涉及一种数据融合校验方法、装置及计算机存储介质。


背景技术：

2.目前，各部门、企业会根据各自的使用需求，独立建设独立的信息系统，导致了各部门、企业各自的信息系统之间不互通，数据孤岛问题严重。
3.再者，当需要执行跨部门的数据联合分析处理时，会由于数据权属不清晰，导致在统筹使用过程中，数据的隐私安全难以得到有效保障。
4.具体地，在数据交换的过程中会产生数据的内生安全问题，例如，多个不涉及隐私安全的独立数据，在经过数据融合后，可能会产生隐私泄露的问题。
5.有鉴于此，亟需一种可供分析数据的融合处理是否合规的数据融合分析技术。


技术实现要素：

6.鉴于上述问题，本技术提供一种数据融合校验方法、装置及计算机存储介质，可减少发生数据内生安全的情况。
7.本技术第一方面提供一种数据融合校验方法，其包括：融合第一数据表中的至少一个第一数据项与第二数据表中的至少一个第二数据项，获得融合数据表；根据构成所述融合数据表的所述至少一个第一数据项对应的至少一个第一编码和所述至少一个第二数据项对应的至少一个第二编码，获得所述融合数据表的血缘关系编码；根据所述血缘关系编码、预设融合规则，获得所述融合数据表合规或不合规的校验结果。
8.本技术第二方面提供一种计算机存储介质，其特征在于，所述运算机存储介质中存储有用于执行第一方面所述的方法中各步骤的各指令。
9.本技术第三方面提供一种数据融合校验装置，其包括：融合模块，用于融合第一数据表中的至少一个第一数据项与第二数据表中的至少一个第二数据项，获得融合数据表；分析模块，用于根据构成所述融合数据表的所述至少一个第一数据项对应的至少一个第一编码和所述至少一个第二数据项对应的至少一个第二编码，获得所述融合数据表的血缘关系编码；校验模块，用于根据所述血缘关系编码、预设融合规则，获得所述融合数据表合规或不合规的校验结果。
10.综上所述，本技术实施例提供的数据融合校验方法，可通过针对融合数据表中的各数据项生成数据编码，并基于数据编码生成融合数据表的血缘关系编码，据以校验各数据项的融合操作是否存在风险，据此，本技术减少数据融合过程中发生数据内生安全的可能性，以提高数据的隐私安全性。
附图说明
11.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
12.图1为本技术第一实施例的数据融合校验方法的流程示意图。
13.图2为本技术示例性的跨部门数据分布架构示意图。
14.图3为本技术第二实施例的数据融合校验方法的流程示意图。
15.图4为本技术第三实施例的数据融合校验方法的流程示意图。
16.图5为本技术第四实施例的数据融合校验方法的流程示意图。
17.图6为本技术第六实施例的数据融合校验装置的架构示意图。
具体实施方式
18.为了使本领域的人员更好地理解本技术实施例中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本技术实施例保护的范围。
19.以下将结合各附图详细描述本技术的各具体实施例。
20.第一实施例
21.图1示出了本技术第一实施例的数据融合校验方法的处理流程。如图所示，本实施例主要包括以下步骤：
22.步骤s102，融合第一数据表中的至少一个第一数据项与第二数据表中的至少一个第二数据项，获得融合数据表。
23.于本实施例中，第一数据表、第二数据表可分属于不同的部门或系统。
24.如图2所示，例如，第一数据表为部门a下的数据表a或数据表b，第二数据表为部门b下的数据表c。
25.其中，各数据表中可包括至少一个数据项，例如，在数据表a(第一数据表)中包含有数据项a、数据项b(第一数据项)；在数据表b(第一数据表)中包含有一个数据项c(第一数据项)；在数据表c(第二数据表)中包含有一个数据项d(第二数据项)。
26.于本实施例中，可根据至少一个第一数据项与至少一个第二数据项，确定各融合数据项，并基于根据各融合数据项，生成融合数据表。
27.例如，若需融合数据项a、数据项b、数据项d，则可确定融合数据项包括有数据项a、数据项b、数据项d，并据以生成包含数据项a、数据项b、数据项d的融合数据表d。
28.可选地，可择取数据表(即第一数据表、第二数据表)中的个别或所有的数据项(即第一数据项、第二数据项)进行数据融合处理。
29.例如，可将数据表a中的所有数据项(即数据项a、数据项b)与数据表c中的数据项d进行融合，亦可仅选择数据表a中的数据项a与数据表c中的数据项d进行融合。
30.步骤s104,根据构成融合数据表的至少一个第一数据项对应的至少一个第一编码和至少一个第二数据项对应的至少一个第二编码，获得融合数据表的血缘关系编码。
31.可选地，第一编码、第二编码各自包括共享标识码和独热码。
32.可选地，可根据第一数据项、第二数据项各自的共享属性，生成第一编码、第二编
码各自的共享标识码。
33.可选地，第一编码、第二编码的共享属性可包括不可共享属性、有条件共享属性、无条件共享属性中的一个。
34.于本实施例中，共享标识码可由两位编码组成，其中，11表示不可共享属性，01表示有条件共享，00表示无条件共享。
35.例如，图2中的数据项a、数据项b、数据项c的共享标识码均为01，即代表此三个数据项均为有条件共享数据，亦即，这三个数据项在执行数据融合处理后，可能会存在内生安全问题，需执行融合校验以验证融合处理是否安全。
36.又如，图2中的数据项d的共享标识码为11，即代表此数据项为不可共享数据，亦即，在任何情况下，数据项d都不能作为数据融合项执行数据融合处理。
37.可选地，并根据第一数据项、第二数据项各自的字段标识信息，生成第一编码、第二编码各自的独热码。
38.具体地，可根据第一数据项、第二数据项各自的字段标识信息，统计字段标识信息的总数量，据以确定独热码的编码位数，并根据独热码的编码位数，生成第一数据项、第二数据项各自的独热码。
39.例如，在图2所示的示意图中，根据数据项a至数据项d各自的字段标识信息，统计共有4个字段标识信息，借此，可将独热码的编码位数确定为4位，并据以生成数据项a至数据项d各自的独热码，亦即，数据项a的独热码为1000、数据项b的独热码为0100、数据项c的独热码为0010、数据项d的独热码为0001。
40.于本实施例中，若不同的数据项(第一数据项或第二数据项)具有相同的字段标识信息，则其独热码也应当相当。
41.例如，假设图2中的数据项b和数据项d均对应于“年龄”字段，则此二者各自的独热码应当是相同的。
42.可选地，第一编码、所述第二编码各自还可包括部门标识码，用于标识第一数据项、第二数据项各自所属的部门。
43.于本实施例中，可针对构成融合数据表中各融合数据项的第一数据项的第一编码和第二数据项的第二编码执行按位取并运算，获得血缘关系编码。
44.以图2所示为例，若生成的融合数据表d中包含有数据项a、数据项b、数据项d，则可基于数据项a、数据项b、数据项d各自的编码(即第一编码、第二编码)，则融合数据表d的血缘关系编码为：011000|010100|010001＝011101
45.步骤s106，根据血缘关系编码、预设融合规则，获得融合数据表合规或不合规的校验结果。
46.可选地，预设融合规则可包括预设基准编码与规则编码。
47.可选地，可基于血缘关系编码、预设基准编码、规则编码，获得融合数据表合规或不合规的校验结果。
48.于本实施例中，若获得融合数据表合规的校验结果，表示数据融合表中的数据融合操作不存在隐私安全性问题，反之，若获得融合数据表不合规的校验结果，表示数据融合表中的数据融合操作存在有隐私安全性问题。
49.综上所述，本实施例的数据融合校验方法，通过生成数据项的数据编码，据以获取融合数据表的血缘关系编码，并基于血缘关系编码分析融合数据表中的数据融合操作是否存在安全隐患，借此，可以有效避免隐私泄露的问题。
50.第二实施例
51.图3示出了本技术第二实施例的数据融合校验方法的处理流程。本实施例为上述步骤s106的具体实施方案。如图所示，本实施例主要包括以下步骤：
52.步骤s302，获取数据融合表中的任意一个第一数据项与任意一个第二数据项，针对提取的第一数据项的第一编码和第二数据项的第二编码执行按位取并运算，获得规则编码。
53.于本实施例中，可将融合数据表中的任意一个第一数据项和任意一个第二数据项进行配对组合，据以计算此两个数据项的规则编码(亦可称为内生安全规则码)。
54.例如，若提取的一个第一数据项和一个第二数据项分别为图2中的数据项b和数据项d，针对数据项b的第一编码(010100)和数据项d的第二编码(010001)执行按位取并计算，所生成的对应于数据项b和数据项d的规则编码为：010100|010001＝010101
55.需说明的是，虽规则编码与血缘关系编码均是通过针对第一编码和第二编码执行按位取并计算所生成的，然而，血缘关系编码是基于构成融合数据表的所有第一数据项和第二数据项所生成的(亦即，血缘关系编码是基于至少两个数据项的至少两个编码所生成的)，而规则编码则是基于一个第一数据项和一个第二数据项(亦即两个数据项的两个编码)所生成。
56.步骤s304,针对预设基准编码、血缘关系编码、规则编码执行按位取与运算，获得第一运算结果。
57.可选地，预设基准编码同样由共享标识码和独热码所组成。
58.其中，可基于无条件共享属性，设定预设基准编码的共享标识码为00，并将预设基准编码的独热码的各编码位均设置为1，例如，若预设基准编码的独热码包含有4位编码，则其独热码即为1111。
59.例如，以图2中的数据项b和数据项d为例，通过针对预设基准编码(001111)、血缘关系编码(例如011101)、对应于数据项b和数据项d的规则编码(010101)执行按位取与运算，所生成的第一运算结果即为：001111&011101&010101＝000101
60.步骤s306，针对预设基准编码、规则编码执行按位取与运算，获得第二运算结果。
61.例如，以图2中的数据项b和数据项d为例，通过针对预设基准编码(001111)、规则编码(010101)执行按位取与运算，所生成的第二运算结果即为：001111&010101＝000101
62.步骤s308，根据第一运算结果和第二运算结果，针对融合数据表执行一次校验。
63.于本实施例中，若第一运算结果和第二运算结果相吻合，获得融合数据表不合规的校验结果，若第一运算结果和所述第二运算结果不吻合，获得融合数据表合规的校验结果。
64.例如，以图2中的数据项b和数据项d为例，根据步骤s304获取的第一运算结果(即
000101)和步骤s306获取的第二运算结果(即000101)可知，第一运算结果和第二运算结果相吻合，则代表数据融合表中数据项b和数据项d之间的融合存在风险。
65.第三实施例
66.图3示出了本技术第三实施例的数据融合校验方法的流程示意图。本实施例可接续上述第二实施例执行，如图所示，本实施例包括以下步骤：
67.步骤s402，根据一次校验的校验结果，判断融合数据表是否合规，若合规，则进行步骤s404，若不合规，则结束本流程。
68.具体地，可根据上述步骤s308的校验结果，判断融合数据表是否合规。
69.步骤s404，根据第一运算结果与规则编码，针对融合数据表执行二次校验。
70.于本实施例中，可根据步骤s304获取的第一运算结果与步骤s302获取的规则编码，判断二者是否吻合，若第一运算结果与规则编码吻合，获得融合数据表合规的校验结果，若第一运算结果与规则编码不吻合，获得融合数据表不合规的校验结果。
71.第四实施例
72.图5示出了本技术第四实施例的数据融合校验方法的流程示意图。本实施例可接续上述第二实施例或第三实施例执行，如图所示，本实施例主要包括以下步骤：
73.步骤s502，根据一次校验或二次校验的校验结果，判断融合数据表是否合规，若合规，则进行步骤s504，若不合规，则结束本流程。
74.具体地，可根据上述步骤s308的一次校验的校验结果或者步骤s404二次校验的校验结果，判断融合数据表是否合规。
75.步骤s504，利用预测模型针对融合数据表中的各融合数据项执行合规性预测，获得各融合数据项合规或不合规的各预测结果。
76.可选地，分类模型可根据融合数据项的值域执行预测，以获得融合数据项合规或不合规的分类标签。
77.于本实施例中,若获得各融合数据项均合规的预测结果，输出述融合数据表合规的校验结果
78.综上所述，本技术各实施例提供的数据融合校验方法，可根据数据编码生成血缘关系编码和规则编码，并基于血缘关系编码、规则编码和预设基准编码，针对融合数据表的数据融合操作执行不同阶段的校验处理，不仅可从整体角度分析融合数据表是否存在隐私泄露的问题，更可进一步详细校验出融合数据表中的哪些数据项的融合操作存在风险，以减少发生数据内生安全的可能性。
79.第五实施例
80.本技术第五实施例提供一种计算机存储介质，其特征在于，所述运算机存储介质中存储有用于执行各实施例所述的方法中各步骤的各指令。
81.第六实施例
82.图6示出了本技术第六实施例的数据融合校验装置的架构示意图。如图所示，本实施例的数据融合校验装置600包括融合模块602、分析模块604、校验模块606。
83.融合模块602用于融合第一数据表中的至少一个第一数据项与第二数据表中的至少一个第二数据项，获得融合数据表。
84.分析模块604用于根据构成所述融合数据表的所述至少一个第一数据项对应的至
少一个第一编码和所述至少一个第二数据项对应的至少一个第二编码，获得所述融合数据表的血缘关系编码。
85.校验模块606用于根据所述血缘关系编码、预设融合规则，获得所述融合数据表合规或不合规的校验结果。
86.可选地，融合模块602还用于：根据所述至少一个第一数据项与所述至少一个第二数据项，确定各融合数据项；根据各所述融合数据项，生成所述融合数据表。
87.可选地，数据融合校验装置600还包括编码模块，其用于：根据所述第一数据项、所述第二数据项各自的共享属性，生成所述第一编码、所述第二编码各自的所述共享标识码；根据所述第一数据项、所述第二数据项各自的字段标识信息，生成所述第一编码、所述第二编码各自的所述独热码；其中，所述共享属性包括不可共享属性、有条件共享属性、无条件共享属性中的一个。
88.可选地，分析模块604还用于：针对构成所述融合数据表的所述至少一个第一数据项对应的至少一个第一编码和所述至少一个第二数据项对应的至少一个第二编码执行按位取并运算，获得所述血缘关系编码。
89.可选地，所述预设融合规则包括预设基准编码与规则编码，校验模块606还用于：获取所述数据融合表中的任意一个所述第一数据项与任意一个所述第二数据项，并针对提取的所述第一数据项的所述第一编码和所述第二数据项的所述第二编码执行按位取并运算，获得所述规则编码；针对所述预设基准编码、所述血缘关系编码、所述规则编码执行按位取与运算，获得第一运算结果，并针对所述预设基准编码、所述规则编码执行按位取与运算，获得第二运算结果；根据所述第一运算结果和所述第二运算结果，针对所述融合数据表执行一次校验，若所述第一运算结果和所述第二运算结果相吻合，获得所述融合数据表不合规的校验结果，若所述第一运算结果和所述第二运算结果不吻合，获得所述融合数据表合规的校验结果。
90.可选地，可基于所述无条件共享属性，设定所述预设基准编码的共享标识码。
91.可选地，校验模块606还用于：响应所述融合数据表合规的所述校验结果，根据所述第一运算结果与所述规则编码，针对所述融合数据表执行二次校验，若所述第一运算结果与所述规则编码相吻合，获得所述融合数据表合规的校验结果，若所述第一运算结果与所述规则编码不吻合，获得所述融合数据表不合规的校验结果。
92.可选地，校验模块606还用于：响应所述融合数据表合规的校验结果，利用预测模型针对所述融合数据表中的各融合数据项执行合规性预测，获得各所述融合数据项合规或不合规的各预测结果；若获得各所述融合数据项均合规的预测结果，输出所述融合数据表合规的校验结果。
93.可选地，所述分类模型可根据所述融合数据项的值域执行预测，获得所述融合数据项合规或不合规的分类标签。
94.综上所述，本技术各实施例提供的数据融合校验方案，通过生成融合数据表的血缘关系编码，据以校验融合数据表的数据融合处理是否存在风险，从而确保在数据隐私安全的前提下完成数据融合处理。
95.最后应说明的是：以上实施例仅用以说明本技术实施例的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其
依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。