一种识别敏感数据的方法和装置与流程
本技术涉及数据处理,并且更具体的,涉及一种识别敏感数据的方法、装置、计算设备集群、计算机程序产品和计算机可读存储介质。
背景技术:
1、随着云计算技术的普及,多租户架构已成为云服务交付的主流模式。在这种架构下,单个服务实例的软硬件资源被多个租户(也可以理解为是,客户或用户)共享,以实现资源的集约化利用和成本的降低。数据安全作为云服务的基石,其核心环节之一就是敏感数据的识别与分类、分级。传统的数据安全解决方案通常设计为单租户模式,即每个租户的数据识别与标签管理过程相互独立、隔离运行。
2、然而,在多租户云环境或者在多用户系统中,这种隔离的模式存在显著的局限性。虽然不同租户的业务领域和数据内容可能各异,但他们在数据的分类、分级的标准(例如,个人身份信息、财务数据、健康信息的界定与等级划分)上往往存在共性,并遵循相似的行业规范或法规要求。一个租户在数据识别和打标签过程中积累的有效经验(例如,在某个标准和规范下准确识别某种特定格式的身份证号并标记为l1级敏感数据),对于其他面临相似数据识别挑战的租户而言,是具有重要参考价值的先验知识。遗憾的是,传统的敏感数据识别方案未能有效利用这些散落在不同租户间的宝贵知识资产,导致每个租户都需从零开始积累经验,重复进行大量的人工校验和标签修正工作。即,对于敏感数据整体的识别效率低下,同时也增加了租户自身的运营成本。同时,若尝试直接利用其他租户的标签知识来优化当前租户的敏感数据识别结果,又会面临泄露原始敏感数据的风险。
3、因此,如何在严格保护各租户数据隐私安全的前提下,打破数据标签知识的孤岛,实现跨租户的标签知识的共享,成为需要解决的技术问题。
技术实现思路
1、本技术提供一种识别敏感数据的方法、装置、计算设备集群、计算机程序产品和计算机可读存储介质,在保证各租户数据隐私安全的前提下,打破数据标签知识的孤岛,实现跨租户的标签知识的共享。
2、第一方面,提供了一种识别敏感数据的方法,该方法应用于数据管理系统,数据管理系统包括至少一个共享标签知识库,至少一个共享标签知识库中包括多个租户各自的敏感数据的标签,每个租户的敏感数据的标签包括加密数据、分级信息和分类信息,加密数据是对租户的敏感数据的上下文信息的特征向量加密得到的,该方法包括:接收目标租户的第一请求消息,第一请求消息用于指示识别任务,第一请求消息包括第一指示信息和第二指示信息,第一指示信息用于指示目标数据源,第二指示信息用于指示启用标签共享功能;根据第一请求消息,识别目标数据源中的敏感数据,并得到目标敏感数据的初始标签,该初始标签包括目标敏感数据的上下文信息;响应于第二指示信息,对初始标签中目标敏感数据的上下文信息进行特征提取,并对提取的特征向量进行加密得到查询向量;根据向量搜索算法,在至少一个共享标签知识库中查找与查询向量匹配的加密数据,得到至少一个候选标签;根据至少一个候选标签,确定目标敏感数据的分级信息和/或分类信息。
3、基于上述技术方案,本技术中,构建了共享标签知识库,该共享标签知识库中包括多个租户各自的敏感数据的标签,每个租户的敏感数据的标签中包括对该敏感数据的上下文信息提取特征向量并进行加密处理后的加密数据,后续采用加密向量搜索技术在该共享标签知识库中查找匹配的加密数据。使得系统能够在加密域内完成向量搜索,确保租户的原始敏感数据不会离开其安全边界,解决了跨租户的标签知识共享与数据隐私保护之间的矛盾,实现了数据的可用不可见。也可理解为是,本技术提供的方案,打破了单租户的标签知识壁垒,减少了人工复核与手动打标签的工作量,显著提升了敏感数据分级分类的准确率和一致性。
4、换句话说,本技术提供的方案,允许租户在创建敏感数据的识别任务时选择开启相关功能,从而能够利用其他租户共享的标签知识对自身扫描结果进行自动优化,有效解决了标签信息孤岛问题,并提升了识别精度。另外,通过进行加密存储和搜索,确保了在共享知识的同时,原始敏感数据内容不被泄露,平衡了知识共享与隐私保护的需求。
5、结合第一方面,在一种可能的实现方式中,第一请求消息还包括第三指示信息,第三指示信息用于指示识别任务对应的目标行业属性,根据向量搜索算法,在至少一个共享标签知识库中查找与查询向量匹配的加密数据,得到至少一个候选标签,包括:根据向量搜索算法和第三指示信息,在至少一个共享标签知识库中查找与查询向量匹配的加密数据,得到至少一个候选标签,其中,每个候选标签所属的行业属性与目标行业属性相匹配。
6、基于上述技术方案,本技术中,考虑到不同行业(如金融、医疗等)对于敏感数据的分级分类标准往往存在显著差异。本技术中,通过行业属性作为过滤条件,后续系统可以优先选取同一标准或相似标准下的行业标签,有效解决了跨租户、跨行业分类分级标准差异带来的冲突,避免了错误匹配,使得最终的标签赋值结果更加符合特定行业的规范要求,提高标签匹配的准确性。
7、结合第一方面,在一种可能的实现方式中,每个租户的敏感数据的标签还包括权限信息,权限信息用于指示允许访问标签的租户,根据向量搜索算法,在至少一个共享标签知识库中查找与查询向量匹配的加密数据,得到至少一个候选标签,包括:根据向量搜索算法和权限信息,在至少一个共享标签知识库中查找与查询向量匹配的加密数据,得到至少一个候选标签,每个候选标签中的权限信息用于指示允许目标租户访问候选标签。
8、基于上述技术方案,本技术中,每个租户的敏感数据标签中引入权限信息,实现了跨租户标签知识在逻辑上的绝对安全隔离与可控共享。通过该权限信息,系统能够精确控制并验证哪些特定租户有资格访问和复用某个租户共享的先验标签资源,防止了敏感标签知识的越权滥用。
9、结合第一方面,在一种可能的实现方式中,数据管理系统还包括目标租户的本地标签知识库,目标租户的本地标签知识库中包括目标租户的至少一个敏感数据的标签,目标租户的敏感数据的标签包括以下信息:加密数据、分级信息、分类信息、权限信息和规则信息,规则信息用于指示敏感数据的识别规则,根据至少一个候选标签,确定目标敏感数据的分级信息和/或分类信息,包括:根据至少一个候选标签、目标租户的本地标签知识库和规则信息,确定目标敏感数据的分级信息和/或分类信息。
10、基于上述技术方案,本技术中,通过将共享标签知识库中得到的候选标签与目标租户的本地标签知识库相结合进行综合考虑,不仅大幅减少了手动打标签与人工复核的工作量,更确保了自动化赋予的分级分类标签既具备极高的准确性与可靠性,又能契合该特定租户个性化、严苛的数据安全合规需求。
11、结合第一方面,在一种可能的实现方式中,根据至少一个候选标签、目标租户的本地标签知识库和规则信息,确定目标敏感数据的分级信息和/或分类信息,包括:确定目标敏感数据的初始标签不包括规则信息;根据至少一个候选标签的规则信息,确定目标敏感数据的规则信息,其中,目标敏感数据的规则信息与一个候选标签中的规则信息相同;根据匹配算法,在目标租户的本地标签知识库中查找与目标敏感数据的规则信息匹配的规则信息,得到目标标签,目标标签中的规则信息与目标敏感数据的规则信息之间的匹配度大于或者等于第一阈值;根据目标标签的分级信息和/或分类信息,确定目标敏感数据的分级信息和/或分类信息。
12、基于上述技术方案,本技术中,当初始扫描未能完全识别出规则信息时,系统能够先借助共享标签知识库的高分候选标签补全缺失的规则属性,随后再切回该目标租户专属的本地标签知识库中进行二次精准匹配。这种实现方式,既消除了因初始规则遗漏而导致的识别盲区,又确保了最终赋予的分级分类标签能够优先利用本租户的历史成功经验,使得标签赋值过程更具合理性,从而在提升自动化校正成功率的同时,确保标签优化的结果既符合行业规范又能完美满足特定租户的实际个性化业务需求。
13、结合第一方面,在一种可能的实现方式中,根据至少一个候选标签、目标租户的本地标签知识库和规则信息,确定目标敏感数据的分级信息和/或分类信息,包括:确定目标敏感数据的初始标签包括规则信息;根据匹配算法,确定每个候选标签与初始标签之间的第一匹配度;根据每个候选标签与初始标签之间的第一匹配度、目标租户的本地标签知识库和规则信息,确定目标敏感数据的分级信息和/或分类信息。
14、例如,每个候选标签与初始标签之间的第一匹配度是根据候选标签与初始标签之间的第二匹配度,以及候选标签与初始标签之间的第三匹配度得到的,其中,第二匹配度是候选标签的敏感数据的上下文信息与查询向量之间的匹配度,第三匹配度是候选标签的规则信息与初始标签的规则信息之间的匹配度。
15、基于该实现方式,当初始标签已包含规则信息时,系统通过计算与共享知识库候选标签的第一匹配度来引入先验经验进行相似性校验,随后结合该匹配度并回归目标租户的本地标签知识库进行最终确认。这种方式可以将全局共享知识与本地历史成功经验相结合,不仅能有效解决跨租户或跨行业标准不一致带来的冲突风险,优先保障本租户特定业务规范的准确性,还显著减少了手动打标签与人工复核的工作量,最终确保了自动化赋予的分级分类标签既具备极高的可靠性与一致性,还能保证特定租户个性化的数据安全合规需求。
16、结合第一方面,在一种可能的实现方式中,根据每个候选标签与初始标签之间的第一匹配度、目标租户的本地标签知识库和规则信息,确定目标敏感数据的分级信息和/或分类信息,包括:根据每个候选标签与初始标签之间的第一匹配度和第二阈值,确定筛选后的候选标签,其中,筛选后的候选标签与初始标签之间的第一匹配度大于或者等于第二阈值;根据筛选后的候选标签的规则信息,得到目标敏感数据的规则信息,其中,目标敏感数据的规则信息与筛选后的一个候选标签的规则信息相同;在目标租户的本地标签知识库中查找与目标敏感数据的规则信息相似的规则信息,得到目标标签,目标标签中的规则信息与目标敏感数据的规则信息之间的匹配度大于或者等于第一阈值;根据目标标签的分级信息和/或分类信息,确定目标敏感数据的分级信息和/或分类信息。
17、基于上述技术方案,本技术中,系统可以先利用共享知识库的高相似度候选标签来确定规则信息,随后切回目标租户的本地标签知识库去提取最终的分级和分类信息,即优先利用了本租户的历史成功经验,使得标签赋值过程更具合理性,还确保了最终优化的标签结果能够完美契合特定租户自身的实际业务需求与安全合规,从而大幅减少人工复核与手动确定标签的工作量,既实现了准确率提升,又保证了个性化的匹配。
18、结合第一方面,在一种可能的实现方式中,根据每个候选标签与初始标签之间的第一匹配度、目标租户的本地标签知识库和规则信息,确定目标敏感数据的分级信息和/或分类信息,包括:确定每个候选标签与初始标签之间的第一匹配度小于或者等于第二阈值并且大于或者等于第三阈值;发送建议信息,建议信息用于指示为目标敏感数据推荐的分级信息和/或分类信息;接收反馈信息,反馈信息用于指示人工确认的目标敏感数据的分级信息和/或分类信息;根据反馈信息,确定目标敏感数据的分级信息和/或分类信息。
19、基于上述技术方案,本技术中,当系统判定自动化校正的置信度不足以进行直接替换时,通过设置特定相似度区间触发半自动建议并交由人工确认,这一机制有效避免了完全自动化在此类不确定场景下可能引入的匹配错误风险。使得既充分利用了跨租户共享知识库(如结合行业属性、历史准确率等启发式规则)为用户提供高质量的校正参考,又将最终决定权安全保留给租户,从而有力保证了关键敏感数据场景下标签处理的准确性。
20、结合第一方面,在一种可能的实现方式中,根据每个候选标签与初始标签之间的第一匹配度、目标租户的本地标签知识库和规则信息,确定目标敏感数据的分级信息和/或分类信息,包括:确定每个候选标签与初始标签之间的第一匹配度小于或者等于第三阈值;根据目标敏感数据的初始标签的分级信息和/或分类信息,确定目标敏感数据的分级信息和/或分类信息。
21、基于上述技术方案,本技术中,在共享标签知识库中推荐的标签与当前业务语境极度不匹配时,能够果断拦截并摒弃低相关性的误导建议,直接保留本地初步识别的标签的结果,这不仅有效避免了因强行套用无关共享标签而导致的严重匹配错误风险,也保障了敏感数据自动化分级分类体系的准确性。
22、结合第一方面,在一种可能的实现方式中,该方法还包括:将目标敏感数据的分级信息和/或分类信息,存储至目标租户的本地标签知识库中。
23、基于上述技术方案,本技术中,通过将校验过的高质量标签保存回本地,租户不仅建立起了契合自身业务规范的私有经验库,系统更能利用这些不断积累的历史成功校正数据,持续优化启发式校正算法,从而在未来更加高效地执行标签校正过程。
24、结合第一方面,在一种可能的实现方式中,该方法还包括:接收目标租户的第二请求消息,第二请求消息包括第四指示信息,第四指示信息用于指示目标数据源;根据第二请求消息,识别目标数据源中的敏感数据,并得到目标敏感数据的初始标签,初始标签包括目标敏感数据的上下文信息;根据相似性算法,在目标租户的本地标签知识库中搜索与目标敏感数据的初始标签相似的标签,得到相似标签,相似标签与初始标签之间的相似性大于或者等于第四阈值;根据相似标签,得到目标敏感数据的分级信息和/或分类信息。
25、基于上述技术方案,本技术中,通过目标租户专属的本地标签知识库进行高阈值的相似度匹配,系统能够最大化地优先利用本租户历史积累的成功经验,提高敏感数据自动化识别的效率。
26、需要说明的是,下述各个方面中各个实现方式所达到的有益效果均可以参照上述第一方面的相关实现方式进行理解,不再赘述。
27、第二方面,提供了一种识别敏感数据的装置,例如,该装置可以包括用于执行本技术提出方法的单元和/或模块,如配置界面模块、扫描模块、校正模块,这些模块可以用于执行上述第一方面的方法。
28、示例性的,该装置可以是服务器,也可是服务器集群,也可以是云服务系统中提供云服务的基础设施。
29、示例性的,该装置可以是虚拟实例,例如虚拟机、容器、裸金属服务器,等等。
30、第三方面,本技术提供了一种装置,该装置包括:至少一个处理器,用于执行存储器存储的计算机程序或指令,以执行上述第一方面的方法。可选地,该装置还包括存储器,用于存储计算机程序或指令。可选地,该装置还包括通信接口,处理器通过通信接口读取存储器存储的计算机程序或指令。
31、在一种实现方式中,该装置为用于芯片中实现上述方法的功能的设备。
32、在另一种实现方式中,该装置为用于芯片中实现上述方法的功能的芯片、芯片系统或电路。
33、第四方面,本技术提供一种处理器,包括:输入电路、输出电路和处理电路。所述处理电路用于通过所述输入电路接收信号,并通过所述输出电路发射信号,使得所述处理器执行上述第一方面的方法。
34、在具体实现过程中,上述处理器可以为一个或多个芯片,输入电路可以为输入管脚,输出电路可以为输出管脚,处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于通过通信接口接收并输入的,输出电路所输出的信号可以是例如但不限于输出给通信接口并由通信接口进行发送的,且输入电路和输出电路可以是同一电路,该电路在不同的时刻分别用作输入电路和输出电路。本技术对处理器及各种电路的具体实现方式不做限定。
35、对于处理器所涉及的发送和获取/接收等操作,如果没有特殊说明,或者,如果未与其在相关描述中的实际作用或者内在逻辑相抵触,则可以理解为处理器输出和接收、输入等操作,也可以理解为由射频电路和天线所进行的发送和接收操作,本技术对此不做限定。
36、第五方面,提供了一种计算设备,包括处理器和存储器。该处理器用于读取存储器中存储的指令,并可通过通信接口接收数据,通过通信接口发送数据,以执行上述第一方面的方法。
37、可选地,所述处理器为一个或多个,所述存储器为一个或多个。
38、可选地,所述存储器可以与所述处理器集成在一起,或者所述存储器与处理器分离设置。
39、在具体实现过程中,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(read only memory,rom),其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本技术对存储器的类型以及存储器与处理器的设置方式不做限定。
40、具体地,处理器输出的数据可以输出给通信接口,处理器接收的输入数据可以来自通信接口。
41、上述第五方面中的计算设备可以是一个或多个芯片。该计算设备中的处理器可以通过硬件来实现也可以通过软件来实现。当通过硬件实现时,该处理器可以是逻辑电路、集成电路等;当通过软件来实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现,该存储器可以集成在处理器中,可以位于该处理器之外,独立存在。
42、第六方面,提供了一种计算集群,包括至少一个计算设备,每个计算设备包括处理器和存储器;所述至少一个计算设备的处理器用于执行所述至少一个计算设备的存储器中存储的指令,以使得所述计算设备集群执行第一方面中任意一种可能的实现方式中所述的方法。
43、可选地,该处理器可以是通用处理器,可以通过硬件来实现也可以通过软件来实现。当通过硬件实现时,该处理器可以是逻辑电路、集成电路等;当通过软件来实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现,该存储器可以集成在处理器中,可以位于该处理器之外,独立存在。
44、第七方面,提供一种计算机可读存储介质,该计算机可读存储介质包括计算机程序指令,当所述计算机程序指令由计算设备集群执行时,所述计算设备集群用于执行上述第一方面的方法。
45、第八方面,提供一种包括指令的计算机程序产品,当所述指令被计算设备集群运行时,使得所述计算设备集群执行上述第一方面的方法。
46、第九方面,提供一种芯片系统,该芯片系统包括处理器和供电电路,供电电路用于对处理器执行供电,处理器用于执行第一方面或第一方面的任意一种实现方式所述方法所对应的操作步骤。为了简洁,在此不再赘述。其中,处理器可通过图形处理单元(graphicsprocessing unit,gpu)实现,也可通过数据处理单元(data processing unit,dpu)、神经网络处理单元(neural network processing unit,npu)、异构处理单元(heterogeneousprocessing unit,xpu),片上系统(system on chip,soc)、卸载卡、加速卡等计算设备实现。
47、本技术在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com