基于T字型双阶段变换器的银行数据脱敏方法及系统和存储介质
本发明属于数据安全治理、自然语言处理和数据脱敏,涉及一种基于t字型双阶段变换器的银行数据脱敏方法及系统和存储介质。
背景技术:
1、银行数据仓库通常采用结构化数据表存储客户、账户、授信及经营管理等业务数据(以下简称“银行数仓表”)。这些表中的字段承载了大量敏感信息。为了确保银行数据在测试、分析、开发及共享等场景下的安全合规使用,通常需要先精准识别表中的敏感字段,进而实施针对性的脱敏处理。因此,敏感数据识别是数据脱敏流程中的关键前置环节,其识别结果的准确率与覆盖率直接决定了后续脱敏的有效性及数据使用的安全性。现有银行数仓表中的敏感数据识别方法主要包括以下三类:
2、(1)基于规则的敏感数据识别方法。该类方法通过字段名、字段注释或字段真实样例与预设关键字规则、正则表达式规则等进行匹配,对敏感字段中规则性较强的字段具有一定识别效果。但是,该类方法通常依赖预先整理的规则,难以处理字段名简写、字段注释缺失、业务含义隐含或尚未纳入规则库的字段。
3、(2)基于神经网络的敏感数据识别方法。该类方法通常将字段名、字段注释或字段真实样例编码为字段向量,再与预设的敏感标签或标签描述的向量进行相似度计算。若仅基于字段自身信息编码,容易忽略同表字段间的业务语义约束,也难以充分利用字段真实样例的取值特征,导致语义隐含字段和歧义字段的识别效果不佳。
4、(3)基于大语言模型的敏感数据识别方法。该类方法将字段名、字段注释、字段真实样例和表级信息输入大语言模型,以生成敏感数据识别结果,具有一定的语义推理能力。然而,即使提供了同一数据表的上述信息,大语言模型仍需通过自主推理推断字段之间的业务关联关系和目标字段真实样例所反映的取值特征,由于缺少对横向字段上下文和纵向真实样例上下文的显式表征、建模与约束,难以稳定、精准地利用表级上下文,可能造成语义误判或产生幻觉结果。
5、综上,规则方法、神经网络方法和大语言模型方法虽然采用的识别手段不同,但均难以精准捕捉银行数仓表的表级上下文信息:既难以系统利用同一数据表中各字段之间形成的横向业务关联,也难以充分提取目标字段的纵向字段真实样例所体现的取值特征,导致对于字段语义隐含、字段含义存在歧义或字段自身信息不足以表征其敏感属性的情形,难以获得准确、稳定的敏感数据识别结果。
技术实现思路
1、本发明的目的在于提供一种基于t字型双阶段变换器的银行数据脱敏方法及系统和存储介质,以利用同表字段信息和字段真实样例对目标字段进行联合表征,确定敏感标签结果后实施仿真脱敏,从而提高银行数据表中语义隐含或存在歧义字段的识别效果及脱敏后数据的可用性。
2、本发明的目的是通过以下技术方案实现的:
3、一种基于t字型双阶段变换器的银行数据脱敏方法,包括以下步骤:
4、s1:获取银行数据仓库中的结构化数据表,将表中各字段作为目标字段,并提取字段信息和字段真实样例;
5、s2:对目标字段构建t字型上下文输入,所述t字型上下文输入包括同表字段信息构成的横向上下文和目标字段的字段真实样例构成的纵向上下文;
6、s3:将步骤s2构建的t字型上下文输入,输入至t字型双阶段变换器编码模型,依次进行横向特征提取和纵向特征融合,得到目标字段的字段特征向量;
7、s4:将步骤s3得到的字段特征向量与敏感标签向量库中的敏感标签特征向量进行相似度计算,根据相似度计算结果确定目标字段的敏感标签结果;
8、s5:根据步骤s4确定的敏感标签结果确定待脱敏敏感字段,并按照敏感标签结果匹配仿真脱敏策略,即从仿真脱敏策略库中匹配对应的仿真脱敏策略;
9、s6:按照步骤s5匹配的仿真脱敏策略生成仿真数据并替换待脱敏敏感字段的原始数据,得到脱敏后的银行数据表。
10、步骤s1中,所述字段信息包括字段名和字段注释;所述字段真实样例为目标字段所在列中的字段值。
11、步骤s2中,所述同表字段信息构成的横向上下文按照目标字段所在数据表的表头字段顺序构建;所述同表字段信息构成的横向上下文包括:对于具有字段注释的字段使用字段注释作为语义表示,对于不具有字段注释的字段使用字段名作为语义表示;所述目标字段的字段真实样例构成的纵向上下文在输入t字型双阶段变换器编码模型前进行数据类型识别和代表性采样。
12、步骤s3中,所述t字型双阶段变换器编码模型包括依次连接的文本编码器、横向变换器编码器和纵向变换器编码器。所述文本编码器用于将横向上下文和纵向上下文分别编码为横向字段向量序列和纵向样例向量序列;所述横向变换器编码器用于将横向字段向量序列编码得到目标字段的横向特征向量;所述纵向变换器编码器用于将所述横向特征向量置于首位,并与纵向样例向量序列构成融合向量序列,经过编码得到目标字段的字段特征向量。
13、步骤s4中,所述敏感标签向量库包括由敏感标签名称生成的敏感标签特征向量,以及作为元数据存储的敏感类别和敏感级别。相似度计算采用余弦相似度。敏感类别和敏感级别不参与字段特征向量与敏感标签特征向量之间的相似度计算,而是随相应敏感标签返回。所述目标字段的敏感标签结果根据最高相似度确定,所述目标字段的敏感标签结果包括敏感标签以及随所述敏感标签返回的敏感类别和敏感级别。
14、步骤s5和步骤s6中,仿真脱敏策略库建立敏感标签结果与仿真脱敏策略之间的对应关系。对于姓名、地址和机构名称字段,可以从对应知识库生成仿真值;对于证件号码和机构号字段,可以按格式模板生成仿真值;对于金额和日期字段,可以施加满足预设范围的随机偏移。
15、一种基于t字型双阶段变换器的银行数据脱敏系统,包括:数据采集模块、t字型上下文构建模块、t字型双阶段变换器编码模块、敏感标签向量库模块、相似度计算模块、仿真脱敏策略模块、仿真数据生成模块和结果管理模块;各模块被配置为执行所述的方法。
16、一种计算机可读存储介质,其上存储有计算机程序,当所述程序被处理器调用执行时,实现所述的方法。
17、与现有技术相比,本发明具有如下优点:
18、1. 本发明面向银行数据仓库的结构化数据表,结合银行表级字段关系和字段真实样例精准识别敏感字段,适用于银行数据测试、分析、开发和共享等场景,具有明确的工程应用价值。
19、2. 本发明构建横纵向上下文,通过t字型双阶段变换器获得联合字段表征,该表征融合了同表字段的业务关联以及目标字段的取值特征,有效弥补了仅依赖字段自身信息导致的语义缺失。
20、3. 本发明的t字型双阶段变换器既可独立识别敏感标签,也可与规则及大语言模型(llm)联合使用。联合使用时,能为规则未覆盖的隐晦字段提供深层表征,并为llm提供候选标签与表级上下文,有效降低无约束推断及标签幻觉风险。
21、4. 本发明将敏感标签与仿真脱敏策略关联,按敏感类别匹配仿真脱敏策略对原始数据进行替换并记录结果。该机制在保留数据业务特征与使用价值的同时,有效降低了敏感信息在测试、开发等环节的泄漏风险。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com