数据脱敏方法、装置、电子设备和存储介质与流程
本发明实施例涉及数据安全,特别涉及一种数据脱敏方法、装置、电子设备和存储介质。
背景技术:
1、大模型应用场景对数据脱敏提出了与传统场景截然不同的技术要求:一方面,过度脱敏会严重损害大模型的语义理解能力,导致模型无法准确捕捉用户意图,进而降低服务质量;另一方面,脱敏不足则直接违反隐私保护规定。
2、为解决上述问题,现有技术通常采用深度学习模型的脱敏方法。此类方法通过神经网络模型对文本进行语义理解和敏感信息识别,能够根据上下文动态判断敏感信息的重要程度。
3、然而,基于神经网络的方法准确率高但推理延迟大,在简单场景下产生了大量与任务收益不匹配的计算冗余。如何在保证脱敏准确性的前提下降低计算开销、提高处理效率,是当前文本脱敏技术领域亟待解决的问题。
技术实现思路
1、本发明的目的在于至少提供一种数据脱敏方法、装置、电子设备和存储介质,至少可以解决现有方法基于神经网络的方法准确率高但推理延迟大的技术问题,至少可以达到在保证脱敏准确性的前提下降低计算开销、提高处理效率。
2、为解决上述技术问题,本技术的至少一个实施例提供了一种数据脱敏方法、装置、电子设备和存储介质,包括:
3、基于端侧轻量级的语义分析模型,对输入的文本数据中敏感词元进行重要度初判断,得到第一重要度;
4、判断所述文本数据整体的复杂度,若所述复杂度未达到复杂场景的预设判断标准,则将所述敏感词元通过预设的重要度映射表所命中的基准重要度作为第二重要度,其中,所述重要度映射表存储有敏感信息类型、任务类型与基准重要度之间的映射关系;
5、基于所述第一重要度和所述第二重要度计算得到所述敏感词元的目标重要度;
6、根据所述目标重要度对所述敏感词元进行脱敏处理。
7、在一些可选的实施例中,所述判断所述文本数据整体的复杂度,包括:
8、在所述重要度映射表的命中置信度的基础上,结合所述文本数据的上下文熵、所述敏感词元在相邻轮次中的重要度变化程度,和/或所述文本数据中语义锚点的密度,计算得到所述复杂度,其中,所述语义锚点为在语义结构中关键程度达到预设阈值的敏感词元。
9、在一些可选的实施例中,所述基于所述第一重要度和所述第二重要度计算得到所述敏感词元的目标重要度,包括:
10、根据所述文本数据的上下文熵和/或所述敏感词元在相邻轮次中的重要度变化程度,对所述第一重要度和所述第二重要度的权重进行分配,其中,所述上下文熵越大,和/或所述重要度变化程度越大,所述第一重要度对应的权重越大;
11、基于分配后的权重对所述第一重要度和所述第二重要度计算加权求和,计算得到所述目标重要度。
12、在一些可选的实施例中,所述方法还包括:
13、若所述复杂度达到复杂场景的预设判断标准,利用预设的神经网络模型对所述敏感词元的重要度进行判断,得到第三重要度,其中,所述神经网络模型为轻量级多层感知机模型,用于融合所述敏感词元的上下文语义表征、当前任务意图先验和/或敏感类别先验,进行细粒度的重要度评估;
14、基于所述第一重要度和所述第三重要度计算得到所述敏感词元的所述目标重要度。
15、在一些可选的实施例中,所述基于所述第一重要度和所述第三重要度计算得到所述敏感词元的所述目标重要度,包括:
16、根据所述文本数据的上下文熵和/或所述敏感词元在相邻轮次中的重要度变化程度,对所述第一重要度和所述第二重要度的权重进行分配,其中,所述上下文熵越大,和/或所述重要度变化程度越大,所述第三重要度对应的权重越大;
17、基于分配后的权重对所述第一重要度和所述第三重要度计算加权求和,计算得到所述目标重要度。
18、在一些可选的实施例中,所述神经网络模型与所述语义分析模型共享至少部分隐藏层的权重参数。
19、在一些可选的实施例中,确定所述语义锚点,包括:
20、对所述文本数据进行依存句法分析,统计以所述敏感词元为头节点的依存弧数量,得到依存关联度;和/或,在对话上下文窗口内,统计其他词元通过代词或同义词共指所述敏感词元的频次,得到共指密度;
21、基于所述依存关联度和/或所述共指密度,计算得到所述敏感词元的语义锚点权重,当所述语义锚点权重大于所述预设阈值时,将所述敏感词元标记为语义锚点。
22、在一些可选的实施例中,所述根据所述目标重要度对所述敏感词元进行脱敏处理,包括:
23、对所述语义锚点进行语义保持型替换脱敏,不受所述目标重要度的影响。
24、在一些可选的实施例中,确定所述第一重要度,包括:
25、获取所述文本数据中各敏感词元的上下文表示向量以及与当前任务相关的任务指示词元的聚合表示向量;
26、基于所述上下文表示向量与所述任务指示token的聚合表示向量之间的关联强度,计算得到所述第一重要度。
27、本技术的至少一个实施例还提供了一种数据脱敏装置,包括:
28、第一计算模块,用于基于端侧轻量级的语义分析模型,对输入的文本数据中敏感词元进行重要度初判断,得到第一重要度;
29、第二计算模块,用于判断所述文本数据整体的复杂度,若所述复杂度未达到复杂场景的预设判断标准,则将所述敏感词元通过预设的重要度映射表所命中的基准重要度作为第二重要度,其中,所述重要度映射表存储有敏感信息类型、任务类型与基准重要度之间的映射关系;
30、第三计算模块,用于基于所述第一重要度和所述第二重要度计算得到所述敏感词元的目标重要度;
31、脱敏模块,用于根据所述目标重要度对所述敏感词元进行脱敏处理。
32、本技术的至少一个实施例还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的数据脱敏方法。
33、本技术的至少一个实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的数据脱敏方法。
34、本技术的实施例提供的数据脱敏方法、装置、电子设备和存储介质,通过前置的文本整体复杂度判断环节对输入进行分流,对于占实际业务中绝大多数的常见场景,仅在语义分析模型完成轻量级初判断后,通过重要度映射表进行查表操作以获取第二重要度,避免了端到端的深度模型全量推理所带来的高计算延迟和资源消耗;其次,第一重要度由语义分析模型基于当前文本上下文动态计算产生,第二重要度则提供了脱离具体上下文的类别级先验基准,二者融合后形成“动态感知+先验约束”的双重校验机制,相较于单一来源的重要度判断具有更高的可靠性。
35、综上,本发明通过分级决策与融合校验架构,在常见场景占主导的实际部署条件下,能够在保持甚至提升脱敏准确率的同时,显著降低整体推理延迟和计算能耗,实现准确性与效率的协同优化。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com