应用于语料数据的数据脱敏方法、装置和电子设备与流程

本公开的实施例涉及计算机，尤其是生成式大语言模型相关的训练用语料数据处理领域，具体涉及应用于语料数据的数据脱敏方法、装置和电子设备。

背景技术：

1、算力、算法和数据这三个关键要素构成了人工智能发展的基石，其中，为了满足不断增加的、海量并行计算的需求，算力呈现规模化的态势，尤其是针对相关加速硬件（例如，gpu（graphics processing unit，图形处理器）、tpu（tensor processing unit，张量处理器））的研究已成为头部硬件厂商的核心研发方向。其次，随着模型架构的不断创新，各类型的大语言模型也呈井喷式发展。与此相对的是，模型训练用语料数据逐渐成为约束人工智能发展的短板之一，尤其是如何有效地从互联网上收集高质量的模型训练用语料数据成为亟待解决的问题之一。

2、进一步的，互联网上收集的模型训练用语料数据天然存在含有敏感信息的问题，若未经脱敏直接将其用于模型训练，会在法律合规、隐私保护、模型安全等多个维度产生严重问题。因此对收集得到的语料数据进行脱敏处理，是保证模型有效训练的必要措施。目前，在进行数据脱敏时，主要采用如下方法：

3、（1）通过维护敏感词表进行匹配式的敏感词脱敏；

4、（2）通过人工标注的方式进行敏感词脱敏。

5、然而，上述方式主要存在如下问题：

6、（1）敏感词表脱敏的方式，需要维护复杂的敏感词表，导致维护成本巨大；

7、（2）针对大规模的语料数据，人工标注方式效率低下，且准确性难以保证。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了应用于语料数据的数据脱敏方法、装置和电子设备，来解决以上背景技术部分提到的技术问题。

3、第一方面，本公开的一些实施例提供了一种应用于语料数据的数据脱敏方法，该方法包括：对收集得到的初始语料数据进行语料特征提取，得到初始语料特征，其中，上述初始语料数据是待用于对生成式大语言模型进行模型训练的语料数据，上述初始语料特征包括：语料语义特征和语料拼音特征；根据上述初始语料特征，对上述初始语料数据进行语料消歧，得到消歧后语料数据；根据上述消歧后语料数据进行敏感词定位，得到敏感词信息序列，其中，敏感词信息包括：敏感词、敏感词类型和敏感词位置；根据上述敏感词信息序列，对上述消歧后语料数据进行数据脱敏，得到初始脱敏后语料数据；对上述初始脱敏后语料数据进行语料分段，得到语料数据段序列；根据上述敏感词信息序列，确定上述语料数据段序列中的每个语料数据段对应的敏感内容残留度；根据语料数据段对应的敏感内容残留度，对上述语料数据段序列中的语料数据段进行数据再脱敏，得到脱敏后语料数据段序列。

4、第二方面，本公开的一些实施例提供了一种应用于语料数据的数据脱敏装置，装置包括：语料特征提取单元，被配置成对收集得到的初始语料数据进行语料特征提取，得到初始语料特征，其中，上述初始语料数据是待用于对生成式大语言模型进行模型训练的语料数据，上述初始语料特征包括：语料语义特征和语料拼音特征；语料消歧单元，被配置成根据上述初始语料特征，对上述初始语料数据进行语料消歧，得到消歧后语料数据；敏感词定位单元，被配置成根据上述消歧后语料数据进行敏感词定位，得到敏感词信息序列，其中，敏感词信息包括：敏感词、敏感词类型和敏感词位置；数据脱敏单元，被配置成根据上述敏感词信息序列，对上述消歧后语料数据进行数据脱敏，得到初始脱敏后语料数据；语料分段单元，被配置成对上述初始脱敏后语料数据进行语料分段，得到语料数据段序列；确定单元，被配置成根据上述敏感词信息序列，确定上述语料数据段序列中的每个语料数据段对应的敏感内容残留度；数据再脱敏单元，被配置成根据语料数据段对应的敏感内容残留度，对上述语料数据段序列中的语料数据段进行数据再脱敏，得到脱敏后语料数据段序列。

5、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

6、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

7、本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的应用于语料数据的数据脱敏方法，实现了对语料数据的有效数据脱敏。具体的，首先，对收集得到的初始语料数据进行语料特征提取，得到初始语料特征，其中，上述初始语料数据是待用于对生成式大语言模型进行模型训练的语料数据，上述初始语料特征包括：语料语义特征和语料拼音特征。实践中，中文语料相较于其它语种语料，是自然语言处理领域中公认的高难度语种之一，尤其是部分中文表达存在谐音表达的问题，因此本公开从语料语义和语料拼音两个维度触发进行相应的初始语料特征的提取，以此保证特征的鲁棒性表达。其次，根据上述初始语料特征，对上述初始语料数据进行语料消歧，得到消歧后语料数据。实践中，在正式进行数据脱敏前，通过对语料数据包含的歧义表达进行预处理，以此保证在语料含义维度的表达合理性。接着，根据上述消歧后语料数据进行敏感词定位，得到敏感词信息序列，其中，敏感词信息包括：敏感词、敏感词类型和敏感词位置。通过自动的进行敏感词定位，相较于通过敏感词表进行匹配式脱敏的方式，能够对近义的敏感词进行有效脱敏，同时相较于人工标注的方式，能够有效提高处理效率和维持处理标准的一致性。进一步，根据上述敏感词信息序列，对上述消歧后语料数据进行数据脱敏，得到初始脱敏后语料数据。此外，对上述初始脱敏后语料数据进行语料分段，得到语料数据段序列。接着，根据上述敏感词信息序列，确定上述语料数据段序列中的每个语料数据段对应的敏感内容残留度。实践中，敏感词脱敏的方式仅能对离散的敏感词进行脱敏，然而仍存在结合剩余语料推断出敏感词含义的情形，因此需要结合敏感词和语料数据段，判断以语段粒度的语料数据段为基础推导出敏感词的可能性。最后，根据语料数据段对应的敏感内容残留度，对上述语料数据段序列中的语料数据段进行数据再脱敏，得到脱敏后语料数据段序列。通过此种方式不仅能对语料内的敏感词进行有效地脱敏，并且阻绝了结合剩余语段数据推导出敏感词的可能性，以此保证了数据脱敏的有效性。

1.一种应用于语料数据的数据脱敏方法，其特征在于，包括：

2.根据权利要求1所述的应用于语料数据的数据脱敏方法，其特征在于，所述对收集得到的初始语料数据进行语料特征提取，得到初始语料特征，包括：

3.根据权利要求2所述的应用于语料数据的数据脱敏方法，其特征在于，所述根据所述初始语料特征，对所述初始语料数据进行语料消歧，得到消歧后语料数据，包括：

4.根据权利要求3所述的应用于语料数据的数据脱敏方法，其特征在于，所述根据所述消歧后语料数据进行敏感词定位，得到敏感词信息序列，包括：

5.根据权利要求4所述的应用于语料数据的数据脱敏方法，其特征在于，所述根据所述敏感词信息序列，对所述消歧后语料数据进行数据脱敏，得到初始脱敏后语料数据，包括：

6.根据权利要求5所述的应用于语料数据的数据脱敏方法，其特征在于，所述根据所述敏感词信息序列，确定所述语料数据段序列中的每个语料数据段对应的敏感内容残留度，包括：

7.根据权利要求6所述的应用于语料数据的数据脱敏方法，其特征在于，所述方法还包括：

8.一种应用于语料数据的数据脱敏装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7中任一所述的方法。