一种合成数据的质量缺陷识别及增强方法、装置及设备与流程

本申请实施例涉及数据处理，尤其涉及人工智能与合成数据质量增强，具体涉及一种合成数据的质量缺陷识别及增强方法、装置及设备。

背景技术：

1、合成数据是大模型训练阶段核心的数据增强手段，能够扩充训练数据规模、丰富数据分布，其生成质量直接决定下游模型的泛化能力与鲁棒性，是当前大模型数据工程领域的核心研究方向。

2、现有技术主要集中于对合成数据进行整体性的质量评分或基于预设规则进行异常样本筛选，评估结果多为全局性的单一分数，难以揭示数据集内部不同区域的质量分布差异，无法精准定位质量薄弱的缺陷区域具体位于何处，且缺乏针对已识别缺陷区域的定向补强机制，导致生成的补充样本难以精准覆盖薄弱环节。

技术实现思路

1、本申请提供了一种合成数据的质量缺陷识别及增强方法、装置及设备，以实现合成数据薄弱区域的精准定位与靶向增强。

2、根据本申请的一方面，提供了一种合成数据的质量缺陷识别及增强方法，该方法包括：

3、根据待增强合成文本数据集中的各合成文本，构建待增强合成文本数据集的多维质量特征矩阵，并根据所述多维质量特征矩阵，确定各合成文本对应的目标扰动特征向量；

4、根据所述目标扰动特征向量，确定各合成文本对应的扰动重建文本，并对所述扰动重建文本进行质量维度量化，得到各扰动重建文本的综合质量结果；

5、将所述综合质量结果满足预设质量缺陷识别条件的扰动重建文本标记为质量缺陷文本，并采用预设聚类算法，对所述质量缺陷文本进行聚类划分，得到各质量缺陷文本簇及对应的簇平均文本特征向量；

6、对所述簇平均文本特征向量进行标准化转换与维度加权处理，得到各质量缺陷文本簇的缺陷表征参数集，并根据所述缺陷表征参数集，确定待增强合成文本数据集的增强文本数据集。

7、根据本申请的另一方面，提供了一种合成数据的质量缺陷识别及增强装置，该装置包括：

8、目标扰动特征向量确定模块，用于根据待增强合成文本数据集中的各合成文本，构建待增强合成文本数据集的多维质量特征矩阵，并根据所述多维质量特征矩阵，确定各合成文本对应的目标扰动特征向量；

9、综合质量结果确定模块，用于根据所述目标扰动特征向量，确定各合成文本对应的扰动重建文本，并对所述扰动重建文本进行质量维度量化，得到各扰动重建文本的综合质量结果；

10、质量缺陷文本划分模块，用于将所述综合质量结果满足预设质量缺陷识别条件的扰动重建文本标记为质量缺陷文本，并采用预设聚类算法，对所述质量缺陷文本进行聚类划分，得到各质量缺陷文本簇及对应的簇平均文本特征向量；

11、增强文本数据集确定模块，用于对所述簇平均文本特征向量进行标准化转换与维度加权处理，得到各质量缺陷文本簇的缺陷表征参数集，并根据所述缺陷表征参数集，确定待增强合成文本数据集的增强文本数据集。

12、根据本申请的另一方面，提供了一种电子设备，电子设备包括：

13、一个或多个处理器；

14、存储器，用于存储一个或多个程序；

15、当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本申请实施例所提供的任意一种合成数据的质量缺陷识别及增强方法。

16、根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请实施例所提供的任意一种合成数据的质量缺陷识别及增强方法。

17、根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本申请实施例所提供的任意一种合成数据的质量缺陷识别及增强方法。

18、本申请通过根据待增强合成文本数据集中的各合成文本，构建待增强合成文本数据集的多维质量特征矩阵，并根据多维质量特征矩阵，确定各合成文本对应的目标扰动特征向量；根据目标扰动特征向量，确定各合成文本对应的扰动重建文本，并对扰动重建文本进行质量维度量化，得到各扰动重建文本的综合质量结果；将综合质量结果满足预设质量缺陷识别条件的扰动重建文本标记为质量缺陷文本，并采用预设聚类算法，对质量缺陷文本进行聚类划分，得到各质量缺陷文本簇及对应的簇平均文本特征向量；对簇平均文本特征向量进行标准化转换与维度加权处理，得到各质量缺陷文本簇的缺陷表征参数集，并根据缺陷表征参数集，确定待增强合成文本数据集的增强文本数据集。上述方案，通过对特征空间扰动探测出的质量缺陷文本进行聚类分析，将质量缺陷文本划分为若干表征不同缺陷类型的文本簇，并生成各质量缺陷文本簇的缺陷表征参数集，基于缺陷表征参数集补强待增强合成文本数据集，实现了合成数据薄弱区域的精准定位与靶向增强，有效提升了合成数据集的分布完整性与质量均衡性。

1.一种合成数据的质量缺陷识别及增强方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据所述缺陷表征参数集，确定待增强合成文本数据集的增强文本数据集，包括：

3.根据权利要求1所述的方法，其特征在于，根据所述多维质量特征矩阵，确定各合成文本对应的目标扰动特征向量，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，根据待增强合成文本数据集中的各合成文本，构建待增强合成文本数据集的多维质量特征矩阵，包括：

6.根据权利要求1所述的方法，其特征在于，对所述扰动重建文本进行质量维度量化，得到各扰动重建文本的综合质量结果，包括：

7.一种合成数据的质量缺陷识别及增强装置，其特征在于，包括：

8.一种电子设备，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的合成数据的质量缺陷识别及增强方法。

10.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的合成数据的质量缺陷识别及增强方法。