一种数据清洗方法、设备、介质及产品

本申请涉及数据清洗，特别是涉及一种数据清洗方法、设备、介质及产品。

背景技术：

1、随着机器学习的快速发展，先进的人工智能技术，尤其是大模型，正越来越广泛地应用于日常生活之中，为各行各业带来了新的发展机遇与变革。然而，这类技术大多依赖大量结构化与非结构化数据进行训练、微调与更新。现有研究进一步表明，参与训练的数据质量会对训练结果和模型性能产生极大影响。因此，可靠的自动化数据清洗技术正变得愈发重要。

2、对于一些专用大模型而言，结构化数据的使用频率通常高于非结构化数据。这主要是因为其数据采集频率、输出格式以及处理流程往往较为固定。早期针对结构化数据的清洗主要以识别为核心，即基于深度学习算法检测脏数据，再由人工进行修改，或直接删除对应的数据记录。数据清洗技术的应用推动了大模型的发展与落地，而大模型的发展与应用又反过来促进了数据清洗技术的进步。近年来，基于大模型的数据清洗方法不断涌现。这类方法通常利用少量干净数据对大模型进行微调，借助微调后模型对特定内容的理解能力输出词元的可靠性，并通过设定可靠性阈值进一步识别脏数据。在近期研究中，研究者进一步尝试利用微调后的大模型直接生成相对最可靠的数值以替代脏数据，从而实现结构化数据清洗中识别与修正一体化的处理方式。

3、然而，现有方法仍然存在一些显著缺陷。首先，现有基于大模型的方法大多无法覆盖所有数据不干净的情形，往往只能识别一种或少数几种较为简单的情况。其次，这类方法在识别与修正的准确率方面仍有较大提升空间，导致清洗后的数据有时仍需借助其他方法或人工进行二次清洗。最后，现有基于大模型的数据清洗方法在效率方面也仍有待进一步提升。

技术实现思路

1、本申请的目的是提供一种数据清洗方法、设备、介质及产品，可提高脏数据识别效率并减少人的数据清洗工作量，同时可提高修正数据的可靠性，保证修正的准确率。

2、为实现上述目的，本申请提供了如下方案。

3、第一方面，本申请提供了一种数据清洗方法，包括：

4、获取待清洗原始数据集，对待清洗原始数据集进行标准化结构表示处理，得到待清洗序列化样本集；待清洗序列化样本集包括若干序列化文本样本；

5、选取若干个序列化文本样本进行人工更正，得到人工更正样本；所有人工更正样本构成干净参考样本集；

6、采用干净参考样本集对因果语言模型进行训练，得到结构化数据清洗模型；

7、基于干净参考样本集构建参考索引；

8、将待清洗序列化样本集输入结构化数据清洗模型，对每条序列化文本样本中的各目标字段计算字段局部负对数似然，识别疑似脏字段；

9、利用结构化数据清洗模型和参考索引对每一疑似脏字段进行基于融合检索证据与局部上下文的修正，得到修正后的结构化数据集。

10、第二方面，本申请提供了一种计算机设备，包括：存储器、处理器以及存储在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述的数据清洗方法的步骤。

11、第三方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的数据清洗方法的步骤。

12、第四方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的数据清洗方法的步骤。

13、根据本申请提供的具体实施例，本申请具有了以下技术效果：

14、本申请提供了一种数据清洗方法、设备、介质及产品，采用干净参考样本集对因果语言模型进行训练，从而对模型进行微调得到结构化数据清洗模型，采用结构化数据清洗模型对待清洗序列化样本集进行清洗，提高了脏数据识别效率；基于干净参考样本集构建参考索引，可以更快地帮助结构化数据清洗模型检索到目标字段所在分组，更好地辅助识别疑似脏字段；通过将待清洗序列化样本集输入结构化数据清洗模型，对每条序列化文本样本中的各目标字段计算字段局部负对数似然，识别疑似脏字段，摒弃传统单一阈值判定的局限性，大幅降低误判与漏判概率，提高了脏数据识别效率并减少了人的数据清洗工作量；在识别疑似脏字段后，通过结构化数据清洗模型和参考索引对每一疑似脏字段进行基于融合检索证据与局部上下文的修正，既可以从已有通用知识、案例数据集中寻找修正证据，又可以充分结合脏数据所在数据条的上下文，可共同提高修正数据的可靠性，保证修正的准确率。

1.一种数据清洗方法，其特征在于，所述数据清洗方法包括：

2.根据权利要求1所述的数据清洗方法，其特征在于，采用干净参考样本集对因果语言模型进行训练，得到结构化数据清洗模型，具体包括：

3.根据权利要求1所述的数据清洗方法，其特征在于，参考索引包括以分组字段值和行号的有序对为键构建的精确行索引、以分组字段值为键构建的同组行序索引，以及以分组字段值和字段名称的有序对为键构建的字段值频次索引。

4.根据权利要求1所述的数据清洗方法，其特征在于，将待清洗序列化样本集输入结构化数据清洗模型，对每条序列化文本样本中的各目标字段计算字段局部负对数似然，识别疑似脏字段，具体包括：

5.根据权利要求3所述的数据清洗方法，其特征在于，利用结构化数据清洗模型和参考索引对每一疑似脏字段进行基于融合检索证据与局部上下文的修正，得到修正后的结构化数据集，具体包括：

6.根据权利要求5所述的数据清洗方法，其特征在于，候选值的单位词元概率代价的计算公式如下：

7.根据权利要求5所述的数据清洗方法，其特征在于，候选值的综合修正得分计算公式如下：

8.一种计算机设备，包括：存储器、处理器以及存储在存储器上并能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述的数据清洗方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的数据清洗方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的数据清洗方法。