一种大模型驱动的编目数据清洗整编方法与系统

摘要: 本发明属于数据处理,尤其涉及一种大模型驱动的编目数据清洗整编方法与系统。背景技术:1、工业物资编目数据是供应链管理与仓储管控的核心基础数据,其质量直接影响采购寻...
一种大模型驱动的编目数据清洗整编方法与系统

本发明属于数据处理,尤其涉及一种大模型驱动的编目数据清洗整编方法与系统。

背景技术:

1、工业物资编目数据是供应链管理与仓储管控的核心基础数据,其质量直接影响采购寻源、库存盘点、物料匹配等业务的执行效率。然而,在长期运营过程中,由于数据来源分散、录入标准不统一、跨系统数据同步壁垒等因素,编目数据普遍存在一物多名、命名格式不规范、信息冗余等质量问题,导致同一物资在不同系统或不同批次中被冠以不同名称,严重制约了编目数据在业务系统中的可用性和一致性。

2、针对编目数据的质量问题,现有技术主要采用基于规则匹配的清洗方案,通过预定义的规则库、行业词典结合正则表达式和字符串匹配技术,对编目数据中的格式错误、空值、重复数据进行检测和处理。这类方案能够在一定程度上消除字符级的格式问题,适用于标准化程度较高的小规模数据集场景。

3、然而,现有基于规则匹配的清洗方案仅能处理字符级别的格式差异,无法识别语义层面的等价关系,导致同义异形编目数据无法被自动识别和聚合。

技术实现思路

1、本发明提供一种大模型驱动的编目数据清洗整编方法与系统,以至少解决现有技术中无法识别编目数据语义层面的等价关系,导致同义异形编目数据无法被自动识别和聚合的问题。

2、第一方面,本技术实施例提供一种大模型驱动的编目数据清洗整编方法,所述方法包括:

3、步骤s1:接入多源异构编目数据,对多源异构编码数据进行基础校验,生成结构化的待处理数据集;

4、步骤s2:对所述待处理数据集进行基础清洗,得到格式统一的文本数据集;

5、步骤s3:计算所述文本数据集中每条编目文本的语义复杂度得分,基于所述文本数据集中所有编目文本的语义复杂度得分分布匹配嵌入模型,基于匹配到的嵌入模型对所述文本数据集中的全量文本数据进行语义编码,输出同维度的高维特征向量;

6、步骤s4:基于所述同维度的高维特征向量集合,根据所述同维度的高维特征向量集合中向量的数量规模及向量在空间中的分布形态匹配聚类算法对编目数据进行聚类分组,将指代同一实体的同义异形编目数据聚合为同一数据簇;

7、步骤s5:针对每个数据簇,采用大语言模型生成对应所述数据簇的标准化名称;将各所述数据簇及其对应的标准化名称组成标准化的编目数据条目,汇总生成标准化编目数据集。

8、进一步地,步骤s2中,对所述待处理数据集进行基础清洗,得到格式统一的文本数据集,具体包括:

9、对所述待处理数据集中的每条编目数据进行基础清洗,所述基础清洗包括去除多余空格与特殊符号、统一大小写、剔除空值与完全重复数据、过滤停用词与冗余信息,以及对简写、缩写和错别字进行语义纠错与还原;

10、将基础清洗后的数据输出为格式统一的文本数据集。

11、进一步地,步骤s3中,计算所述文本数据集中每条编目文本的语义复杂度得分,其表达式为:

12、

13、其中,为编目文本长度归一化得分;为专业术语密度;为字符信息熵归一化得分;为非常规字符占比;、、、为权重系数。

14、进一步地,步骤s3中,基于所述文本数据集中所有编目文本的语义复杂度得分分布匹配嵌入模型,具体包括:

15、统计所述文本数据集中所有编目文本的语义复杂度得分分布,结合p80分位值,为所述文本数据集匹配嵌入模型:

16、当p80分位值大于等于0.7或高复杂度数据占比大于等于百分之三十时,匹配bge-m3模型作为嵌入模型;

17、当p80大于等于0.4且小于0.7且高复杂度数据占比小于百分之三十时,匹配bge-large模型作为嵌入模型;

18、当p80小于0.7且低复杂度数据占比大于等于百分之七十时,匹配snowflake/nomic轻量模型作为嵌入模型;

19、高复杂度数据是语义复杂度得分大于等于0.7的编目文本;

20、高复杂度数据占比是语义复杂度得分大于等于0.7的编目文本的数量与文本数据集中编目文本总数的比值;

21、低复杂度数据是语义复杂度得分小于0.7的编目文本;

22、低复杂度数据占比是语义复杂度得分小于0.7的编目文本的数量与文本数据集中编目文本总数的比值。

23、进一步地,基于匹配到的嵌入模型对所述文本数据集中的全量文本数据进行语义编码,输出同维度的高维特征向量,具体包括:

24、当匹配到的嵌入模型为bge-m3模型时,对所述文本数据集中的每条编目文本同时进行稠密编码和稀疏编码,得到稠密向量和稀疏向量,将稠密向量和稀疏向量拼接融合后输出高维特征向量;

25、当匹配到的嵌入模型为bge-large模型时,对所述文本数据集中的每条编目文本进行单向量稠密编码,经池化操作后输出高维特征向量;

26、当匹配到的嵌入模型为snowflake/nomic轻量模型时,对所述文本数据集中的每条编目文本进行蒸馏后的轻量级稠密编码,经池化操作后输出高维特征向量;

27、将所有高维特征向量统一投影至相同维度空间,输出同维度的高维特征向量集合。

28、进一步地,步骤s4中,基于所述同维度的高维特征向量集合,根据所述同维度的高维特征向量集合中向量的数量规模及向量在空间中的分布形态匹配聚类算法对编目数据进行聚类分组,将指代同一实体的同义异形编目数据聚合为同一数据簇,具体包括:

29、基于所述同维度的高维特征向量集合中向量的数量规模及向量在空间中的分布形态,从预设的多种聚类算法中匹配聚类算法,所述多种聚类算法包括层次聚类算法、k-means算法、dbscan算法和gmm高斯混合聚类算法;

30、采用匹配到的聚类算法对所述同维度的高维特征向量集合中的向量进行聚类分组,将语义相近的编目数据聚合为同一数据簇。

31、进一步地,采用层次聚类算法对所述同维度的高维特征向量集合中的向量进行聚类分组,将语义相近的编目数据聚合为同一数据簇,具体包括:

32、将所述同维度的高维特征向量集合中的每个向量作为一个初始簇;

33、计算任意两个簇之间的相似度,迭代合并相似度最高的两个簇,直至簇数量达到预设的目标簇数量或簇间最小相似度低于设定阈值;

34、输出最终的簇划分结果,每个簇中包含语义相近的编目数据;

35、计算任意两个簇之间的相似度,其表达式为:

36、

37、其中,和分别为簇和簇的中心向量(即簇内所有向量的均值)。

38、进一步地,采用k-means算法对所述同维度的高维特征向量集合中的向量进行聚类分组,将语义相近的编目数据聚合为同一数据簇,具体包括:

39、从所述同维度的高维特征向量集合中随机选取预设数量的向量作为初始簇中心;

40、计算每个向量与各簇中心的距离,将每个向量分配至距离最近的簇中心所在的簇;

41、计算每个簇中所有向量的均值,更新该簇的簇中心;

42、重复执行向量分配和簇中心更新步骤,直至簇中心的变化量小于收敛阈值或达到最大迭代次数;

43、输出最终的簇划分结果,每个簇中包含语义相近的编目数据。

44、进一步地,采用dbscan算法对所述同维度的高维特征向量集合中的向量进行聚类分组,将语义相近的编目数据聚合为同一数据簇,具体包括:

45、从所述同维度的高维特征向量集合中遍历每个向量,计算该向量在邻域半径范围内的邻居向量数量;

46、当邻居向量数量大于等于最小样本数阈值时,将该向量标记为核心点,并以该向量为中心创建一个新簇;

47、将核心点邻域半径范围内的所有向量加入该簇,并对新加入的向量递归执行邻域搜索,扩展簇的边界;

48、将邻居向量数量小于最小样本数阈值且不在任何核心点邻域内的向量标记为噪声点;

49、输出最终的簇划分结果,每个簇中包含语义相近的编目数据,其中,噪声点不归属于任何簇;

50、采用gmm高斯混合聚类算法对所述同维度的高维特征向量集合中的向量进行聚类分组,将语义相近的编目数据聚合为同一数据簇,具体包括:

51、初始化预设数量的高斯分布组件,每个组件包含均值向量、协方差矩阵和混合系数;

52、计算每个向量在每个高斯分布组件下的后验概率,将向量分配至后验概率最大的组件所属的簇;

53、基于当前分配结果,重新估计每个组件的均值向量、协方差矩阵和混合系数;

54、重复执行后验概率计算和参数估计步骤,直至似然函数的变化量小于收敛阈值或达到最大迭代次数;

55、输出最终的簇划分结果,每个簇中包含语义相近的编目数据。

56、第二方面,本技术实施例还提供一种应用于如上述各方面所述大模型驱动的编目数据清洗整编方法的系统,所述系统包括:

57、数据接入校验模块,用于接入多源异构编目数据,对多源异构编码数据进行基础校验,生成结构化的待处理数据集;

58、数据基础清洗模块,用于对所述待处理数据集进行基础清洗,得到格式统一的文本数据集;

59、语义编码模块,用于计算所述文本数据集中每条编目文本的语义复杂度得分,基于所述文本数据集中所有编目文本的语义复杂度得分分布匹配嵌入模型,基于匹配到的嵌入模型对所述文本数据集中的全量文本数据进行语义编码,输出同维度的高维特征向量;

60、聚类分组模块,用于基于所述同维度的高维特征向量集合,根据所述同维度的高维特征向量集合中向量的数量规模及向量在空间中的分布形态匹配聚类算法对编目数据进行聚类分组,将指代同一实体的同义异形编目数据聚合为同一数据簇;

61、标准化生成模块,用于针对每个数据簇,采用大语言模型生成对应所述数据簇的标准化名称;将各所述数据簇及其对应的标准化名称组成标准化的编目数据条目,汇总生成标准化编目数据集。

62、从以上技术方案可以看出,本发明具有以下优点:

63、本技术提供的大模型驱动的编目数据清洗整编方法中,通过对接入的多源异构编目数据进行基础校验,剔除无效的脏数据,生成结构化的待处理数据集,为后续的语义处理和标准化治理提供了可靠的数据入口基础,降低了因源头数据质量问题导致的后续处理偏差风险。

64、本发明通过对待处理数据集进行基础清洗,得到格式统一的文本数据集,消除了编目数据中因录入习惯差异、系统编码差异带来的格式不一致问题,为后续语义编码提供了格式统一、内容纯净的输入数据,提升了语义编码的稳定性和准确性。

65、本发明通过计算每条编目文本的语义复杂度得分,基于全量文本数据的语义复杂度得分分布匹配嵌入模型,对全量文本数据进行语义编码并输出同维度的高维特征向量,实现了对不同复杂度编目数据的差异化编码策略,使复杂编目文本获得高精度编码的同时,简单编目文本也能以较低的计算成本完成编码,兼顾了编码精度与处理效率。

66、本发明基于同维度的高维特征向量集合,根据向量数量规模及空间分布形态匹配聚类算法对编目数据进行聚类分组,将指代同一实体的同义异形编目数据聚合为同一数据簇,解决了现有规则匹配方案无法识别语义层面等价关系的根本局限,实现了从字符级匹配到语义级聚合的技术跨越,有效改善了编目数据中一物多名问题的治理效果。

67、本发明通过采用大语言模型为每个数据簇生成标准化名称,并将各数据簇及其标准化名称组成标准化编目数据条目,汇总生成标准化编目数据集,实现了从原始脏数据到标准化编目数据的端到端自动化处理,输出的标准化编目数据集可直接应用于业务系统,提升了编目数据的可用性和一致性。