基于人工智能大模型的数据融合处理方法、数据融合处理装置和计算机可读存储介质与流程

摘要: 本发明总体涉及数据处理,具体而言,涉及基于人工智能大模型的数据融合处理方法、数据融合处理装置和计算机可读存储介质。背景技术:1、多源异构数据融合是人工智能和数据...
基于人工智能大模型的数据融合处理方法、数据融合处理装置和计算机可读存储介质与流程

本发明总体涉及数据处理,具体而言,涉及基于人工智能大模型的数据融合处理方法、数据融合处理装置和计算机可读存储介质。

背景技术:

1、多源异构数据融合是人工智能和数据科学领域的一个重要方向。其目标在于整合来自不同来源和格式的信息,以期获得比单一数据源更全面、更准确的决策和分析结果。多源异构数据往往具有多个模态,例如,来源于互联网的文章具有文本模态,而来源于照相机的相片具有图像模态。同一来源的数据也可能具有多个模态,例如,来源于监控摄像头的录像可能同时具有视频模态和音频模态。现有数据融合技术主要集中于利用深度学习模型,如注意力机制、循环神经网络或transformer架构,来学习不同模态之间的关联性,并生成统一的特征表示。尤其随着人工智能大模型的兴起,其强大的跨模态理解能力被广泛应用于提升融合效果。

2、然而,现有技术在处理实际的具有多个模态的多源异构数据时,面临两大核心问题。

3、1. 数据稀疏与不平衡问题。现实数据集合往往存在数据不平衡和模态稀缺的现象,多数现有方法直接在这样的数据上训练,导致融合模型对欠缺类别的泛化能力严重不足。

4、2. 知识表示的局限性。传统融合方法难以捕捉数据深层次的结构化语义关系,而纯粹基于人工智能大模型的生成方法又易受限于训练语料,在处理专业领域或低频实体时,可能产生语义漂移或缺乏可解释性,未能充分利用结构化先验知识来指导融合过程。

5、因此,需要提出一种基于人工智能大模型的数据融合处理技术,以至少部分地解决上述问题。

技术实现思路

1、本发明的目的在于,提供基于人工智能大模型的数据融合处理方法、数据融合处理装置和计算机可读存储介质,其利用结构化先验知识来指导具有多个模态的多源异构数据的融合过程,从而提高融合的效果和鲁棒性。

2、在本发明的第一方面中,提供一种基于人工智能大模型的数据融合处理方法,包括:

3、- 获取来自多个数据源的、具有多个模态的多源异构数据,并对多源异构数据进行预处理,以形成待抽取数据集合;

4、- 对待抽取数据集合执行实体识别与关系抽取,以从该待抽取数据集合获取三元组结构,并基于该三元组结构从领域知识图谱获取知识嵌入向量;

5、- 基于三元组结构对多源异构数据执行语义聚类,将多源异构数据划分为一个或多个聚类簇,统计每个聚类簇的数据样本数量与模态分布,以识别聚类簇中的一个或多个稀缺聚类簇,其中每个稀缺聚类簇缺失一种或多种模态数据;

6、- 针对每个稀缺聚类簇,以知识嵌入向量作为语义约束,调用预训练的人工智能大模型,生成该稀缺聚类簇中缺失的模态数据,以形成语义平衡后的融合数据集合;以及

7、- 将语义平衡后的融合数据集合输入至融合模型,执行跨模态融合推理,生成融合后的语义融合数据。

8、在部分实施方式中,对多源异构数据进行预处理包括:

9、- 对文本数据执行以下操作中的一个或多个:分词、词性标注、去停用词以及词向量初始化;

10、- 对图像数据执行以下操作中的一个或多个:尺寸归一化、通道转换以及像素值归一化;

11、- 对音频数据执行以下操作中的一个或多个:降噪处理以及梅尔频率倒谱系数特征提取;以及

12、- 对所有模态的数据执行时间和/或空间上的对齐。

13、在部分实施方式中,执行实体识别与关系抽取包括:

14、- 基于条件随机场模型对待抽取数据集合中的文本信息进行命名实体识别,以获取已标注实体;以及

15、- 基于关系分类模型,识别已标注实体之间的语义关系,从而构建所述三元组结构。

16、在部分实施方式中,获取知识嵌入向量包括:

17、- 将与上述三元组结构中的实体和关系相关的领域知识图谱中的实体和关系输入至语义匹配模型;以及

18、- 通过语义匹配模型,将领域知识图谱中的实体和关系映射到低维度的向量空间,得到知识嵌入向量。

19、在部分实施方式中,对多源异构数据执行语义聚类包括:

20、- 将与三元组结构相关的知识嵌入向量作为聚类特征;

21、- 基于聚类特征,对待抽取数据集合进行聚类,以得到聚类簇;以及

22、- 通过预设语义本体,对每个聚类簇分别赋予统一语义标签。

23、在部分实施方式中,识别聚类簇中的一个或多个稀缺聚类簇包括:

24、- 设置数据样本数量阈值和模态覆盖率阈值;

25、- 对于每个聚类簇,判断该聚类簇的数据样本数量是否低于数据样本数量阈值,以及通过模态分布计算该聚类簇的模态覆盖率并判断其模态覆盖率是否低于模态覆盖率阈值;以及

26、- 将数据样本数量低于数据样本数量阈值并且模态覆盖率低于模态覆盖率阈值的聚类簇识别为稀缺聚类簇。

27、在部分实施方式中,生成该稀缺聚类簇中缺失的模态数据包括:

28、- 将知识嵌入向量与该稀缺聚类簇中现有的模态特征进行特征拼接,形成知识约束输入;

29、- 将知识约束输入提供给人工智能大模型中的生成模块;

30、- 基于知识约束输入生成该稀缺聚类簇中缺失的模态数据;以及

31、- 将生成的缺失模态数据添加回稀缺聚类簇的数据样本中,或作为新的合成样本加入到稀缺聚类簇中。

32、在部分实施方式中,执行跨模态融合推理包括:

33、- 提取融合数据集合中的各模态数据的特征向量,并将该特征向量输入至门控融合模型;

34、- 门控融合模型通过门控机制计算各模态特征的贡献权重;

35、- 基于贡献权重,对各模态特征向量执行加权求和,得到统一的融合特征表示;以及

36、- 基于统一的融合特征表示,执行分类、回归和/或序列预测任务,生成语义融合数据。

37、在本发明的第二方面中,提供一种基于人工智能大模型的数据融合处理装置,包括:

38、- 数据预处理模块,被配置为获取来自多个数据源的、具有多个模态的多源异构数据,并对多源异构数据进行预处理,以形成待抽取数据集合;

39、- 实体关系抽取模块,被配置为对待抽取数据集合执行实体识别与关系抽取,以从该待抽取数据集合获取三元组结构,并基于该三元组结构从领域知识图谱获取知识嵌入向量;

40、- 稀缺数据识别模块,被配置为基于三元组结构对多源异构数据执行语义聚类,将多源异构数据划分为一个或多个聚类簇,统计聚类簇中每个聚类簇的数据样本数量与模态分布,以识别聚类簇中的一个或多个稀缺聚类簇,其中每个稀缺聚类簇缺失一种或多种模态数据;

41、- 稀缺数据扩增模块,被配置为针对每个稀缺聚类簇,以知识嵌入向量作为语义约束,调用预训练的人工智能大模型,生成该稀缺聚类簇中缺失的模态数据,以形成语义平衡后的融合数据集合;以及

42、- 多源数据融合模块,被配置为将语义平衡后的融合数据集合输入至融合模型,执行跨模态融合推理,生成融合后的语义融合数据。

43、在部分实施方式中,数据预处理模块还被配置为:

44、- 对文本数据执行以下操作中的一个或多个:分词、词性标注、去停用词以及词向量初始化;

45、- 对图像数据执行以下操作中的一个或多个:尺寸归一化、通道转换以及像素值归一化;

46、- 对音频数据执行以下操作中的一个或多个:降噪处理以及梅尔频率倒谱系数特征提取;以及

47、- 对所有模态的数据执行时间和/或空间上的对齐。

48、在部分实施方式中,实体关系抽取模块还被配置为:

49、- 基于条件随机场模型对待抽取数据集合中的文本信息进行命名实体识别,以获取已标注实体;以及

50、- 基于关系分类模型,识别已标注实体之间的语义关系,从而构建所述三元组结构。

51、在部分实施方式中,实体关系抽取模块还被配置为:

52、- 将与上述三元组结构中的实体和关系相关的领域知识图谱中的实体和关系输入至语义匹配模型;以及

53、- 通过语义匹配模型,将领域知识图谱中的实体和关系映射到低维度的向量空间,得到知识嵌入向量。

54、在部分实施方式中,稀缺数据识别模块还被配置为:

55、- 将与三元组结构相关的知识嵌入向量作为聚类特征;

56、- 基于聚类特征,对待抽取数据集合进行聚类,以得到聚类簇;以及

57、- 通过预设语义本体,对每个聚类簇分别赋予统一语义标签。

58、在部分实施方式中,稀缺数据识别模块还被配置为:

59、- 设置数据样本数量阈值和模态覆盖率阈值;

60、- 对于每个聚类簇,判断该聚类簇的数据样本数量是否低于数据样本数量阈值,以及通过模态分布计算该聚类簇的模态覆盖率并判断其模态覆盖率是否低于模态覆盖率阈值;以及

61、- 将数据样本数量低于数据样本数量阈值并且模态覆盖率低于模态覆盖率阈值的聚类簇识别为稀缺聚类簇。

62、在部分实施方式中,稀缺数据扩增模块还被配置为:

63、- 将知识嵌入向量与该稀缺聚类簇中现有的模态特征进行特征拼接,形成知识约束输入;

64、- 将知识约束输入提供给人工智能大模型中的生成模块;

65、- 基于知识约束输入生成该稀缺聚类簇中缺失的模态数据;以及

66、- 将生成的缺失模态数据添加回稀缺聚类簇的数据样本中,或作为新的合成样本加入到稀缺聚类簇中。

67、在部分实施方式中,多源数据融合模块还被配置为:

68、- 提取融合数据集合中的各模态数据的特征向量,并将该特征向量输入至门控融合模型;

69、- 门控融合模型通过门控机制计算各模态特征的贡献权重;

70、- 基于贡献权重,对各模态特征向量执行加权求和,得到统一的融合特征表示;以及

71、- 基于统一的融合特征表示,执行分类、回归和/或序列预测任务,生成语义融合数据。

72、在本发明的第三方面中,提供一种计算机可读存储介质,其上存储有计算机程序,该程序在被处理器执行时实现根据本发明的第一方面的数据融合处理方法。

73、本发明具有如下有益效果:

74、1、解决数据稀缺性问题:通过在聚类后,利用人工智能大模型对稀缺聚类簇中的缺失模态数据进行生成,有效地解决了传统融合模型面临的数据不平衡和模态稀缺问题,显著提高了数据集合的完整性和可用性。

75、2、增强知识语义表示:在融合前引入知识图谱并提取知识嵌入向量,确保了数据生成和聚类过程具有强大的语义约束,避免了人工智能大模型生成可能出现的语义漂移,使数据表示更加准确和可靠。

76、3、提升融合效果:由于数据集合经过语义平衡,所以后续的融合模型能够在更均衡、更具约束的数据上训练和推理,从而提升了模型的泛化能力和对稀疏场景的预测准确性。