一种多源数据融合方法、装置、设备及介质与流程

摘要: 本发明涉及人工智能,尤其涉及一种多源数据融合方法、装置、设备及介质。背景技术:1、随着大数据与自然语言处理技术的快速发展,文本数据呈现来源多元、特征异构、维度分...
一种多源数据融合方法、装置、设备及介质与流程

本发明涉及人工智能,尤其涉及一种多源数据融合方法、装置、设备及介质。

背景技术:

1、随着大数据与自然语言处理技术的快速发展,文本数据呈现来源多元、特征异构、维度分散的显著特点。多源数据融合技术旨在通过整合多源异构数据提升决策精度与可靠性,是针对异构、多维度信息的整合分析技术,能够将不同来源、不同类型、不同表征维度的特征信息进行统一标准化处理与互补融合,突破单一特征的表达局限,实现信息冗余抵消与优势互补,从而构建更全面、鲁棒性更强的特征表达体系。近年来,深度学习被广泛用于提升融合性能,但其缺乏对异构数据语义关联的深层理解,依赖人工设计特征或简单注意力机制,所以文本与图像、时序数据的语义鸿沟难以消除,导致融合效果较差,因此,在多源数据融合过程中,如何提高融合效果成为亟须解决的问题。

技术实现思路

1、本发明提供一种多源数据融合方法、装置、设备及介质,以解决在多源数据融合过程中,融合效果较差的问题。

2、第一方面,提供了一种多源数据融合方法,所述多源数据融合方法包括:

3、获取待融合的多源数据,对每一源数据进行结构化处理,得到统一格式的结构化数据;

4、基于每一结构化数据,对每一结构化数据进行分块处理,得到每一结构化数据对应的多个数据块;

5、针对任一结构化数据中的任一目标数据块,计算所述目标数据块与其他结构化数据中对应的其他数据块之间的相似度值,根据所述相似度值,确定与所述目标数据块存在关联关系的关联数据块;

6、将所述目标数据块与所述关联数据块进行融合,得到融合后的数据。

7、第二方面,提供了一种多源数据融合装置,所述多源数据融合装置包括:

8、获取模块,用于获取待融合的多源数据,对每一源数据进行结构化处理,得到统一格式的结构化数据;

9、分块模块,用于基于每一结构化数据,对每一结构化数据进行分块处理,得到每一结构化数据对应的多个数据块;

10、计算模块,用于针对任一结构化数据中的任一目标数据块,计算所述目标数据块与其他结构化数据中对应的其他数据块之间的相似度值,根据所述相似度值,确定与所述目标数据块存在关联关系的关联数据块;

11、融合模块,用于将所述目标数据块与所述关联数据块进行融合,得到融合后的数据。

12、第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述多源数据融合方法的步骤。

13、第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述多源数据融合方法的步骤。

14、本发明与现有技术相比存在的有益效果是:

15、本申请中,获取待融合的多源数据,对每一源数据进行结构化处理,得到统一格式的结构化数据;基于每一结构化数据,对每一结构化数据进行分块处理,得到每一结构化数据对应的多个数据块;通过对多源数据分别做结构化处理与分块处理,实现了原始数据的拆分与标准化,为后续精准匹配关联特征打下基础。再通过块间相似度匹配确定关联信息,仅对存在语义关联的数据块做针对性融合,避免了无关信息的无效整合,也能更好的捕捉不同源数据间的深层语义关联,有效提升了多源数据的融合效果,使最终得到的融合数据特征表达更全面,鲁棒性更强。

1.一种多源数据融合方法,其特征在于,所述多源数据融合方法包括:

2.如权利要求1所述的多源数据融合方法,其特征在于,所述对每一源数据进行结构化处理,得到统一格式的结构化数据,包括:

3.如权利要求1所述的多源数据融合方法,其特征在于,所述计算所述目标数据块与其他结构化数据中各个其他数据块之间的相似度,包括:

4.如权利要求3所述的多源数据融合方法,其特征在于,所述计算得到所述目标数据块与各个其他数据块之间的语义相似度,包括:

5.如权利要求3所述的多源数据融合方法,其特征在于,所述计算得到所述目标数据块与其他结构化数据中各个其他数据块之间的相似度,包括:

6.如权利要求1所述的多源数据融合方法,其特征在于,所述将所述目标数据块与所述关联数据块进行融合,得到融合后的数据,包括:

7.一种多源数据融合装置,其特征在于,所述多源数据融合装置包括:

8.如权利要求7所述的多源数据融合装置,其特征在于,所述获取模块包括:

9.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的多源数据融合方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的多源数据融合方法。