用于多数据源的数据关联方法、装置、电子设备及介质与流程

本技术涉及数据处理，尤其涉及一种用于多数据源的数据关联方法、装置、电子设备及介质。

背景技术：

1、随着数据驱动业务模式的普及，企业和组织内部往往需要同时处理来自多个不同数据源的异构数据信息。在现有多源数据聚合处理技术中，常见做法是依托规则配置中心，由开发人员或数据分析师等预先手动定义不同数据源之间的元数据关联关系，例如字段映射、数据类型转换、过滤条件及连接键等。这种基于静态配置的方法在数据模型稳定、查询模式固定的场景下具有一定可行性。

2、然而，在交互式分析场景下，用户需要即时探索不同数据组合，传统手动配置方式阻碍了分析流程的敏捷性，无法满足快速迭代查询的需求；对非结构化数据的自动化关联处理能力不足，限制了分析维度的丰富性。例如，当不同数据源中的字段名称不同但语义等价时，传统方法需手动配置映射，耗时且易出错。此外，相关技术在处理多模态数据（如文本、图像、结构化数据混合）时，跨源数据整合效率低下，难以满足实时分析需求。显然，目前亟需一种新的用于多数据源的数据关联方法，以解决上述问题中至少之一。

3、需要说明的是，上述内容仅提供了与本技术相关的背景技术信息，不必然构成在先技术。

技术实现思路

1、本技术提供一种用于多数据源的数据关联方法、装置、电子设备及介质，以解决无法实现对多种数据源之间进行关系关联的技术问题。

2、本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。

3、本技术提供的一种用于多数据源的数据关联方法，包括：从不同数据源获取原始数据，所述原始数据包括结构化数据、非结构化数据和时序数据中的至少两种；对所述原始数据进行特征提取，得到数据实体的数据实体特征向量；根据所述数据实体特征向量计算不同数据实体之间的相似度概率矩阵；根据所述相似度概率矩阵得到相似度阈值，根据所述相似度概率矩阵和所述相似度阈值建立数据实体之间的有向边，进而构建数据关联关系图，以完成数据关联。

4、于本技术一实施例中，基于前述方案，从不同数据源获取原始数据之后，对所述原始数据进行预处理，通过预处理后的原始数据替换所述原始数据；其中，对所述原始数据进行预处理，包括：若所述原始数据包括所述结构化数据，则对所述结构化数据进行第一预处理，所述第一预处理至少包括均值补全、异常值过滤和归一化处理中至少之一；若所述原始数据包括所述非结构化数据，则对所述非结构化数据进行第二预处理，所述第二预处理至少包括分词、词形还原和文本向量化中至少之一；若所述原始数据包括所述时序数据，则对所述时序数据进行第三预处理，所述第三预处理至少包括缺失值补全和异常值过滤中至少之一，所述预处理包括所述第一预处理、所述第二预处理和所述第三预处理。

5、于本技术一实施例中，基于前述方案，对所述原始数据进行特征提取，得到数据实体的数据实体特征向量，包括：通过构建的特征提取网络对所述原始数据进行局部语义特征提取，得到各种类型数据对应的特征向量，其中，所述特征提取网络为二维卷积神经网络；将所述数据实体包括的各种类型数据对应的特征向量进行拼接融合，得到所述数据实体特征向量。

6、于本技术一实施例中，基于前述方案，通过构建的特征提取网络对所述原始数据进行局部语义特征提取，得到各种类型数据对应的特征向量，包括：将所述原始数据按照类型分别转换为各种类型数据对应的输入矩阵，其中，所述结构化数据转换为二维矩阵，所述时序数据转换为时间序列波形矩阵，所述非结构化数据转换为词嵌入矩阵；将各种类型数据对应的输入矩阵分别输入至所述二维卷积神经网络，通过卷积层提取局部语义特征，并通过池化层生成各种类型数据对应的特征向量，所述二维卷积神经网络包括所述卷积层和所述池化层。

7、于本技术一实施例中，基于前述方案，根据所述数据实体特征向量计算不同数据实体之间的相似度概率矩阵，包括：对所述数据实体特征向量进行解耦，分离出各种类型数据对应的特征向量；分别采用与各种类型数据相适应的相似度度量方法，计算不同数据实体之间各种类型数据对应的特征向量的初始相似度；通过层次分析法确定各所述初始相似度的相似度权重，根据各所述相似度权重对各所述初始相似度进行加权平均，得到融合相似度；将所述融合相似度通过归一化指数函数进行转换，得到不同数据实体之间的所述相似度概率矩阵。

8、于本技术一实施例中，基于前述方案，分别采用与各种类型数据相适应的相似度度量方法，计算不同数据实体之间各种类型数据对应的特征向量的初始相似度，包括：若各种类型数据对应的特征向量包括结构化特征向量，则采用余弦相似度计算不同数据实体之间结构化特征向量的初始相似度；若各种类型数据对应的特征向量包括非结构化特征向量，则采用语义相似度与词法相似度的加权组合，计算不同数据实体之间非结构化特征向量的初始相似度；若各种类型数据对应的特征向量包括时序特征向量，则采用动态时间规整算法计算序列距离，并通过归一化处理得到不同数据实体之间时序特征向量的初始相似度。

9、于本技术一实施例中，基于前述方案，根据所述相似度概率矩阵得到相似度阈值，根据所述相似度概率矩阵和所述相似度阈值建立数据实体之间的有向边，进而构建数据关联关系图，包括：计算所述相似度概率矩阵中所有元素的均值和标准差，根据所述均值和所述标准差计算得到所述相似度阈值；以所有数据实体作为图节点，遍历所述相似度概率矩阵中的每个元素，每个元素对应第一数据实体与第二数据实体之间的相似度概率；若所述相似度概率大于或等于所述相似度阈值，则建立一条从所述第一数据实体指向所述第二数据实体的有向边，并将所述相似度概率作为所述有向边的权重；根据建立的所有有向边，生成所述数据关联关系图。

10、本技术还提供一种用于多数据源的数据关联装置，包括：数据采集模块，用于从不同数据源获取原始数据，所述原始数据包括结构化数据、非结构化数据和时序数据中的至少两种；特征提取模块，用于对所述原始数据进行特征提取，得到数据实体的数据实体特征向量；相似度计算模块，用于根据所述数据实体特征向量计算不同数据实体之间的相似度概率矩阵；数据关联模块，用于根据所述相似度概率矩阵得到相似度阈值，根据所述相似度概率矩阵和所述相似度阈值建立数据实体之间的有向边，进而构建数据关联关系图，以完成数据关联。

11、本技术还提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述各实施例中任一项所述的用于多数据源的数据关联方法。

12、本技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行实现如上述各实施例中任一项所述的用于多数据源的数据关联方法。

13、本技术的有益效果：基于特征提取与相似度计算，能够识别字段名称不同但语义等价的隐性关联，避免人工配置映射的繁琐与错误；通过动态求解相似度阈值机制与自学习权重矩阵，自动适应数据源变更场景，显著降低人工配置成本，提升多源数据关联效率；构建的特征关联关系图支持实时分析与复杂关联查询，为数据聚合、清洗、分析等后续处理提供高效的底层关联模型，能够满足企业实时数据驱动决策的需求，本技术从技术层面突破了传统规则配置的局限性，为多源数据关联整合提供了普适性解决方案，具有显著的工程应用价值与技术创新性。

14、另外，本技术通过差异化预处理与特征提取机制，有效支持结构化数据、非结构化数据、时序数据等多模态数据的统一特征表示，解决了传统方法对非结构化数据处理能力不足的问题。

15、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。