数据融合方法、电子设备及程序产品与流程

本技术涉及数据处理领域，尤其涉及一种数据融合方法、电子设备及程序产品。

背景技术：

1、在智能驾驶辅助系统的研发与测试过程中，涉及大量结构化数据文件，例如诊断故障码定义表、故障诊断策略表、信号映射关系表及控制器参数配置表等。上述文件由不同功能部门独立维护，其字段命名规则、列排列顺序及格式存在显著差异。随着系统功能迭代，文件的结构和内容频繁发生变化，但还是经常需要将来自不同数据源的文件整合至一个文件中。

2、现有技术通常针对两电子表格之间的数据合并需求，采用人工预先设定合并列具体列号及匹配规则的方式，根据设定的列号从两张表格中读取关键字段的数据值，并对该数据值进行比对，当比对结果一致时判定为匹配成功，随后将预先设定的待复制列中的数据按照匹配结果写入目标表格的对应位置。该方案在执行数据合并前，需由用户逐一指定比对列和复制列的列号以及合并规则的类型，配置完成后该方案仅能适用于具有固定列结构的表格合并场景。

3、现有融合方式无法依据字段本身语义信息以及字段承载的数据内容特征自动识别匹配字段，难以自适应应对多个文件及不同文件字段标识差异、字段排布顺序变动的场景，数据融合工作高度依赖人工配置映射关系，整体处理效率较低。

技术实现思路

1、本技术实施例提供数据融合方法、电子设备及程序产品，用以达到提升数据整合效率的效果。

2、第一方面，本技术实施例提供一种数据融合方法，包括：

3、获取多个待融合的结构化数据文件；

4、对所述待融合的结构化数据文件所述进行解析，得到结构化数据集，所述结构化数据集包含多条字段标识以及与所述字段标识关联的数据内容；

5、根据所述字段标识关联的数据内容，对字段标识进行关联匹配，得到关联字段标识与非关联字段标识；

6、将所述关联字段标识对应的结构化数据集进行关联映射，并将所述非关联字段标识对应的结构化数据集进行新增映射；

7、分别采用关联映射对应的第一融合方式和新增映射对应的第二融合方式，对关联映射的结构化数据集和新增映射的结构化数据集进行融合处理，得到融合数据集；

8、对所述融合数据集进行结构化处理，得到目标结构化数据文件。

9、在一种可能的实施方式中，分别采用关联映射对应的第一融合方式和新增映射对应的第二融合方式，对关联映射的结构化数据集和新增映射的结构化数据集进行融合处理，得到融合数据集，包括：

10、采用第一融合方式，将关联字段对应的数据内容合并至所述融合数据集；

11、采用第二融合方式，将非关联字段对应的数据内容新增至所述融合数据集。

12、在一种可能的实施方式中，采用第一融合方式，将关联字段对应的数据内容合并至所述融合数据集，包括：

13、采用第一融合方式，对所述关联字段对应的数据内容进行相似度计算，得到相似值；

14、将所述相似值大于预设阈值的数据内容合并至所述融合数据集。

15、在一种可能的实施方式中，所述对所述待融合的结构化数据文件所述进行解析，包括：

16、识别各所述待融合的结构化数据文件中的字段标识区域和数据区域，从所述字段标识区域提取字段标识；

17、将所述字段标识与所述数据区域的数据内容进行关联。

18、在一种可能的实施方式中，还包括：

19、在所述融合数据集中，基于关联字段对应的数据内容设置其对应的第一匹配状态信息和文件来源标识，基于非关联字段对应的数据内容设置其对应的第二匹配状态信息和文件来源标识，以获取更新后的融合数据集。

20、在一种可能的实施方式中，根据述字段标识关联的数据内容，对字段标识进行关联匹配，得到关联字段和非关联字段，包括：

21、对所述字段标识关联的数据内容进行一致性验证，将验证通过的数据内容所对应的字段标识确定为关联字段；

22、将所述字段标识中未被确定为所述关联字段的字段，确定为非关联字段。

23、在一种可能的实施方式中，对所述字段标识关联的数据内容进行一致性验证，包括：

24、基于与所述字段标识对应数据内容的格式特征及数值范围特征，对所述字段标识关联的数据内容进行一致性验证。

25、在一种可能的实施方式中，还包括：

26、对各所述字段标识进行语义相似度分析；

27、将语义相似度大于预设相似值的字段标识确定为相似字段，以对所述相似字段关联的数据内容进行一致性验证。

28、第二方面，本技术实施例提供一种数据融合装置，包括：

29、获取模块，用于获取多个待融合的结构化数据文件；

30、解析模块，用于对所述待融合的结构化数据文件所述进行解析，得到结构化数据集，所述结构化数据集包含多条字段标识以及与所述字段标识关联的数据内容；

31、关联模块，用于根据所述字段标识关联的数据内容，对字段标识进行关联匹配，得到关联字段标识与非关联字段标识；

32、所述关联模块，还用于将所述关联字段标识对应的结构化数据集进行关联映射，并将所述非关联字段标识对应的结构化数据集进行新增映射；

33、融合模块，用于分别采用关联映射对应的第一融合方式和新增映射对应的第二融合方式，对关联映射的结构化数据集和新增映射的结构化数据集进行融合处理，得到融合数据集；

34、处理模块，用于对所述融合数据集进行结构化处理，得到目标结构化数据文件。

35、在一种可能的实施方式中，融合模块，具体用于：

36、采用第一融合方式，将关联字段对应的数据内容合并至所述融合数据集；

37、采用第二融合方式，将非关联字段对应的数据内容新增至所述融合数据集。

38、在一种可能的实施方式中，融合模块，还用于：

39、采用第一融合方式，对所述关联字段对应的数据内容进行相似度计算，得到相似值；

40、将所述相似值大于预设阈值的数据内容合并至所述融合数据集。

41、在一种可能的实施方式中，解析模块，具体用于：

42、识别各所述待融合的结构化数据文件中的字段标识区域和数据区域，从所述字段标识区域提取字段标识；

43、将所述字段标识与所述数据区域的数据内容进行关联。

44、在一种可能的实施方式中，处理模块，还用于：

45、在所述融合数据集中，基于关联字段对应的数据内容设置其对应的第一匹配状态信息和文件来源标识，基于非关联字段对应的数据内容设置其对应的第二匹配状态信息和文件来源标识，以获取更新后的融合数据集。

46、在一种可能的实施方式中，关联模块，具体用于：

47、对所述字段标识关联的数据内容进行一致性验证，将验证通过的数据内容所对应的字段标识确定为关联字段；

48、将所述字段标识中未被确定为所述关联字段的字段，确定为非关联字段。

49、在一种可能的实施方式中，关联模块，具体用于：

50、基于与所述字段标识对应数据内容的格式特征及数值范围特征，对所述字段标识关联的数据内容进行一致性验证。

51、在一种可能的实施方式中，关联模块，还用于：

52、对各所述字段标识进行语义相似度分析；

53、将语义相似度大于预设相似值的字段标识确定为相似字段，以对所述相似字段关联的数据内容进行一致性验证。

54、第三方面，本技术实施例提供一种电子设备，包括：存储器，处理器；

55、所述存储器存储计算机执行指令；

56、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面和/或第一方面各种可能的实施方式。

57、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。

58、第五方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式。

59、本技术实施例提供的数据融合方法、电子设备及程序产品，通过将多个待融合的结构化数据文件解析为包含字段标识及对应数据内容的结构化数据集，对字段标识进行关联匹配以区分出用于建立关联关系的关联字段标识和用于补充数据的新增字段标识，分别建立关联映射和新增映射，并依据两类映射各自对应的融合方式对结构化数据集进行融合处理，避免了现有技术中需人工预先指定列号和匹配规则且表格结构变化后需重新配置的繁琐操作，从而实现了对不同来源、不同结构的多个数据文件的自动化融合，提升了数据整合效率。