一种基于多源异构数据映射的健康数据标准化方法及系统与流程

摘要: 本发明涉及数据映射,尤其涉及一种基于多源异构数据映射的健康数据标准化方法及系统。背景技术:1、随着医疗信息化的快速发展,医院信息系统、实验室信息系统、体检管理系...
一种基于多源异构数据映射的健康数据标准化方法及系统与流程

本发明涉及数据映射,尤其涉及一种基于多源异构数据映射的健康数据标准化方法及系统。

背景技术:

1、随着医疗信息化的快速发展,医院信息系统、实验室信息系统、体检管理系统及可穿戴设备等多种异构数据源在临床诊疗和健康管理中得到广泛应用,产生了海量的健康数据。然而,由于各数据源在系统架构、数据结构、数据格式、编码体系及字段命名规则等方面存在显著差异,不同数据源对同一医学概念的表述方式各不相同。异构性导致不同数据源之间的健康数据难以直接融合与共享,严重制约了区域医疗协同、临床科研数据分析和人工智能辅助诊疗等应用的发展。

2、目前,现有技术中针对多源异构健康数据的标准化方法主要依赖人工建立字段对照表或基于固定规则进行数据转换,存在工作效率低下、通用性差、难以应对新增数据源及无法有效识别跨数据源映射冲突等问题。

3、因此,如何实现跨数据源映射冲突的智能识别与有效解决,是急需解决的技术问题。

技术实现思路

1、本发明提供一种基于多源异构数据映射的健康数据标准化方法及系统,其主要目的在于实现跨数据源映射冲突的智能识别与有效解决。

2、为实现上述目的,本发明提供的一种基于多源异构数据映射的健康数据标准化方法,包括:

3、确认出多个异构数据源,基于多个异构数据源获取多个异构数据源健康数据,对多个异构数据源健康数据中每个异构数据源健康数据均执行如下操作:

4、从异构数据源健康数据中提取多条记录样本,基于多条记录样本生成异构数据源映射列表;

5、汇总异构数据源映射列表,得到多个异构数据源映射列表,其中,异构数据源映射列表与异构数据源一一对应;

6、对多个异构数据源映射列表进行冲突检测,得到同名异义冲突数据源组集、异名同义冲突数据源组集及值域编码冲突数据源组集;

7、对同名异义冲突数据源组集进行标准编码映射操作,得到最终映射标准编码集及特例补丁数据源集;

8、基于异名同义冲突数据源组集确认出异名同义推荐标准编码集,对异名同义推荐标准编码集进行同义词组关联,得到关联异名同义字段集;

9、基于值域编码冲突数据源组集生成中间值域桥接映射表;

10、基于最终映射标准编码集、特例补丁数据源集、关联异名同义字段集及中间值域桥接映射表完成基于多源异构数据映射的健康数据标准化。

11、可选地,所述基于多条记录样本生成异构数据源映射列表,包括:

12、对多条记录样本中每条记录样本均执行如下操作:

13、基于记录样本获取样本字段名称、样本数值分布特征及分布类值域列表,根据样本字段名称从预构建的标准术语库中检索出初始匹配字段名称集;

14、计算样本字段名称与初始匹配字段名称集中每个初始匹配字段名称的匹配相似度评分,得到匹配相似度评分集;

15、基于匹配相似度评分集确认出推荐标准编码,对推荐标准编码、样本数值分布特征及分布类值域列表进行关联,得到关联记录样本;

16、汇总关联记录样本,得到关联记录样本集,基于关联记录样本集生成异构数据源映射列表。

17、可选地,所述计算样本字段名称与初始匹配字段名称集中每个初始匹配字段名称的匹配相似度评分,得到匹配相似度评分集,包括:

18、将样本字段名称与初始匹配字段名称集进行两两组合,得到字段组合集,其中,字段组合包括:样本字段名称及初始匹配字段名称;

19、对字段组合集中每个字段组合均执行如此操作:

20、基于字段组合计算字符串相似度评分,根据样本字段名称从标准术语库中获取标准术语名称,基于标准术语名称确认出正常参考值区间及标准值域枚举列表;

21、根据样本字段名称获取目标样本数值分布特征及目标分布类值域列表,其中,目标样本数值分布特征包括:样本均值、样本标准差及样本取值区间;

22、基于正常参考值区间、标准值域枚举列表、目标样本数值分布特征及目标分布类值域列表计算语义辅助评分;

23、对字符串相似度评分及语义辅助评分进行加权求和操作,得到匹配相似度评分;

24、汇总匹配相似度评分,得到匹配相似度评分集。

25、可选地,所述基于字段组合计算字符串相似度评分,包括:

26、计算字段组合中样本字段名称与初始匹配字段名称的编辑距离,基于样本字段名称与初始匹配字段名称获取最大字符长度值;

27、根据编辑距离及最大字符长度值计算编辑距离相似度评分;

28、对样本字段名称与初始匹配字段名称进行名称包含检测,得到名称包含检测结果,其中,名称包含检测结果为完全包含或不完全包含;

29、若名称包含检测结果为完全包含,则将预设的壹值作为子串包含相似度评分;

30、若名称包含检测结果为不完全包含,则将预设的零值作为子串包含相似度评分;

31、对编辑距离相似度评分及子串包含相似度评分进行加权求和操作,得到字符串相似度评分。

32、可选地,所述基于正常参考值区间、标准值域枚举列表、目标样本数值分布特征及目标分布类值域列表计算语义辅助评分,包括:

33、若样本字段名称为预设的数值型字段,则根据正常参考值区间计算正常参考值区间中值,对正常参考值区间中值及目标样本数值分布特征的样本均值进行绝对差值计算,得到第一差值;

34、基于正常参考值区间确认出正常参考值区间上限及正常参考值区间下限,基于正常参考值区间上限及正常参考值区间下限计算区间半径;

35、利用第一差值除以区间半径,得到偏离比值,基于偏离比值计算初始语义辅助评分,设置语义辅助评分区间,并确认出语义辅助评分区间的语义辅助评分区间上限及语义辅助评分区间下限;

36、若初始语义辅助评分小于语义辅助评分区间下限,则将语义辅助评分区间下限作为语义辅助评分;

37、若初始语义辅助评分大于语义辅助评分区间上限,则将语义辅助评分区间上限作为语义辅助评分;

38、若初始语义辅助评分位于语义辅助评分区间内,则将初始语义辅助评分作为语义辅助评分;

39、若样本字段名称为预设的分类型字段,则对标准值域枚举列表及目标分布类值域列表进行交集判断,得到判断结果,其中,判断结果为存在交集或不存在交集;

40、若判断结果为存在交集,则将壹值作为语义辅助评分;

41、若判断结果为不存在交集,则将零值作为语义辅助评分。

42、可选地,所述对多个异构数据源映射列表进行冲突检测,得到同名异义冲突数据源组集、异名同义冲突数据源组集及值域编码冲突数据源组集,包括:

43、对多个异构数据源映射列表进行同名异义冲突检测,得到同名异义冲突数据源组集;

44、对多个异构数据源映射列表进行异名同义冲突检测,得到异名同义冲突数据源组集;

45、对多个异构数据源映射列表进行值域编码冲突检测,得到值域编码冲突数据源组集。

46、可选地,所述对同名异义冲突数据源组集进行标准编码映射操作,得到最终映射标准编码集及特例补丁数据源集,包括:

47、对同名异义冲突数据源组集中的每个同名异义冲突数据源组均执行如下操作:

48、基于同名异义冲突数据源组计算标准编码共识得分组,从标准编码共识得分组提取最大标准编码共识得分;

49、将最大标准编码共识得分对应的推荐标准编码作为最终映射标准编码,基于最终映射标准编码及所提取的同名异义冲突数据源组确认出特例补丁数据源;

50、分别汇总最终映射标准编码及特例补丁数据源,得到最终映射标准编码集及特例补丁数据源集。

51、可选地,所述基于同名异义冲突数据源组计算标准编码共识得分组,包括:

52、依次从同名异义冲突数据源组中提取同名异义冲突数据源,基于所提取的同名异义冲突数据源确认出同名异义冲突字段名称;

53、根据同名异义冲突字段名称从同名异义冲突数据源组集中确认出目标同名异义数据源集,其中,目标同名异义数据源集中的每个目标同名异义数据源均不相同;

54、根据目标同名异义数据源获取同名异义数据源权重集,对同名异义数据源权重集进行求和,得到同名异义权重总和;

55、基于多个异构数据源计算异构数据源权重总和,对同名异义权重总和及异构数据源权重总和进行比值计算,得到标准编码共识得分;

56、汇总标准编码共识得分,得到标准编码共识得分组。

57、可选地,所述对异名同义推荐标准编码集进行同义词组关联,得到关联异名同义字段集,包括:

58、对异名同义推荐标准编码集中每个异名同义推荐标准编码均执行如下操作:

59、基于异名同义推荐标准编码从异名同义冲突数据源组集提取涉及数据源集,其中,涉及数据源集包括一个或多个涉及数据源;

60、基于涉及数据源集确认出涉及数据源字段名称集,将涉及数据源字段名称集与异名同义推荐标准编码进行关联,得到关联异名同义字段;

61、汇总关联异名同义字段,得到关联异名同义字段集。

62、为实现上述目的,本发明还提供一种基于多源异构数据映射的健康数据标准化系统,包括:

63、健康数据特征提取模块,用于确认出多个异构数据源,基于多个异构数据源获取多个异构数据源健康数据,对多个异构数据源健康数据中每个异构数据源健康数据均执行如下操作:从异构数据源健康数据中提取多条记录样本,基于多条记录样本生成异构数据源映射列表,汇总异构数据源映射列表,得到多个异构数据源映射列表,其中,异构数据源映射列表与异构数据源一一对应;

64、冲突检测模块,用于对多个异构数据源映射列表进行冲突检测,得到同名异义冲突数据源组集、异名同义冲突数据源组集及值域编码冲突数据源组集;

65、数据冲突处理模块,用于对同名异义冲突数据源组集进行标准编码映射操作,得到最终映射标准编码集及特例补丁数据源集,基于异名同义冲突数据源组集确认出异名同义推荐标准编码集,对异名同义推荐标准编码集进行同义词组关联,得到关联异名同义字段集,基于值域编码冲突数据源组集生成中间值域桥接映射表;

66、标准化结果生成模块,用于基于最终映射标准编码集、特例补丁数据源集、关联异名同义字段集及中间值域桥接映射表完成基于多源异构数据映射的健康数据标准化。

67、为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:

68、存储器,存储至少一个指令;

69、处理器,执行所述存储器中存储的指令以实现上述所述的基于多源异构数据映射的健康数据标准化方法。

70、为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于多源异构数据映射的健康数据标准化方法。

71、为解决背景技术所述问题,本发明通过确认出多个异构数据源,基于多个异构数据源获取多个异构数据源健康数据,对多个异构数据源健康数据中每个异构数据源健康数据均执行如下操作:本发明通过从每个异构数据源中提取多条记录样本并生成各数据源专属的映射列表,使得每个数据源的字段命名习惯、取值特征及数据结构均以独立的映射列表形式被完整保留,避免了多源数据在初始处理阶段即混合在一起所产生的特征混淆,从异构数据源健康数据中提取多条记录样本,基于多条记录样本生成异构数据源映射列表,汇总异构数据源映射列表,得到多个异构数据源映射列表,其中,异构数据源映射列表与异构数据源一一对应,本发明通过将各异构数据源的映射列表与其数据源序号一一对应关联存储,为后续跨源冲突检测中追溯各字段的具体来源提供了精确的数据基础,提升了多源异构数据处理的规范性和可追溯性,对多个异构数据源映射列表进行冲突检测,得到同名异义冲突数据源组集、异名同义冲突数据源组集及值域编码冲突数据源组集,本发明上述三类冲突涵盖了多源数据融合过程中最核心、最容易导致数据误解和融合失败的异构性问题,与现有技术中逐源独立处理、仅在数据融合后才发现冲突的方式相比,本发明在标准化执行之前即完成冲突的全面预检与分类标记,使管理员能够从宏观层面完整掌握各数据源间的核心矛盾,有效避免了传统方式中因冲突被遗漏或延迟发现所导致的数据错误融合问题,对同名异义冲突数据源组集进行标准编码映射操作,得到最终映射标准编码集及特例补丁数据源集,本发明通过计算各候选标准编码的共识得分并选取最高分者作为最终映射标准编码,实现了同名异义冲突的自动化、智能化裁决,无需人工逐一判断,提升了冲突处理的效率,基于异名同义冲突数据源组集确认出异名同义推荐标准编码集,对异名同义推荐标准编码集进行同义词组关联,得到关联异名同义字段集,本发明通过将异名同义冲突中多个不同的字段名称与同一推荐标准编码进行同义词组关联,构建了一个完整的字段名称同义词库,基于值域编码冲突数据源组集生成中间值域桥接映射表,本发明通过生成中间值域桥接映射表,为同一标准编码对应的不同原始值域描述信息建立了双向转换的标准化通道,该中间值域桥接映射表不仅能够将各异构数据源的原始取值准确转换为标准值域格式,还能够记录从标准值域还原至各原始值域的反向转换规则,为后续数据追溯和人工复核提供了完整的溯源路径,基于最终映射标准编码集、特例补丁数据源集、关联异名同义字段集及中间值域桥接映射表完成基于多源异构数据映射的健康数据标准化。因此,本发明可实现跨数据源映射冲突的智能识别与有效解决。