基于Ontology与横切概念集合的多层数据语义架构构建方法及系统与流程

本发明涉及多源数据治理与语义建模，尤其涉及一种基于ontology与横切概念集合的多层数据语义架构构建方法及系统。

背景技术：

1、目前，随着行业信息化建设的持续推进，多源异构数据在医疗、金融、政务等领域持续积累，以医疗领域为典型场景，医院信息系统（his）、检验信息系统（lis）、影像归档与通信系统（pacs）、电子病历系统（emr）、医保结算系统等多源业务系统并存，数据涵盖结构化业务记录、半结构化文本、医学影像等多种模态，各系统在标识体系、编码标准、表结构设计、字段命名规则上存在显著差异，为数据治理与规模化分析利用带来挑战。

2、然而，当前数据语义架构构建方案存在以下突出问题，严重制约了数据资产的复用能力与分析效率：(1)建模单元与业务语义不对齐。现有数据仓库与数据中台方案以物理表为基本建模单元，与业务领域天然存在的对象、关系、行动语义存在错位，每新增一类分析需求即需构建特化宽表，随需求累积形成数百至数千张语义重叠、口径不一的数据表集合，最终引发数据集腐烂问题，无人敢删、无人能维护，架构复杂度持续升高。(2)业务概念口径缺乏统一治理。同一业务概念在属性派生逻辑、分析队列筛选条件、指标计算规则等位置被重复内联定义，当行业标准迭代（如icd编码升级）时，需在所有引用位置逐一修改，极易产生遗漏引发口径漂移，且无法实现概念引用的全链路追溯。(3)分析单元被隐式固化为单一实体类型。现有方案默认以患者、客户等核心实体作为所有分析的入口，不支持就诊、治疗、检查等事件级对象作为独立分析单元，当指标计算的正确分母为事件粒度时，系统无法区分分析单元，导致指标计算结果失真。(4)对象实例与物理存储强耦合。传统对象建模方案要么要求数据物理集中至独立对象存储，带来不可逆的数据副本、t+1实时性延迟与高昂的schema演化成本，要么与底层物理表结构强绑定，数据源新增或表结构变更时需执行大规模表结构迁移，落地成本高昂，难以兼容企业已有的湖仓与数据仓库生态。(5)主数据合并机制不可逆。传统主数据管理通过确定性规则将多源记录合并为唯一黄金记录，原始记录差异被消除，匹配错误时纠错成本极高，且无法满足医疗、金融等合规敏感场景下的数据追溯与审计要求。

技术实现思路

1、本技术的目的在于提供一种基于ontology与横切概念集合的多层数据语义架构构建方法及系统，有效解决了多源异构数据整合中的语义不一致、业务概念口径分散、分析单元受限等问题，提高了数据架构的灵活性、可维护性和分析结果的准确性。

2、第一方面，本技术提出了一种基于ontology与横切概念集合的多层数据语义架构构建方法，包括：

3、构建阶段步骤：注册对象类型及对象类型至底层物理数据源的映射规则；定义横切概念集合，所述横切概念集合作为跨层共享的语义资源；配置派生属性公式及派生属性间的依赖关系；根据查询频率、数据规模与变更频率配置派生属性的物化策略；定义基于任意对象类型的分析队列cohort；声明式配置指标定义，形成包含对象层、cohort层、指标层的ontology语义架构；

4、运行阶段步骤：接收按对象id寻址的对象访问请求；调用实体解析服务执行多源身份对齐，确定对象实例对应的底层物理记录范围；根据映射规则将底层查询结果按需组装为统一对象视图；基于派生属性公式计算派生属性值；根据cohort的过滤条件筛选符合条件的对象子集；基于对象子集执行指标聚合计算，并根据数据质量门槛校验计算结果；返回通过校验的结果，或在满足触发条件时执行预设业务行动。

5、可选地，所述构建阶段步骤中，注册对象类型及对象类型至底层物理数据源的映射规则的步骤，包括：

6、在对象类型注册模块中维护对象类型元信息，所述对象类型元信息包括对象类型标识、主键、普通属性列表、派生属性引用清单、关系链接声明与可执行行动声明；

7、所述横切概念集合包含全局唯一名称、描述、来源标准、值域类型、成员列表、责任主体、维护周期与版本历史；所述横切概念集合被对象层的派生属性判断、cohort层的过滤条件、指标层的计算逻辑共同引用；版本变更前自动扫描所有引用点并标注受影响的下游对象；

8、构建阶段的所有配置均以声明式形式存储，支持版本控制与变更审计。

9、可选地，所述调用实体解析服务执行多源身份对齐的步骤，包括：

10、对来自不同源系统的两条候选记录计算匹配概率：

11、；

12、其中为匹配字段索引集合，为字段的匹配置信权重，满足且为字段的值相似度，为记录在字段上的取值，为字段值相似度函数，对于精确匹配字段采用0/1判别，对于模糊匹配字段采用编辑距离或发音相似度计算；

13、当匹配概率大于或等于预设匹配阈值时，为两条记录添加双向可逆的同簇映射标签，不修改原始记录内容；匹配错误时支持映射标签拆分与追溯。

14、可选地，所述根据映射规则将底层查询结果按需组装为统一对象视图的步骤，包括：

15、对象服务层不独立存储对象实例；接收访问请求后，根据对象类型注册模块中的映射规则，将对象访问请求转换为底层数据源可执行的查询语句；

16、维护热数据缓存层与冷数据联邦查询路径，从数据湖、数据仓库或源系统中拉取对应物理记录，实时组装为统一对象视图并返回。

17、可选地，所述基于派生属性公式计算派生属性值的步骤，包括：

18、所述派生属性基于多上层引用、具备领域术语含义或需触发业务行动的判断规则进行抽象配置；

19、维护派生属性之间的依赖图谱；根据查询频率、计算复杂度、数据变更频率自动选择物化策略，所述物化策略包括全量物化、增量物化、虚拟视图实时计算与按需计算；

20、在派生属性计算过程中，引用横切概念集合执行属性值归属判断，输出派生属性值。

21、可选地，所述定义基于任意对象类型的分析队列cohort的步骤，包括：

22、每个cohort包含基对象类型声明、过滤条件集合、可选参数化变量与元信息，所述元信息包括名称、版本、责任人与审批状态；所述基对象类型支持配置为任意已注册的对象类型，所述对象类型包括患者、就诊、治疗、检查、医嘱类型；

23、所述过滤条件集合引用对象层的普通属性、派生属性与横切概念集合构造筛选逻辑，为指标计算提供分子与分母的筛选范围。

24、可选地，所述基于对象子集执行指标聚合计算，并根据数据质量门槛校验计算结果的步骤，包括：

25、每个指标定义包含分子条件、分母条件、输出数据格式与数据质量门槛；基于cohort提供的筛选范围，引用对象属性执行聚合计算，输出标量指标值；

26、当分母样本量不足或数据完整性未达到数据质量门槛时，自动抑制指标输出；所述输出数据格式包括百分比格式、计数格式与均值格式。

27、第二方面，本技术还提出了一种基于ontology与横切概念集合的多层数据语义架构构建系统，包括：

28、对象类型注册模块，用于注册对象类型及对象类型至底层物理数据源的映射规则，维护对象类型元信息；

29、概念集合横切模块，用于定义横切概念集合，提供跨层共享的语义资源，执行版本管理与引用影响分析；

30、派生属性引擎，用于配置派生属性公式及依赖关系，自动选择物化策略并计算派生属性值；

31、对象服务层，用于接收对象访问请求，根据映射规则按需组装统一对象视图；

32、cohort定义管理模块，用于定义基于任意对象类型的分析队列，维护cohort的筛选逻辑与元信息；

33、指标计算引擎，用于声明式配置指标定义，执行指标聚合计算与数据质量校验；

34、实体解析服务，用于执行多源身份对齐，为对象实例添加可逆同簇映射标签。

35、第三方面，本技术还提出了一种基于ontology与横切概念集合的多层数据语义架构构建设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于ontology与横切概念集合的多层数据语义架构构建程序，所述基于ontology与横切概念集合的多层数据语义架构构建程序被所述处理器执行时实现上述基于ontology与横切概念集合的多层数据语义架构构建方法。

36、第四方面，本技术还提出了一种计算机程序产品，所述计算机程序产品包括基于ontology与横切概念集合的多层数据语义架构构建程序，所述基于ontology与横切概念集合的多层数据语义架构构建程序被处理器执行时实现权上述基于ontology与横切概念集合的多层数据语义架构构建方法。

37、相对比现有技术，本技术具有如下有益效果：

38、本技术提供的一种基于ontology与横切概念集合的多层数据语义架构构建方法及系统，通过构建包含对象层、cohort层、指标层的ontology语义架构并定义横切概念集合实现跨层语义共享，结合可逆的多源身份对齐机制与按需组装的统一对象视图，有效解耦了业务语义与物理存储，支持任意对象类型作为分析单元，避免了数据副本和口径漂移，具有有效解决了多源异构数据整合中的语义不一致、业务概念口径分散、分析单元受限等问题，提高了数据架构的灵活性、可维护性和分析结果的准确性。