整合多源异构数据的多模态医学教育知识图谱构建系统的制作方法
本发明涉及知识图谱,特别是指整合多源异构数据的多模态医学教育知识图谱构建系统。
背景技术:
1、随着医学教育资源数字化、结构化和多模态化程度不断提高,医学影像、影像报告、医学教学视频和教学课件逐渐成为医学教学内容的重要载体。知识图谱能够通过实体节点和关系边组织分散的医学知识,并结合自然语言处理、图像识别、实体对齐和关系抽取技术,将不同来源、不同数据格式的医学教育资源转换为具有语义关联的数据结构,为医学知识检索、教学内容组织和医学教育资源管理提供数据基础。
2、例如,公告号为cn110362690b的申请提供了一种医学知识图谱构建方法及装置,方法包括:获取诊断证据信息、临床表现信息和疾病信息;根据诊断证据信息、临床表现信息和疾病信息,利用预设的诊断标准、临床标准及疾病的诊断方法,建立疾病与多层临床表现的关联关系以及每一层的临床表现与诊断证据的关联关系;根据疾病与多层临床表现的关联关系以及每一层的临床表现与诊断证据的关联关系,构建包含诊断证据实体、临床表现实体和疾病实体之间关联关系的医学知识图谱。
3、例如,公开号为cn120653782a的申请公开了一种生物医学知识图谱的构建方法,属于知识图谱技术领域,包括:1、数据预处理:对来自文献数据库、电子病历、基因组数据和医学影像的多源生物医学数据进行分类分级,通过差分隐私技术对敏感信息进行脱敏处理;2、知识抽取与标注:使用基于bert-bilstm-crf的联合模型抽取实体,结合注意力机制识别实体间关系,并采用本体论框架进行语义标注;3、跨源对齐与融合:基于图嵌入算法计算实体相似度,通过概率软对齐模型整合不同数据源中的实体与关系;4、质量控制系统:构建包含规则引擎、统计分析和专家反馈的三级校验机制,对知识图谱的完整性、一致性和时效性进行动态监测。
4、然而,现有医学知识图谱构建技术主要侧重医学实体提取、跨源实体对齐、关系融合和整体质量校验,医学教育数据内容发生变化时,难以根据同一证据单元对连续关系的支撑范围识别局部证据失效和关系链断裂,也难以仅对失效关系基元及失联边界进行局部更新,容易造成无效关系继续保留、有效关系被整体删除以及知识图谱更新准确性不足。
5、因此,针对以上问题,亟待需要整合多源异构数据的多模态医学教育知识图谱构建系统。
技术实现思路
1、为了解决现有医学教育知识图谱在多源异构数据更新时难以识别局部证据失效和关系链断裂,导致无效关系残留及图谱更新准确性不足的问题,本发明实施例提供了整合多源异构数据的多模态医学教育知识图谱构建系统。所述技术方案如下:
2、提供了整合多源异构数据的多模态医学教育知识图谱构建系统,该系统包括:
3、多模关系基元生成模块,用于获取医学影像数据、影像报告数据、医学教学视频数据和教学课件数据,分别生成影像证据单元、报告证据单元、视频证据单元和课件证据单元,提取医学实体编号和关系类型编码值,构建有序关系基元链;
4、同证据覆盖带生成模块,用于按照链内位序值将同一证据单元连续支持的关系基元连接为证据跨基元覆盖带,在位序中断处截断,生成同证据连续覆盖标记,将获得全部对应证据单元类型支撑的关系基元写入有效关系边表;
5、关系断裂切口识别模块,用于获取与原证据单元记录内容不一致的医学教育数据,生成更新证据单元和更新证据跨基元覆盖带,识别失覆盖基元和失联边界,生成关系链断裂切口;
6、关系基元局部回写模块,用于基于关系链断裂切口悬置失覆盖基元,删除失联边界位置的链邻接记录并生成关系基元链片段,基于新增证据单元恢复有效关系边和链邻接记录,将教学资源节点、证据单元节点、实体节点及有效关系边、资源包含边写入医学教育知识图谱。
7、进一步地,获取医学影像数据、影像报告数据、医学教学视频数据和教学课件数据的具体步骤如下:获取医学教育数据管理库中存储的医学影像数据、影像报告数据、医学教学视频数据、教学课件数据、医学知识本体表和医学关系规则表;四类医学教育数据均包括资源编号和病例编号,医学影像数据包括影像帧编号、病灶标注编号和病灶区域坐标值,影像报告数据包括报告句编号和报告句内容,医学教学视频数据包括字幕句编号、字幕句内容、字幕时间区间和视频帧序列,教学课件数据包括课件页编号、课件标注编号、标注区域坐标值和标注文字内容。
8、进一步地,分别生成影像证据单元、报告证据单元、视频证据单元和课件证据单元的具体步骤如下:按照病灶区域坐标值截取病灶图像片,按照报告句编号提取报告句内容,按照字幕句编号提取字幕句内容,并按照字幕时间区间从视频帧序列中截取对应的连续视频帧,按照标注区域坐标值截取课件标注区域和标注文字内容,分别生成影像证据单元、报告证据单元、视频证据单元和课件证据单元;将影像帧编号和病灶标注编号、报告句编号、字幕句编号、课件页编号和课件标注编号分别写入各证据单元的内容索引数据,并为各证据单元写入证据单元编号、资源编号和病例编号。
9、进一步地,提取医学实体编号和关系类型编码值,构建有序关系基元链的具体步骤如下:将报告句内容、字幕句内容和标注文字内容与医学知识本体表中的实体词项、关系词项和阶段词项逐项执行字符匹配,提取病灶实体编号、解剖位置编号、医学表现编号、结论实体编号、关系类型编码值和诊疗阶段编码值,并写入报告证据单元、视频证据单元和课件证据单元;提取病灶图像片的边界轮廓值、长径值、短径值和灰度统计值,与医学知识本体表中的影像实体模板计算归一化距离,在最小归一化距离不大于实体匹配距离阈值时,将影像实体模板中的病灶实体编号、解剖位置编号和医学表现编号写入影像证据单元;在同一病例编号内,根据病灶实体编号、解剖位置编号、医学表现编号和结论实体编号分别生成病灶实体节点、解剖位置节点、医学表现节点和结论实体节点,以诊疗阶段编码值作为诊疗阶段节点编号生成诊疗阶段节点;根据病灶实体编号和解剖位置编号生成位置关系基元,根据病灶实体编号和医学表现编号生成表现关系基元,根据医学表现编号和结论实体编号生成结论关系基元,根据结论实体编号和诊疗阶段节点编号生成阶段关系基元;将共享病灶实体编号的位置关系基元与表现关系基元连接,将共享医学表现编号的表现关系基元与结论关系基元连接,将共享结论实体编号的结论关系基元与阶段关系基元连接,生成有序关系基元链,并为每个关系基元写入关系基元编号、病例编号、头实体编号、尾实体编号、关系类型编码值和链内位序值。
10、进一步地,按照链内位序值将同一证据单元连续支持的关系基元连接为证据跨基元覆盖带,在位序中断处截断的具体步骤如下:读取各证据单元和有序关系基元链;报告证据单元、视频证据单元和课件证据单元中的头实体编号、关系类型编码值和尾实体编号分别与关系基元的头实体编号、关系类型编码值和尾实体编号一致时,将证据单元编号写入对应关系基元;影像证据单元中的病灶实体编号、解剖位置编号和医学表现编号分别与位置关系基元和表现关系基元对应一致时,将影像证据单元编号写入对应位置关系基元和表现关系基元;按照链内位序值将同一证据单元支持的关系基元划分为连续位序区段,基于各连续位序区段生成证据跨基元覆盖带,并写入覆盖起始位序值、覆盖终止位序值和证据单元编号。
11、进一步地,生成同证据连续覆盖标记,将获得全部对应证据单元类型支撑的关系基元写入有效关系边表的具体步骤如下:根据覆盖起始位序值和覆盖终止位序值确定证据跨基元覆盖带覆盖的关系基元和跨越的链间边界;在同一证据跨基元覆盖带同时覆盖链间边界两侧关系基元时,为链间边界写入同证据连续覆盖标记;从医学关系规则表读取各关系类型编码值所需的证据单元类型;在关系基元所需的各证据单元类型均存在覆盖关系基元的证据跨基元覆盖带时,将关系基元写入有效关系边表;在相邻关系基元之间具有同证据连续覆盖标记时,将相邻关系基元之间的连接写入链邻接记录表。
12、进一步地,获取与原证据单元记录内容不一致的医学教育数据,生成更新证据单元和更新证据跨基元覆盖带的具体步骤如下:获取医学教育数据管理库中新写入的医学影像数据、影像报告数据、医学教学视频数据和教学课件数据,根据资源编号和内容索引数据检索原证据单元;在新写入数据与原证据单元记录内容不一致时,重新提取证据内容,对文本内容执行本体词项比对,对病灶图像片执行影像实体模板匹配,生成更新证据单元,并确定更新证据单元支持的关系基元;删除原证据单元形成的全部证据跨基元覆盖带,按照链内位序值将更新证据单元支持的关系基元划分为连续位序区段,生成更新证据跨基元覆盖带,并写入覆盖起始位序值、覆盖终止位序值和更新证据单元编号;基于更新证据跨基元覆盖带重新确定各关系基元的必要证据单元类型覆盖状态和各链间边界的同证据连续覆盖状态。
13、进一步地,识别失覆盖基元和失联边界,生成关系链断裂切口的具体步骤如下:将未获得全部对应证据单元类型支撑的关系基元记录为失覆盖基元,并记录缺失证据单元类型;将原具有同证据连续覆盖标记且更新后不存在同一证据跨基元覆盖带跨越的链间边界记录为失联边界;按照链内位序值归并相邻的失覆盖基元和失联边界,生成关系链断裂切口,并写入切口起始位序值、切口终止位序值、失覆盖基元编号、缺失证据单元类型和失联边界编号;未形成失覆盖基元和失联边界时生成关系链保留标记;为失覆盖基元生成关系基元悬置标记;失联边界两侧关系基元的必要证据单元类型均保持完整时,为失联边界生成关系链拆分标记。
14、进一步地,基于关系链断裂切口悬置失覆盖基元,删除失联边界位置的链邻接记录并生成关系基元链片段的具体步骤如下:读取关系链保留标记,维持有效关系边和链邻接记录,从关系基元中删除原证据单元编号;更新证据单元仍支持原有关系基元时,将更新证据单元编号写入关系基元,并保留其他证据单元编号及证据跨基元覆盖带;读取关系基元悬置标记,将失覆盖基元移出有效关系边表,删除与失覆盖基元连接的链邻接记录,从失覆盖基元保留的证据跨基元覆盖带中提取剩余证据单元编号,并将关系基元编号、头实体编号、关系类型编码值、尾实体编号、缺失证据单元类型和剩余证据单元编号写入悬置关系基元表;关系链断裂切口外的关系基元和链邻接记录保持不变;读取关系链拆分标记,保留失联边界两侧的有效关系边,删除失联边界位置的链邻接记录,以各失联边界为分界生成关系基元链片段,并为每个关系基元链片段写入链片段编号和按照链内位序值由小到大排列的关系基元编号序列。
15、进一步地,基于新增证据单元恢复有效关系边和链邻接记录,将教学资源节点、证据单元节点、实体节点及有效关系边、资源包含边写入医学教育知识图谱的具体步骤如下:根据资源编号生成教学资源节点,根据证据单元编号生成证据单元节点,建立教学资源节点指向证据单元节点的资源包含边,将证据单元编号写入有效关系边的证据支撑字段,并将实体节点、教学资源节点、证据单元节点、有效关系边和资源包含边写入医学教育知识图谱;读取医学教育数据管理库中根据资源编号和内容索引数据未检索到原证据单元的新写入医学教育数据,生成新增证据单元和新增证据跨基元覆盖带;在新增证据单元与剩余证据单元共同补足悬置关系基元的全部必要证据单元类型时,将关系基元重新写入有效关系边表,并将恢复的有效关系边更新至医学教育知识图谱;在新增证据跨基元覆盖带跨越失联边界时,恢复失联边界位置的链邻接记录;将新增教学资源节点、新增证据单元节点和新增资源包含边写入医学教育知识图谱,将未补足必要证据单元类型的关系基元保留在悬置关系基元表。
16、本发明实施例提供的技术方案带来的有益效果至少包括:
17、(1)通过将医学影像、影像报告、医学教学视频和教学课件分别转换为影像证据单元、报告证据单元、视频证据单元和课件证据单元,并基于医学实体编号、关系类型编码值和链内位序值构建有序关系基元链,使不同数据格式下的医学知识能够按照统一的数据结构建立关联,为多模态医学教育知识图谱构建提供可追溯的数据基础。
18、(2)通过按照同一证据单元连续支持关系基元的范围生成证据跨基元覆盖带,并仅在同一证据跨基元覆盖带同时覆盖链间边界两侧关系基元时生成同证据连续覆盖标记,能够防止多个相互独立的证据单元被拼接为虚假的连续关系,同时利用必要证据单元类型完整性筛选有效关系边,提高医学关系边的证据充分性和语义连续性。
19、(3)通过在医学教育数据更新后重新生成更新证据跨基元覆盖带,分别识别缺少必要证据单元类型支撑的失覆盖基元和原同证据连续覆盖消失形成的失联边界,并按照链内位序值生成关系链断裂切口,能够区分单个关系失效与相邻关系连接失效,避免仅依赖整条关系链状态进行粗粒度判断。
20、(4)通过悬置失覆盖基元、删除失联边界位置的链邻接记录并生成关系基元链片段,使关系链断裂切口外的有效关系基元和链邻接记录保持不变;在新增证据补足必要证据单元类型或重新跨越失联边界时,恢复有效关系边和链邻接记录,从而减少整条关系链删除和重建操作,提高医学教育知识图谱更新的准确性、局部性和连续性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com