基于多模态数据融合的患者画像构建方法及系统与流程
本发明涉及医疗信息管理,特别是指基于多模态数据融合的患者画像构建方法及系统。
背景技术:
1、医疗信息管理技术领域是指围绕患者医疗信息及相关健康数据的采集、整理、存储、更新、检索、分析与利用所形成的技术领域,主要涉及医院信息系统、电子病历管理、公共卫生信息服务、健康档案管理、临床数据处理及医疗服务支持等内容,广泛应用于医疗机构、健康管理机构、公共卫生机构及医学信息服务行业。
2、其中,传统患者画像构建方法是指针对患者的身份信息、就诊记录、检查检验资料、用药情况、健康状况及相关行为特征进行归集、整理、关联和描述的方法,用于形成能够表征患者特征的信息集合,通常采用数据采集、数据清洗、信息整合、特征提取、标签组织及数据建模等手段完成患者画像构建。
3、传统的患者画像构建方法,虽然能够对患者身份信息、就诊记录、检查检验资料、用药情况、健康状况及相关行为特征进行归集、整理、关联和描述,但是,在患者医疗数据来源多样、采集时间不一致、数据维度缺失且模态之间存在表达差异的情况下,存在多源医疗信息难以按统一时间基准完成有效对齐、不同类型数据之间关联关系松散、缺失数据对画像结果干扰较大、局部特征与整体特征难以协同表达的问题。传统的患者画像构建方法,虽然能够通过数据清洗、信息整合、特征提取和标签组织形成患者特征信息集合,但是,在医学影像、病历文本、监护时序和基因组学数据共同参与画像构建的情况下,存在异构数据难以形成统一表征、跨模态特征权重分配不够精细、患者实体关系结构表达不充分、最终画像对疾病进展和病理关联的刻画深度不足的问题。
技术实现思路
1、为了解决现有技术存在的技术问题,本发明实施例提供了基于多模态数据融合的患者画像构建方法,包括以下步骤:
2、为了实现上述目的,本发明采用了如下技术方案:基于多模态数据融合的患者画像构建方法,包括以下步骤:
3、s1:采集患者多模态医疗数据,根据患者多模态医疗数据与预设患者基准时间序列之间的动态时间规整偏差,确定患者模态对齐矩阵;
4、s2:根据所述患者模态对齐矩阵和患者多模态医疗数据,构建多模态特征矩阵,基于多模态特征矩阵的主成分特征维度,生成患者单模态特征向量;
5、s3:根据所述患者单模态特征向量中的缺失数据维度位置,生成患者掩码特征序列,计算患者掩码特征序列的隐变量分布概率,生成患者缺失重构特征;
6、s4:根据所述患者单模态特征向量和所述患者缺失重构特征,通过多头交叉注意力网络获取跨模态交互注意力权重,结合跨模态交互注意力权重,生成统一患者表征向量;
7、s5:根据所述统一患者表征向量获取患者实体数据,根据患者实体数据的特征重要性权重,确定关联影响程度值,基于关联影响程度值构建知识图谱,作为多模态融合患者画像。
8、作为本发明的进一步方案,所述患者模态对齐矩阵包括时序模态对齐分量、视觉模态对齐分量和语义模态对齐分量,所述患者单模态特征向量包括空间视觉特征分量、时序动态特征分量和文本语义特征分量,所述患者缺失重构特征包括缺失模态均值向量、缺失模态方差向量和模态分布散度向量,所述统一患者表征向量包括跨模态注意力聚合特征、多模态交叉融合向量和全局疾病表征向量,所述多模态融合患者画像包括静态属性画像节点、动态时序画像节点和病理知识关系边。
9、作为本发明的进一步方案,步骤s1具体为:
10、s101:采集患者多模态医疗数据,包括患者常规检验数据、病历文本数据、医学影像数据、时序监护数据和基因组学数据,提取每项数据的数值特征向量,并映射至同一数值区间,获取多模态特征映射数值序列;
11、s102:基于所述多模态特征映射数值序列和预设的患者基准时间序列,确定时间节点标量,将时间节点标量映射至数值区间内,计算数值区间两端位置的边界映射极值,根据边界映射极值对患者基准时间序列进行数据填充,生成患者基准时间映射数值序列;
12、s103:计算所述多模态特征映射数值序列与所述患者基准时间映射数值序列之间的动态时间规整偏差,提取每项数据对应的动态时间规整偏差数值并进行拼接重组,建立患者模态对齐矩阵。
13、作为本发明的进一步方案,步骤s2具体为:
14、s201:对所述患者模态对齐矩阵与所述医学影像数据进行配准映射,确定医学图像配准参数,根据医学图像配准参数提取病灶图像注意力权重,同时根据时序监护数据计算生理指标数值变化率,建立多模态初始特征集合;
15、s202:根据所述多模态初始特征集合,同时获取病历文本数据的临床诊断语义向量、常规检验数据的生化检验数值向量以及患者基因组学数据的基因表达特征向量,建立多模态特征矩阵;
16、s203:根据所述多模态特征矩阵计算主成分方差贡献率,对比主成分方差贡献率与预设贡献率阈值,提取所述多模态特征矩阵中主成分方差贡献率大于预设贡献率阈值的主成分特征维度,转置主成分特征维度的每列向量参量,生成患者单模态特征向量。
17、作为本发明的进一步方案,步骤s3具体为:
18、s301:检测所述患者单模态特征向量中的缺失数据维度位置,提取缺失数据维度位置的索引参量,根据索引参量将所述患者单模态特征向量中的对应数值统一替换为零,获取患者掩码特征向量序列;
19、s302:调用所述患者掩码特征向量序列输入至变分自编码器进行特征拟合,提取变分自编码器输出的概率密度函数值,根据概率密度函数值计算隐变量分布概率,统计隐变量分布概率在每个映射维度的极差参量,建立隐变量概率分布特征集;
20、s303:将所述患者隐变量概率特征集与标准正态分布概率进行分布散度比对,根据比对结果计算每项多模态医疗数据的相对熵值,根据相对熵值计算医疗缺失维度的补偿偏移量,依据补偿偏移量填补所述患者掩码特征向量序列缺失位置,生成患者缺失重构特征。
21、作为本发明的进一步方案,步骤s4具体为:
22、s401:获取所述患者缺失重构特征中每项多模态医疗数据对应模态分量的独立特征数值,计算独立特征数值之间的协方差统计量,根据协方差统计量计算多模态医疗数据分布间的皮尔逊相关系数量化值,建立医疗模态间相关系数矩阵;
23、s402:将所述患者单模态特征向量与所述患者缺失重构特征输入至交叉注意力网络,计算二者之间的点积运算结果,根据点积运算结果计算两组特征序列间的关联分布系数,得到跨模态医疗交互注意力权重;
24、s403:根据所述跨模态医疗交互注意力权重和所述医疗模态间相关系数矩阵计算矩阵内积,根据内积运算结果提取多模态医疗加权特征向量,提取多模态医疗加权特征向量对应每个维度的独立数值进行累加折算,得到统一患者医疗表征向量。
25、作为本发明的进一步方案,步骤s5具体为:
26、s501:从所述统一患者医疗表征向量中提取表征患者身份的人口学属性实体数据、疾病进展实体数据和病理机制实体数据,分别确定每项实体数据分布区间的边界参数并组合为患者多维临床实体特征集;
27、s502:计算所述患者多维临床实体特征集与对应于预设疾病诊断标签的特征重要性权重,根据特征重要性权重计算每项临床实体数据间的关联影响度偏差量,构建临床实体关联影响程度值;
28、s503:将所述患者多维临床实体特征集作为关系拓扑图节点,所述临床实体关联影响程度值作为节点间拓扑有向边的赋值参量,构建患者临床特征的知识图谱,生成多模态融合患者画像。
29、基于多模态数据融合的患者画像构建系统,包括:
30、模态对齐模块,采集患者多模态医疗数据,根据患者多模态医疗数据与预设患者基准时间序列之间的动态时间规整偏差,确定患者模态对齐矩阵;
31、特征生成模块,根据所述患者模态对齐矩阵和患者多模态医疗数据,构建多模态特征矩阵,基于多模态特征矩阵的主成分特征维度,生成患者单模态特征向量;
32、特征重构模块,根据所述患者单模态特征向量中的缺失数据维度位置,生成患者掩码特征序列,计算患者掩码特征序列的隐变量分布概率,生成患者缺失重构特征;
33、特征融合模块,根据所述患者单模态特征向量和所述患者缺失重构特征,通过多头交叉注意力网络获取跨模态交互注意力权重,结合跨模态交互注意力权重,生成统一患者表征向量;
34、画像构建模块,根据所述统一患者表征向量获取患者实体数据,根据患者实体数据的特征重要性权重,确定关联影响程度值,基于关联影响程度值构建知识图谱,作为多模态融合患者画像。
35、与现有技术相比,本发明的优点和积极效果在于:
36、本发明中,通过采集患者常规检验数据、病历文本数据、医学影像数据、时序监护数据和基因组学数据,结合动态时间规整偏差确定患者模态对齐矩阵,通过多模态特征矩阵提取主成分特征维度,通过患者掩码特征序列的隐变量分布概率生成患者缺失重构特征,并结合交叉注意力权重与模态相关系数矩阵生成统一患者医疗表征向量,进一步构建患者临床特征的知识图谱,实现了多模态医疗数据在时间维度、特征维度和关系维度上的连续衔接与统一表达,起到了增强异构数据融合能力、提高缺失数据补偿后特征可用性、强化跨模态关联表达强度、提升患者画像对身份属性、疾病进展和病理机制综合表征能力的作用;同时,借助实体数据边界参数、特征重要性权重和关联影响程度值的协同处理,使生成的多模态融合患者画像能够同时呈现静态属性特征、动态时序特征和病理关系特征。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com