基于渐进分层提取深度学习模型的多标签结局预测系统
本发明涉及多标签数据预测,尤其是指一种基于渐进分层提取深度学习模型的多标签结局预测系统。
背景技术:
1、随着全民医疗卫生水平提升,慢病共存、多病并发已成为临床诊疗常态,临床流行病学及随访研究积累了海量医学多标签数据。结合临床数据属性,医学多标签数据主要划分为多标签分类数据、多标签生存数据两大类,患者罹患的基础合并症、随访期新发疾病统称为多标签结局。例如,缺血性脑卒中患者常同时患有残疾、心血管疾病、认知障碍等多种预后结局;冠心病随访人群病程内易新发心房颤动、心力衰竭、缺血性卒中等心血管类结局,同时可并发慢性肾病、慢性阻塞性肺疾病、2型糖尿病等非心血管类结局。此类医学多标签数据不仅能够客观表征患者全维度整体健康基线,更隐含各疾病结局之间病理关联、因果影响、风险协同等复杂耦合关系,是开展多病协同风险评估、个体化预后预判、多病共治临床决策的核心数据载体。
2、现阶段临床针对医学多标签数据开展结局预测分析,通常建模思路默认多个疾病标签相互独立,依托问题转化策略,将多标签学习转换为多个单标签学习来进行处理。这一思路主要包括两种方式:一种是对每一个标签直接构建独立的单标签预测模型,该方式不仅在实际应用中影响了简便性,更重要的是忽略了标签间的相关信息;另一种是将多个单标签结局合并为一个复合结局后构建一个单标签模型,该方式虽然简化了建模过程,但却失去了对某个特定结局进行精细化的预测能力,难以满足实际临床工作中对多病共治的精准评估需求。
3、目前行业通用多标签学习算法体系,整体划分为传统多标签学习方法和基于深度学习的多标签学习方法两大分支。其中传统多标签学习方法细分两类:第一类为问题转化法,典型包括二元转化算法、分类器链算法;第二类为算法适应方法,典型包括排序支持向量机、多标签k邻近算法等。深度学习类多标签学习方法,则依托卷积神经网络、循环神经网络、transformer深层神经网络架构,完成特征自主提取与多标签拟合学习。尽管上述多标签学习方法在故障检测、图像识别和文本分类等领域得到了广泛应用,但这些领域多标签数据不存在标签发生时间这一医学多标签生存数据的特有信息。此外,医学多标签背后往往存在紧密的医学关联和相互作用,例如缺血性脑卒中复发患者的死亡风险显著增加。若直接将已有的多标签学习方法或策略应用于医学多标签数据,基于问题转换的方法不仅会因无法充分考虑特征与特征、特征与标签和标签与标签间的内在复杂关联而导致模型的预测能力受限,还存在模型性能易受标签排列顺序影响等问题。算法适应类的多标签学习方法的可拓展性较低且在应用至医学多标签生存数据时往往因忽略生存时间这一关键变量造成信息丢失。另一方面,虽然基于深度学习的多标签学习方法因可对特征进行深层变换而具有一定优势,但通常面临负迁移和跷跷板现象,即标签间因特征混淆而相互干扰,导致难以同时优化的问题。
技术实现思路
1、为此,本发明所要解决的技术问题在于克服现有技术中难以挖掘特征间、标签间多层级数据耦合关联,传统问题转化算法建模稳定性易受标签排序干扰、算法适配类方法拓展性差且丢失生存时序关键字段,通用深度学习算法存在标签负迁移、跷跷板现象的问题。
2、为解决上述技术问题,本发明提供了一种基于渐进分层提取深度学习模型的多标签结局预测系统,包括:
3、获取单元,用于获取多个医学原始特征和多个医学标签;
4、模型构建单元,用于构建多标签关联感知渐进分层模型;其中,所述多标签关联感知渐进分层模型包括标签提取模块、自注意力模块、标签预测模块和交叉注意力模块;
5、训练单元,用于通过动态加权方式融合多标签分类损失或多标签生存损失,对所述多标签关联感知渐进分层模型迭代训练,得到最优多标签关联感知渐进分层模型;
6、预测单元,将多个所述医学原始特征输入至所述最优多标签关联感知渐进分层模型中,得到各所述医学标签对应的结局预测结果;
7、其中,所述标签提取模块,用于对所述医学标签对应的原始特征做层级递进运算,完成多标签特征渐进式分离与融合,输出各所述医学标签对应的标签基础特征;
8、所述自注意力模块,用于将所有所述标签基础特征进行向量堆叠,并计算特征之间自注意力权重;根据所述自注意力权重,得到第一融合特征;将各所述标签基础特征与所述第一融合特征中对应的特征进行拼接,并将拼接后的特征输入线性投影层,映射为与所述标签基础特征维度相同的特征,得到对应标签的第二融合特征;
9、所述标签预测模块,用于根据所述第二融合特征,得到各所述医学标签对应的初始预测值;
10、所述交叉注意力模块,用于对非目标标签对应的初始预测值进行维度变换,得到第二初始预测值;计算目标标签对应的标签基础特征与所述第二初始预测值的交叉注意力权重,得到第三融合特征;将所述目标标签对应的标签基础特征与所述第三融合特征进行拼接,得到各所述目标标签的最终特征;将所述最终特征作为所述标签预测模块的输入特征,生成最终预测值。
11、在本发明的一个实施例中,所述标签提取模块包括多层提取网络层、末级提取层;各所述提取网络层包括多个标签网络和匹配所述标签网络数量的加权融合门控网络;其中,所述标签网络用于对输入特征进行非线性映射,得到专属标签表征和多标签共享表征;所述加权融合门控网络,用于根据同层输出的所述专属标签表征和所述多标签共享表征,得到权重向量;所述多层提取网络层逐层利用对应层级生成的所述权重向量,对同层分离得到的所述专属标签表征和所述多标签共享表征进行加权融合,并通过多层递进迭代的方式持续优化所述专属标签表征和所述多标签共享表征的融合权重,实现多标签特征的渐进式整合优化;将所述多层提取网络层的输出特征输入至所述末级提取层,经所述末级提取层处理后,得到各所述医学标签对应的标签基础特征。
12、在本发明的一个实施例中,所述多个标签网络划分为专属网络和共享网络;所述专属网络用于对每个输入标签进行非线性映射,学习并输出各所述医学标签独立的专属标签表征;所述共享网络用于提取每个输入标签在不同标签间的多标签共享表征。
13、在本发明的一个实施例中,所述加权融合门控网络依次包括线性变换层和归一化层;其中,所述线性变换层,用于对所述专属标签表征与所述多标签共享表征进行特征融合以生成权重基础数据;所述归一化层,用于对所述权重基础数据进行标准化修正,得到用于特征融合的权重向量。
14、在本发明的一个实施例中,所述自注意力模块包括:
15、多头自注意力层,用于计算特征之间的自注意力权重,生成所述第一融合特征;其中,所述第一融合特征的表达式为:
16、;
17、其中,表示第一融合特征,表示多头自注意力运算,表示堆叠后的标签特征矩阵;分别表示注意力查询、键和值矩阵;
18、线性投影层,用于接收各所述标签基础特征与所述第一融合特征中对应特征拼接后的拼接特征,并对所述拼接特征进行线性映射,生成各所述标签基础特征维度相同的第二融合特征。
19、在本发明的一个实施例中,所述标签预测模块包括输入层、单层隐藏层、relu激活函数、正则化层和输出层。
20、在本发明的一个实施例中,所述交叉注意力模块包括最终特征生成子模块,用于将各所述目标标签对应的标签基础特征作为注意力查询,将所述第二初始预测值作为键和值矩阵,计算所述目标标签对应的标签基础特征与所述第二初始预测值的交叉注意力权重,并得到第三融合特征;将所述目标标签对应的标签基础特征与所述第三融合特征进行拼接,得到各所述目标标签的最终特征;其中,所述第三融合特征的表达式为:
21、;
22、其中,表示第三融合特征,表示交叉注意力运算,表示第个目标标签对应的标签基础特征,表示除第个目标标签以外的其余各标签的第二初始预测值;分别表示注意力查询、键和值矩阵。
23、在本发明的一个实施例中,所述训练单元包括:
24、多标签分类损失计算模块,用于对每个分类标签,计算二元交叉熵损失;其中,所述二元交叉熵损失的表达式为:
25、;
26、其中,表示二元交叉熵损失,表示有效样本数,表示第个有效样本的真实标签,表示第个有效样本的预测对数几率,表示函数;
27、多标签生存损失计算模块,用于对每个生存标签,计算负对数偏似然损失;其中,所述负对数偏似然损失的表达式为:
28、;
29、其中,表示负对数偏似然损失,表示发生事件的样本集合,表示第个样本的预测风险,表示第个样本的事件发生时间;表示第个样本发生事件时,所有存活时间大于或等于的样本的风险预测值之和。
30、在本发明的一个实施例中,所述训练单元还包括多标签总损失计算模块,所述多标签总损失计算模块用于通过动态加权方式融合多标签分类损失或多标签生存损失,生成模型整体训练损失;其中,所述模型整体训练损失的表达式为:
31、;
32、其中,表示模型整体训练损失,表示标签个数,表示第个标签在当前轮次训练的动态权重,表示第个标签的损失。
33、在本发明的一个实施例中,所述多标签总损失计算模块包括动态权重计算子模块,用于生成每轮训练中各个标签的动态权重;其中,所述动态权重的表达式为:
34、;
35、其中,表示第个标签在当前轮次训练的动态权重,表示第个标签的初始权重,表示第个标签的权重更新系数,表示当前轮次训练的轮次。
36、本发明的上述技术方案相比现有技术具有以下有益效果:
37、(1)本发明所述的一种基于渐进分层提取深度学习模型的多标签结局预测系统,通过标签提取模块采用层级递进运算方式对医学原始特征进行多标签特征渐进式分离与融合,能够逐层区分单标签独有特征与多标签共享特征,充分挖掘高维临床、蛋白类医学数据内部隐藏的特征信息,弥补单层特征提取网络信息挖掘不充分、特征混叠的缺陷。自注意力模块将全部标签基础特征堆叠后计算全局自注意力权重得到第一融合特征,建模特征与特征之间的复杂关联,同时将原始标签基础特征与第一融合特征拼接并统一维度得到第二融合特征,保障后续初始预测结果稳定输出;标签预测模块利用第二融合特征得到所有标签对应的初始预测值,完成全部医学标签的初步拟合。在此基础上增设交叉注意力模块,用于对非目标标签对应的初始预测值进行维度变换,计算目标标签基础特征与非目标标签初始预测值的交叉注意力权重,得到第三融合特征;将目标标签基础特征与第三融合特征进行拼接,得到目标标签特征的最终特征。本发明针对医学多标签数据,从共享特征与专属特征的角度,充分利用自注意力机制和交叉注意力机制实现跨标签层面的特征间、特征与标签间和标签与标签间的融合学习,同时基于深度学习反向传播实现全局损失最小的优化方向,实现对医学多标签数据中信息的高效学习,识别蕴含其中的特征与特征、特征与标签和标签与标签间的复杂信息,显著提高了对医学多标签结局的预测准确性。
38、(2)本发明使用负对数似然损失函数适配生存分析任务,将模型适用场景拓展至医学多标签生存数据,构建出可同时兼容多标签分类与多标签生存预测的多标签学习模型。针对存在特征间交互、特征与标签间交互的模拟数据集,本发明均具备优异的综合预测性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com