基于深度学习的肝豆状核变性多模态数据筛查方法及系统

本发明涉及肝豆状核变性筛查，具体说是基于深度学习的肝豆状核变性多模态数据筛查法。

背景技术：

1、肝豆状核变性（wilsondisease，wd）；肝豆状核变性是一种常染色体隐性遗传的铜代谢障碍性疾病，好发于儿童及青壮年；其临床表现高度异质，早期症状不典型，常以不明原因的肝功能异常（转氨酶升高）、脂肪肝、或类似病毒性肝炎的表现为首发症状；此外，部分患者可表现为神经精神症状（如震颤、言语不清、性格改变）、肾脏损害或溶血性贫血；

2、目前，wd的临床筛查面临以下主要技术问题和痛点；

3、在门诊或肝病病房，面对“年轻、不明原因肝功能异常”的患者，不同年资、不同专业背景的医生诊疗路径差异巨大，经验不足的医生可能长期按照“普通肝炎”、“脂肪肝”进行治疗和随访，导致患者数月至数年无法得到正确诊断，错失早期干预（低铜饮食/驱铜治疗）的黄金窗口期；

4、wd的最终确诊依赖综合评分（如leipzig评分），需要整合肝功能、血清铜蓝蛋白、24小时尿铜、角膜k-f环、基因检测等多种模态数据，在初筛阶段，这些数据往往不可兼得：例如，24小时尿铜收集耗时、基因检测周期长、k-f环检查依赖眼科医生；现有技术无法在证据不完整的情况下，给出一个目前最佳的筛查建议或下一步检查优先级。

5、且部分患者在筛查前可能已接受过对症治疗（如保肝、降酶），或住院期间接受了血浆置换、输血等干预，这会改变血清铜蓝蛋白、尿铜、血常规等核心指标的真实水平，导致模型或评分系统失真，现有技术主要通过医生查阅指南、手工计算leipzig评分或采用简单的机器学习模型进行分类，这些方案更适合用于回顾性研究或数据齐全的临床研究，而无法胜任真实世界初筛场景下数据缺失、质量参差、时相混乱的复杂情况。

6、综上所述，为解决本文提出的技术问题，本发明提出了基于深度学习的肝豆状核变性多模态数据筛查法。

技术实现思路

1、为解决上述提到的现有的筛查方式无法胜任真实世界初筛场景下数据缺失、质量参差、时相混乱的复杂情况，本发明提出了基于深度学习的肝豆状核变性多模态数据筛查方法；该筛查方法包括以下模块：

2、数据输入模块，其用于采集患者基础模态、扩展检验模态、影像模态和时序事件模态多源原始数据；

3、数据预处理与状态标记模块，其用于提取基础模态、扩展检验模态、影像模态和时序事件模态的特征，并生成存在性向量、干扰向量和时相向量三类状态标记向量；

4、多模态深度编码器，其包含并行设置的表格编码器、时序编码器和图像编码器，表格编码器对结构化检验数据特征编码；时序编码器对治疗时序事件的特征编码；图像编码器对眼前节图像的特征编码；

5、跨模态门控注意力网络，接收表格编码器、时序编码器和图像编码器的编码特征，以及接收存在性向量、干扰向量和时相向量，动态调整各基础模态、扩展检验模态、影像模态和时序事件模态的特征权重，将多模态特征融合；

6、智能输出模块，内置证据缺口索引输出层，输出筛查紧迫性等级、证据缺口列表、补充检查优先级序列三类临床可执行筛查决策指令。

7、作为本技术的一种优选方案，该方法包括；

8、步骤1：多源多模态数据采集，通过数据输入模块获取不明肝功能异常初诊患者的基础模态数据、扩展检验模态数据、影像模态数据和时序事件模态数据；

9、步骤2：对步骤1中的基础模态数据、扩展检验模态数据、影像模态数据和时序事件模态数据进行特征标准化提取，并行生成存在性向量、干扰向量和时相向量；其中特征标准化提取采用z-score标准化方法，其计算公式为：

10、步骤3：对上述步骤2中；采用表格编码器对基础模态、扩展检验模态的结构化数值特征编码；采用时序编码器输入时序事件模态数据与时相向量；采用图像编码器处理眼前节图像，输出k-f环判定状态；

11、步骤s4：对编码器输出的编码特征、存在性向量和干扰向量共同输入跨模态门控注意力网络；跨模态门控注意力网络依据存在性向量动态分配特征权重，对存在缺失的模态自动置权重为0；

12、步骤5：基于步骤4中的特征融合推理；特征融合后经证据缺口索引输出层完成推理，输出筛查紧迫性等级、证据缺口列表、补充检查优先级序列。

13、作为本技术的一种优选方案，步骤1中，基础模态数据包括年龄、性别、alt、ast、ggt、tbil、dbil、凝血功能和血常规指标；

14、扩展检验模态数据包括血清铜蓝蛋白和24小时尿铜和血清铜检测结果；

15、影像模态数据为患者眼前节拍摄图像；

16、时序事件模态数据为就诊前预设周期内包括输血、血浆置换、保肝降酶药物使用和利尿剂用药记录；预设周期为就诊前2周。

17、作为本技术的一种优选方案，步骤5中的证据缺口列表用于确定筛查流程中缺失的关键诊断证据项；补充检查优先级序列按临床诊断价值排序输出1-2项优先补充检查，其中优先补充检查包括血清铜蓝蛋白检测、眼科裂隙灯k-f环检查、24小时尿铜采集检测和atp7b基因检测。

18、作为本技术的一种优选方案，多模态深度编码器中的图像编码器采用resnet-50作为骨干网络，内置伪影识别分支采用二分类交叉熵损失函数进行训练，训练数据集包含标注有k-f环阳性、弱阳性、伪影、无法判定四类标签的眼前节图像不少于5000例。

19、作为本技术的一种优选方案，所述图像编码器输出k-f环判定结果，时序编码器内置指标干扰校正子模块，根据治疗时序自动修正受干预影响的铜代谢指标特征。

20、作为本技术的一种优选方案，时序编码器根据时相向量构建时间序列特征，同时量化输血、血浆置换、保肝药物对血清铜、铜蓝蛋白和尿铜指标的偏移程度。

21、作为本技术的一种优选方案，跨模态门控注意力网络采用transformer架构的多头注意力机制，其中注意力头数设置为8，每个注意力头的维度为64，门控单元采用sigmoid激活函数实现特征权重的动态调节。

22、作为本技术的一种优选方案，表格编码器输出128维结构化特征并生成4维二进制存在向量mlab，时序编码器输出64维时序特征并生成3维二进制存在向量mtime，图像编码器输出256维影像特征并生成1维二进制存在向量mimg；拼接mlab、mtime、mimg得到8维全局存在向量mtotal，mtotal输入sigmoid门控单元生成模态掩码wmask，缺失模态权重收敛至0-0.05，有效模态权重维持0.7-1.0。

23、作为本技术的一种优选方案，时序编码器采用指数衰减模型校正指标偏移，β=0.12，干预窗口为就诊前两周。

24、本发明的有益效果如下：

25、通过存在性向量标记各模态数据的可用性，跨模态门控注意力网络能够自动屏蔽缺失模态的特征权重，仅基于已采集的有效数据完成筛查推理，避免了传统评分系统和机器学习模型要求数据完整、无法处理部分模态缺失的技术难题，临床初筛阶段，即使患者仅完成基础肝功能检查，系统也能基于现有数据给出初步筛查建议，避免因等待全部检查结果导致的诊断延误。