一种结合自动分割与多模态特征的肺炎预后评估系统的制作方法

本发明涉及医疗辅助，尤其涉及一种结合自动分割与多模态特征的肺炎预后评估系统。

背景技术：

1、肺炎作为一种常见的感染性疾病，其预后评估始终是临床工作的核心与难点，传统的评估方法严重依赖医生的个人经验，通过对胸部ct影像的主观视觉评估、结合有限的临床体征和实验室指标进行综合判断，这种模式存在显著的局限性：一方面，对ct影像中肺炎感染区域的范围和严重程度的评估通常是定性或半定量的，如简单的轻度、中度、重度描述，缺乏精确的定量化指标，不同观察者之间可能存在较大差异，且人眼难以准确捕捉病灶内部的细微纹理变化和异质性，另一方面临床数据、影像学表现和实验室检查结果往往是孤立分析的，未能进行有效的、深层次的整合，信息之间存在的潜在关联未被充分利用，导致对病情的判断可能不够全面和精准，特别是在面对突发性、大规模的呼吸道传染病疫情时，医疗资源紧张，经验丰富的医师可能短缺，快速、准确地对大量患者进行分诊和预后判断变得尤为困难。

2、因此，临床迫切需要一种能够客观、定量、自动化地综合分析多源信息的技术手段，以辅助医生更早、更准确地识别高风险患者，实现医疗资源的优化配置和个性化精准治疗。

技术实现思路

1、为了克服现有技术的缺点，本发明提供一种结合自动分割与多模态特征的肺炎预后评估系统。

2、本发明的技术方案是：一种结合自动分割与多模态特征的肺炎预后评估系统，所述系统包括相互通信连接的服务器端和至少一个客户端，所述服务器端部署有预后评估引擎，所述预后评估引擎包括依次连接的数据预处理模块、肺部感染区域自动分割模块、多模态特征提取与融合模块以及预后评估与风险分层模块；所述数据预处理模块被配置为接收并标准化来自客户端的多模态输入数据，所述多模态输入数据至少包括患者的胸部ct影像序列、结构化临床文本数据以及实验室检验指标数据；所述肺部感染区域自动分割模块内置有基于深度卷积神经网络与u-net架构改进的自动分割模型，该模型使用带有像素级感染区域标注的ct影像数据集进行预训练和微调，能够对输入的标准化ct影像序列进行逐层分析，自动识别并精确分割出肺部实质内的磨玻璃影、实变影及其它肺炎相关异常病灶区域，并生成对应的二值化分割掩膜和感染区域定量指标，所述定量指标包括感染区域的总体积、占全肺体积的百分比、平均密度值和三维空间分布描述符；所述多模态特征提取与融合模块被配置为并行执行以下操作：从所述自动分割模块生成的分割掩膜和定量指标中提取影像组学特征，所述影像组学特征包括一阶统计特征、形状特征、纹理特征和小波特征；从所述结构化临床文本数据中提取临床特征，所述临床特征包括患者年龄、基础疾病史、临床症状持续时间、氧合指数；从所述实验室检验指标数据中提取实验室特征，所述实验室特征包括白细胞计数、淋巴细胞计数、c反应蛋白、降钙素原、乳酸脱氢酶水平；然后通过一个基于注意力机制的多模态特征融合网络对提取的所述影像组学特征、临床特征和实验室特征进行深度融合，该网络首先将不同模态的特征向量分别映射到统一的高维特征空间，然后通过跨模态注意力计算模块动态学习各模态特征对预后评估任务的重要性权重，并据此进行加权融合，生成一个全面且互补的多模态融合特征向量；所述预后评估与风险分层模块内置有基于梯度提升决策树或深度神经网络构建的预后预测模型，该模型以所述多模态融合特征向量作为输入，输出至少包括短期预后风险概率、预计重症转化概率、以及推荐治疗策略分类的综合评估结果，所述短期预后风险概率用于预测患者在未来特定时间窗内发生不良结局事件的风险，所述推荐治疗策略分类至少包括常规支持治疗、高流量氧疗、有创机械通气建议或转入重症监护室建议；所述系统还包括一个结果可视化与报告生成模块，用于将所述综合评估结果与关键的输入特征和分割结果以图形化界面的形式在客户端进行展示，并自动生成结构化的预后评估报告。

3、作为本发明的一个优选，所述基于深度卷积神经网络与u-net架构改进的自动分割模型具体为一种集成残差连接和注意力门控机制的u-net++变体，其编码器部分使用在imagenet数据集上预训练的resnet-50或resnet-101网络作为主干特征提取网络，以增强对ct影像中多尺度感染区域特征的提取能力；在解码器部分，每个上采样阶段均集成有注意力门控单元，该单元能够抑制ct影像中非肺部区域和非感染区域的背景信息，从而聚焦于肺部感染区域的分割；所述模型在训练过程中采用结合dice损失函数和focal损失函数的混合损失函数，以有效应对感染区域与正常肺组织之间存在的类别不平衡问题。

4、作为本发明的一个优选，所述从分割掩膜和定量指标中提取影像组学特征的具体过程包括：将原始ct影像序列与所述自动分割模块生成的分割掩膜进行配准，确保每个像素点对应准确；利用pyradiomics或类似的开源影像组学工具包，从每个感染区域内提取超过1000个定量特征；通过一系列特征筛选步骤，包括基于方差阈值的方法移除方差过低的特征、基于皮尔逊相关系数移除高度相关的冗余特征、以及使用lasso回归或随机森林特征重要性排序进行特征选择，最终保留与肺炎预后显著相关的、数量在50至200个之间的核心影像组学特征子集，用于后续的特征融合。

5、作为本发明的一个优选，所述基于注意力机制的多模态特征融合网络的具体结构包括：三个独立的特征编码子网络，分别用于处理影像组学特征、临床特征和实验室特征，每个编码子网络由全连接层和激活函数构成，将不同维度的原始特征映射到统一的512维特征空间，得到特征向量；一个跨模态注意力计算模块，该模块首先将三个模态的特征向量进行拼接，然后通过一个多层感知机计算每个模态的注意力权重得分，其中注意力权重的计算方式为：将拼接后的特征输入到一个两层神经网络中，后接softmax函数进行归一化，确保三个权重之和为1；最后，将各模态的特征向量与其对应的注意力权重进行加权求和，从而得到最终的融合特征向量。

6、作为本发明的一个优选，所述预后评估与风险分层模块中的预后预测模型是一个基于xgboost或lightgbm框架的梯度提升决策树集成模型，该模型使用包含多模态融合特征向量及对应真实临床预后结局的大型数据集进行训练，所述真实临床预后结局包括是否死亡、是否需有创机械通气、是否入住icu超过7天；所述模型能够输出每个预测结果的概率值，并根据预设的风险阈值将患者划分为低风险、中风险、高风险三个等级；此外，所述模型提供特征重要性排序，用于解释影响预后评估的关键因素，辅助临床医生进行决策。

7、作为本发明的一个优选，所述系统还包括一个持续学习与模型优化模块，该模块被配置为：在获得患者授权并脱敏处理后，收集患者的远期预后数据作为模型反馈；将新产生的数据与原有训练数据结合，定期或在性能衰减达到一定阈值时，对所述自动分割模型、多模态特征融合网络以及预后预测模型进行增量学习或再训练，以动态更新模型参数，使系统能够适应不同时期、不同人群的肺炎病情特征和诊疗方案的变化，保持预后评估的准确性。

8、作为本发明的一个优选，所述数据预处理模块对胸部ct影像序列的标准化处理包括：遵循dicom标准读取影像数据；进行窗宽窗位调整至肺窗设置；进行各向同性重采样以确保空间分辨率一致；应用z-score标准化方法对像素值进行归一化，以消除不同扫描设备间的差异；对临床文本数据和实验室检验指标数据，则进行缺失值填补、异常值处理以及基于均值和标准差的标准化处理，并将所有非数值型类别变量进行独热编码。

9、作为本发明的一个优选，所述结果可视化与报告生成模块在客户端展示的图形化界面至少包括：原始胸部ct影像的冠状面、矢状面和横断面视图，并与所述自动分割模块生成的分割掩膜进行叠加显示，以不同颜色高亮标示不同类型的感染区域；显示感染区域定量指标的动态变化趋势图；以雷达图或条形图形式展示各模态特征对当前患者预后风险评估的贡献度；以醒目的颜色卡片形式展示最终的风险分层结果和治疗策略建议；所述结构化的预后评估报告则遵循hl7或fhir标准，包含患者基本信息、输入数据摘要、分割与特征分析结果、预后评估结论以及模型置信度指示，并支持一键导出为pdf格式。

10、作为本发明的一个优选，所述系统的工作流程为：客户端医生用户登录系统后，通过安全接口上传目标患者的ct影像序列、临床数据表单和实验室检验结果；所述服务器端的预后评估引擎自动触发所述数据预处理模块进行数据标准化，然后由所述肺部感染区域自动分割模块完成病灶分割与定量分析，接着由所述多模态特征提取与融合模块完成多源特征的提取与融合，最后由所述预后评估与风险分层模块生成综合评估结果；整个过程在数分钟内完成，结果通过所述结果可视化与报告生成模块返回至客户端界面，供医生参考。

11、作为本发明的一个优选，还包括有一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现结合自动分割与多模态特征的肺炎预后评估系统中服务器端预后评估引擎的所有功能模块的操作方法。

12、通过采用上述技术方案，本发明具有如下优点：

13、1、本发明通过深度学习模型自动完成肺部感染区域的精确分割与定量测量，彻底克服了人工阅片的主观性强、重复性差、效率低下的弊端，提供了前所未有的影像学数据精度，同时通过注意力机制将影像组学、临床指标和实验室数据进行深度融合，而非简单堆叠，使得评估模型能够全面、立体地洞察病情，捕捉人脑难以察觉的复杂跨模态特征交互，从而极大提升了预后预测的准确性与可靠性，为临床决策提供了坚实的数据驱动基础。

14、2、本发明通过将复杂的多模态数据分析流程集成于一体，能够在数分钟内完成从数据输入到结果输出的全自动分析，大幅缩短了评估时间，尤其适用于急诊、重症监护等需要快速决策的场景。