一种肺肉芽肿性疾病药效预测方法、装置及电子设备与流程

本发明涉及智慧医疗，尤其是涉及一种肺肉芽肿性疾病药效预测方法、装置及电子设备。

背景技术：

1、肺结节病是一类病因不明、自然病程存在高度异质性的系统性肺肉芽肿性疾病，病变最常累及肺部及胸内淋巴结。糖皮质激素作为症状性肺结节病一线全身治疗药物，能够快速控制活动性炎症，改善患者临床症状、肺功能与影像学异常表现。但临床中患者对激素治疗的反应个体差异显著，部分患者药物减量后易出现病情复发或产生激素依赖，长期服用激素还将引发代谢异常、骨骼损伤、感染、肾上腺轴抑制等多种全身性不良反应。因此，于治疗前或治疗早期精准甄别激素敏感人群，预测复发风险与器官功能可逆程度，对开展个体化诊疗、优化激素减量方案、降低药物毒副作用至关重要，也是目前临床亟待解决的难点。

技术实现思路

1、本发明的目的在于提供一种肺肉芽肿性疾病药效预测方法、装置及电子设备，以解决现有技术中存在的至少一种上述技术问题。

2、第一方面，为解决上述技术问题，本发明提供了一种肺肉芽肿性疾病药效预测方法，包括：

3、获取目标对象的多模态病例数据；多模态病例数据至少包括原始肺组织病理图像、原始胸部ct影像、原始临床指标数据；分别对原始肺组织病理图像、原始胸部ct影像、原始临床指标数据进行预处理，得到对应的病理图像数据、ct影像数据和临床指标数据；将病理图像数据、ct影像数据和临床指标数据输入预先训练的多模态药效预测模型，得到对应于多个预设药效标签类别的概率数据；根据与每一预设药效标签类别对应的概率数据，生成并输出目标对象的药效预测数据。

4、可选地，分别对原始肺组织病理图像、原始胸部ct影像、原始临床指标数据进行预处理，得到对应的病理图像数据、ct影像数据和临床指标数据，包括：识别并保留原始肺组织病理图像中的有效组织区域，在预设放大倍率下将有效组织区域切分为固定尺寸的图像块，并根据每一图像块生成病理图像数据；提取原始胸部ct影像中的肺实质区域，将肺实质区域的ct影像值截断至预设范围后将其重采样并调整至预设输入尺寸，生成ct影像数据；对原始临床指标数据进行分层清洗，生成临床指标数据；分层清洗包括异常值截尾、缺失值填补、量纲差异消除和独热编码中的至少之一。

5、可选地，多模态药效预测模型通过如下方式预先训练获得：构建初始多模态药效预测模型，初始多模态药效预测模型包括病理图像特征提取子模型、ct影像特征提取子模型、临床指标特征提取子模型、特征融合子模型和效果预测子模型；获取多个历史对象对应的历史多模态病例数据和历史药效结果数据；历史多模态病例数据至少包括历史病理图像数据、历史ct影像数据和历史临床指标数据；历史药效结果数据包括与历史对象对应的药效标签类别；将历史病理图像数据输入预先训练的病理图像特征提取子模型，得到历史病理图像特征；将历史ct影像数据输入预先训练的ct影像特征提取子模型，得到历史ct影像特征；将历史临床指标数据输入预先训练的临床指标特征提取子模型，得到历史临床指标特征；冻结病理图像特征提取子模型、ct影像特征提取子模型和临床指标特征提取子模型的模型参数，并基于历史病理图像特征、历史ct影像特征、历史临床指标特征和药效标签类别，对初始特征融合子模型和初始效果预测子模型进行训练，得到训练后的特征融合子模型和效果预测子模型；根据训练后的病理图像特征提取子模型、ct影像特征提取子模型、临床指标特征提取子模型、特征融合子模型和效果预测子模型，得到多模态药效预测模型。

6、可选地，基于历史病理图像特征、历史ct影像特征、历史临床指标特征和药效标签类别，对初始特征融合子模型和初始效果预测子模型进行训练，得到训练后的特征融合子模型和效果预测子模型，包括：构建初始特征融合子模型和初始效果预测子模型，初始特征融合子模型包括线性适配单元、路由控制单元、多个病理特征处理专家子网络、跨模态交互单元和病例级注意力聚合单元；将历史病理图像特征、历史ct影像特征和历史临床指标特征分别输入线性适配单元，以由线性适配单元生成维度一致的历史病理适配特征、历史ct适配特征和历史临床适配特征；将历史ct适配特征和历史临床适配特征输入路由控制单元，以由路由控制单元根据历史ct适配特征和历史临床适配特征生成路由控制特征，并根据路由控制特征计算多个病理特征处理专家子网络分别对应的动态路由权重；将历史病理适配特征分别输入多个病理特征处理专家子网络，得到多个历史专家病理输出特征，并根据动态路由权重对多个历史专家病理输出特征进行加权聚合，生成历史路由聚合病理特征；将历史路由聚合病理特征、历史ct适配特征和历史临床适配特征输入跨模态交互单元，以由跨模态交互单元至少执行逐元素乘法与逐元素差分，并对运算结果经特征拼接后进行非线性映射，生成历史跨模态联合交互特征；将历史路由聚合病理特征、历史ct适配特征、历史临床适配特征和历史跨模态联合交互特征作为历史待聚合特征输入病例级注意力聚合单元，以由病例级注意力聚合单元计算各历史待聚合特征对应的病例级注意力权重；根据病例级注意力权重对各历史待聚合特征进行加权求和，生成历史全局多模态表征，并将历史全局多模态表征输入初始效果预测子模型，以由初始效果预测子模型生成对应于多个预设药效标签类别的历史预测概率；根据历史预测概率和药效标签类别构建融合分类损失，并根据动态路由权重构建正则化损失；根据融合分类损失和正则化损失构建融合预测训练损失，并基于融合预测训练损失对初始特征融合子模型和初始效果预测子模型进行训练，直至验证集损失满足预设停止条件，得到训练后的特征融合子模型和效果预测子模型。

7、可选地，历史病理图像数据包括多个历史图像块；病理图像特征提取子模型通过如下方式预先训练得到：构建初始病理图像特征提取子模型，初始病理图像特征提取子模型包括预训练编码器单元、全局表征分支单元、细节感知分支单元和注意力多实例聚合单元；将各历史图像块输入预训练编码器单元，以由预训练编码器单元提取每一历史图像块对应的历史深度特征向量，并根据每一历史深度特征向量生成历史图像块特征集合；将历史图像块特征集合分别输入全局表征分支单元和细节感知分支单元，以由全局表征分支单元输出历史全局表征特征，并由细节感知分支单元输出与肉芽肿结构、炎性细胞浸润、纤维化或细胞外基质变化相关的历史局部形态特征；将历史局部形态特征映射至与历史全局表征特征相同的特征空间，并根据映射后的历史局部形态特征和历史全局表征特征构建单向蒸馏约束损失；将历史全局表征特征输入注意力多实例聚合单元，计算各历史图像块特征对应的注意力权重，并按照注意力权重对历史全局表征特征进行加权聚合，生成历史切片级病理图像特征；按照注意力权重由高到低对历史图像块特征进行排序，选取排序靠前的k个历史图像块特征构成高响应集合，选取排序靠后的k个历史图像块特征构成低响应集合；分别对高响应集合和低响应集合中的历史图像块特征进行加权聚合，得到高响应特征和低响应特征，并基于高响应特征和低响应特征构建高低响应对比损失；根据历史切片级病理图像特征和药效标签类别构建分类损失；根据分类损失、单向蒸馏约束损失和高低响应对比损失构建总训练损失，并基于总训练损失对初始病理图像特征提取子模型进行联合监督训练，得到病理图像特征提取子模型。

8、可选地，ct影像特征提取子模型通过如下方式预先训练得到：构建初始ct影像特征提取子模型，初始ct影像特征提取子模型包括三维体素块嵌入单元、三维位置编码单元、三维变换器编码单元、多尺度特征融合单元、全局池化单元和ct辅助分类单元；将每一历史ct影像数据划分为多个固定尺寸的历史三维体素块，并将各历史三维体素块输入三维体素块嵌入单元，以由三维体素块嵌入单元将每一历史三维体素块映射为固定维度的历史ct特征向量；将历史ct特征向量输入三维位置编码单元，以向每一历史ct特征向量加入三维位置编码，生成历史ct特征序列；将历史ct特征序列输入三维变换器编码单元，以由三维变换器编码单元基于三维自注意力机制计算不同历史三维体素块之间的空间关联关系，并输出多个层级的历史ct编码特征；从多个层级的历史ct编码特征中分别提取历史浅层ct影像特征、历史中间层ct影像特征和历史深层ct影像特征，并输入多尺度特征融合单元，以由多尺度特征融合单元生成历史多尺度ct表征；将历史多尺度ct表征输入全局池化单元，以由全局池化单元生成历史患者级ct影像特征；将历史患者级ct影像特征输入ct辅助分类单元，生成对应于多个预设药效标签类别的历史ct预测概率；根据历史ct预测概率和药效标签类别计算ct分类损失；基于ct分类损失对初始ct影像特征提取子模型进行监督训练，得到ct影像特征提取子模型。

9、可选地，临床指标特征提取子模型通过如下方式预先训练得到：构建初始临床指标特征提取子模型，初始临床指标特征提取子模型包括临床指标投影单元、异常程度编码单元、临床先验组合单元、临床特征编码单元和临床辅助分类单元；将历史临床指标数据输入临床指标投影单元，以由临床指标投影单元对历史临床指标数据进行特征投影，生成历史基础临床特征；将历史临床指标数据输入异常程度编码单元，以由异常程度编码单元根据预设临床参考范围计算连续型临床指标相对于正常参考范围的偏离程度，生成历史指标异常程度特征；将历史基础临床特征输入临床先验组合单元，以由临床先验组合单元根据预设临床先验规则对至少两个临床指标对应的特征进行组合运算，生成历史多指标联合表征特征；将历史基础临床特征、历史指标异常程度特征和历史多指标联合表征特征进行拼接，生成历史增强临床特征，并将历史增强临床特征输入临床特征编码单元，以由临床特征编码单元通过非线性变换提取不同临床指标之间的关联信息，并输出历史临床指标特征；将历史临床指标特征输入临床辅助分类单元，生成对应于多个预设药效标签类别的历史临床预测概率；根据历史临床预测概率和药效标签类别构建临床分类损失，并基于临床分类损失对初始临床指标特征提取子模型进行监督训练，得到临床指标特征提取子模型。

10、可选地，根据与每一预设药效标签类别对应的概率数据，生成并输出目标对象的药效预测数据，包括：按照概率数据的大小对多个预设药效标签类别进行排序；将概率数据最大的预设药效标签类别确定为目标预测类别；将目标预测类别及其对应的概率数据生成第一预测数据；将每一预设药效标签类别及其对应的概率数据生成第二预测数据；根据第一预测数据和/或第二预测数据，生成目标对象的药效预测数据并输出。

11、第二方面，基于相同的发明构思，本技术还提供了一种肺肉芽肿性疾病药效预测装置，具体包括：数据获取模块，用于获取目标对象的多模态病例数据；多模态病例数据至少包括原始肺组织病理图像、原始胸部ct影像、原始临床指标数据；数据处理模块，用于分别对原始肺组织病理图像、原始胸部ct影像、原始临床指标数据进行预处理，得到对应的目标病理图像块数据集、目标三维ct数据和目标临床数据；模型推理模块，用于将病理图像数据、ct影像数据和临床指标数据输入预先训练的多模态药效预测模型，得到对应于多个预设药效标签类别的概率数据；结果生成模块，用于根据与每一预设药效标签类别对应的概率数据，生成并输出目标对象的药效预测数据。

12、第三方面，基于相同的发明构思，本技术还提供了一种电子设备，具体包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使该至少一个处理器能够执行如上的肺肉芽肿性疾病药效预测方法。

13、采用上述技术方案，本发明具有如下有益效果：采用融合病理图像、胸部ct影像和临床指标的多模态深度学习架构，并利用协同专家路由机制实现跨模态高阶交互融合，达到克服传统方法依赖医生经验或单一指标局限的效果；通过自动化提取微观组织特征、宏观影像特征和临床功能状态，输出客观的糖皮质激素药效标签类别及对应预测概率、为临床个体化用药决策提供辅助依据；同时通过多模态互补协同，有效降低人工判断不确定性，提升药效预测的准确性与泛化能力，从而改善肺结节病糖皮质激素治疗的决策支持水平。