基于多模态数据融合的早期胃癌多任务协同智能诊断方法
本发明涉及一种基于多模态数据融合的早期胃癌多任务协同智能诊断方法。
背景技术:
1、胃癌是全球高发恶性肿瘤之一,早期胃癌(egc)因肿瘤细胞未深层浸润,术后5年生存率可超过90%,而进展期胃癌则低于30%。目前临床主要依赖内镜医师人工读图诊断,但egc病灶常表现为体积微小、边界模糊且易与复杂胃黏膜混淆,加之医生经验差异与工作负荷影响,传统人工筛查的漏诊率高达21%-31%,难以满足大规模筛查需求。
2、近年来,深度学习在医学图像分析领域取得了显著进展,但在egc辅助诊断应用中仍存在明显局限。首先,现有研究多基于单一图像模态(如仅使用wli或nbi图像),未能充分利用不同成像模式的互补信息:wli图像虽能呈现黏膜宏观形态,但对微观血管结构刻画不足;nbi图像虽能增强微血管对比度,但色彩信息单一且依赖空间对齐。其次,临床文本中包含的患者年龄、病史及家族史等风险信息常被忽视,导致模型难以捕捉图像之外的语义关联。此外,现有方法通常将分类、检测与分割任务孤立优化,缺乏符合临床诊断逻辑的协同机制。单一分割模型在复杂胃黏膜背景下极易产生假阳性分割,而分类模型又无法提供病灶的精确位置信息。
3、虽然已有研究尝试引入多模态融合或多任务学习,但大多面临以下技术瓶颈:一是特征级融合对多模态数据的空间对齐要求极高,而临床实际采集的wli与nbi图像往往难以满足严格对齐条件;二是通用分割基础模型(如sam)在医学图像领域存在域适应偏差,且高度依赖人工交互提示,难以实现自动化诊断。因此,亟需一种能够融合多源异构数据、模拟临床思维流程且具备高鲁棒性的自动化医学图像处理方案。
技术实现思路
1、本发明的目的在于针对现有单一模态、单一任务的egc辅助诊断方法所面临的诸多挑战,包括诊断精度低、误诊、漏诊率高以及与实际临床诊断流程不适配等问题,提供一种基于多模态数据融合的早期胃癌多任务协同智能诊断方法,通过综合利用临床文本描述、wli图像和nbi图像等多源异构信息,构建由病灶筛查到初步定位再到精细分割的自动化诊断流程,以提高egc辅助诊断的准确性、可靠性和临床适用性。
2、首先,提出一种多模态egc分类模型,目的在于充分利用临床文本描述、wli图像与nbi图像在egc诊断中的互补信息,增强模型对隐匿性病灶和复杂病灶的特征提取能力,提高egc病灶筛查的准确性与可靠性,并为后续egc智能诊断框架提供可靠的诊断提示。
3、其次,提出一种多任务协同egc分割模型。该研究的目的在于针对egc病灶在wli图像中体积微小、边界模糊、背景干扰显著等问题,分别对检测模型和分割模型进行改进,提升对egc病灶的准确定位和精细分割能力,为临床病灶定位分析提供有效辅助。在此基础上,进一步将检测与分割任务进行协同整合,实现分割提示的自动生成,减少人工干预和背景干扰,提高egc病灶自动分割的精度与效率,并为后续egc智能诊断框架构建可靠的病灶定位与分割模块。
4、最后,提出多模态多任务egc智能诊断框架与平台实现,目的在于将前述分类与分割模型进行有机结合,构建符合临床实际诊断流程的智能辅助诊断框架,以分类模型的输出结果作为后续分割任务的诊断提示,有效减少分割阶段的假阳性现象,从而提升整体诊断结果的准确性与稳定性。同时,开发配套的web可视化辅助诊断平台,推动相关研究成果向实际应用转化,为egc智能辅助诊断技术的临床应用提供实践基础。
5、为实现上述目的,本发明的技术方案是:一种基于多模态数据融合的早期胃癌多任务协同智能诊断方法,包括:
6、获取同一患者的白光内镜wli图像数据、窄带成像nbi图像数据以及临床文本描述数据;
7、将所述临床文本描述数据输入预训练bert模型进行语义编码,得到文本特征向量;
8、将所述wli图像数据输入第一图像特征提取网络进行特征提取,得到wli图像特征;将所述nbi图像数据输入第二图像特征提取网络进行特征提取,得到nbi图像特征,所述第一图像特征提取网络与所述第二图像特征提取网络的结构相同且参数相互独立;
9、将文本特征向量分别与wli图像特征、nbi图像特征在特征层级进行融合,得到wli图文融合特征与nbi图文融合特征;
10、基于wli图文融合特征输出wli模态下的早期胃癌阳性概率与阴性概率,基于nbi图文融合特征输出nbi模态下的早期胃癌阳性概率与阴性概率;
11、采用dempster-shafer证据理论对wli模态下的阳性概率与阴性概率、nbi模态下的阳性概率与阴性概率进行决策级融合,得到融合后的早期胃癌阳性概率与阴性概率;
12、当融合后的早期胃癌阳性概率大于或等于预设阈值时,将wli图像数据输入预先训练的检测模型,得到至少一个病灶边界框;
13、基于各病灶边界框生成点网格提示,将点网格提示和wli图像数据输入预先训练的分割模型,得到早期胃癌病灶分割掩码数据并输出;
14、当融合后的早期胃癌阳性概率小于预设阈值时,输出阴性识别结果数据,且不触发检测模型与分割模型。
15、进一步的,所述将文本特征向量分别与wli图像特征、nbi图像特征在特征层级进行融合,包括:
16、对文本特征向量进行线性投影与空间维度扩展,得到与图像特征空间尺度对齐的文本特征图;
17、将文本特征图与wli图像特征在通道维度进行拼接,得到wli图文联合特征;将文本特征图与nbi图像特征在通道维度进行拼接,得到nbi图文联合特征;
18、将wli图文联合特征输入文本-图像自适应融合块进行特征增强,得到wli图文融合特征;将nbi图文联合特征输入文本-图像自适应融合块进行特征增强,得到nbi图文融合特征;
19、其中,所述文本-图像自适应融合块包括通道注意力分支、空间注意力分支和语义分支,所述通道注意力分支作用于图文联合特征,所述空间注意力分支作用于图像特征,所述语义分支作用于文本特征,三个分支的输出经倒残差多层感知机进行非线性重构后输出增强联合特征。
20、进一步的,所述采用dempster-shafer证据理论对wli模态下的阳性概率与阴性概率、nbi模态下的阳性概率与阴性概率进行决策级融合,满足以下公式:
21、
22、
23、其中,、分别表示在wli模态与临床文本模态下的阳性概率与阴性概率,、分别表示在nbi模态与临床文本模态下的阳性概率与阴性概率,、分别表示融合后的阳性概率与阴性概率。
24、进一步的,所述检测模型为csd-yolov11模型,其内部的主干网络与颈部网络中部分传统卷积层被替换为上下文感知自适应动态卷积核csdconv;
25、所述csdconv被配置为:通过自适应一维卷积捕获通道之间的相关性以生成通道注意力权重,对k组可学习的卷积核参数进行线性加权求和,动态生成与输入特征相匹配的等效卷积核权重与偏置,并将卷积输出依次经cbam注意力机制与simam注意力机制进行级联特征增强。
26、进一步的,所述基于各病灶边界框生成点网格提示,包括:
27、针对每一个所述病灶边界框,在该边界框内部均匀生成32×32个正样本点,所述正样本点构成点网格提示。
28、进一步的,所述分割模型为csd-msa模型,其以sam模型为基座,在sam图像编码器中的每一个transformer块内部嵌入csd-adapter模块,所述csd-adapter模块在特征恢复阶段采用csdconv替代原有的全连接层;
29、在模型参数训练阶段,仅对所述csd-adapter模块以及sam掩码解码器中的参数进行更新,sam图像编码器的主体与提示编码器的参数保持冻结。
30、进一步的,所述第一图像特征提取网络与所述第二图像特征提取网络均为densenet169网络。
31、进一步的,所述临床文本描述数据包括以下至少一项:患者人口统计学特征、生活习惯史、家族胃病史、既往病史;所述临床文本描述数据通过患者标识分别与wli图像数据、nbi图像数据建立样本级关联。
32、进一步的,当融合后的早期胃癌阳性概率大于或等于预设阈值时,所述方法还包括:
33、将wli图像数据、nbi图像数据、临床文本描述数据以及早期胃癌病灶分割掩码数据封装为结构化结果数据,并将结构化结果数据发送至web前端进行可视化展示。
34、本发明还提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述所述的基于多模态数据融合的早期胃癌多任务协同智能诊断方法的步骤。
35、相较于现有技术,本发明具有以下有益效果:
36、1、通过引入bert编码的临床文本特征,并结合wli与nbi双路图像特征,解决了单一模态信息量不足的问题。实验表明,融合文本特征后的fusionwn-tifnet模型在分类任务上准确率提升至90.35%。
37、2、采用“分类-检测-分割”的级联架构,利用分类结果作为门控信号,有效避免了在非病灶区域进行无意义的分割计算,显著降低了复杂胃黏膜背景下的假阳性率。
38、3、提出的csdconv结构增强了模型对病灶边界的捕捉能力;基于检测框生成的点网格提示策略,解决了通用分割模型(sam)依赖人工交互的问题,实现了全自动提示输入。在测试集上,该框架的分割交并比(iou)提升至73.85%。
39、4、在分割阶段采用参数冻结与适配器(adapter)微调策略,仅训练少量新增参数,大幅降低了模型训练成本,同时保证了模型在医学影像领域的域适应能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com