基于自监督视觉与临床特征模态感知融合的辅助诊断方法与流程

摘要: 本发明涉及医疗图像处理,特别涉及基于自监督视觉transformer与临床特征模态感知融合的宫颈高级别病变辅助诊断方法。背景技术:1、阴道镜检查是宫颈癌筛查异常...
基于自监督视觉与临床特征模态感知融合的辅助诊断方法与流程

本发明涉及医疗图像处理,特别涉及基于自监督视觉transformer与临床特征模态感知融合的宫颈高级别病变辅助诊断方法。

背景技术:

1、阴道镜检查是宫颈癌筛查异常结果人群分流诊断的核心手段,但其诊断准确性高度依赖医师经验。基层(县级)医疗机构阴道镜医师普遍存在诊断经验不足的问题,导致高级别鳞状上皮内病变(hsil)及以上病变(hsil+)被误判为低级别病变或正常,延误患者后续治疗。

2、现有人工智能辅助阴道镜诊断方法主要存在以下不足:

3、其一,多数方法仅依赖阴道镜图像本身进行分类,未充分结合患者临床信息(如年龄、人乳头瘤病毒hpv分型、宫颈细胞学tct结果、绝经状态等),未能体现临床实际诊断中图像证据结合病史信息综合判断的诊断逻辑。

4、其二,少数尝试将图像特征与临床表格特征进行融合的方法,在训练过程中容易出现模态懒惰现象,即模型过度依赖易于拟合的临床表格特征(例如hpv分型这一强预测因子),而图像特征分支未被充分训练,导致模型在图像证据与临床先验不一致的病例(如hpv低危型合并明显可疑病灶图像的病例)中判断能力不足,且泛化能力受限。

5、其三,现有模型多在单一中心内部验证,缺乏跨中心尤其是基层医疗机构的独立外部验证;训练中心与实际部署场景(县级医院)之间往往存在患者谱系差异(spectrumbias)和设备、操作规范差异所致的域偏移(domain shift),导致模型在实际部署场景下的性能难以预知,且现有方法通常针对不同验证中心分别调优判读阈值,掩盖了模型在固定阈值条件下跨中心部署时的真实性能。

6、其四,阴道镜原始图像中宫颈周围的背景组织(阴道壁、窥器、分泌物等)对病灶分类构成干扰,现有方法较少在分类前引入宫颈区域分割手段以抑制背景信息。

7、其五,临床实践中同一受检者常规会采集多张阴道镜候选图像(不同时相、不同放大倍数),现有方法缺乏与该临床采集模式相匹配的多图像聚合诊断策略。

8、因此,有必要提出一种能够抑制多模态融合中的模态懒惰、结合宫颈区域分割降噪、适用于多中心尤其基层医疗场景固定阈值部署,并支持多候选图像聚合诊断的宫颈病变辅助诊断方法。

9、发明的内容

10、(1)要解决的技术问题

11、本发明的目的是利用基于自监督视觉transformer与临床特征模态感知融合的方式解决现有阴道镜人工智能辅助诊断方法在图像特征与临床表格特征融合时容易发生模态懒惰,模型对临床表格特征产生过度依赖而图像分支特征未被充分挖掘,导致模型在跨中心外部验证及固定阈值部署条件下诊断性能显著下降;现有方法未对阴道镜图像进行宫颈区域分割与背景抑制,图像中的背景干扰信息降低了分类模型对病灶区域特征的关注度和现有方法缺乏适用于同一受检者多张候选图像的统一聚合诊断策略,未能充分利用临床实际多图采集场景中的诊断信息的问题。

12、(2)技术方案

13、为了解决上述技术问题,本发明公开了这样基于自监督视觉与临床特征模态感知融合的辅助诊断方法,包括以下几个步骤:

14、步骤一:图像采集与预处理

15、获取受检者醋酸试验后阴道镜图像,也即醋酸后图像,对醋酸后图像执行统一尺寸缩放及归一化处理,得到预处理后的输入图像;

16、步骤二:宫颈区域分割与背景抑制

17、采用预先训练的编码器-解码器分割网络对步骤一预处理后的醋酸后图像进行宫颈区域分割,得到宫颈区域掩膜;将宫颈区域掩膜以外的背景区域像素置零或替换为预设背景值,得到背景抑制后的宫颈区域图像,用于降低背景组织、检查器械、分泌物等非病灶信息对后续分类的干扰;

18、步骤三:临床特征编码

19、获取受检者临床特征,对绝经状态进行二值编码,对细胞学分类结果和病毒分型结果分别进行独热编码,并将上述各项编码拼接为固定维度的临床特征向量;

20、步骤四:图像特征提取

21、将背景抑制后的宫颈区域图像输入自监督预训练的视觉transformer骨干网络,提取图像的高维语义特征表示;

22、步骤五:模态感知融合分类

23、将步骤四得到的高维语义特征表示与步骤三得到的临床特征向量进行拼接融合,输入分类头,输出受检者为高级别病变(hsil及以上)的预测概率;

24、步骤六:模态懒惰抑制训练策略

25、在模型训练阶段引入模态丢弃机制:以预设概率将输入的临床特征向量整体置零,使分类头在临床信息缺失的情形下仍需依赖图像特征做出判断,从而抑制模型对临床表格特征的过度依赖、缓解图像分支训练不足的模态懒惰现象;

26、步骤七:差异化学习率训练

27、对预训练骨干网络和随机初始化的分类头进行差异化参数更新;

28、步骤八:判读阈值确定

29、在内部验证数据集上,基于约登指数确定分类模型的最优判读阈值;

30、步骤九:多候选图像聚合诊断策略

31、针对同一受检者存在多张候选阴道镜图像的情形,将该受检者的全部候选图像分别输入步骤一至步骤五所述模型,得到各自对应的高级别病变预测概率,取其中的最大概率值作为该受检者的最终诊断概率,并与步骤八所确定的最优判读阈值比较,得到该受检者的最终诊断结果,所述策略基于受检者任一候选图像显示高度可疑病灶特征即应判定为阳性的临床决策逻辑设计,与临床实际多图采集的诊断流程相匹配。

32、优选地,所述步骤二中的所述分割网络采用以resnet34为编码器的u-net结构,输入尺寸为384×256,训练损失函数为二元交叉熵损失与dice损失的加权组合。

33、优选地,所述步骤三中的临床特征至少包括年龄、绝经状态、宫颈细胞学分类结果和高危型人乳头瘤病毒分型结果,其中,需要对年龄进行归一化编码。

34、优选地,所述步骤四中的所述骨干网络采用dinov2架构,输入分辨率为518×518。

35、优选地,所述步骤六中的预设概率为20-60%。

36、优选地,所述步骤六中的预设概率为30%。

37、优选地,所述步骤六中,在图像特征提取分支上并联设置图像辅助分类头,在不结合临床特征向量的情况下单独基于图像特征进行高级别病变预测,并计算图像辅助分类损失。

38、优选地,所述步骤六中,模型总训练损失由主融合分类损失与所述图像辅助分类损失加权求和构成。

39、优选地,所述步骤六中的加权系数为0.3,通过该辅助损失进一步强化图像分支的独立判别能力,使图像单独输入下的诊断性能可作为衡量模态懒惰是否被有效抑制的检验指标。

40、优选地,所述步骤七中,对预训练骨干网络采用范围间的学习率进行参数更新,对随机初始化的分类头采用范围间的学习率进行参数更新,二者分别设置、独立更新。

41、优选地,骨干网络学习率为,分类头学习率为。

42、优选地,所述步骤八中的最优判读阈值应用于不同外部验证中心时保持固定不变,不针对各外部中心分别重新优化,以模拟模型在真实多中心部署场景下最优判读阈值不可随部署地点调整的实际约束条件,从而更真实地反映模型的跨中心泛化性能。

43、(3)有益效果

44、第一,本发明通过模态丢弃与图像辅助分类损失相结合的训练策略,有效抑制了图像-临床多模态融合模型中的模态懒惰现象,使图像特征分支获得充分训练,模型在仅使用图像输入时的诊断性能显著优于仅使用临床特征输入时的诊断性能,证明融合模型并未对临床表格特征形成单一依赖,图像证据得到了充分利用。

45、第二,本发明通过宫颈区域分割与背景抑制预处理步骤,降低了阴道镜图像中背景组织及检查器械等非病灶信息对分类模型的干扰,提升了模型对病灶区域特征的聚焦能力。

46、第三,本发明所提出的模型在训练中心之外的独立县级医疗机构外部验证队列中,在固定判读阈值条件下取得了优于当地阴道镜医师的诊断敏感性,证明本发明在弥合基层医疗机构诊断经验不足这一实际问题上具有应用价值。

47、第四,本发明所提出的多候选图像最大概率聚合诊断策略与临床实际多图采集场景及一处可疑即为阳性的诊断决策逻辑相匹配,提升了本发明在真实临床工作流程中的可用性。

48、第五,本发明采用跨中心固定阈值的验证策略,更真实地反映了模型在实际多中心部署条件下的性能表现,避免了因针对各中心分别调优判读阈值而高估模型泛化能力的问题。

技术实现思路