基于双路检索增强的半监督医学图像分割方法及系统
本发明涉及医学图像处理,特别涉及基于双路检索增强的半监督医学图像分割方法及系统。
背景技术:
1、医学图像分割在临床诊断与治疗规划中具有关键作用,近年来基于深度学习的分割方法虽在精确勾画解剖结构或病理区域方面取得显著进展,但其性能高度依赖大量高质量的像素级标注数据。由于医学图像标注需由专业医师手动完成,成本高昂且耗时,导致标注数据稀缺成为限制模型临床落地的主要瓶颈。为此,半监督学习被广泛引入,半监督学习通过结合少量标注数据和海量无标签数据来训练模型,目前主流的方法主要基于一致性正则化(如mean teacher架构)或伪标签技术。在此基础上,为了进一步丰富无标签数据的特征表示,近年来涌现出一批“文本增强的半监督学习方法(text-enhanced ssl)”。此类方法尝试引入与医学图像相关的领域特定文本提示(例如放射学报告、临床诊断文本等),将其作为高级语义上下文,以指导视觉特征的学习。
2、目前的文本增强半监督医学图像分割方法,其核心技术路线几乎均依赖于“多模态特征直接融合(multimodal feature fusion)”或“直接的图文特征对齐(direct image-text alignment)”。即:将文本编码器提取的文本特征与视觉编码器提取的图像特征,在网络深层通过拼接(concatenation)、逐元素相加(element-wise addition)或跨模态注意力机制(cross-modal attention)进行强制的物理融合。
3、尽管上述方法在一定程度上引入了语义信息,但本领域技术人员在实际应用中发现,这种“强制性直接融合”的方案存在以下严重的系统性缺陷:
4、缺陷一:语义干扰与视觉特征污染(semantic mismatch and featurepollution), 医学领域的文本描述往往具有高度抽象、不完整甚至不准确的特点(例如,医生在书写报告时可能遗漏某些微小病灶的描述,或文本描述的严重程度与图像呈现不完全匹配),在现有的融合机制下,文本特征被直接注入到视觉特征流中,这种强耦合的设计会导致任何文本端的噪声、歧义或信息缺失,都会直接传导并污染已经学到的视觉特征,由于模型过度依赖语言先验信息,一旦文本出现偏差,极易导致分割结果出现假阳性或假阴性。
5、缺陷二:模态粒度不匹配导致病灶边缘精度丢失(granularity mismatchleading to boundary degradation), 医学图像分割本质上是一个密集的像素级预测任务(pixel-level prediction),需要极高的局部空间精度和解剖学保真度。然而,文本特征通常编码的是图像的全局语义(global semantics,例如“双肺多发感染”),现有的技术方案直接将包含全局语义的文本特征与局部的视觉特征进行对齐或融合,这种“全局对局部”的模态粒度不匹配,会迫使模型为了迎合宏观的文本语义,而牺牲掉对病灶边缘微观形态的敏感度,导致最终输出的分割掩码(mask)边缘模糊,无法满足临床对手术导航或体积测量的精度要求。
6、缺陷三:对多模态配对数据的过度依赖与低扩展性, 现有的融合方案要求在训练和推理阶段,输入数据必须严格包含“图像+文本”的配对形式,如果某些无标签图像缺失了文本描述,或者在临床部署时无法实时获取文本诊断报告,现有的多模态融合模型将无法正常运行或性能大幅衰减,严重限制了其在实际多中心临床场景中的泛化能力和部署可行性。
技术实现思路
1、为解决上述技术问题,本发明目的是提供一种有效利用文本提供的高级语义指导,又能彻底解耦图文特征的物理融合,避免文本噪声对底层视觉空间结构的破坏,从而实现高精度、高鲁棒性的基于双路检索增强的半监督医学图像分割方法方法及系统。
2、第一方面,本发明实施例提供了一种基于双路检索增强的半监督医学图像分割方法,包括:
3、获取已标注的医学图像及对该医学图像进行描述的文本描述,并提取医学图像中的视觉特征和文本描述中的文本特征,利用医学图像对应的视觉特征及对应文本描述的文本特征的映射关系构建视觉储存库和文本储存库;
4、获取临床待处理的无标签医学图像及该无标签医学图像关联的临床文本;并分别提取无标签医学图像的当前视觉特征和临床文本的当前文本特征;
5、基于当前视觉特征在所述视觉储存库中进行相似性检索,获取第一视觉正样本集合;
6、基于当前文本特征在所述文本储存库中获取相似文本特征,并基于该相似本文特征在视觉储存库中获取与相似文本特征具有映射关系的视觉特征,得到第二视觉样本集合;
7、将所述第一视觉正样本集合与所述第二视觉正样本集合作为语义锚点,在当前视觉特征空间内构建对比学习损失;
8、利用对比损失对分割模型进行联合进行优化,利用优化后的分割模型对医学图像进行分割。
9、优选的,构建所述视觉储存库和文本储存库的方法包括:
10、利用已标注医学图像对应的像素级分割标签,通过视觉编码器提取多尺度视觉特征得到视觉特征;通过文本编码器提取医学图像进行描述的文本描述得到文本特征,利用的到的视觉特征和文本特征分别构建视觉储存库和文本储存库;并完整视觉储存库和文本储存库中视觉特征与文本特征的映射关系。
11、优选的,所述优化后的分割模型的损失函数为:
12、。
13、其中, 为监督交叉熵损失及dice损失的加权和; 为监督学习网络中学生与教师网络输出预测之间的均方误差的一致性损失; 为对比学习损失; 和 为损失权重系数 。
14、优选的,所述视觉编码器采用convnexttiny架构,其包含四个阶段的深度卷积模块,每个阶段采用深度可分离卷积与层归一化结构,输出具有逐步下采样与上采样路径的多层级局部解剖特征图。
15、优选的,所述文本编码器采用医疗专属语言模型cxrbert,其输入为放射学报告或结构化临床诊断文本,该文本经分词器转换为包含医学术语、解剖关键词与病理描述的词元序列,输出为768维语义向量,该语义向量通过注意力机制聚合上下文语义,保留病变类型、部位、严重程度及时间关系的语义关联。
16、优选的,获取第一视觉正样本集合的方法包括:计算当前视觉特征与视觉储存库中所有已标注视觉特征的余弦相似度,依据相似度得分对视觉特征进行降序排列,选取排序前k个视觉特征作为第一视觉正样本集合,其中k为预设整数且大于等于3。
17、优选的,所述第二视觉正样本集合的构建的方法包括:计算当前文本特征与文本储存库中所有文本特征的余弦相似度,检索出topm最相似的文本特征,m为预设整数且大于等于5,再通过文本视觉映射表获取与这些相似文本特征一一对应的已标注医学图像的视觉特征,形成第二视觉正样本集合。
18、第二方面,本实施例提供了一种基于双路检索增强的半监督医学图像分割系统,包括:
19、储存库建立单元,用于获取已标注的医学图像及对该医学图像进行描述的文本描述,并提取医学图像中的视觉特征和文本描述中的文本特征,利用医学图像对应的视觉特征及对应文本描述的文本特征的映射关系构建视觉储存库和文本储存库;
20、正样本集合获取单元,用于获取临床待处理的无标签医学图像及该无标签医学图像关联的临床文本;并分别提取无标签医学图像的当前视觉特征和临床文本的当前文本特征;
21、基于当前视觉特征在所述视觉储存库中进行相似性检索,获取第一视觉正样本集合;
22、基于当前文本特征在所述文本储存库中获取相似文本特征,并基于该相似本文特征在视觉储存库中获取与相似文本特征具有映射关系的视觉特征,得到第二视觉样本集合;
23、优化分割单元,用于将所述第一视觉正样本集合与所述第二视觉正样本集合作为语义锚点,在当前视觉特征空间内构建对比学习损失;
24、利用对比损失对分割模型进行联合进行优化,利用优化后的分割模型对医学图像进行分割。
25、第三方面,一种电子设备,包括:
26、一个或多个处理器;
27、存储器,用于存储一个或多个程序;
28、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现所述的一种基于双路检索增强的半监督医学图像分割方法。
29、第四方面,一种计算机可读介质,所述计算机可读介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的一种基于双路检索增强的半监督医学图像分割方法。
30、本发明的有益效果为:
31、本技术提供的基于双路检索增强的半监督医学图像分割方法方法,通过获取已标注医学图像及其对应文本描述,提取其视觉特征与文本特征并建立跨模态映射关系,构建视觉储存库与文本储存库,为后续语义引导提供结构化参考;针对临床待处理的无标签医学图像及其关联临床文本,分别提取当前视觉特征与当前文本特征后,首先基于当前视觉特征在视觉储存库中检索出语义相近的第一视觉正样本集合,同时基于当前文本特征在文本储存库中检索出相似文本特征,并利用预置的文本-视觉映射关系,反向回溯至视觉储存库中获取与该相似文本特征相对应的第二视觉正样本集合;将第一与第二视觉正样本集合作为双重语义锚点,共同引导当前视觉特征空间内的对比学习过程,使模型在无标签场景下仍能精准聚焦于与临床语义一致的视觉模式;该机制完全避免了文本特征与视觉特征在特征空间中的直接融合,使文本信息仅通过映射关系间接提供语义引导,有效抑制了临床文本中噪声或模糊描述对视觉特征的干扰,同时所有语义约束均以视觉正样本形式在局部图像粒度层面作用于特征优化,显著缓解了全局文本语义与局部病灶结构之间的粒度失配问题,从而在不依赖人工标注的前提下,大幅提升病灶边缘的分割精度与鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com