基于参考引导的生成式腔镜手术图像增强方法和系统

摘要: 本发明涉及图像增强,更具体地,涉及一种基于参考引导的生成式腔镜手术图像增强方法和系统。背景技术:1、腔镜手术是微创手术的重要形式,医生通过腹腔镜、胸腔镜、宫腔镜...
基于参考引导的生成式腔镜手术图像增强方法和系统

本发明涉及图像增强,更具体地,涉及一种基于参考引导的生成式腔镜手术图像增强方法和系统。

背景技术:

1、腔镜手术是微创手术的重要形式,医生通过腹腔镜、胸腔镜、宫腔镜、关节镜、泌尿内镜等设备观察体内术野,并在视频画面引导下完成组织分离、血管识别、病灶切除、止血和缝合等操作。与开放手术不同,腔镜手术高度依赖摄像系统输出的二维或三维图像,图像质量直接影响医生对组织层次、血管走向、器械边界和病灶范围的判断。因此,腔镜图像增强不仅是视觉质量改善问题,也关系到术中安全、机器人视觉感知和后续智能分析算法的可靠性。

2、真实腔镜手术视频中存在大量复杂退化,包括电凝、电切或超声刀产生的烟雾和热雾,镜头污染或雾化,血液遮挡,湿润组织表面的镜面反光,腔体照明不均导致的过曝和欠曝,摄像头或器械运动造成的模糊,以及不同设备、白平衡和光源条件带来的颜色偏移。这些退化通常具有非均匀、动态、多因素耦合的特点,并且常出现在医生最需要观察的关键区域,如血管、胆管、神经、输尿管、器械尖端、肿瘤边界和出血点附近。

3、传统图像增强方法通常采用直方图均衡、retinex增强、去雾模型、锐化滤波、颜色校正和非局部去噪等技术。此类方法实现简单,但依赖固定先验或全局统计,难以适应腔镜图像中局部烟雾、反光、组织颜色相近和边界模糊等复杂情况。例如,自然图像去雾方法通常假设大气散射模型,而腔镜烟雾处于近距离密闭腔体内,其光照、反射和组织吸收特性与自然雾霾场景差异显著,直接套用容易导致组织颜色失真、血管边界过度锐化或反光区域异常扩大。

4、近年来,深度学习被用于腔镜图像去烟雾、去反光和视觉增强。已有研究包括基于物理先验的腹腔镜烟雾去除模型、基于cyclegan的不成对去烟雾模型,以及基于transformer或扩散模型的手术图像恢复模型。例如,有研究提出将退化腹腔镜图像分解为直接衰减和烟雾幕两个部分。有研究提出cyclic-desmokegan,通过多尺度残差模块、对比度损失和循环一致性实现不成对去烟雾。

5、与此同时,扩散模型、潜空间扩散模型、dit模型和生成式transformer等生成式模型,在图像恢复、修复、超分辨率、去模糊、去噪和图像编辑中表现出较强的高质量图像先验能力。ddrm等工作表明,预训练扩散模型可作为图像逆问题求解中的生成先验。controlnet等工作表明,可在锁定或部分锁定预训练生成模型主干的情况下,通过条件分支、空间控制或适配模块将外部条件注入生成过程。对于腔镜图像增强而言,生成式模型提供了一种新的路径:在保持输入真实结构的基础上,借助高质量图像分布先验进行受控恢复,而非仅执行像素级增强。

6、经分析,直接将通用生成式模型用于腔镜手术图像仍存在风险。一方面,通用模型主要学习自然图像分布,难以准确表达腔镜图像特有的红黄色组织纹理、湿润表面反光、金属器械边缘、烟雾遮挡和体腔照明规律。另一方面,生成式模型具有补全能力,若缺少医学结构约束,可能在烟雾、血液或模糊区域生成不存在的血管、组织边界或病灶形态,形成“幻觉式增强”,在医疗场景中存在安全隐患。此外,训练数据也是关键瓶颈。理想的监督式增强需要同一术野、同一视角、同一时刻的低质量/高质量配准图像对,但真实手术中烟雾、反光、血液遮挡和镜头污渍随机出现,且退化前后组织会形变、器械会移动、视角会变化,严格配准标签极难获得。合成烟雾或模糊虽可构造配对数据,但与真实腔镜退化仍存在域差异,影响模型泛化。

7、综上,还需要对现有技术改进,以进一步提升腔镜手术图像增强的效果。

技术实现思路

1、本发明的目的是克服上述现有技术的缺陷,提供一种基于参考引导的生成式腔镜手术图像增强方法和系统。

2、根据本发明的第一方面,提供一种基于参考引导的生成式腔镜手术图像增强方法。该方法包括以下步骤:

3、针对待增强的输入图像进行多种退化类型的感知分析,获得退化表征;

4、从输入图像中提取结构保持特征;

5、从参考图像库中检索至少一张与输入图像相关的参考图像,进而提取参考图像特征,其中所述参考图像与输入图像满足多维度的相似度标准,且所述参考图像的质量高于输入图像;

6、在特征空间中,对输入图像和所述参考图像进行非配准软匹配,并对输入区域和参考区域进行评分,获得参考可信度;

7、基于输入图像的特征、所述退化表征、所述结构保持特征、所述参考图像特征和所述参考可信度,利用预训练的生成式增强模型,获得增强后的图像。

8、根据本发明的第二方面,提供一种基于参考引导的生成式腔镜手术图像增强系统。该系统包括:

9、退化感知模块:用于针对待增强的输入图像进行多种退化类型的感知分析,获得退化表征;

10、结构提取模块:用于从输入图像中提取结构保持特征;

11、参考图像检索模块:用于从参考图像库中检索至少一张与输入图像相关的参考图像,进而提取参考图像特征,其中所述参考图像与输入图像满足多维度的相似度标准,且所述参考图像的质量高于输入图像;

12、参考可信度计算模块:用于在特征空间中,对输入图像和所述参考图像进行非配准软匹配,并对输入区域和参考区域进行评分,获得参考可信度;

13、图像增强模块:用于基于输入图像的特征、所述退化表征、所述结构保持特征、所述参考图像特征和所述参考可信度,利用预训练的生成式增强模型,获得增强后的图像。

14、与现有技术相比,本发明的优点在于,所提供的基于参考引导的生成式腔镜手术图像增强方案,首先利用预训练生成式模型生成高质量图像和恢复先验;然后通过腔镜领域数据进行微调,使其适应腔镜组织纹理、设备成像风格和手术退化类型;进而引入非配准参考图像作为高质量视觉先验,通过参考检索、参考编码、非配准特征匹配、跨注意力或条件调制注入以及参考可信度门控,引导生成模型输出更清晰、更自然且结构可信的增强图像。本发明设计了“预训练生成模型领域微调+非配准参考图像引导+正负样本对比学习+结构安全可信度门控”的组合方案,不要求低质量输入图像与高质量参考图像像素级对齐,能够充分利用真实临床中大量非配准、高质量、不同患者或不同视角的腔镜图像资源。

15、通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。

1.一种基于参考引导的生成式腔镜手术图像增强方法,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述结构保持特征包括输入图像中的组织轮廓、器械边界、血管拓扑、关键解剖区域、病灶边界和低频布局信息。

3.根据权利要求1所述的方法,其特征在于,检索所述参考图像依据术式类型、器官类别、手术阶段、语义区域、组织纹理、器械状态或全局视觉嵌入相似度进行,所述参考图像来自同一手术历史清晰帧、同类术式高清图像、同器官图像、专家筛选标准术野图像或质量评估模型筛选出的高清腔镜图像。

4.根据权利要求1所述的方法,其特征在于,所述生成式增强模型选自预训练扩散模型、dit模型、生成式transformer模型、离散视觉token生成模型,潜空间扩散模型、条件gan模型、掩码生成模型、流匹配模型或一致性模型。

5.根据权利要求1所述的方法,其特征在于,在对所述生成式增强模型训练过程中,引入正负样本对比学习,利用高质量图像作为正样本,使用烟雾严重、反光严重、颜色偏移、错误器官、过度增强和生成伪影图像作为负样本,以约束增强图像靠近高质量样本、远离错误增强样本。

6.根据权利要求1所述的方法,其特征在于,还包括:输出区域级增强可信度图,用于标识不同区域增强结果的可靠性,并将高质量增强帧或历史清晰帧写入动态参考记忆库。

7.根据权利要求1所述的方法,其特征在于,所述多种退化类型包括输入图像中的烟雾、反光、血液遮挡、低照度、运动模糊、镜头污渍和颜色偏移。

8.根据权利要求1所述的方法,其特征在于,还包括:通过结构一致性校验、器械边界一致性校验、血管拓扑一致性校验和新增结构惩罚,对增强结果进行安全性检查。

9.一种基于参考引导的生成式腔镜手术图像增强系统,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现根据权利要求1至8中任一项所述的方法的步骤。