一种基于暗区感知引导的内窥镜跨模态图像转换方法

摘要: 本申请涉及计算机视觉与图像风格迁移,特别涉及将内窥镜下的白光图像转换为窄带光图像的方法。背景技术:1、喉部是上呼吸消化道的关键部位,涵盖慢性喉炎、声带息肉、声带...
一种基于暗区感知引导的内窥镜跨模态图像转换方法

本申请涉及计算机视觉与图像风格迁移,特别涉及将内窥镜下的白光图像转换为窄带光图像的方法。

背景技术:

1、喉部是上呼吸消化道的关键部位,涵盖慢性喉炎、声带息肉、声带小结、声带白斑等多种常见良性、癌前及恶性病变。这些喉部疾病在耳鼻喉科临床诊疗中是高频就诊类型,尤其以声音嘶哑、喉部异物感或慢性咳嗽为主诉的患者中,喉部病变构成主要诊断来源,是基层及专科医疗机构常见的诊疗负担。内镜检查作为咽喉部疾病诊断的核心手段,凭借直观可视化优势,成为这类病变筛查、分型与病情评估的必备工具,每年需接受内镜检查的患者数量庞大。然而,咽喉部解剖结构复杂,病灶多隐匿于黏膜褶皱、声门区等狭小空间,且内镜操作中常因设备光源特性、唾液反射、黏膜分泌物附着等因素导致局部光线昏暗、图像对比度下降,进一步增加了病灶识别的难度。

2、常规的白光成像(wli)内镜虽能呈现黏膜自然形态,但对黏膜下微血管结构的显示能力较弱,尤其在声带白斑覆盖区域难以准确评估潜在的血管异常或早期癌变,导致临床中易出现漏诊、误诊。相比之下,窄带成像(nbi)内镜检查作为喉部疾病诊断的核心增强技术,凭借其特异性波长(415nm和540nm)对浅表黏膜下血管的高对比度显像,能够显著克服白光内镜的上述局限,实现更精准的筛查、病变分型(如息肉、小结、白斑等)与病情评估。nbi内镜检查作为喉部疾病诊断的核心手段,为临床提供病灶精准定位与性质初步判断的可视化依据,显著提升诊断的准确性。然而,每年需接受此类检查的患者数量庞大,导致耳鼻喉门诊内镜使用负担显著。而且由于nbi内镜设备的采购与维护成本高昂,专用光学滤镜与适配内镜的配置要求严苛,导致其仅能在大中型三甲医院或专科诊疗中心普及,广大基层医疗机构受限于医疗资源与资金投入,难以实现设备配置。

3、近年来,深度学习驱动的医学图像风格转换技术为破解这一困境提供了全新思路,其通过构建跨域图像映射模型,可在无配对数据条件下实现不同模态医学图像的精准转换,为低成本拓展高端设备诊疗能力提供了技术路径。在消化内镜等领域,已有研究实现了白光图像到nbi图像的无配对转换,为基层精准诊断提供了可行方案。但喉部与胃肠道的解剖结构、黏膜特征存在显著差异——喉部黏膜更薄、微血管分布更细密、病灶区域更狭小且形态不规则,现有图像转换模型难以直接适配喉部白光图像到nbi图像的转换需求,易出现结构失真、血管细节增强不足等问题;同时,临床中喉部白光图像与nbi图像的配对数据稀缺,常规有监督学习模型难以开展有效训练,进一步限制了相关技术的落地应用。

技术实现思路

1、本申请实施例提供了一种基于暗区感知引导的内窥镜跨模态图像转换方法,用以解决现有技术中的问题。

2、一方面,本申请实施例提供了一种基于暗区感知引导的内窥镜跨模态图像转换方法,包括:

3、s10,构建训练数据集;

4、s20,利用训练数据集对生成器进行训练,得到图像转换模块;生成器采用编码器-解码器架构,其中的编码器对输入图像进行两次下采样,对于第二次下采样后的特征图通过多个残差块提取深层特征,解码器对深层特征进行两次上采样,在上采样过程中,输入图像和第二次上采样的结果之间以及第一次下采样的结果和第一次上采样的结果之间分别通过跳跃连接模块进行特征融合,得到输出图像;跳跃连接模块在特征融合时先从输入图像或相应尺度的特征图提取结构特征,对结构特征进行响应生成后得到结构响应图,将结构响应图和基于输入图像构建的暗区掩码逐元素相乘,形成门控图,基于结构特征和门控图得到增强特征,将增强特征插入解码器中相应尺度的特征图;计算输入图像和输出图像之间的梯度引导光度衰减保真损失lgg-paf,通过辨别器计算输出图像与真实图像之间的对抗损失ladv,通过dpbcs(暗区–边界优先对比采样机制)模块构建输入图像的暗区显著性和边界显著性,进而选取正样本和负样本,基于正样本和负样本计算对比学习损失lpatchnce,基于梯度引导光度衰减保真损失lgg-paf、对抗损失ladv和对比学习损失lpatchnce确定生成器的总损失,进而对生成器进行训练;

5、s30,将待处理的wli图像输入图像转换模块,得到相应的nbi图像。

6、另一方面,本申请实施例还提供了一种基于暗区感知引导的内窥镜跨模态图像转换系统,包括:

7、数据集构建模块,用于构建训练数据集;

8、训练模块,用于利用训练数据集对生成器进行训练,得到图像转换模块;生成器采用编码器-解码器架构,其中的编码器对输入图像进行两次下采样,对于第二次下采样后的特征图通过多个残差块提取深层特征,解码器对深层特征进行两次上采样;训练模块包括跳跃连接模块、dpbcs模块和损失计算模块,在上采样过程中,输入图像和第二次上采样的结果之间以及第一次下采样的结果和第一次上采样的结果之间分别通过跳跃连接模块进行特征融合,得到输出图像;跳跃连接模块用于在特征融合时先从输入图像或相应尺度的特征图提取结构特征,对结构特征进行响应生成后得到结构响应图,将结构响应图和基于输入图像构建的暗区掩码逐元素相乘,形成门控图,基于结构特征和门控图得到增强特征,将增强特征插入解码器中相应尺度的特征图;损失计算模块用于计算输入图像和输出图像之间的梯度引导光度衰减保真损失lgg-paf,同时也通过辨别器计算输出图像与真实图像之间的对抗损失ladv,dpbcs模块用于构建输入图像的暗区显著性和边界显著性,进而选取正样本和负样本,损失计算模块基于正样本和负样本计算对比学习损失lpatchnce,然后基于梯度引导光度衰减保真损失lgg-paf、对抗损失ladv和对比学习损失lpatchnce确定生成器的总损失,进而对生成器进行训练;

9、图像转换模块,用于将待处理的wli图像输入图像转换模块,得到相应的nbi图像。

10、另一方面,本申请实施例还提供了一种计算机存储介质,该计算机存储介质中存储有多条计算机指令,该多条计算机指令用于使计算机执行上述的方法。

11、本申请中的一种基于暗区感知引导的内窥镜跨模态图像转换方法,具有以下优点:

12、针对wli成像与nbi成像域间无配对图像转换问题,本申请通过构建暗区引导的多尺度跳跃连接模块,引入暗区先验门控增强机制,实现对暗区微结构特征的选择性放大与跨尺度自适应补偿,显著提升多层级解剖信息的精准保留与融合;通过暗区-边界感知显著性掩码生成与优先对比采样机制,突破传统均匀采样范式,动态聚焦咽喉临床关键弱信号区域建立强特征对应关系,实现对比学习的区域智能感知引导;提出梯度引导的光度衰减保真损失,通过空间自适应梯度加权与局部累积分布传输,精准锚定内镜近场点光源主导的自然衰减梯度,实现风格转换与空间深度结构的解耦高保真协同。该方法有效解决了传统方法中暗区细节缺失、边界过渡模糊的问题。

1.一种基于暗区感知引导的内窥镜跨模态图像转换方法,其特征在于,包括:

2.根据权利要求1所述的一种基于暗区感知引导的内窥镜跨模态图像转换方法,其特征在于,构建所述训练数据集的方法包括:

3.根据权利要求1所述的一种基于暗区感知引导的内窥镜跨模态图像转换方法,其特征在于,在利用所述训练数据集对所述生成器进行训练之前,对所述训练数据集中的图像进行预处理,所述预处理包括剔除无效帧图像和非目标帧图像、黑边裁剪和标准化处理。

4.根据权利要求3所述的一种基于暗区感知引导的内窥镜跨模态图像转换方法,其特征在于,在所述黑边裁剪的过程中,首先基于opencv视觉处理库构建黑边检测与裁剪算法,然后设置所述黑边检测与裁剪算法的像素灰度阈值、黑色像素占比阈值以及边缘容错参数,最后利用设置参数后的所述黑边检测与裁剪算法对所述训练数据集中经过无效帧和非目标帧剔除后的图像进行黑边裁剪。

5.根据权利要求1所述的一种基于暗区感知引导的内窥镜跨模态图像转换方法,其特征在于,基于所述结构特征和所述门控图得到的所述增强特征表示为:

6.根据权利要求1所述的一种基于暗区感知引导的内窥镜跨模态图像转换方法,其特征在于,所述暗区掩码基于所述输入图像的全局灰度统计量构建。

7.根据权利要求1所述的一种基于暗区感知引导的内窥镜跨模态图像转换方法,其特征在于,所述暗区显著性为对所述输入图像进行灰度统计和归一化处理得到,所述边界显著性为对所述输入图像通过梯度响应和非线性增强提取得到。

8.根据权利要求1所述的一种基于暗区感知引导的内窥镜跨模态图像转换方法,其特征在于,将所述输入图像与所述输出图像中同一空间位置的特征作为所述正样本,将来自所述输入图像与所述输出图像中不同空间位置及跨样本的特征作为所述负样本。

9.应用权利要求1-8任一项所述的一种基于暗区感知引导的内窥镜跨模态图像转换方法的系统,其特征在于,包括:

10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有多条计算机指令,所述多条计算机指令用于使计算机执行权利要求1-8任一项所述的方法。