一种基于荧光的宫颈上皮内瘤变筛查智能辅助系统的制作方法

摘要: 本发明属于医学图像处理,尤其涉及一种基于荧光的宫颈上皮内瘤变筛查智能辅助系统。背景技术:1、组织自体荧光成像技术利用内源性荧光物质在特定波长激发下发射荧光的特性...
一种基于荧光的宫颈上皮内瘤变筛查智能辅助系统的制作方法

本发明属于医学图像处理,尤其涉及一种基于荧光的宫颈上皮内瘤变筛查智能辅助系统。

背景技术:

1、组织自体荧光成像技术利用内源性荧光物质在特定波长激发下发射荧光的特性,获取组织生化代谢信息。在荧光图像分析中,nadh、fad、胶原蛋白等内源性荧光物质的含量变化反映在荧光图像的强度分布中,可通过图像处理手段进行特征提取与分类分析。

2、然而,组织自体荧光图像的处理面临以下技术难题:

3、第一,荧光信号强度极低,约为可见光强度的百分之一,且在实际采集中容易受到黏液产生的局部高亮伪影、血液对特定波段荧光的吸收作用、环境光泄漏和设备传感器噪声等多种干扰。传统预处理方法中,全局直方图均衡化会无差别地同时放大噪声和有效信号,高斯滤波虽能平滑噪声但会模糊病变区域边缘,均难以满足荧光图像增强的技术要求。

4、第二,组织各级别的荧光特征差异极为细微,差异同时体现在空间维度和频域-纹理维度。在空间维度上,不同级别病变区域的大小、形状和分布位置存在区别;在频域-纹理维度上,不同级别病变对应着内源性荧光物质相对含量的渐变,反映在荧光图像上为局部强度分布与纹理特征的细微变化。传统单尺度卷积网络仅使用固定大小的卷积核,感受野单一,难以同时捕捉细胞级微观纹理、腺体级局部结构、组织级区域分布和全图级全局模式。

5、上述技术问题属于图像处理领域的技术问题,需要从图像增强、多尺度特征提取、可解释输出等技术角度进行解决。本发明处理的对象为荧光图像数据,输出结果为图像处理结果(包括增强图像、特征向量、热图、分级概率),可供后续分析参考。

技术实现思路

1、有鉴于此,本说明书一个或多个实施例的目的在于提出一种基于荧光的宫颈上皮内瘤变筛查智能辅助系统,以解决现有荧光图像处理中噪声与伪影干扰强、多尺度特征提取能力不足、缺乏可解释输出的技术问题。

2、基于上述目的,本说明书一个或多个实施例提供了一种基于荧光的宫颈上皮内瘤变筛查智能辅助系统,其特征在于,包括:

3、图像获取模块,用于获取组织自体荧光图像;

4、预处理模块,用于对所述荧光图像进行背景分割和尺寸归一化,得到感兴趣区域图像,所述感兴趣区域图像为去除背景后的组织区域图像;

5、参数预测网络,用于根据所述感兴趣区域图像的全局统计特征动态生成全局滤波参数;

6、荧光信号自适应增强模块,用于根据所述全局滤波参数对所述感兴趣区域图像进行噪声抑制与对比度增强,包括依次连接的双边滤波单元、暗通道先验去雾单元、限制对比度自适应直方图均衡化单元和自适应伽马校正单元;

7、特征提取与融合模块,包括骨干网络和多尺度空间-频域特征融合模块;所述多尺度空间-频域特征融合模块包括并行多分支空洞卷积结构、频域与纹理特征提取分支和空间-频域注意力融合单元;所述并行多分支空洞卷积结构包括四条并行空洞卷积分支;所述频域与纹理特征提取分支用于提取频域特征和纹理特征;所述空间-频域注意力融合单元用于对空间特征、所述频域特征和所述纹理特征进行自适应加权融合,得到融合特征,其中所述纹理特征仅参与通道注意力加权;

8、输出模块,包括分类头、注意力引导解码器和置信度校准单元。

9、进一步地,所述参数预测网络通过随机搜索优化所述全局滤波参数,所述随机搜索的参数范围和分布为:双边滤波空间域标准差σs∈[0.5,3.0],均匀分布;

10、亮度域标准差σr∈[0.05,0.5],均匀分布;

11、限制对比度自适应直方图均衡化裁剪限值hclip∈[0.01,0.1],均匀分布;

12、分块尺寸∈{4,8,16},离散均匀分布;

13、自适应伽马校正基础伽马值γbase∈[0.6,1.4],均匀分布;

14、调节系数αgamma∈[0.1,0.8],均匀分布;

15、暗通道先验透射率下限t0∈[0.1,0.3],均匀分布;

16、去雾强度ω∈[0.7,0.95],均匀分布,随机搜索采用并行搜索方式,搜索空间大小为各参数取值数量的笛卡尔积。

17、进一步地,所述暗通道先验去雾单元在单通道灰度荧光图像上的处理被配置为:对所述感兴趣区域图像进行高低频分离,得到低频背景层和高频细节层;

18、对所述低频背景层进行暗通道计算,所述暗通道为局部窗口内像素最小值构成的图像,所述局部窗口的尺寸取荧光图像点扩展函数半高全宽的2~3倍;基于所述暗通道和去雾强度按照去雾计算公式估计透射率图:

19、;

20、其中,为透射率图的估计值,ω为去雾强度,取值范围为0.8~0.9,ω(x)为以像素x为中心的局部窗口,为低频背景层在像素y处的值,a为大气光值;对透射率图取下限t0后按照以下公式对所述低频背景层进行去雾处理:

21、;

22、其中,为去雾处理后的低频背景层在像素x处的值,为低频背景层在像素x处的值,a为大气光值,t0为透射率下限,取值范围为0.1~0.2;

23、将去雾处理后的低频背景层与所述高频细节层相加,得到去雾后的荧光图像。

24、进一步地,所述并行多分支空洞卷积结构包括四条并行空洞卷积分支,扩张率分别为1、2、3、4;所述频域与纹理特征提取分支用于提取频域特征和纹理特征;所述空间-频域注意力融合单元用于对空间特征、所述频域特征和所述纹理特征进行自适应加权融合,得到融合特征,其中所述纹理特征仅参与通道注意力加权;

25、所述频域与纹理特征提取分支包括频域分析子路径和纹理编码子路径,所述频域分析子路径被配置为对特征图进行快速傅里叶变换得到频谱,通过可学习的低通滤波器和高通滤波器分别对所述频谱进行加权,再经逆傅里叶变换回空间域,得到频域特征;

26、所述纹理编码子路径被配置为对特征图在多个方向上计算灰度共生矩阵的统计量,所述统计量包括对比度、均匀性、相关性、能量中的至少一种,将所述统计量通过全连接层映射为c维向量,再沿空间维度复制h×w次,扩展为与空间特征相同空间维度和通道数的纹理特征;

27、所述特征提取与融合模块输出的多层级特征金字塔中最后一层的特征图。

28、进一步地,所述空间-频域注意力融合单元被配置为:对所述空间特征和所述频域特征分别进行全局平均池化和全局最大池化,生成对应的通道描述符;

29、将所述通道描述符拼接后通过共享的多层感知机生成通道注意力权重,对所述空间特征、所述频域特征和所述纹理特征进行通道加权;

30、将通道加权后的空间特征和频域特征拼接,通过7×7卷积操作生成单通道空间注意力图,基于所述空间注意力图和所述通道注意力权重,将加权后的空间特征和频域特征逐元素相加,并叠加原始输入特征的残差连接,得到空间-频域融合特征;

31、将通道加权后的纹理特征通过空间维度广播扩展为与所述空间-频域融合特征相同的空间维度,再与所述空间-频域融合特征逐元素相加,得到最终融合特征;

32、其中,所述纹理特征仅参与通道注意力加权,不参与空间注意力图的生成,所述纹理特征经通道加权后得到加权纹理特征,所述加权纹理特征中每个空间位置的特征相同,其与所述空间-频域融合特征逐元素相加时,相当于对所述空间-频域融合特征的每个通道施加一个全局偏置,该偏置由所述纹理特征的通道注意力权重决定,用于调整各通道的响应强度,所述最终融合特征同时输入至分类头、注意力引导解码器和置信度校准单元,分别用于输出分级概率分布、荧光强度病变定位热图和分类置信度评分。

33、进一步地,所述频域特征经1×1卷积变换后分别输入至所述分类头、所述注意力引导解码器和所述置信度校准单元;所述分类头基于所述最终融合特征输出四个类别的分级概率分布;所述注意力引导解码器基于所述频域特征生成荧光强度病变定位热图;所述置信度校准单元基于所述最终融合特征的不确定性度量生成分类置信度评分;所述频域特征同时用于分类、热图定位和置信度评估;所述分级概率分布为图像分类标签,不直接构成诊断结论;

34、所述输出模块包括注意力引导解码器,所述注意力引导解码器被配置为:将所述特征提取与融合模块输出的多层级特征金字塔中最后一层的特征图,以及所述频域特征通过上采样和卷积操作,生成与所述荧光图像尺寸相同的单通道热图;

35、将所述热图以伪彩色映射方式叠加于所述荧光图像之上,生成荧光强度病变定位热图。

36、进一步地,所述输出模块还包括置信度校准单元,所述置信度校准单元被配置为:对所述分级概率分布进行温度缩放校准,得到校准后的分级概率;

37、通过蒙特卡洛丢弃法进行多次前向传播,计算多次前向传播的平均预测熵作为不确定性度量;

38、其中,温度缩放作用于模型在推理时dropout关闭状态下的单次前向传播logits,蒙特卡洛丢弃独立进行,不应用温度缩放,基于校准后的分级概率和所述不确定性度量,按照以下公式生成分类置信度评分:

39、;

40、其中,为最终分类置信度评分,为温度缩放校准后的最大类别概率,为归一化预测熵,h为多次前向传播的平均预测熵,log4为四分类问题的最大熵,β为融合权重,取值范围为0.5~0.7;

41、所述温度缩放用于校准单次预测的概率分布,所述蒙特卡洛丢弃用于估计模型的不确定性,两者独立进行后加权融合,以同时反映预测的校准概率和不确定性水平。

42、进一步地,还包括迁移学习模块,所述迁移学习模块被配置为:利用预训练数据集对所述骨干网络进行预训练,所述预训练数据集采用公开的细胞学图像数据集sipakmed,包含约4000张标注图像;

43、获取目标荧光设备采集的标注荧光图像,通过最大均值差异损失对预训练后的骨干网络进行域适应微调,使源域和目标域的特征分布对齐;

44、其中,所述预训练数据集的图像数量大于所述目标荧光设备采集的标注荧光图像的图像数量;所述域适应微调的超参数在独立验证集上选取,所述独立验证集从训练集中分层抽取10%构成,不参与最终性能评估。

45、一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述基于荧光的宫颈上皮内瘤变筛查智能辅助系统的功能。

46、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述基于荧光的宫颈上皮内瘤变筛查智能辅助系统的功能。

47、本发明与现有技术相比,具有以下有益效果:

48、1.通过荧光信号自适应增强模块,有效抑制高亮伪影、血液吸收和环境光干扰,较传统固定参数预处理方法,荧光图像的峰值信噪比平均提升4.2db,结构相似性指数提升0.08,病变区域边缘清晰度保留率超过95%。

49、2.通过多尺度空间-频域特征融合机制,在同层实现多感受野感知,四条并行空洞卷积分支在不增加额外参数量的前提下扩展了感受野范围;首次在荧光单模态分析中同时显式提取空间多尺度特征与频域及纹理特征,通过通道与空间双重注意力机制实现自适应加权融合。

50、3.通过荧光强度病变定位热图和分类置信度评分的双重输出,增强了图像处理结果的可解释性,便于使用者快速定位可疑区域并判断结果可信度。