一种基于非对称可变形卷积与动态混合注意力的视网膜血管图像分割方法

本发明涉及图像分割领域，具体涉及一种基于非对称可变形卷积与动态混合注意力的视网膜血管图像分割方法。

背景技术：

1、视网膜血管图像分割是眼底图像智能分析中的基础环节，其分割结果可为糖尿病视网膜病变、高血压性视网膜病变、动脉硬化等眼科及全身性疾病的辅助筛查和诊断提供重要依据。传统视网膜血管分割方法通常依赖人工设计的灰度、边缘、纹理或形态学特征，虽然实现较为简单，但对光照不均、低对比度、病灶干扰以及细小血管变化的适应能力有限，难以稳定获得连续、完整的血管结构。

2、相关现有技术中，文献号为cn116363060b的“一种基于残差u型网络的混合注意力视网膜血管分割方法”公开了采用残差u型网络，并在编码器和解码器中设置残差模块、注意力编码模块、注意力解码模块、上采样和下采样模块，以利用混合注意力机制提取更有效的图像信息，从而提高视网膜图像二值分割精度。

3、文献号为cn116935045a的“一种基于混合注意力和多尺度级联的视网膜血管分割方法和系统”公开了以u-net为基础构建适用于血管分割任务的网络结构，并通过全局混合注意力模块减少冗余信息影响，利用池化金字塔和条形池化混合池化模块实现多尺度特征感知，同时通过级联细化网络修正血管末梢分叉模糊、血管断裂等问题。

4、上述方法在一定程度上改善了视网膜血管分割效果，但仍存在以下不足。

5、现有方法大多仍以规则卷积核作为主要特征提取单元。视网膜血管在眼底图像中通常呈现细长、弯曲、分叉和方向不规则等形态，固定形状的卷积采样位置难以随血管走向自适应变化，容易造成弯曲血管边缘模糊、分叉处断裂以及细小血管漏检。

6、现有基于u-net的跳跃连接通常采用直接拼接、对应像素相加或普通注意力筛选方式。编码器浅层特征虽然包含较多边缘细节，但同时也携带眼底背景、出血、渗出、光照不均等干扰信息；解码器深层特征语义判别能力较强，但空间细节不足。

7、部分现有方法虽然通过混合注意力或级联细化改善分割结果，但通常侧重于单一层面优化，例如增强注意力、增加多尺度分支或后续细化网络，未能在局部几何建模、瓶颈层语义增强和跨层级特征融合三个层面形成统一协同机制。因此，仍有必要提出一种能够同时适应血管弯曲形变、兼顾粗细血管尺度差异，并能动态抑制跳跃连接噪声的视网膜血管分割网络。

8、基于此，有必要设计一种新的视网膜血管图像分割方法，以进一步提高细小血管、弯曲血管和病灶干扰区域的分割准确性和鲁棒性。

技术实现思路

1、本发明的目的是解决现有视网膜血管分割方法基于u-net及其改进结构的视网膜血管分割网络通常采用固定形状的规则卷积核进行特征提取，难以根据视网膜血管的弯曲、分叉及不规则走向自适应调整采样位置，导致细小血管、弯曲血管边缘及分叉区域容易出现断裂和漏检的问题。

2、为解决上述问题，本发明提出了一种基于非对称可变形卷积与动态混合注意力的视网膜血管图像分割方法，所述方法包括以下步骤：

3、s1.在编码阶段输入图像依次进入编码器各层级。每一层级中，特征图先经可变形卷积模块（adc模块）的四分支并行卷积进行特征提取——可变形卷积分支根据当前血管的弯曲方向调整采样位置，1×3与3×1非对称卷积分支分别捕获水平、垂直方向的线性血管纹理，空洞卷积分支扩展感受野以纳入血管周围的上下文。四分支输出逐元素相加后，经批量归一化和leakyrelu（带泄露的线性整流单元）与残差连接得到当前层级的特征，再经下采样进入下一层级，逐步压缩空间分辨率、扩大通道数。

4、s2.在瓶颈阶段经多次下采样的最深层特征送入多尺度注意力模块（msam模块）。msam模块首先以1×1卷积对通道进行压缩，再通过多尺度并行卷积同时提取粗血管和细血管的语义信息；通道注意力与空间注意力依次对其加权，放大血管区域的响应，抑制背景噪声；最后以1×1卷积恢复通道数并与输入残差相加，得到语义增强的瓶颈特征。

5、s3.在跳跃连接阶段每一层级的跳跃连接处，编码器浅层特征与解码器对应层深层特征一同送入动态混合注意力融合模块（dham模块）。dham模块在通道维度上根据两路特征的内容动态分配融合系数；

6、如果当前位置位于细小血管或毛细血管分支时，网络倾向于赋予编码器浅层特征更大权重以保留高分辨率细节；如果当前位置位于背景或语义模糊区域时，则更多依赖深层特征的语义判断以抑制噪声。

7、融合后的特征再经空间注意力沿空间维度逐像素加权，强化血管区域的像素响应，最终经残差连接输出。

8、s4.在解码阶段的解码器各层级以dham输出作为补充信息，联合解码器部分上采样后的特征，再次经adc模块进行特征提取与方向纹理增强；经过逐层上采样，空间分辨率逐步恢复至原始尺寸。

9、s5.解码器最后一层经1×1卷积输出与输入图像同尺寸的概率图；以联合损失函数进行端到端训练。推理阶段对概率图进行二值化即可得到最终的视网膜血管分割结果。

10、进一步的，在所述adc模块中，输入特征为x0∈rc×h×w。adc模块内部采用四分支并行结构，分别为：

11、可变形卷积分支fdeformable()：3×3可变形卷积核，通过附加的3×3卷积层学习每个采样点在水平和垂直方向上的二维偏移量δpn，使采样位置随血管走向自适应调整；

12、1×3非对称卷积分支f1×3()：增强对水平方向血管纹理的响应；

13、3×1非对称卷积分支f3×1()：增强对垂直方向血管纹理的响应；

14、空洞卷积分支fdilated()：膨胀率为2的3×3空洞卷积，等效感受野为5×5但仅含9个采样点，在不增加参数量的前提下扩展感受野以引入上下文信息。

15、四个分支的输出通过逐元素相加进行融合，再依次经过批量归一化i()与leakyrelu激活l()，并通过残差连接与原输入相加。该混合卷积操作堆叠两次，每次均引入独立的残差连接：

16、；

17、；

18、；

19、；

20、在表达式中，fdeformable()表示可变形卷积操作，f1×3()与f3×1()分别表示两种方向的条形卷积，fdilated()表示膨胀率为2的空洞卷积操作，i()表示批量归一化，l()表示leakrelu激活函数，x0为模块输入，x2为模块最终输出。由于眼底图像中的血管呈现明显的线性结构特征，条形卷积能够在水平方向和垂直方向上更有针对性地提取细长结构信息，从而增强对血管形态特征的表征能力。

21、可变形卷积分支中，对于输入特征图上任意位置p0，其输出y(p0)定义为：

22、；

23、其中，pn为3×3卷积核中各采样点相对于中心的网格坐标，w(pn)为对应位置的权重，δpn为网络自适应学习得到的连续偏移量。

24、进一步的，所述msam模块嵌入于瓶颈层，msam模块前后分别采用1×1卷积进行通道压缩与恢复，以降低计算开销。模块内部首先通过多组不同感受野的并行卷积，提取从粗到细的多尺度血管特征；随后将多尺度特征送入通道注意力与空间注意力组成的双重注意力机制中，沿通道维度自适应放大与血管相关的特征响应，沿空间维度强化血管走行区域的像素激活并抑制背景噪声。模块末端采用残差连接，将加权后的特征与原输入特征相加，避免信息丢失与梯度消失。

25、进一步的，与传统跳跃连接中简单的通道拼接操作不同，dham模块并不直接融合特征，而是基于通道注意力与空间注意力的协同机制，对两路输入特征进行动态筛选与自适应加权融合，从而在特征传递过程中有效滤除冗余信息，保留对血管分割真正有用的特征响应。

26、所述dham模块接收两路输入：一路来自编码器的浅层特征fe，另一路来自解码器的深层特征fd。

27、fe包含丰富的空间细节与边缘纹理信息，有助于精确定位血管边界；fd则经过多次下采样与特征抽象，具有较强的语义判别能力，能够区分血管与背景区域。然而，由于两路特征在语义层级上存在显著差异，若直接融合则会引入不匹配的噪声，因此需要通过注意力机制对二者进行自适应协调。

28、为弥合编解码器特征在语义层级上的差异，dham首先在通道维度上对两路特征进行动态权重分配。具体地，fe与fd经逐元素相加后，通过全局平均池化对空间维度进行压缩，再经sigmoid激活函数映射，生成能够反映通道整体重要性的全局响应向量wg。与此同时，fe和fd分别独立送入通道注意力模块（ca），输出各自的通道重要性权重向量we和wd，分别刻画两路特征在通道维度上的差异化响应。随后，we与wd在共享权重层w的映射下，结合全局响应向量wg共同计算各路特征的融合系数ɑe与ɑd，且两者满足归一化约束ɑe+ɑd=1，确保融合过程的稳定性。将两路输入特征分别与对应融合系数加权后求和，得到通道维度上的动态融合特征：

29、；

30、通过这种动态分配机制，模块能够根据当前特征内容的实际分布自适应调整各路的贡献比例：在处理细小血管及毛细血管分支时，网络倾向于赋予fe更高的权重，以充分利用编码器保留的高分辨率空间细节；而在处理背景区域或语义模糊区域时，则更多依赖fd中的语义判断，从而有效抑制眼底背景噪声和病变区域对血管分割结果的干扰。

31、经过通道维度的动态融合后，ffusion在语义层面已得到有效对齐，但在空间分布上仍可能存在局部边缘模糊或血管响应不均匀的问题。这主要是由于通道注意力机制对所有空间位置施加相同的通道权重，缺乏对空间位置差异的精细建模能力。为此，dham进一步引入空间注意力模块（sa）对融合特征进行空间维度上的精细化优化。sa通过同时计算特征图在通道维度上的最大值与均值响应，生成能够反映各空间位置激活强度的二维注意力图，并以此对融合特征进行逐像素加权。这一过程能够显著增强血管走行区域的像素响应，同时抑制背景区域的无效激活，使模块对视网膜微细血管结构具有更强的空间感知能力。最终，经空间注意力加权后的结果与融合特征ffusion通过残差连接相加，得到dham模块的最终输出特征：

32、；

33、残差连接的引入有效缓解了注意力加权可能造成的特征退化问题，保障了梯度的稳定传播，提升了模块的训练稳定性。经通道、空间双重注意力机制协同处理后的输出特征fout，在通道维度上实现了编解码器特征的动态语义对齐，在空间维度上进一步强化了血管区域的精细边界响应。与传统的简单拼接跳跃连接相比，dham模块以更具自适应性的方式完成了多层级特征的选择性融合，有效抑制了眼底背景噪声对分割结果的干扰，显著提升了网络对视网膜微细血管及复杂分支结构的捕捉与重建能力。

34、进一步的，为提高模型对血管区域的分割精度，本发明采用组合损失函数对网络进行优化。由于眼底图像中血管像素数量远少于背景像素，存在明显的类别不平衡问题，单一损失函数难以兼顾整体分类准确性与细小血管结构的识别效果。因此，本发明将交叉熵损失与dice损失相结合，构建联合损失函数。二元交叉熵损失用于衡量预测结果与真实标签之间的像素级差异，其表达式为：

35、；

36、其中，表示真实标签，表示模型预测概率，为像素总数。dice损失则从整体区域重叠角度衡量预测结果与真实血管区域之间的一致性，其定义为：

37、；

38、综合考虑两种损失的优势，最终损失函数定义为：

39、；

40、其中，α与β为权重系数，用于平衡两部分损失的贡献。通过该联合损失函数的优化，模型既能够保证像素级分类精度，又能够提升整体结构的一致性，从而增强对细小血管与复杂分支结构的识别能力。

41、进一步的，所述通道注意力模块的设计思路来源于senet，其核心在于对特征图各通道的重要程度进行建模。通道注意力通过对输入特征图沿空间维度进行全局信息聚合，学习每个通道的权重系数，进而对各通道特征进行自适应加权，从而突出对当前任务最具判别力的通道特征，抑制冗余通道信息。

42、进一步的，针对数据集图像存在光照不均匀以及对比度不强的情况，需要对图像进行预处理操作以提高模型感应图像准确率。首先将彩色眼底图像转换为灰度图像，以增强血管区域与背景之间的对比度；随后对灰度图像进行标准化处理，减小不同图像之间的灰度分布差异；在此基础上，引入限制对比度直方图均衡化方法以强化局部细节特征；最后采用自适应gamma校正，对亮度不足或分布不均的问题进行调节，从而进一步突出图像中的有效特征信息。

43、进一步的，为解决数据集过少导致模型训练过拟合问题，采用48×48像素的滑动窗口对原始图像进行分块处理。首先在整幅图像范围内生成随机数，用以确定子图的中心坐标，从而提高采样区域包含有效血管特征的概率；随后以48×48像素为固定尺寸进行裁剪。为避免子图越界，将图像的中心点的水平和竖直像素取值限定在（24,541）之间。完成裁剪后，对所得子图分别进行水平翻转、垂直翻转及随机旋转三种空间变换，实现数据增强。最终共获得100000张训练子图，按9：1的比例划分为训练集和测试集。

44、相比现有技术，本发明的有益效果包括：

45、（1）本发明通过在编码器和解码器中引入非对称可变形卷积模块，使卷积采样位置能够随视网膜血管的弯曲、分叉及不规则走向自适应调整，同时结合1×3、3×1非对称卷积增强水平和垂直方向血管纹理响应，从而改善细小血管、弯曲血管及分叉区域易断裂、易漏检的问题。

46、（2）本发明通过在瓶颈层设置多尺度注意力模块，能够同时提取粗血管的整体结构信息和毛细血管的局部细节信息，并利用通道注意力和空间注意力增强血管相关特征、抑制背景区域响应，从而提高不同尺度血管的表达能力和分割完整性。

47、（3）本发明通过动态混合注意力融合模块替代传统跳跃连接的简单拼接方式，根据编码器浅层特征和解码器深层特征的内容动态分配融合权重，在保留血管边缘细节的同时，减少眼底背景、出血、渗出及光照不均等干扰信息进入解码路径，从而降低误检率并提升血管边界分割精度。

48、（4）本发明的adc、msam和dham模块分别从局部几何建模、多尺度语义增强和跨层级动态融合三个方面协同作用，使网络不仅能够提高细小血管的检出能力，还能够兼顾背景抑制能力，避免现有方法中灵敏度提高但特异性下降的问题。