一种基于病灶感知跨任务交互的糖尿病视网膜病变评估方法及系统

本发明属于计算机视觉以及医学影像处理，具体是一种基于病灶感知跨任务交互的糖尿病视网膜病变评估方法及系统。

背景技术：

1、糖尿病视网膜病变（dr）是糖尿病导致的视网膜微血管损害所引起的一系列病变，也是工作年龄人群可预防性视力损害和失明的重要原因。早期识别和准确的严重程度分级对于及时干预、降低视力丧失风险至关重要。在临床影像评估中，眼底荧光素血管造影（ffa）通过连续采集眼底图像，能够动态显示视网膜血管灌注及荧光渗漏情况，在识别微血管瘤、无灌注区及新生血管等异常方面具有独特优势，是评估dr严重程度的重要依据。然而，传统ffa阅片需要医生综合分析多时相图像及多种病灶表现，解读过程复杂、耗时，且高度依赖主观经验，难以满足大规模应用与标准化评估的需求。

2、近年来，深度学习技术被引入dr的辅助诊断中。现有基于ffa图像的自动分析方法多围绕单一诊断目标展开，通常将dr严重程度分级与局部病灶识别割裂开来，未能充分挖掘和建模局部病灶证据与整体严重程度判断之间的内在联系。同时，ffa图像具有明显的多时相特点，不同阶段所呈现的病理信息具有互补性，若仅依赖单帧图像容易造成信息遗漏。因此，如何充分利用多帧ffa图像信息，并建立病灶识别信息与dr严重程度分级之间的联系，是提高糖尿病视网膜病变自动评估准确性和稳定性亟需解决的问题。

技术实现思路

1、本发明为了解决上述问题，提供一种基于病灶感知跨任务交互的糖尿病视网膜病变评估方法及系统。

2、本发明采取以下技术方案：一种基于病灶感知跨任务交互的糖尿病视网膜病变评估方法，包括：

3、s1：获取患者眼底荧光素血管造影图像序列，并进行dr严重程度分级与病灶标签的标注得到数据集；

4、s2：将图像序列输入特征提取主干网络，提取不同阶段的特征，通过多级特征融合模块生成共享特征；

5、s3：采用任务解耦交互模块对共享特征提取分级特征和病灶特征，通过跨任务注意力机制实现两类特征之间的双向信息交互，得到更新后的分级特征和病灶特征；

6、s4：分级特征和病灶特征通过眼级预测模块对多帧信息进行聚合，并利用病灶预测信息对眼级分级表示进行校准，以输出dr严重程度分级结果和病灶多标签识别结果；

7、s5：在s1得到的数据集上进行多任务联合训练，采用加权联合损失函数同时优化dr严重程度分级任务和病灶标签识别任务，得到最佳的评估模型；

8、s6：将待评估的图像序列输入至训练得到的最佳评估模型中，输出对应的dr严重程度分级结果和病灶多标签识别结果。

9、在一些实施例中，所述s1中，图像序列由同一只眼在不同造影时相下采集的多帧图像构成；

10、对图像序列进行dr严重程度分级和病灶多标签标注，其中dr严重程度分级标注用于监督分级任务，按严重程度划分为4个等级；病灶多标签标注用于监督病灶识别任务，记录dr相关病灶的存在情况。

11、在一些实施例中，所述特征提取主干网络采用convnext对每一帧图像序列提取多阶段视觉特征。

12、在一些实施例中，多级特征融合模块生成共享特征包括：

13、利用1×1的卷积对浅层特征，中层特征和高层特征进行通道对齐；

14、将高层特征与中层特征进行空间尺度对齐和融合，得到中高层语义特征；

15、基于通道对齐后的浅层特征和上采样后的中高层语义特征生成细节门控映射来筛选浅层特征中的局部病灶细节信息，并将筛选后的特征与中高层语义特征融合，得到共享特征。

16、在一些实施例中，所述s3中，任务解耦交互模块包括：

17、任务特异性双分支，任务特异性双分支包括：

18、分级特异分支，所述分级特异分支将共享特征经归一化处理得到分级输入特征，再分别输入语义门控分支和多阶上下文分支；

19、所述语义门控分支经1×1卷积层和silu激活函数生成语义门控响应；

20、所述多阶上下文分支先对分级输入特征进行深度卷积得到基础上下文特征，再将基础上下文特征沿通道维度划分为三组，保留第一组特征，对第二组特征采用深度卷积处理，对第三组特征采用深度卷积处理；将处理后的三组特征拼接融合得到上下文响应；将语义门控响应与上下文响应逐元素相乘，经1×1卷积融合后按可学习缩放因子回注至共享特征，得到分级增强特征；对分级增强特征进行全局平均池化得到通道描述向量，经一维卷积建模相邻通道的局部依赖关系并通过sigmoid激活函数生成通道权重，将通道权重与分级增强特征按通道逐元素加权，得到分级分支特征；

21、病灶特异分支，将共享特征经深度卷积提取各通道内的局部纹理和边缘特征，依次经批量归一化和relu激活处理得到病灶局部增强特征；对病灶局部增强特征采用不同感受野的深度卷积处理，经1×1卷积进行通道映射得到两个尺度的病灶特征，沿通道拼接得到病灶聚合特征；对病灶聚合特征分别沿通道维度进行平均池化和最大池化，将两种池化结果拼接后经3×3卷积和sigmoid激活函数生成空间选择权重；利用空间选择权重对不同尺度的病灶特征加权融合，经1×1卷积和sigmoid激活函数生成病灶增强权重，将所述病灶增强权重与病灶局部增强特征进行逐元素相乘，得到病灶分支特征；

22、跨任务注意力机制，所述跨任务注意力机制以共享特征作为dr严重程度分级任务与病灶标签识别任务的特征对齐基准，将共享特征分别与分级分支特征和病灶分支特征进行编码，得到分级任务特征和病灶任务特征；根据所述分级任务特征和病灶任务特征计算两类任务之间的交互信息，并将交互信息分别融合至对应的任务分支中，得到更新后的分级特征和病灶特征。

23、在一些实施例中，交互信息包括病灶相关交互信息和分级语义交互信息，计算过程为：

24、在病灶到分级方向，以接收交互信息的分级任务特征作为目标分支特征，以病灶任务特征作为信息源特征，生成用于补充分级判断的病灶相关的交互信息；

25、在分级到病灶方向，以接收交互信息的病灶任务特征作为目标分支特征，以分级任务特征作为信息源特征，生成用于补充病灶识别的分级语义的交互信息；

26、分别采用三个相互独立的卷积对目标分支特征和信息源特征进行通道映射，其中，由目标分支特征生成查询特征，由信息源特征分别生成键特征和值特征；将所述查询特征、键特征和值特征中的各空间位置依次排列为矩阵，得到查询矩阵、键矩阵和值矩阵：

27、

28、其中，表示目标分支特征，表示信息源特征；、、分别表示查询映射、键映射和值映射；

29、交互信息为：

30、

31、其中，表示由卷积实现输出投影，表示空间分辨率，表示交互信息。

32、在一些实施例中，将交互信息分别融合至对应的任务分支中，得到更新后的分级特征和病灶特征包括：

33、将病灶相关交互信息和分级语义交互信息分别按预设比例加入对应的任务分支，得到更新后的分级特征和病灶特征；

34、

35、

36、其中，表示从病灶到分级方向的交互信息，为分级到病灶方向交互信息，为跨任务交互强度系数，用于控制跨任务信息的融合比例。

37、在一些实施例中，所述s4包括：

38、对s3得到分级特征和病灶特征进行全局平均池化；

39、将同一只眼的t帧特征向量进行聚合，得到相应的眼级分级表示和眼级病灶表示；

40、将所述眼级病灶表示输入病灶预测头，所述病灶预测头由dropout层和全连接层依次连接构成，用于输出各类病灶的预测值；分别对各类病灶的预测值进行sigmoid处理，得到对应的病灶发生概率，并根据预设阈值得到病灶多标签识别结果；

41、将所述病灶发生概率输入病灶引导的分级校准单元，所述病灶引导的分级校准单元包括全连接层和tanh激活函数，用于将病灶发生概率映射为病灶提示信息，并按照预设校准系数将病灶提示信息加入眼级分级表示，得到校准后的分级表示；

42、将所述校准后的分级表示输入分级预测头，所述分级预测头由dropout层和全连接层依次连接构成，用于输出各dr严重程度等级的预测值；对所述预测值进行softmax处理，得到各等级的预测概率，并将预测概率最大的等级确定为dr严重程度分级结果。

43、在一些实施例中，所述s5中：

44、从s1得到的数据集中按批次读取同一只眼对应的多帧图像、dr严重程度等级和病灶标签，并将多帧图像输入糖尿病视网膜病变评估模型，得到dr严重程度分级预测值和病灶多标签预测值；

45、采用加权联合损失函数计算训练总损失，多任务联合训练的损失函数由dr严重程度分级任务损失和病灶标签识别任务损失加权求和构成：

46、

47、其中，表示dr严重程度分级任务损失，采用带类别权重的交叉熵损失函数，根据分级预测值和dr严重程度等级标签计算；表示病灶标签识别任务损失，采用带正样本权重的二元交叉熵损失函数，根据病灶预测值和病灶多标签计算；和分别代表dr严重程度分级任务和病灶识别任务的损失权重，用于调节两个任务在联合训练中的贡献；

48、在每个训练批次中，先将模型参数的梯度清零，再根据联合损失进行反向传播，并采用adamw优化器更新模型的可学习参数，得到最佳评估模型。

49、一种评估系统，用于实现所述基于病灶感知跨任务交互的糖尿病视网膜病变评估方法，包括：

50、图像序列构建模块，图像序列构建模块用于获取并处理同一只眼不同造影时相下的多帧图像，形成图像序列；

51、病灶感知跨任务交互网络模块，用于对图像序列进行s2-s4处理；

52、模型训练模块，模型训练模块通过训练数据及对应标签进行多任务联合训练，得到评估模型；

53、结果输出模块，结果输出模块用于输出dr严重程度分级结果和病灶多标签识别结果。

54、与现有技术相比，本发明具有以下有益效果：

55、本发明以多帧ffa图像作为输入，能够利用不同造影时相下的血管灌注、荧光渗漏及病灶显影信息，避免单帧图像对动态病理信息利用不足的问题；在模型构建中，通过多级特征融合模块整合不同层级的视觉特征，获得兼顾分级语义和病灶细节的共享特征；通过任务解耦交互模块分别增强dr分级相关语义信息和病灶识别相关局部响应，并利用跨任务注意力机制促进两类任务特征之间的信息交互，使病灶线索能够辅助严重程度分级判断；同时，在眼级多任务预测阶段引入病灶引导校准策略，将病灶预测信息进一步融合至分级表示中，使最终分级结果能够更充分地参考病灶识别结果。本发明能够同时实现dr严重程度分级和病灶多标签识别，提高多帧ffa图像中糖尿病视网膜病变评估的准确性和稳定性，为医生提供可靠的临床辅助决策影像学支持。