一种基于多模态眼底影像的糖尿病视网膜病变分级方法

摘要: 本发明属于医学图像处理、人工智能辅助诊断、眼底疾病筛查与深度学习,具体涉及一种基于多模态眼底影像的糖尿病视网膜病变分级方法。背景技术:1、糖尿病视网膜病变是糖尿...
一种基于多模态眼底影像的糖尿病视网膜病变分级方法

本发明属于医学图像处理、人工智能辅助诊断、眼底疾病筛查与深度学习,具体涉及一种基于多模态眼底影像的糖尿病视网膜病变分级方法。

背景技术:

1、糖尿病视网膜病变是糖尿病常见的微血管并发症之一,也是导致视力损害的重要原因。该疾病早期可出现微动脉瘤、点片状出血、硬性渗出及棉絮斑等表现,随着病情进展还可伴随新生血管形成、黄斑水肿以及视网膜层结构改变。

2、现有临床筛查中,彩色眼底图像能够较好反映病灶表面形态和血管分布,但对于黄斑水肿等深层结构变化的表达存在不足;光学相干断层扫描图像能够反映视网膜层次结构和厚度变化,但对病灶全局分布及血管背景信息利用有限。因此,仅依赖单一模态图像进行分级,容易造成误判和漏判。

3、现有基于深度学习的糖尿病视网膜病变智能分级方法大多采用卷积神经网络或视觉transformer直接对整幅图像进行分类,虽然具备较好的端到端学习能力,但通常偏重全局表观特征,对病灶之间的空间关系、病灶与黄斑之间的相对位置关系以及多病灶共现模式利用不足。

4、此外,不同病灶在分级判断中的重要性存在明显差异,例如位于黄斑邻近区域的渗出灶与远离黄斑区域的轻微病灶对病情判断的贡献不同;单纯进行全局池化难以显式表达上述关系。对于筛查场景而言,模型预测结果还需要具备一定的置信度提示和复核指引,以满足临床安全性需求。

5、因此,亟需一种能够联合利用彩色眼底图像与光学相干断层扫描图像、显式建模病灶间关系并同时输出分级结果和风险提示的智能分级技术方案。

技术实现思路

1、针对现有技术中存在的上述不足,本发明提供一种基于多模态眼底影像的糖尿病视网膜病变分级方法,以提升糖尿病视网膜病变分级准确性、黄斑水肿风险识别能力和临床可解释性。

2、为实现上述目的,本发明提供如下技术方案。

3、第一方面,本技术实施例提供一种基于多模态眼底影像的糖尿病视网膜病变分级方法,包括如下步骤:

4、s1、获取受检者的多模态眼底影像数据,并对所述多模态眼底影像数据进行预处理。

5、所述多模态眼底影像数据包括配对采集的彩色眼底图像和光学相干断层扫描图像;所述光学相干断层扫描图像采集过程中同步获取眼底参考图像,所述眼底参考图像用于表征光学相干断层扫描图像对应的扫描区域在眼底平面中的空间位置和范围,并用于建立所述彩色眼底图像与所述光学相干断层扫描图像之间的空间对应关系。

6、s2、基于预处理后的多模态眼底影像数据进行病灶候选检测、结构异常检测及眼底关键解剖区域定位,获得病灶候选集合、结构异常区域及眼底关键解剖区域。

7、s3、根据获得的病灶候选集合、结构异常区域及眼底关键解剖区域构建病灶关系图,确定病灶关系图中的节点集合及各图节点对应的节点特征,并根据不同图节点之间的空间位置关系及类别关系建立节点之间的连接关系,计算相应的边权重,从而形成用于图神经网络进行病灶关系特征学习的病灶关系图。

8、其中,对于空间位置落入oct扫描覆盖范围的图节点,根据建立的空间映射关系确定所述图节点在oct图像中的对应区域,并提取所述对应区域的视网膜厚度统计特征,将所述视网膜厚度统计特征补充至对应图节点的节点特征中。

9、s4、基于预处理后的彩色眼底图像提取全局视觉特征,基于视网膜厚度统计特征提取结构厚度特征,并基于病灶关系图提取病灶关系特征。

10、s5、对所述全局视觉特征、结构厚度特征和病灶关系特征进行跨模态融合,获得融合特征表示。

11、s6、分级输出与风险评估。

12、基于融合特征表示进行糖尿病视网膜病变分级及黄斑水肿风险评估。

13、s7、进行网络训练,并利用训练完成的网络进行糖尿病视网膜病变分级及黄斑水肿风险评估。

14、在一种可能的实施方式中,所述预处理包括图像质量评估、有效成像区域确定、亮度归一化、噪声抑制、血管增强以及跨模态空间对齐。首先,对采集得到的彩色眼底图像和光学相干断层扫描图像进行图像质量评估,所述图像质量评估包括清晰度评估和遮挡检测,其中,清晰度评估用于获取图像清晰度评分;遮挡检测用于识别睫毛、眼睑及反光区域,并获得相应的遮挡区域及遮挡比例。根据遮挡比例确定遮挡程度评分,再根据图像清晰度评分和遮挡程度评分计算图像质量评分。

15、当所述图像质量评分低于预设质量阈值时,判定对应图像不满足后续智能分级要求;当所述图像质量评分不低于预设质量阈值时,对对应图像执行后续预处理。

16、对于满足预设质量阈值的彩色眼底图像,进行有效成像区域确定,并在确定过程中去除无效背景及所述遮挡区域,获得彩色眼底有效区域图像;对于满足所述预设质量阈值的光学相干断层扫描图像,确定其有效成像区域。随后,对所述彩色眼底有效区域图像以及完成有效成像区域确定的光学相干断层扫描图像依次进行亮度归一化和噪声抑制;在此基础上,对完成亮度归一化和噪声抑制的彩色眼底有效区域图像进行血管增强。最后,对完成上述预处理的彩色眼底图像和光学相干断层扫描图像进行跨模态空间对齐,建立统一空间坐标系及两种模态图像之间的空间映射关系。将获得预处理后的彩色眼底图像、预处理后的光学相干断层扫描图像以及所述空间映射关系。

17、在一种可能的实施方式中,所述病灶候选集合通过病灶检测网络对预处理后的彩色眼底图像进行检测获得,包括各候选病灶的病灶类别、检测置信度、位置坐标及边界框信息;

18、所述结构异常区域通过结构异常检测网络对预处理后的光学相干断层扫描图像进行检测获得,包括囊样水肿区、反射异常区及视网膜增厚区,各结构异常区域对应有结构异常类别、检测置信度、位置坐标及区域范围。

19、所述眼底关键解剖区域定位是指对预处理后的彩色眼底图像中的关键解剖结构进行识别,并确定对应解剖区域的位置坐标及区域范围;其中,所述眼底关键解剖区域包括黄斑区域、视盘区域、血管主干区域及血管主要交汇区域。

20、对预处理后的彩色眼底图像采用病灶检测网络进行病灶定位和分类,检测微动脉瘤、出血灶、硬性渗出和棉絮斑,输出各检测目标的病灶类别、检测置信度及边界框信息,并根据所述边界框信息确定检测目标的位置坐标及对应的候选病灶区域。将检测置信度不低于预设置信度阈值的检测目标确定为候选病灶,全部候选病灶共同组成所述病灶候选集合。

21、对预处理后的光学相干断层扫描图像采用结构异常检测网络进行结构异常区域检测,识别囊样水肿区、反射异常区和视网膜增厚区,输出各检测结果的结构异常类别、检测置信度、位置坐标及区域范围。将检测置信度不低于预设置信度阈值的检测结果确定为结构异常区域。

22、同时利用黄斑区域定位方法、视盘检测模型及血管分割模型对预处理后的彩色眼底图像进行分析。其中,所述黄斑区域定位方法用于确定黄斑区域范围;所述视盘检测模型用于确定视盘中心坐标及视盘区域范围;所述血管分割模型用于获得血管区域分割掩膜,并基于所述血管区域分割掩膜确定血管主干区域及血管主要交汇区域。利用空间映射关系,将所述结构异常区域映射至彩色眼底图像坐标系,使所述结构异常区域与所述眼底关键解剖区域处于统一的空间参考体系下,为后续病灶关系图构建及空间关系建模提供解剖参考。

23、在一种可能的实施方式中,确定病灶关系图中的节点集合及各图节点对应的节点特征具体操作如下:

24、将步骤s2获得的各候选病灶、结构异常区域以及眼底关键解剖区域中的黄斑区域、视盘区域和血管主要交汇区域分别作为病灶关系图中的图节点,共同构成病灶关系图的节点集合。

25、其中,候选病灶对应病灶节点,结构异常区域对应结构异常节点,黄斑区域、视盘区域及血管主要交汇区域对应解剖结构节点;步骤s2获得的血管主干区域用于计算相关图节点与视网膜血管之间的空间关系。

26、根据不同类型图节点在步骤s2中获得的检测结果或定位结果以及对应图像区域构建节点特征。不同类型图节点分别采用与其属性对应的特征表示。

27、对于病灶节点,根据步骤s2获得的候选病灶的病灶类别、检测置信度、位置坐标及边界框信息构建节点特征。在所述边界框限定的候选病灶区域内,根据病灶区域与周围组织在颜色及边缘响应上的差异进行区域分割,获得病灶区域轮廓,并根据所述病灶区域轮廓计算病灶面积、边界周长及圆度,形成病灶形状特征;根据所述候选病灶区域内的图像灰度及颜色分布信息提取局部纹理特征;根据所述候选病灶区域与步骤s2获得的血管主干区域之间的空间位置关系,计算所述候选病灶区域与血管主干区域之间的空间距离及重叠关系,并根据所述空间距离及重叠关系确定病灶节点对应的邻近血管信息。

28、所述病灶节点的节点特征包括病灶类别、检测置信度、空间位置信息、病灶形状特征、局部纹理特征及邻近血管信息。

29、对于结构异常节点,根据步骤s2获得的结构异常类别、检测置信度、位置坐标及区域范围构建节点特征,所述节点特征包括结构异常类别、检测置信度、空间位置信息及异常区域范围信息。

30、对于解剖结构节点,根据步骤s2获得的黄斑区域、视盘区域及血管主要交汇区域的位置坐标和区域范围构建节点特征,所述节点特征包括解剖结构类型、空间位置信息及解剖区域范围信息。

31、在一种可能的实施方式中,视网膜厚度统计特征的提取,具体操作如下:对预处理后的光学相干断层扫描图像进行视网膜层结构分割,获得视网膜层边界,并根据所述视网膜层边界计算视网膜厚度;根据各图节点在统一空间坐标系中的位置及建立的空间映射关系,确定各图节点在光学相干断层扫描图像中的对应区域,统计所述对应区域内视网膜厚度的平均值、最大值、最小值及标准差,并将上述统计量共同构成视网膜厚度统计特征。

32、在一种可能的实施方式中,计算相应的边权重,从而形成用于图神经网络进行病灶关系特征学习的病灶关系图,具体操作如下:

33、根据不同图节点之间的空间位置关系及类别关系确定节点之间的关联程度,并根据所述关联程度建立节点之间的连接关系。

34、对于已建立连接关系的图节点,根据相连图节点之间的关联程度确定对应连接边的基础权重。当所述连接关系涉及病灶节点或结构异常节点时,进一步结合对应病灶节点或结构异常节点的严重程度先验对所述基础权重进行调整,获得相应的边权重;对于解剖结构节点之间的连接关系,根据相连解剖结构节点之间的关联程度确定相应的边权重。

35、所述严重程度先验用于表征不同病灶或结构异常对糖尿病视网膜病变分级的重要程度。对于病灶节点,根据病灶类别确定对应的基础严重程度,并结合病灶面积、检测置信度以及病灶与黄斑区域之间的空间位置关系对所述基础严重程度进行调整,获得所述病灶节点对应的严重程度先验。对于结构异常节点,根据结构异常类别确定对应的基础严重程度,并结合异常区域范围及检测置信度对所述基础严重程度进行调整,获得所述结构异常节点对应的严重程度先验。所述病灶类别及结构异常类别对应的基础严重程度根据其与糖尿病视网膜病变分级的相关程度预先设定。

36、将所述节点集合、节点特征、节点之间的连接关系及边权重共同构成病灶关系图。

37、在一种可能的实施方式中,s4具体操作如下:

38、对预处理后的彩色眼底图像进行视觉特征提取,获得彩色眼底图像对应的视觉特征图,并对所述视觉特征图进行全局特征聚合及特征映射,获得全局视觉特征。

39、基于各图节点对应区域的视网膜厚度统计特征,计算空间相邻区域之间的局部厚度变化率,所述视网膜厚度统计特征与局部厚度变化率共同构成结构厚度参数;对所述结构厚度参数进行特征编码,获得用于表征光学相干断层扫描图像中视网膜结构变化的结构厚度特征。

40、对病灶关系图进行图节点间的信息传播和关系特征聚合,根据所述节点特征、节点之间的连接关系及边权重提取病灶关系特征。

41、在病灶关系特征提取过程中,根据相邻图节点之间的节点特征相似性以及边权重计算图注意力权重,所述图注意力权重用于控制相邻节点在信息传播与特征聚合过程中对目标节点的贡献程度。根据所述图注意力权重对相邻图节点的节点特征进行加权聚合,获得更新后的图节点特征,并对更新后的各图节点特征进行聚合,获得病灶关系特征。

42、在一种可能的实施方式中,s5具体操作如下:

43、首先,分别对所述全局视觉特征、结构厚度特征及病灶关系特征进行特征映射,将三类特征转换至统一维度的特征空间;对映射后的三类特征进行跨模态注意力计算,获得交互后的各模态特征表示,包括全局视觉特征表示、结构厚度特征表示及病灶关系特征表示。

44、进一步地,根据交互后的各模态特征表示,通过门控融合方式计算各模态对应的模态权重,并根据所述模态权重分别对交互后的全局视觉特征表示、结构厚度特征表示及病灶关系特征表示进行加权;将加权后的各模态特征表示按照特征维度进行拼接,并对拼接后的特征进行特征映射,获得融合特征表示。

45、在一种可能的实施方式中,s6具体操作如下:

46、根据所述融合特征表示计算各分级类别对应的预测概率,并将预测概率最大的类别确定为糖尿病视网膜病变分级结果。所述糖尿病视网膜病变分级结果包括无糖尿病视网膜病变(no dr)、轻度非增殖期糖尿病视网膜病变(mild npdr)、中度非增殖期糖尿病视网膜病变(moderate npdr)、重度非增殖期糖尿病视网膜病变(severe npdr)以及增殖期糖尿病视网膜病变(pdr)五个等级。

47、同时,根据所述融合特征表示计算黄斑水肿风险概率,并根据所述黄斑水肿风险概率确定对应的黄斑水肿风险等级。

48、进一步地,根据糖尿病视网膜病变各分级类别对应的预测概率分布以及黄斑水肿风险概率确定相应的预测可信度,所述预测可信度用于表征模型对糖尿病视网膜病变分级结果及黄斑水肿风险评估结果的预测确定程度;当所述预测可信度低于预设可信度阈值时,生成人工复核提示。

49、最终输出糖尿病视网膜病变分级结果、各分级类别对应的预测概率、黄斑水肿风险概率、黄斑水肿风险等级、预测可信度及人工复核提示。

50、在一种可能的实施方式中,s7具体操作如下:

51、采用带有对应标注信息的多模态眼底影像数据作为训练样本,对步骤s2至步骤s6中涉及的病灶检测网络、结构异常检测网络、视网膜层结构分割网络以及用于全局视觉特征提取、结构厚度特征编码、病灶关系特征提取、跨模态融合、糖尿病视网膜病变分级和黄斑水肿风险评估的网络进行训练。训练过程中,根据各训练任务对应的预测结果与真实标注之间的差异确定相应的任务损失,并根据各任务损失对相应网络参数进行优化。

52、训练完成后,利用训练完成的网络按照步骤s1至步骤s6对待分析的多模态眼底影像数据进行处理,输出糖尿病视网膜病变分级结果、黄斑水肿风险等级、相应的预测概率及人工复核提示。

53、第二方面,本技术实施例提供一种基于多模态眼底影像的糖尿病视网膜病变分级系统,包括以下模块:

54、数据获取与预处理模块:用于获取受检者的多模态眼底影像数据,并对所述多模态眼底影像数据进行预处理。

55、所述多模态眼底影像数据包括配对采集的彩色眼底图像和光学相干断层扫描图像;所述光学相干断层扫描图像采集过程中同步获取眼底参考图像,所述眼底参考图像用于表征光学相干断层扫描图像对应的扫描区域在眼底平面中的空间位置和范围,并用于建立所述彩色眼底图像与所述光学相干断层扫描图像之间的空间对应关系。

56、病灶检测与结构区域定位模块:基于预处理后的多模态眼底影像数据进行病灶候选检测、结构异常检测及眼底关键解剖区域定位,获得病灶候选集合、结构异常区域及眼底关键解剖区域。

57、病灶关系图构建模块:根据获得的病灶候选集合、结构异常区域及眼底关键解剖区域构建病灶关系图,确定病灶关系图中的节点集合及各图节点对应的节点特征,并根据不同图节点之间的空间位置关系及类别关系建立节点之间的连接关系,计算相应的边权重,从而形成用于图神经网络进行病灶关系特征学习的病灶关系图。

58、其中,对于空间位置落入oct扫描覆盖范围的图节点,根据建立的空间映射关系确定所述图节点在oct图像中的对应区域,并提取所述对应区域的视网膜厚度统计特征,将所述视网膜厚度统计特征补充至对应图节点的节点特征中。

59、多模态特征提取模块:基于预处理后的彩色眼底图像提取全局视觉特征,基于视网膜厚度统计特征提取结构厚度特征,并基于病灶关系图提取病灶关系特征。

60、跨模态融合模块:用于对所述全局视觉特征、结构厚度特征和病灶关系特征进行跨模态融合,获得融合特征表示。

61、分级输出与风险评估模块:基于融合特征表示进行糖尿病视网膜病变分级及黄斑水肿风险评估。

62、所述模型训练模块:采用带有对应标注信息的多模态眼底影像数据作为训练样本,对病灶检测与结构区域定位模块、病灶关系图构建模块、多模态特征提取模块、跨模态融合模块和分级输出与风险评估模块中涉及网络进行训练。

63、第三方面,本技术实施例提供一种电子设备,包括处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的方法。

64、第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时实现如第一方面所述的方法。

65、第五方面,本技术实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如第一方面所述的方法。

66、与现有技术相比,本发明具有如下有益效果:

67、(1)本发明构建了融合彩色眼底图像与光学相干断层扫描图像的多模态智能分析框架,通过联合利用眼底表观病灶信息与视网膜层结构信息,实现对糖尿病视网膜病变病理特征的互补表达,提高了病变分级及黄斑水肿风险评估的准确性。

68、(2)本发明建立病灶关系图,将病灶节点、结构异常节点以及黄斑区域、视盘区域、血管主要交汇区域对应的解剖结构节点统一纳入图结构,通过基于图注意力机制的关系特征学习网络学习病灶之间、结构异常区域之间以及病灶与关键解剖结构之间的空间关系和语义关系,相较于传统基于全局图像分类的方法,能够更加充分地表达多病灶共现模式及空间关联信息,提高模型的可解释性。

69、(3)本发明采用跨模态注意力融合机制对彩色眼底视觉特征、视网膜结构特征及病灶关系特征进行深度融合,提高了不同模态信息之间的协同建模能力,从而提升复杂病变的识别性能。

70、(4)本发明采用多任务联合学习策略,同时输出糖尿病视网膜病变分级结果、黄斑水肿风险等级以及对应预测概率,并进一步根据预测概率计算预测可信度,当预测可信度低于预设阈值时生成人工复核提示,有利于提高模型在实际临床辅助筛查中的安全性、可靠性及应用价值。