面向OCTA图像的视网膜结构提取方法、系统及应用

面向octa图像的视网膜结构提取方法、系统及应用
技术领域
1.本发明涉及图像识别技术领域，特别涉及眼部光学相干断层血管图像识别领域，尤其涉及一种面向octa图像的视网膜结构提取方法、系统及应用。


背景技术：

2.光学相干断层血管成像(octa)是建立在光学相干断层成像(oct)平台上的一种快速、无创的成像技术，可以生成包含视网膜血管和微血管系统功能信息的图像。从octa图像中获得的视网膜指标的量化指标信息在眼病和神经退行性疾病的定量研究和临床决策中起着至关重要的作用。
3.例如，与健康对照组相比，阿尔茨海默病(ad)患者的眼睛显示视网膜血管密度显著降低。在一些视网膜疾病中，中央凹无血管区(faz)的尺寸和连接密度也与健康对照组存在显著不同。
4.基于以上原因，从octa中自动、准确地提取这些视网膜结构的特征图像对于早期诊断视网膜循环相关疾病，评估疾病进展具有重要意义。
5.然而，现有的octa图像中视网膜特征图像的提取工作仅侧重于单任务学习，这意味着如果需要对多个结构指标进行量化，则需要分别训练多个不同的网络。现有技术中，一个可行的解决方案是使用多任务学习(mtl)训练一个模型，它可以同时执行多个任务，而不是建立一组独立的网络。然而，目前的mtl工作是专门为自然图像设计的，由于一些挑战限制了它们对octa图像的适用性。最重要的是，上述的这些方法以单一的二维图像作为输入，很难充分利用octa图像丰富的亚层信息。


技术实现要素：

6.针对现有技术的不足，本发明的目的在于提供一种面向octa图像的视网膜结构提取方法、系统及应用。
7.为实现前述发明目的，本发明采用的技术方案包括：
8.第一方面，本发明提供一种面向octa图像的视网膜结构提取方法，包括：
9.1)获取octa图像，所述octa图像包括多个亚层；
10.2)从所述octa图像的多个亚层中提取每个所述亚层对应的多尺度融合特征；
11.3)利用多个不同的投票门模块从多个所述多尺度融合特征中提取投票门特征；
12.4)对所述投票门特征进行关键点的检测，获得关键点特征；
13.5)将所述关键点特征以及可选择的部分投票门特征作为octa图像的特征提取结果。
14.第二方面，本发明还提供一种面向octa图像的视网膜结构提取系统，包括基于投票机制的多任务特征提取网络，所述多任务特征提取网络包括：
15.特征提取模块，其包括多个特征提取器，多个所述特征提取器分别用于从不同输入的octa图像亚层中提取每个所述亚层对应的多尺度融合特征，
16.多个独立的特定于任务的投票门模块，用于自适应选取对于每个任务最重要的特征；以及
17.关键点检测模块，包括：
18.基于热图回归的第一任务单元，用于实现关键点的定位，
19.基于区域分类的第二任务单元，用于识别关键点的类型。
20.第三方面，本发明还提供一种神经网络训练方法，包括：
21.获取训练图像，并对所述训练图像进行标记，生成标记信息；
22.利用上述视网膜结构提取方法对所述训练图像进行特征提取，获得所述训练图像对应的特征提取结果；
23.根据所述标记信息和特征提取结果对所述视网膜结构提取方法所用的神经网络进行训练。
24.第四方面，本发明还提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时上述视网膜结构提取方法的步骤。
25.第五方面，本发明还提供一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述视网膜结构提取方法的步骤。
26.基于上述技术方案，与现有技术相比，本发明的有益效果至少包括：
27.本发明提供的一种octa视网膜结构提取方法利用octa图像丰富的亚层信息进行综合提取，并利用投票机制从提取得到的多尺度融合特征中提取出投票门特征并依据投票门特征识别其中的部分关键点特征，最终融合关键点特征和部分投票门特征作为最终的特征提取结果，该技术方案充分融合了不同亚层的特点，是一种全新的端到端的多任务学习框架，联合学习octa图像中的特征图像，为视网膜血管指标的量化分析提供了另一种有效且精确的方式。
28.上述说明仅是本发明技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本技术的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合详细附图说明如后。
附图说明
29.图1是本发明一典型实施方案提供的一种面向octa图像的视网膜结构提取方法的简要流程示意图；
30.图2是本发明实施例提供的一典型实施方案提供的一种面向octa图像的视网膜结构提取方法的提取过程示意图；
31.图3是本发明实施例提供的一典型实施方案提供的一种面向octa图像的视网膜结构提取方法中对所述投票门特征进行关键点的检测步骤的流程示意图；
32.图4是本发明实施例提供的一典型实施方案提供的一种面向octa图像的视网膜结构提取方法所利用的亚层图像以及特征提取结果图像。
具体实施方式
33.鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。
34.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
35.而且，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个与另一个具有相同名称的部件或方法步骤区分开来，而不一定要求或者暗示这些部件或方法步骤之间存在任何这种实际的关系或者顺序。
36.参见图1及图2，本发明实施例提供的一种面向octa图像的视网膜结构提取方法，包括如下的步骤：
37.1)获取octa图像，所述octa图像包括多个亚层。
38.2)从所述octa图像的多个亚层中提取每个所述亚层对应的多尺度融合特征。
39.3)利用多个不同的投票门模块从多个所述多尺度融合特征中提取投票门特征。
40.4)对所述投票门特征进行关键点的检测，获得关键点特征。
41.5)将所述关键点特征以及可选择的部分投票门特征作为octa图像的特征提取结果。
42.在一些实施方案中，步骤1)中的所述亚层可以至少包括浅血管复合体层、深血管复合体层和全神经丛视网膜层。
43.在一些实施方案中，步骤4)中的所述关键点可以至少包括血管分叉点和血管交叉点。
44.在一些实施方案中，步骤5)中的所述特征提取结果可以至少包括视网膜血管图像、中央凹无血管区图像和视网膜血管分叉点/交叉点图像。
45.本发明的上述实施例提出了一种端到端的多任务学习算法，应用浅血管复合体(svc)、深血管复合体(dvc)和全神经丛视网膜(ivc)图像联合学习octa图像中的视网膜血管(rv)、中央凹无血管区(faz)和视网膜血管分叉点/交叉点(rvj)，为视网膜结构指标的量化分析及眼底疾病诊断提供了另一种有效的方式。
46.需要说明的是，本发明所提供的octa视网膜结构提取方法仅涉及根据octa图像进行图像处理并提出特征结果的过程，未涉及后续的疾病的诊断与治疗方法，也更未涉及侵入人体内部获取样本或数据的方法，单独依据本发明所提供的octa视网膜结构提取方法所得到的提取结果是完全无法进行疾病的诊断的，而必须结合医生的临床判断才可进行诊断，即，本发明所得到的提取结果完全属于中间信息或参考信息，不属于直接的疾病诊断信息，本发明所提供的技术方案不属于疾病的诊断与治疗方法。
47.继续参见图2，在一些实施方案中，步骤2)具体可以包括如下的步骤：
48.将所述多个亚层输入多个特征提取器的第一卷积层，获得与每个所述亚层对应的多个第一卷积特征。
49.将多个所述第一卷积特征分别输入多个特征提取器的剩余卷积层，获得每个所述亚层对应的多尺度融合特征。
50.在一些实施方案中，多个所述特征提取器的权重参数可以相同。
51.在一些实施方案中，所述特征提取器均可以由resnet-50网络构成，且所述第一卷积层的卷积尺寸可以为3
×
3。
52.基于上述实施方案，作为一个示例，在一些典型的应用案例中，特征提取模块可以
由三个特征提取器resnet-50组成，将第一层7
×
7卷积层替换为具有相同填充的3
×
3卷积，以保证投票门模块的输出尺寸与输入图像的尺寸一致。在本发明中，除了第一卷积层之外，三个特征提取器共享权重，以限制可学习参数的数量。由于不同的输入和第一层的独立性，尽管使用了共享权重的策略，三个特征提取器依然能够提取不同的特征。
53.在一些实施方案中，步骤3)具体可以包括如下的步骤：
54.将所述第一卷积层输出的多个第一卷积特征进行拼接得到拼接特征。
55.将所述拼接特征输入多个独立的与特定任务对应的投票门模块，得到与特定任务对应的投票门信息；其中，所述特定任务选自视网膜血管图像任务、中央凹无血管区图像任务和视网膜血管分叉点/交叉点图像任务中的一种。
56.利用所述投票门信息从所述多尺度融合特征中提取投票门特征。
57.在一些实施方案中，所述投票门模块可以根据其对应的特定任务在多个亚层和多个空间位置上选择特征作为所述投票门信息，其中，所述空间位置是指所选择的特征在特征图像上的位置。
58.在一些实施方案中，多个所述的空间位置可以至少包括黄斑中心区域、血管相的位置以及血管的边缘。
59.在一些实施方案中，上述的利用所述投票门信息从所述多尺度融合特征中提取投票门特征，具体可以采用如下的步骤来实施：
60.将所述投票门信息分别与每个所述多尺度融合特征相乘得到相乘特征，并将全部多尺度融合特征对应的多个相乘特征求和，得到所述特定任务对应的综合特征映射。
61.利用所述综合特征映射获得投票门特征。
62.本发明实施例所提供的技术方案中，任务分支优选包含了3部分，分别是针对rv，faz和rvj的任务分支。rv和faz的任务分支可以采用一样的结构，分别由两个3
×
3的卷积块组成。rvj由于任务较为复杂，优选应当设计专门的任务分支来提升准确度。
63.基于上述实施方案，作为一个示例，在一些典型的应用案例中，包含三个独立的特定于任务的投票门模块(vgm)，该模块由多个3
×
3卷积层与批处理归一化(bn)和relu激活函数组成，最后一个卷积层使用sigmoid算子将特征映射为概率的形式，有3个通道可以作为选择特征的权重。每个任务∈{rv，faz，rvj}的vgm以三个特征提取器第一层输出的拼接作为输入，对应的输出{g
task
}是学习的投票器，它可以从两个层次选择特征。首先是octa不同层的特征，这是考虑到从三个enface图像中获得的特征的重要性对于每个任务是不同的。其次是特征提取器不同空间位置的特征，由于每个任务都有其对位置信息的关注，faz分割集中在黄斑中心区域，血管相的位置对于分叉点/交叉点分类任务来说更加关键，而血管分割也需要更多地关注血管的边缘信息。在获得每个任务的投票门{g
task
}后，将三个特征提取器的多尺度融合特征{fi}(i∈{1，2，3})分别与{g
task
}(task∈{rv，faz，rvj})相乘，并进行求和运算，获得对应任务的综合特征映射{y
task
}。这个过程可以表述为：
[0064][0065]
其中表示为投票门{g
task
}中第i个通道，表示按元素进行乘法。然后将特定于任务的特征映射{y
task
}送入相应的任务中以获得最终结果。因此，通过这种方式可以自适应选取最重要的特征以达到最优效果。
[0066]
本发明首次提出了一种基于投票的特征集成方法可以根据任务属性自动从不同层次上选择特征，即在图像中不同层次的特征以及不同空间位置的特征，有效提高了特征提取的效果。
[0067]
关于本发明的其他方面的改进，本发明实施例提供如下的实施方案：
[0068]
在一些实施方案中，步骤4)具体可以包括如下的步骤：
[0069]
将所述投票门特征划分为多个网格。
[0070]
利用热图回归从所述网格中获得网格中的关键点的预测位置信息。
[0071]
利用区域分类模型从所述网格中获得所述关键点的预测种类信息；其中，所述预测种类信息用于指示所述网格中的关键点属于血管交叉点或血管分叉点或网格内无任何关键点。
[0072]
将所述预测位置信息与预测种类信息融合，得到所述关键点特征。
[0073]
在一些实施方案中，所述区域分类模型可以预测所述网格中关键点的种类置信度信息，并可以根据所述种类置信度信息是否大于预设阈值来判断所述网格中的关键点属于血管交叉点或血管分叉点或网格内无任何关键点。其中，所述种类置信度信息是指用于指示所述网格中的关键点的属于每一个种类的可信程度的数据，例如，在一实例中，某一网格中，其交叉点置信度为85％，分叉点置信度为5％，预设阈值为80％，则可以判定为网格中的关键点为交叉点，在另一实例中，某一网格中，其交叉点置信度为50％，分叉点置信度为20％，预设阈值为60％，则可以判定为网格中的无关键点，作为优选的方案，当两种置信度均大于预设阈值时，可以选取置信度最大的关键点种类作为最终的关键点种类。
[0074]
分叉点/交叉点检测和分类的挑战有两个方面：1)与普通关键点检测不同，图像中血管标志的数量和它们的空间分布都是未知的2)节点均为仅包含少量精确像素的小目标，基于边界盒的目标检测方法在此任务中难以获得满意的性能。针对上述问题，本发明提出了将热图回归和区域分类相结合的两个分支任务头来检测分叉点/交叉点，具体来说，可以将这个复杂的任务划分为两个简单的任务：利用热图回归实现所有关键点(即分叉点/交叉点)的精确定位，区域分类分支负责识别关键点的类型。其流程如图3所示。
[0075]
基于上述实施方案，作为一个示例，在一些典型的应用案例中，用于关键点检测的特征图首先被送入一个卷积块，该卷积块由两个3
×
3传统层与bn和激活函数组成。最后一个带激活函数的卷积层通过1个通道的热图输出得到所有关键点的位置。另一个分支也采取作为输入和输出的s
×
s网格表示图像的不同区域。对于每个网格区域，区域分类分支将预测它是包含分叉点和交叉点，或无任何关键点。由于不需要预测边界盒的坐标，该模型可以专注于区域类型的预测，与基于边界盒的方法相比，具有更好的性能。同时，通过预测了每个区域对应的置信度得分，可以反映模型对包含关键点区域的置信度，可用于最终处理的阈值选择。本发明将每个区域单元设为8
×
8，对于输入为304
×
304的图像，该分支的最终预测为38
×
38
×
4的张量，最后将两个分支的结果结合起来得到最终的预测结果。
[0076]
本发明首次提出了一个结合热图回归和区域分类的模块，用于分叉点/交叉点检测和分类，通过这种方式可以有效地解决octa图像中微血管系统的复杂性给精确定位和分类所带来的困扰。
[0077]
此外，本发明实施例提供的上述视网膜结构提取方法在三个octa数据集上进行了
评估，实验阶段使用目前公开的数据集rose以及一个独立的私有数据集进行了验证，和其他多任务方法相比，本发明实施例所提出的算法在模型复杂度方面显著降低：例如，现有的多任务模型ubernet大小为41.37m，mtan大小为44.79m，mti-net大小为94.29m，本发明实施例所提供的模型大小为34.73m。同时，在rv，faz分割结果的精度方面，dice和accuracy相比最先进的方法分别提升了5％和2％。在rvj分类方面，f1-score提升了4％。实验结果表明本发明实施例所提供的方法优于目前的单目标的学习方法和多任务学习方法。在一个具体的应用案例中，上述视网膜结构提取方法所采用的ivc、svc、dvc亚层图像以及该方法所提取出的视网膜结构特征图像：rv、rvj、faz如图4所示。
[0078]
本发明实施例还提供一种面向octa图像的视网膜结构提取系统，包括基于投票机制的多任务特征提取网络，所述多任务特征提取网络包括：
[0079]
特征提取模块，其包括多个特征提取器，多个所述特征提取器分别用于从不同输入的octa图像亚层中提取每个所述亚层对应的多尺度融合特征。
[0080]
多个独立的特定于任务的投票门模块，用于自适应选取对于每个任务最重要的投票门特征。
[0081]
以及关键点检测模块，包括：基于热图回归的第一任务单元，用于实现关键点的定位，基于区域分类的第二任务单元，用于识别关键点的类型。
[0082]
本发明实施例还提供一种神经网络训练方法，包括如下的步骤：
[0083]
获取训练图像，并对所述训练图像进行标记，生成标记信息；
[0084]
利用上述任一实施方式中的视网膜结构提取方法对所述训练图像进行特征提取，获得所述训练图像对应的特征提取结果；
[0085]
根据所述标记信息和特征提取结果对所述视网膜结构提取方法所用的神经网络进行训练。
[0086]
本发明实施例还提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方式中的视网膜结构提取方法的步骤。
[0087]
本发明实施例还提供一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式中的视网膜结构提取方法的步骤。
[0088]
本发明实施例还提供一种面向octa图像的视网膜结构提取装置，包括：
[0089]
图像获取模块，用于获取octa图像，所述octa图像包括多个亚层。其中，所述亚层可以至少包括浅血管复合体层、深血管复合体层和全神经丛视网膜层。
[0090]
特征提取模块，用于从所述octa图像的多个亚层中提取每个所述亚层对应的多尺度融合特征。
[0091]
多个不同的投票门模块，用于从多个所述多尺度融合特征中提取投票门特征。
[0092]
关键点检测模块，用于对所述投票门特征进行关键点的检测，获得关键点特征。其中，所述关键点可以至少包括血管分叉点和血管交叉点。
[0093]
提取结果模块，用于将所述关键点特征以及可选择的部分投票门特征作为octa图像的特征提取结果。其中，所述特征提取结果可以至少包括视网膜血管图像、中央凹无血管区图像和视网膜血管分叉点/交叉点图像。
[0094]
在一些实施方案中，所述特征提取模块具体包括：
[0095]
第一卷积单元，用于将所述多个亚层输入多个特征提取器的第一卷积层，获得与每个所述亚层对应的多个第一卷积特征。
[0096]
剩余卷积单元，用于将多个所述第一卷积特征分别输入多个特征提取器的剩余卷积层，获得每个所述亚层对应的多尺度融合特征。
[0097]
在一些实施方案中，所述投票门模块具体包括：
[0098]
拼接特征单元，用于将所述第一卷积层输出的多个第一卷积特征进行拼接得到拼接特征。
[0099]
投票门单元，用于将所述拼接特征输入多个独立的与特定任务对应的投票门模块，得到与特定任务对应的投票门信息；其中，所述特定任务选自视网膜血管图像任务、中央凹无血管区图像任务和视网膜血管分叉点/交叉点图像任务中的一种。所述投票门模块可以根据其对应的特定任务在多个亚层和多个空间位置上选择特征作为所述投票门信息。多个所述空间位置可以选择为至少包括黄斑中心区域、血管相的位置以及血管的边缘。
[0100]
提取特征单元，用于利用所述投票门信息从所述多尺度融合特征中提取投票门特征。该步骤具体可以包括：将所述投票门信息分别与每个所述多尺度融合特征相乘得到相乘特征，并将全部多尺度融合特征对应的多个相乘特征求和，得到所述特定任务对应的综合特征映射；利用所述综合特征映射获得投票门特征。
[0101]
在一些实施方案中，所述的关键点检测模块具体可以包括：
[0102]
网格划分单元，用于将所述投票门特征划分为多个网格。
[0103]
热图回归单元，用于利用热图回归从所述网格中获得网格中的关键点的预测位置信息。
[0104]
种类预测单元，用于利用区域分类模型从所述网格中获得所述关键点的预测种类信息；其中，所述预测种类信息用于指示所述网格中的关键点属于血管交叉点或血管分叉点或网格内无任何关键点。所述区域分类模型可以通过预测所述网格中关键点的种类置信度信息，并根据所述种类置信度信息是否大于预设阈值来判断所述网格中的关键点属于血管交叉点或血管分叉点或网格内无任何关键点。
[0105]
信息融合单元，用于将所述预测位置信息与预测种类信息融合，得到所述关键点特征。
[0106]
应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。