面向OCTA图像的视网膜结构提取方法、系统及应用

技术特征：
1.一种面向octa图像的视网膜结构提取方法，其特征在于，包括：1)获取octa图像，所述octa图像包括多个亚层；2)从所述octa图像的多个亚层中提取每个所述亚层对应的多尺度融合特征；3)利用多个不同的投票门模块从多个所述多尺度融合特征中提取投票门特征；4)对所述投票门特征进行关键点的检测，获得关键点特征；5)将所述关键点特征以及可选择的部分投票门特征作为octa图像的特征提取结果。2.根据权利要求1所述的视网膜结构提取方法，其特征在于，步骤1)中，所述亚层至少包括浅血管复合体层、深血管复合体层和全神经丛视网膜层；和/或，步骤4)中，所述关键点至少包括血管分叉点和血管交叉点；和/或，步骤5)中，所述特征提取结果至少包括视网膜血管图像、中央凹无血管区图像和视网膜血管分叉点/交叉点图像。3.根据权利要求1或2所述的视网膜结构提取方法，其特征在于，步骤2)具体包括：将所述多个亚层输入多个特征提取器的第一卷积层，获得与每个所述亚层对应的多个第一卷积特征；将多个所述第一卷积特征分别输入多个特征提取器的剩余卷积层，获得每个所述亚层对应的多尺度融合特征；优选的，多个所述特征提取器的权重参数相同。4.根据权利要求3所述的视网膜结构提取方法，其特征在于，所述特征提取器均由resnet-50网络构成。5.根据权利要求3所述的视网膜结构提取方法，其特征在于，步骤3)具体包括：将所述第一卷积层输出的多个第一卷积特征进行拼接得到拼接特征；将所述拼接特征输入多个独立的与特定任务对应的投票门模块，得到与特定任务对应的投票门信息；其中，所述特定任务选自视网膜血管图像任务、中央凹无血管区图像任务和视网膜血管分叉点/交叉点图像任务中的一种；利用所述投票门信息从所述多尺度融合特征中提取投票门特征；优选的，所述投票门模块根据其对应的特定任务的不同，在多个亚层和多个空间位置上选择特征作为所述投票门信息；优选的，多个所述空间位置至少包括黄斑中心区域、血管相的位置以及血管的边缘。6.根据权利要求5所述的视网膜结构提取方法，其特征在于，所述的，利用所述投票门信息从所述多尺度融合特征中提取投票门特征，具体包括：将所述投票门信息分别与每个所述多尺度融合特征相乘得到相乘特征，并将全部多尺度融合特征对应的多个相乘特征求和，得到所述特定任务对应的综合特征映射；利用所述综合特征映射获得投票门特征；优选的，具体采用如下公式得到所述综合特征映射：其中，y
task
表示所述综合特征映射，表示第i个通道对应的所述投票门信息，f
i
表示多尺度融合特征，表示按元素进行乘法。7.根据权利要求1或2所述的视网膜结构提取方法，其特征在于，步骤4)具体包括：
将所述投票门特征划分为多个网格；利用热图回归从所述网格中获得网格中的关键点的预测位置信息；利用区域分类模型从所述网格中获得所述关键点的预测种类信息；其中，所述预测种类信息用于指示所述网格中的关键点属于血管交叉点或血管分叉点或网格内无任何关键点；将所述预测位置信息与预测种类信息融合，得到所述关键点特征；优选的，所述区域分类模型预测所述网格中关键点的种类置信度信息，并根据所述种类置信度信息是否大于预设阈值来判断所述网格中的关键点属于血管交叉点或血管分叉点或网格内无任何关键点。8.一种面向octa图像的视网膜结构提取系统，其特征在于，包括基于投票机制的多任务特征提取网络，所述多任务特征提取网络包括：特征提取模块，其包括多个特征提取器，多个所述特征提取器分别用于从不同输入的octa图像亚层中提取每个所述亚层对应的多尺度融合特征，多个独立的特定于任务的投票门模块，用于自适应选取对于每个任务最重要的投票门特征；以及关键点检测模块，包括：基于热图回归的第一任务单元，用于实现关键点的定位，基于区域分类的第二任务单元，用于识别关键点的类型。9.一种神经网络训练方法，其特征在于，包括：获取训练图像，并对所述训练图像进行标记，生成标记信息；利用权利要求1-7中任意一项所述的视网膜结构提取方法对所述训练图像进行特征提取，获得所述训练图像对应的特征提取结果；根据所述标记信息和特征提取结果对所述视网膜结构提取方法所用的神经网络进行训练。10.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7中任意一项所述的视网膜结构提取方法的步骤。

技术总结
本发明公开了一种面向OCTA图像的视网膜结构提取方法、系统及应用。所述的面向OCTA图像的视网膜结构提取方法包括：获取OCTA图像；从OCTA图像的多个亚层中提取每个亚层对应的多尺度融合特征；利用多个不同的投票门模块从中提取投票门特征；对投票门特征进行关键点的检测，获得关键点特征；将关键点特征以及可选择的部分投票门特征作为OCTA图像的特征提取结果。本发明提供的视网膜结构提取方法利用OCTA图像丰富的亚层信息进行综合提取，充分融合了不同亚层的特点，是一种全新的端到端的多任务学习框架，联合学习OCTA图像中的特征图像，为视网膜血管指标的量化分析提供了一种有效且精确的方式。效且精确的方式。效且精确的方式。


技术研发人员：陈方胜 郝晋奎 赵一天
受保护的技术使用者：中国科学院宁波材料技术与工程研究所
技术研发日：2022.06.23
技术公布日：2022/8/22