一种眼底图像的处理方法、分割模型训练方法及装置与流程

一种眼底图像的处理方法、分割模型训练方法及装置
1.相关申请的交叉引用
2.本技术要求在2021年8月6日提交中国专利局、申请号为202110904141.6、申请名称为“一种眼底图像的处理方法、分割模型训练方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
3.本发明涉及图像处理技术领域，尤其涉及一种眼底图像的处理方法、分割模型训练方法及装置。


背景技术：

4.眼底血管分割是指从彩色眼底图像中提取血管树，在保持血管连续的状态下去除背景，达到正确辨别出类血管部分的目的，是现代医学领域的热门研究方向。目前，血管分割方法大致可以归为两大类：非监督学习方法和监督学习方法。其中，监督学习方法需要原始图像作为输入，还需要有标记好血管和背景的分割图像作为改进算法的依据，使得整个算法具有学习原图像到分割结果的转换能力，这种学习能力，在监督学习中体现在模型设计上，模型的好坏直接决定学习能力的好坏。
5.现有技术中采用监督学习方法的眼底血管分割，主要基于支持向量机、多特征融合和随机森林、多层感知人工神经网络、卷积神经网络以及图卷积神经网络等结构来进行模型设计，这些采用深度学习的监督学习方法，在图像特征上有很强的自学习能力，仅需要构造不同层次的卷积神经网络，就可以在每一层的递进中获取更丰富的血管特征，而无须人为的干涉，且分割效果能够达到人眼甚至超过人眼的水平。然而，眼底血管的分布错综复杂，使得多个血管在空间上较为紧密，导致多个血管间存在部分区域间距很小，因此间距内的背景分割对精度要求极高；另一方面，在拍摄眼底图像时，由于光线反射，血管图像中出现高亮度中心线，使得大血管容易被误判为两个间距较小的小血管，对于这种情况，则要求分割模型将中心线的像素归为血管部分。随着识别任务的要求越来越高，浅层卷积神经网络已经不能满足需求，越来越多的研究者对卷积神经网络进行优化，但是仍存在如下不足：深度卷积神经网络的复杂度和运算量较大；卷积神经网络结构较单一，提取的特征较少。


技术实现要素：

6.为解决现有存在的技术问题，本发明提供一种眼底图像的处理方法、分割模型训练方法及装置。
7.为达到上述目的，本发明实施例的技术方案是这样实现的：
8.第一方面，本发明实施例提供了一种眼底图像的处理方法，包括：
9.获取包含有眼底血管的眼底图像；
10.基于分割模型的第一子网络对所述眼底图像进行特征提取，获得第一特征数据；
11.基于所述分割模型的多个分支网络分别对所述第一特征数据进行特征提取处理，
获得多个第二特征数据；其中，至少部分分支网络包括全局卷积网络(gcn，global convolution network)结构；
12.将所述多个第二特征数据进行组合获得第三特征数据，基于所述第三特征数据获得眼底血管分割图像。
13.第二方面，本发明实施例提供了一种分割模型训练方法，包括：
14.获取包含有眼底血管的样本图像以及与所述样本图像对应的标签图像，所述标签图像为已标注出眼底血管所在位置的图像；
15.基于分割模型的第一子网络对所述样本图像进行特征提取，获得第一预测特征数据；
16.基于所述分割模型的多个分支网络分别对所述第一预测特征数据进行特征提取处理，获得多个第二预测特征数据；其中，至少部分分支网络包括gcn结构；
17.将所述多个第二预测特征数据进行组合获得第三预测特征数据，根据所述第三预测特征数据获得眼底血管的预测分割图像；
18.根据所述预测分割图像与所述标签图像确定损失，基于所述损失调整所述分割模型的参数。
19.第三方面，本发明实施例提供了一种眼底图像的处理装置，包括：
20.图像获取模块，用于获取包含有眼底血管的眼底图像；
21.第一特征提取模块，用于基于分割模型的第一子网络对所述图像获取模块获得的所述眼底图像进行特征提取，获得第一特征数据；
22.第二特征提取模块，用于基于所述分割模型的多个分支网络分别对所述第一特征提取模块获得的所述第一特征数据进行特征提取处理，获得多个第二特征数据；其中，至少部分分支网络包括全局卷积网络gcn结构；
23.以及分割结果确定模块，用于将所述第二特征提取模块获得的多个第二特征数据进行组合获得第三特征数据，基于所述第三特征数据获得眼底血管分割图像。
24.第四方面，本发明实施例提供了一种分割模型训练装置，包括：
25.处理模块，用于获取包含有眼底血管的样本图像以及与所述样本图像对应的标签图像，所述标签图像为已标注出眼底血管所在位置的图像；
26.网络训练模块，用于基于分割模型的第一子网络对所述处理模块获得的所述样本图像进行特征提取，获得第一预测特征数据；基于所述分割模型的多个分支网络分别对所述第一预测特征数据进行特征提取处理，获得多个第二预测特征数据；其中，至少部分分支网络包括gcn结构；将所述多个第二预测特征数据进行组合获得第三预测特征数据，根据所述第三预测特征数据获得眼底血管的预测分割图像；根据所述预测分割图像与所述处理模块获得的所述标签图像确定损失，基于所述损失调整所述分割模型的参数。
27.第五方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述眼底图像的处理方法的步骤，或者所述处理器执行所述程序时实现上述分割模型训练方法的步骤。
28.第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述眼底图像的处理方法的步骤；或者，该程序被处理器执行时实现上述分割模型训练方法的步骤。
29.本发明提供一种眼底图像的处理方法、分割模型训练方法及装置，通过第一子网络对眼底图像进行初步特征提取，并统一输入至多个分支网络的数据尺寸，之后采用包含gcn结构的多个分支网络分别对初步特征提取结果进行处理，在多个尺度上学习血管信息，能够获得更多的血管细节，提高了眼底血管分割的准确性，同时，采用大卷积核的gcn结构获取全局特征，降低了眼底血管分割模型的复杂度和运算量。
附图说明
30.图1为本发明实施例的眼底图像的处理方法的流程示意图一；
31.图2为本发明实施例的gcn结构的处理流程示意图；
32.图3为本发明实施例的br结构的处理流程示意图；
33.图4为本发明实施例的眼底图像的处理方法的流程示意图二；
34.图5为本发明实施例的分割模型的组成结构示意图一；
35.图6为本发明实施例的分割模型的组成结构示意图二；
36.图7为本发明实施例的分割模型训练方法的流程示意图；
37.图8为本发明实施例的分割模型的组成结构示意图三；
38.图9为本发明实施例的分别基于分割模型和低尺度血管检测算法对眼底图像进行处理获得的分割结果的对比图；
39.图10为本发明实施例的眼底图像的处理装置的组成结构示意图；
40.图11为本发明实施例的分割模型训练装置的组成结构示意图；
41.图12为本发明实施例的电子设备的硬件结构示意图。
具体实施方式
42.下面结合附图及具体实施例对本发明作进一步详细的说明。
43.本发明实施例提供了一种眼底图像的处理方法。图1为本发明实施例的眼底图像的处理方法的流程示意图一，如图1所示，所述方法包括：
44.步骤101、获取包含有眼底血管的眼底图像；
45.步骤102、基于分割模型的第一子网络对所述眼底图像进行特征提取，获得第一特征数据；
46.步骤103、基于所述分割模型的多个分支网络分别对所述第一特征数据进行特征提取处理，获得多个第二特征数据；其中，至少部分分支网络包括全局卷积网络gcn结构；
47.步骤104、将所述多个第二特征数据进行组合获得第三特征数据，基于所述第三特征数据获得眼底血管分割图像。
48.本实施例中，所述包含有眼底血管的眼底图像可以是对眼部进行计算机断层扫描(ct，computed tomography)或者其他医学影像技术获得的原始造影图像，也可以是对所述原始造影图像进行预处理之后的图像，比如对原始造影图像进行对比度增强、亮度校正、归一化等预处理后的图像。
49.所述分割模型根据包含有眼底血管的样本图像和所述样本图像对应的标签图像对原始分割模型进行训练后得到，所述标签图像为已标注出眼底血管所在位置的图像。本实施例中，所述分割模型至少包括第一子网络、多个分支网络，以及用于对所述多个分支网
络获得的多个第二特征数据进行合并的组合层结构，所述分割模型最终输出第三特征数据，所述第三特征数据用于表示眼底图像中各像素点对应的属于血管区域的分类概率。
50.其中，所述第一子网络用于对步骤101中获得的眼底图像进行初步特征提取，并统一输入至所述多个分支网络中的数据尺寸。
51.在本发明的一种可选实施例中，所述第一子网络包括至少一个卷积层；所述步骤102可以包括：基于所述至少一个卷积层对所述眼底图像进行卷积处理，对卷积处理结果进行归一化处理，获得所述第一特征数据。
52.作为一种可选的实施方式，所述第一子网络可包括两个级联的卷积层，其中，第一个卷积层的输入数据为步骤101获得的眼底图像，第二个卷积层与所述第一个卷积层连接，所述第一个卷积层的输出数据作为所述第二个卷积层的输入数据，所述第二个卷积层的输出数据经过归一化处理后得到所述第一特征数据。示例性的，两个卷积层的卷积核均为3
×
3，步长为2，其中，第一个卷积层的输出特征维度为64，第二个卷积层的输出特征维度为128，对于通道数为3的彩色眼底图像，经过两个卷积层之后，输出通道数为128，然后对所述两个卷积层的处理结果进行归一化处理，得到特征维度为128的第一特征数据。
53.步骤103中，将经过第一子网络获得的第一特征数据分别输入至多个分支网络中，多个分支网络分别对所述第一特征数据进行特征提取处理，得到每一分支网络对应的第二特征数据。设置多个分支网络的目的在于保证特征提取结果的多样性，本实施例中既可以各个分支网络均采用完全不同的组成结构，也可以部分分支网络采用相同的组成结构，示例性的，所述多个分支网络包括卷积核大小不同的卷积网络，以实现不同大小的感受野，从而提取眼底血管在不同尺度上的特征数据。
54.血管分割包括眼底血管的定位和分类两种任务。对于分类任务而言，分割模型可以对处理过程中发生的变换过程不敏感，比如移动、旋转、缩放等等都不影响分类结果，故分割模型应采用较大的卷积核，以保证模型具有较强的鲁棒性。而对于定位任务，由于定位结果依赖于输入的位置，要求分割模型在处理过程中对变换过程敏感，分割模型应该是完全卷积，以保持位置信息完整。因此，本实施例中多个分支网络中的至少部分分支网络包括gcn结构，能够在使用全卷积的结构上尽可能使用较大的卷积核，以达到彩色眼底图像的血管分类与定位的平衡。
55.图2为本发明实施例中的gcn结构的处理流程示意图，如图2所示，输入数据尺寸为w
×h×
c1，其中，w、h分别表示输入数据的宽和高，c1表示输入数据的通道数。所述gcn结构利用一个卷积核大小为3
×
3的卷积层进行初步特征提取之后，采用两路卷积并行拼接的结构，其中一路的卷积核为k
×
1 1
×
k的形式，另一路的卷积核为1
×
k k
×
1的形式，两路卷积最终通过一个和函数层(sum)进行融合得到最终输出，k为不大于输入数据尺寸的正整数，即k≤w且k≤h。
56.具体地，输入数据经过卷积核为3
×
3的卷积层之后，输出通道数为c2，,卷积核为k
×
1 1
×
k与卷积核为1
×
k k
×
1的两个卷积层的输出通道数固定为为c2，且三个卷积层之后均不进行非线性处理，在利用和函数层进行融合之后通过relu函数层进行激活。
57.在移动终端中部署深度学习模型时，不仅要考虑模型的准确率，更要注重模型的参数数量，较大的卷积核必然带来较大的参数量，影响计算效率，本实施例中所述gcn结构通过两路并行的卷积结构可以表示大卷积核k
×
k的卷积范围，能够在不增加大量参数的前
提下，充分扩大卷积网络的感受野。对于大卷积核，k的取值越大，感受野越大，获得的全局信息就越丰富，在计算量允许的情况下，k越接近输入数据的尺寸获得的全局信息越好。
58.步骤104中，将多个分支网络输出的多个第二特征数据进行组合，比如采用直接拼接、加权平均等方式进行组合，得到第三特征数据，可选的，所述分割模型的组合层结构包括和函数层，所述将所述多个第二特征数据进行组合获得第三特征数据，包括：基于所述分割模型的和函数层对所述多个第二特征数据进行拼接，获得所述第三特征数据。
59.在本发明的一种可选实施例中，考虑到gcn结构侧重于提升位于血管内部区域的像素的分类与定位，对于血管边界区域的像素效果有限，故所述分割模型的组合层结构还包括第一br结构，所述将多个第二特征数据进行组合获得第三特征数据，包括：将所述多个第二特征数据进行组合，基于所述分割模型的第一br结构对组合后的所述多个第二特征数据进行边缘优化处理，获得第三特征数据。
60.图3为本发明实施例中的br结构的处理流程示意图，如图3所示，所述br结构为残差网络，对于尺寸为w
×h×
c1的输入数据，所述br结构通过两个卷积核大小为3
×
3的卷积层来获取残差信息，且两个卷积层的输出特征维度均固定为c2，其中，第一个卷积层后连接批量归一化(bn，batch normalization)层进行中间层输入数据的归一化处理，第二个卷积层后连接relu函数层进行非线性处理，得到残差信息。所述残差信息与输入数据通过一个和函数层进行组合，最后通过一个relu函数层进行非线性处理，输出尺寸为w
×h×
c2的边缘优化处理结果。
61.需要说明的是，经过上述处理得到的所述第三特征数据的特征维度一般较大，不适合直接确定眼底血管的分割结果，还需要通过降维处理得到眼底血管分割图像。
62.在一实施例中，所述分割模型的组合层结构还包括用于降维的卷积层，所述卷积层的卷积核大小为1
×
1，步长为1，输出特征维度为1，所述将所述多个第二特征数据进行组合获得第三特征数据，还可以包括：基于卷积核大小为1
×
1的卷积层对组合后的多个第二特征数据进行特征提取，输出特征维度为1的第三特征数据。
63.采用本发明实施例的技术方案，通过第一子网络对眼底图像进行初步特征提取，并统一输入至多个分支网络的数据尺寸，之后采用包含gcn结构的多个分支网络分别对初步特征提取结果进行处理，能够获取多样化的眼底血管特征提取结果，解决了卷积神经网络结构单一、提取特征较少的问题的同时，采用大卷积核的gcn结构获取全局特征，降低了眼底血管分割模型的复杂度和运算量。
64.本发明实施例还提供了一种眼底图像的处理方法。图4为本发明实施例的眼底图像的处理方法的流程示意图二，如图4所示，所述方法还包括：
65.步骤201、获取包含有眼底血管的眼底图像；
66.步骤202、基于分割模型的第一子网络对所述眼底图像进行特征提取，获得第一特征数据；
67.步骤203、基于所述分割模型的多个分支网络分别对所述第一特征数据进行特征提取处理，获得多个第二特征数据；其中，至少部分分支网络包括全局卷积网络gcn结构；
68.步骤204、将所述多个第二特征数据进行组合获得第三特征数据，根据所述第三特征数据获得第一阈值，基于所述第一阈值对所述第三特征数据进行二值化处理，获得眼底血管分割图像。
69.本实施例的步骤201至步骤203的详细阐述以及步骤204中所述第三特征数据的获取方式，具体可参照前述实施例中步骤101至步骤104的详细阐述，为节省篇幅，这里不再赘述。
70.结合前述实施例的描述，基于所述分割模型处理得到的第三特征数据能够表示图像中各像素点的分类概率。本实施例中，还根据所述第三特征数据获得第一阈值，所述第一阈值用于进行阈值分割，表示划分属于血管区域的像素点与不属于血管区域的像素点的分类概率，基于所述第一阈值对各像素点的分类概率进行二值化处理，得到眼底血管分割图像，示例性的，比较所述第三特征数据中各像素点的分类概率与所述第一阈值，在分类概率大于或等于所述第一阈值时，确定该分类概率对应的像素点的灰度值为0，在分类概率小于所述第一阈值时，确定该分类概率对应的像素点的灰度值为255，由此，最终得到的眼底血管分割图像中，像素点的灰度值为0或255，其中，灰度值为0表示对应的像素点属于血管区域，灰度值为255表示对应的像素点不属于血管区域。
71.本实施例中，所述第一阈值还可以是灰度值，可以根据所述第三特征数据得到的图像中各像素点对应的概率，获取所述第三特征数据对应的灰度直方图，对所述灰度直方图进行特征分析和统计判决确定所述第一阈值，比如，对灰度直方图进行曲线拟合求极值以获得用于阈值分割的第一阈值。比较第三特征数据中各像素点对应的的灰度值与所述第一阈值，获得二值化后的眼底血管分割图像。
72.作为一种实施方式，所述根据所述第三特征数据获得第一阈值，包括：基于所述第三特征数据，获得所述第三特征数据对应的灰度直方图，采用最大类间方差算法对所述灰度直方图进行处理，获得所述第一阈值。
73.采用本发明实施例的技术方案，通过第一阈值对分割模型的输出结果进行进一步处理，获得更加直观的眼底血管分割结果。
74.基于前述实施例步骤101至步骤104或者步骤201至步骤204所述，本发明实施例还提供一种眼底图像的处理方法。本实施例针对步骤103/步骤203进行进一步阐述。本实施例中，所述多个分支网络包括第一分支网络、第二分支网络和第三分支网络中的至少一个分支网络；所述第一分支网络至少包括依次连接的第一gcn结构和第二br结构；所述第二分支网络至少包括依次连接的第二gcn结构、第三gcn结构和第三br结构；所述第三分支网络至少包括依次连接的第一卷积层、第四gcn结构和第四br结构。则所述步骤103(步骤203)包括以下至少之一：
75.步骤103a、基于所述第一gcn结构对所述第一特征数据进行特征提取处理，获得第一特征提取结果，通过所述第二br结构对所述第一特征提取结果进行边缘优化处理，获得所述第一分支网络对应的第二特征数据；
76.步骤103b、基于所述第二gcn结构对所述第一特征数据进行特征提取处理，获得第二特征提取结果，通过所述第三gcn结构对所述第二特征提取结果进行特征提取处理，获得第三特征提取结果，通过所述第三br结构对所述第三特征提取结果进行边缘优化处理，获得所述第二分支网络对应的第二特征数据；
77.步骤103c、基于所述第一卷积层对所述第一特征数据进行特征提取处理，获得第四特征提取结果，通过所述第四gcn结构对所述第四特征提取结果进行特征提取处理，获得第五特征提取结果，通过所述第四br结构对所述第五特征提取结果进行边缘优化处理，获
得所述第三分支网络对应的第二特征数据；所述第一卷积层的输出数据的维度小于所述第一特征数据的维度。
78.需要说明的是，所述多个分支网络可以仅由第一分支网络、第二分支网络和第三分支网络中的至少两个组成，也可以由第一分支网络第二分支网络和第三分支网络中的至少一个以及其他神经网络结构组成。
79.作为一种实施方式，所述分割模型如图5所示，所述分割模型中的多个分支网络包括所述第一分支网络、所述第二分支网络和所述第三分支网络，其中，所述第一gcn结构、所述第二gcn结构、所述第三gcn结构和所述第四gcn结构均为相同的gcn结构，具体请参考图2，所述第二br结构、所述第三br结构和所述第四br结构均为相同的br结构，具体请参考图3。
80.本实施例中，请参考图2，gcn结构包括卷积核为3
×
3的第二卷积层、并联的第三卷积层和第四卷积层以及用于合并所述第三卷积层和所述第四卷积层的和函数层；其中，所述第三卷积层的卷积核为k
×
1 1
×
k，所述第四卷积层的卷积核为1
×
k k
×
1，k为不大于所述gcn结构的输入数据尺寸的正整数。
81.基于所述gcn结构对所述gcn结构的输入数据进行特征提取处理，包括：基于所述第二卷积层对所述输入数据进行特征提取处理，获得第一子数据；分别基于所述第三卷积层和所述第四卷积层对所述第一子数据进行特征提取处理，分别获得第二子数据和第三子数据；基于所述和函数层合并所述第二子数据和所述第三子数据，得到所述gcn结构的特征处理结果。
82.示例性的，对于第一分支网络，所述基于所述第一gcn结构对所述第一特征数据进行特征提取处理，获得第一特征提取结果，包括：基于所述第一gcn结构中的第二卷积层对所述第一特征数据进行特征提取处理，获得所述第一gcn结构对应的第一子数据；分别基于所述第一gcn结构中的第三卷积层和第四卷积层对所述第一gcn结构对应的第一子数据进行特征提取处理，分别获得所述第一gcn结构对应的第二子数据和第三子数据；基于所述gcn结构中的和函数层合并所述第一gcn结构对应的第二子数据和第三子数据，得到所述第一特征提取结果。所述第二gcn结构、所述第三gcn结构和所述第四gcn结构的处理过程类似，这里不再赘述。
83.请参考图2和图5，第一分支网络中第一特征数据直接输入至第一gcn结构，第二分支网络中第一特征数据则依次经过第二gcn结构和第三gcn结构，采用递增的设计策略，能够获得更高层次、更丰富的语义特征；第三分支网络中第一特征数据则先经过第一卷积层随后输入至第四gcn结构，所述第一卷积层的输出特征维度可以与第一特征数据的通道数不同，以实现gcn结构的多尺度特征提取。
84.基于前述实施例，本发明实施例还提供一种眼底图像的处理方法，本实施例在前一实施例的基础上，所述多个分支网络还包括第四分支网络和第五分支网络中的至少一个分支网络；所述第四分支网络至少包括依次连接的第五卷积层和第五br结构；所述第五分支网络至少包括第六卷积层。则所述步骤103还包括以下至少之一：
85.步骤103d、基于所述第五卷积层对所述第一特征数据进行特征提取处理，获得第六特征提取结果，通过所述第五br结构对所述第六特征提取结果进行边缘优化处理，获得所述第四分支网络对应的第二特征数据；
86.步骤103e、基于所述第六卷积层对所述第一特征数据进行特征提取处理，获得所述第五分支网络对应的第二特征数据。
87.需要说明的是，所述多个分支网络除包括第一分支网络、第二分支网络和第三分支网络中的至少一个，以及第三四分支网络和第五分支网络中的至少一个以外，还可以包括其他神经网络结构。
88.作为一种实施方式，所述分割模型如图6所示，所述分割模型的多个分支网络包括所述第一分支网络、所述第二分支网络、所述第三分支网络、所述第四分支网络和所述第五分支网络，其中，所述第五br结构与所述第二br结构、所述第三br结构、所述第四br结构均为相同的br结构，具体请参考图3。
89.本实施例中，br结构用于优化血管的边缘区域，使得最终获得的分割结果中血管在边界处效果更佳。请参考图3，br结构包括第七卷积层、第八卷积层、连接第七卷积层和第八卷积层的bn函数层、位于第八卷积层之后的第一relu函数层、用于合并第一relu函数层的输出与输入数据的和函数层，以及位于和函数层之后进行非线性处理的第二relu函数层，其中，第七卷积层和第八卷积层的卷积核大小均为3
×
3。
90.通过所述br结构对所述br结构的输入数据进行边缘优化处理，包括：依次基于所述第七卷积层、所述bn函数层、所述第八卷积层以及所述第一relu函数层对所述输入数据进行处理，获得所述输入数据的残差信息；基于所述和函数层合并所述残差信息以及所述输入数据，获得第四子数据；基于第二relu函数层对所述第四子数据进行非线性处理，获得所述br结构的边缘优化处理结果。
91.示例性的，对于第四分支网络，所述通过所述第五br结构对所述第六特征提取结果进行边缘优化处理，获得所述第四分支网络对应的第二特征数据，包括：依次基于所述第五br结构中的第七卷积层、bn函数层、第八卷积层以及第一relu函数层对所述第六特征提取结果进行处理，获得所述第六特征提取结果的残差信息；基于所述第五br结构中的和函数层合并所述第六特征提取结果的残差信息以及所述第六特征提取结果的，获得所述第五br结构对应的第四子数据；基于所述第五br结构中的第二relu函数层对所述所述第五br结构对应的第四子数据进行非线性处理，获得所述所述第四分支网络对应的第二特征数据。所述第二br结构、所述第三br结构和所述第四br结构的处理过程类似，这里不再赘述。
92.请参考图6，第四分支网络中第一特征数据经过第五卷积层处理后直接进行边缘优化处理，第五分支网络则仅由第六卷积层组成，本实施例中所述第五卷积层和所述第六卷积层均可以采用小卷积核，以利用较小的感受野获得更多局部特征信息。
93.在一实施例中，为解决从低层向高层信息传递时由于池化造成的信息丢失问题，所述多个分支网络中的各个分支网络均不包含池化层，而是替换为一个卷积核大小为3
×
3、步长为2的卷积层，该卷积层可以直接将输入图像的分辨率缩小一倍。示例性的，所述第一gcn结构、所述第二gcn结构、所述第三gcn结构、所述第一卷积层、所述第四gcn结构、所述第五卷积层和所述第六卷积层之后均连接一个卷积核为3
×
3、步长为2的卷积层，以实现池化操作。
94.本实施例中，采用不同组成结构的五种分支网络分别对第一特征数据进行处理，能够在不同特征尺度上、不同感受野上获得更丰富、更多层次的特征信息。
95.本发明实施例还提供一种分割模型训练方法。图7为本发明实施例的分割模型训
练方法的流程示意图，如图7所示，所述方法包括：
96.步骤301、获取包含有眼底血管的样本图像以及与所述样本图像对应的标签图像，所述标签图像为已标注出眼底血管所在位置的图像；
97.步骤302、基于分割模型的第一子网络对所述样本图像进行特征提取，获得第一预测特征数据；
98.步骤303、基于所述分割模型的多个分支网络分别对所述第一预测特征数据进行特征提取处理，获得多个第二预测特征数据；其中，至少部分分支网络包括gcn结构；
99.步骤304、将所述多个第二预测特征数据进行组合获得第三预测特征数据，根据所述第三预测特征数据获得眼底血管的预测分割图像；
100.步骤305、根据所述预测分割图像与所述标签图像确定损失，基于所述损失调整所述分割模型的参数。
101.本实施例的分割模型训练方法用于训练分割模型，所述分割模型为前述实施例中输入包括眼底血管的眼底图像以获得第三特征数据的分割模型。可以理解，本实施例所要保护的技术方案可以是前述实施例、本实施例、或者前述实施例和本实施例的组合。为了节省篇幅，在前述实施例中未对分割模型的训练方式进行具体描述，具体的分割模型的训练方式可参照本实施例所述；相应的，在本实施例中也未对分割模型的应用进行具体描述，具体的分割模型的应用方式可参照前述实施例中所述。可以理解，本实施例的技术方案在前述实施例中步骤102之前执行，也即在“基于分割模型的第一子网络对所述眼底图像进行特征提取，获得第一特征数据”之前，执行本实施例的技术方案。
102.步骤301中，所述样本图像为用于训练分割模型的眼底图像，所述标签图像可以为预先标注出眼底血管所在位置的眼底图像。作为一种示例，所述标签图像为眼底图像中各像素点对应的属于血管区域的概率值，比如，概率值为100％表明对应的像素点属于血管区域，概率值为0％表明对应的像素点属于非血管区域。
103.本实施例中，所述分割模型至少包括第一子网络、多个分支网络以及用于合并所述多个分支网络的处理结果的组合层结构，所述步骤302至所述步骤304的训练过程可参照前述实施例中分割模型的应用过程所述，这里不再赘述。
104.作为一种实施方式，所述分割模型输出所述第三预测特征数据，所述第三预测特征数据为图像中各像素点对应的分类概率，基于所述第三预测特征数据获得与所述标签图像格式相同的预测分割图像，比如，基于所述第三预测特征数据得到通道数为1的预测分割图像，所述预测分割图像中各像素点对应的像素值表示该像素点属于血管区域的概率值。根据所述预测分割图像与所述标签图像确定损失，基于损失调整分割模型的参数。
105.作为另一种实施方式，所述标签图像为二值图像，其中，灰度值为0的像素点位于血管区域，灰度值为255的像素点位于非血管区域。故在计算损失之前，还需对分割模型输出的第三预测特征数据进行阈值分割处理，以获得与所述标签图像格式相同的预测分割图像。
106.采用本发明实施例的技术方案，通过训练获得的分割模型结构较常规的卷积神经网络结构不再单一，能够提取更多的血管特征，且将gcn结构设计在模型的高层结构中，降低了训练运算量。
107.在本发明的一种可选实施例中，所述步骤304中，所述将所述多个第二预测特征数
据进行组合获得第三预测特征数据，包括：
108.将所述多个第二预测特征数据进行组合，基于所述分割模型的第一br结构对组合后的所述多个第二预测特征数据进行边缘优化处理，获得第三预测特征数据。
109.本实施例中，所述分割模型的组合层结构还包括第一br结构，用于优化血管边缘区域。
110.下面结合一具体的示例对本实施例中的分割模型进行说明。
111.图8为本发明实施例中的分割模型的组成结构示意图，如图8所示，本实施例中的分割模型包括第一子网络、五个分支网络，以及组合层结构。其中，第一子网络包括卷积层conv-0和卷积层conv-1，五个分支网络中，第一分支网络包括级联的一个gcn结构和一个br结构，第二分支网络包括级联的两个gcn结构和一个br结构，第三分支网络包括级联的卷积层conv-3、一个gcn结构和一个br结构，第四分支网络包括级联的卷积层conv-2和一个br结构，第五分支网络包括卷积层conv-4，组合层结构包括级联的和函数层sum、一个br结构和卷积层conv-5。
112.表1分割模型的部分参数
[0113][0114]
具体地，如表1所示，所述分割模型的输入数据(input)的通道数(特征维度)为2，输出数据(output)的特征维度为1，卷积层conv-0、conv-1、conv-2、conv-3、conv-4的卷积核大小均为3
×
3，步长均为2，卷积层conv-0和conv-3的输出特征维度为64，其余卷积层conv-1、conv-2和conv-4的输出特征维度为128，卷积层conv-5的卷积核大小为1
×
1，步长为1，输出特征维度为1，用于进行降维处理，所述分割模型中的所有gcn结构的输出特征维度均固定为21，所有br结构的输出特征维度均固定为21。
[0115]
本实例中，输入通道数为2的眼底图像，经过卷积层conv0和conv1进行初步特征提取后，获得特征维度为128的第一特征数据，五个分支网络分别对所述第一特征数据进行处理得到五种第二特征数据。其中，第一分支网络中的gcn结构直接处理所述第一特征数据，第二分支网络相较于第一分支网络增加一个gcn结构，以获得更高层次的语义特征，第三分支网络先通过卷积层conv-3进行降维处理，获得特征维度为64的数据，所述第三分支网络中的gcn结构处理所述卷积层conv-3获得的数据，以进行低尺度特征提取，第四分支网络和第五分支网络则采用小卷积核(conv-2和conv-4)提取更多局部特征。最后，通过和函数层sum合并五个第二特征数据，并利用br结构进行边缘优化处理，利用卷积层conv-5进行降维，输出通道数为1的第三特征数据。
[0116]
在五个分支网络中，所述第一分支网络的gcn结构、所述第二分支网络的两个gcn结构、所述第三分支网络的卷积层conv-3和gcn结构、所述第四分支网络的conv-2、以及所述第五分支网络的卷积层conv-4之后均连接一个卷积核为3
×
3、步长为2的卷积层，以代替池化层完成池化操作。
[0117]
在训练阶段，将包含有眼底血管的训练图像以及对应的人工标注图像输入至分割模型，对所述分割模型进行训练。在测试阶段，将测试图像输入至分割模型，首先经过第一子网络进行特征提取，得到特征矩阵，随后对所述特征矩阵进行归一化处理，获得第一特征数据，所述第一特征数据分别经过多个分支网络的处理，得到多个处理结果，分割模型中的组合层结构对多个处理结果进行合并以及降维处理，输出分割模型的分割结果，最后对所述分割结果进行二值化处理，获得更直观的眼底血管分割结果。
[0118]
本实施例分别基于上述分割模型以及低尺度血管检测(lvd)算法对多张眼底图像(图9中的a至f六张图像)进行处理，结果如图9所示，图9中的result of s-gcn表示基于本实施例中构建的分割模型对眼底图像进行处理得到的分割结果，result of lvd则表示基于lvd算法对眼底图像进行处理得到的分割结果。对比两种分割结果与原始眼底图像，可以看出本实施例中的分割模型在处理多个血管间部分间距较小的区域，以及由于光线反射导致的高亮度中心线时，相较于lvd算法表现更佳。
[0119]
本发明实施例还提供一种眼底图像的处理装置。图10为本发明实施例的眼底图像的处理装置的组成结构示意图一，如图10所示，装置400包括：
[0120]
图像获取模块401，用于获取包含有眼底血管的眼底图像；
[0121]
第一特征提取模块402，用于基于分割模型的第一子网络对所述图像获取模块401获得的所述眼底图像进行特征提取，获得第一特征数据；
[0122]
第二特征提取模块403，用于基于所述分割模型的多个分支网络分别对所述第一特征提取模块402获得的所述第一特征数据进行特征提取处理，获得多个第二特征数据；其中，至少部分分支网络包括全局卷积网络gcn结构；
[0123]
以及分割结果确定模块404，用于将所述第二特征提取模块403获得的多个第二特征数据进行组合获得第三特征数据，基于所述第三特征数据获得眼底血管分割图像。
[0124]
在本发明的一种可选实施例中，所述分割结果确定模块404，还用于根据所述第三特征数据获得第一阈值，基于所述第一阈值对所述第三特征数据进行二值化处理，获得眼底血管分割图像。
[0125]
在本发明的一种可选实施例中，所述分割结果确定模块404，还用于将所述第二特
征提取模块获得的多个第二特征数据进行组合，基于所述分割模型的第一br结构对组合后的所述多个第二特征数据进行边缘优化处理，获得第三特征数据。
[0126]
在本发明的一种可选实施例中，所述第一子网络包括至少一个卷积层；所述第一特征提取模块402，还用于基于所述至少一个卷积层对所述图像获取模块401获得的所述眼底图像进行卷积处理，对卷积处理结果进行归一化处理，获得所述第一特征数据。
[0127]
本发明实施例还提供一种眼底图像的处理装置。本实施例中，所述多个分支网络包括第一分支网络、第二分支网络和第三分支网络中的至少一个分支网络；所述第一分支网络至少包括依次连接的第一gcn结构和第二br结构；所述第二分支网络至少包括依次连接的第二gcn结构、第三gcn结构和第三br结构；所述第三分支网络至少包括依次连接的第一卷积层、第四gcn结构和第四br结构。
[0128]
所述第二特征提取模块403，包括以下至少之一：
[0129]
第一子模块，用于基于所述第一gcn结构对所述第一特征提取模块402获得的所述第一特征数据进行特征提取处理，获得第一特征提取结果，通过所述第二br结构对所述第一特征提取结果进行边缘优化处理，获得所述第一分支网络对应的第二特征数据；
[0130]
第二子模块，用于基于所述第二gcn结构对所述第一特征提取模块402获得的所述第一特征数据进行特征提取处理，获得第二特征提取结果，通过所述第三gcn结构对所述第二特征提取结果进行特征提取处理，获得第三特征提取结果，通过所述第三br结构对所述第三特征提取结果进行边缘优化处理，获得所述第二分支网络对应的第二特征数据；
[0131]
第三子模块，用于基于所述第一卷积层对所述第一特征提取模块402获得的所述第一特征数据进行特征提取处理，获得第四特征提取结果，通过所述第四gcn结构对所述第四特征提取结果进行特征提取处理，获得第五特征提取结果，通过所述第四br结构对所述第五特征提取结果进行边缘优化处理，获得所述第三分支网络对应的第二特征数据；所述第一卷积层的输出数据的维度小于所述第一特征数据的维度。
[0132]
在本发明的一种可选实施例中，所述gcn结构包括卷积核为3
×
3的第二卷积层、并联的第三卷积层和第四卷积层以及用于合并所述第三卷积层和所述第四卷积层的和函数层；其中，所述第三卷积层的卷积核为k
×
1 1
×
k，所述第四卷积层的卷积核为1
×
k k
×
1，k为不大于所述gcn结构的输入数据尺寸的正整数；
[0133]
所述第一子模块、所述第二子模块和所述第三子模块，还用于基于所述第二卷积层对所述gcn结构的输入数据进行特征提取处理，获得第一子数据；分别基于所述第三卷积层和所述第四卷积层对所述第一子数据进行特征提取处理，分别获得第二子数据和第三子数据；基于所述和函数层合并所述第二子数据和所述第三子数据，得到所述gcn结构的特征处理结果。
[0134]
在本发明的一种可选实施例中，所述多个分支网络还包括第四分支网络和第五分支网络中的至少一个分支网络；所述第四分支网络至少包括依次连接的第五卷积层和第五br结构；所述第五分支网络至少包括第六卷积层。
[0135]
所述第二特征提取模块403，还包括以下至少之一：
[0136]
第四子模块，用于基于所述第五卷积层对所述第一特征提取模块402获得的所述第一特征数据进行特征提取处理，获得第六特征提取结果，通过所述第五br结构对所述第六特征提取结果进行边缘优化处理，获得所述第四分支网络对应的第二特征数据；
[0137]
第五子模块，用于基于所述第六卷积层对所述第一特征提取模块402获得的所述第一特征数据进行特征提取处理，获得所述第五分支网络对应的第二特征数据。
[0138]
本发明实施例中，所述装置中的图像获取模块401、第一特征提取模块402、第二特征提取模块403(包括第一子模块、第二子模块、第三子模块、第四子模块和第五子模块)和分割结果确定模块404，在实际应用中均可由所述装置中的中央处理器(cpu，central processing unit)、数字信号处理器(dsp，digital signal processor)、微控制单元(mcu，microcontroller unit)或可编程门阵列(fpga，field－programmable gate array)实现。
[0139]
需要说明的是：上述实施例提供的眼底图像的处理装置在进行眼底图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的眼底图像的处理装置与眼底图像的处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0140]
本发明实施例还提供一种分割模型训练装置。图11为本发明实施例的分割模型训练装置的组成结构示意图，如图11所示，装置500包括：
[0141]
处理模块501，用于获取包含有眼底血管的样本图像以及与所述样本图像对应的标签图像，所述标签图像为已标注出眼底血管所在位置的图像；
[0142]
网络训练模块502，用于基于分割模型的第一子网络对所述处理模块501获得的所述样本图像进行特征提取，获得第一预测特征数据；基于所述分割模型的多个分支网络分别对所述第一预测特征数据进行特征提取处理，获得多个第二预测特征数据；其中，至少部分分支网络包括gcn结构；将所述多个第二预测特征数据进行组合获得第三预测特征数据，根据所述第三预测特征数据获得眼底血管的预测分割图像；根据所述预测分割图像与所述处理模块501获得的所述标签图像确定损失，基于所述损失调整所述分割模型的参数。
[0143]
在本发明的一种可选实施例中，所述网络训练模块502，还用于将所述多个第二预测特征数据进行组合，基于所述分割模型的第一br结构对组合后的所述多个第二预测特征数据进行边缘优化处理，获得第三预测特征数据。
[0144]
本发明实施例中，所述装置中的处理模块501和网络训练模块502，在实际应用中均可由所述装置中的cpu、dsp、mcu或fpga实现。
[0145]
需要说明的是：上述实施例提供的分割模型训练装置在进行分割模型训练时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的分割模型训练装置与分割模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0146]
本发明实施例还提供了一种电子设备，图12为本发明实施例的电子设备的硬件组成结构示意图，如图12所示，电子设备包括存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序，所述处理器602执行所述程序时实现本发明实施例所述的眼底图像的处理方法的步骤；或者，所述处理器602执行所述程序时实现本发明实施例所述的分割模型训练方法的步骤。
[0147]
可以理解，电子设备中的各个组件通过总线系统603耦合在一起。可理解，总线系统603用于实现这些组件之间的连接通信。总线系统603除包括数据总线之外，还包括电源
总线、控制总线和状态信号总线。但是为了清楚说明起见，在图12中将各种总线都标为总线系统603。
[0148]
可以理解，存储器601可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，synclink dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本发明实施例描述的存储器601旨在包括但不限于这些和任意其它适合类型的存储器。
[0149]
上述本发明实施例揭示的方法可以应用于处理器602中，或者由处理器602实现。处理器602可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器602可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器602可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器601，处理器602读取存储器601中的信息，结合其硬件完成前述方法的步骤。
[0150]
在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、fpga、通用处理器、控制器、mcu、微处理器(microprocessor)、或其他电子元件实现，用于执行前述方法。
[0151]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述的眼底图像的处理方法的步骤；或者，该程序被处理器执行时实现本发明实施例所述的分割模型训练方法的步骤。
[0152]
本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
[0153]
本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
[0154]
本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
[0155]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0156]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0157]
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0158]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0159]
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0160]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。