眼底豹纹图像分割方法、计算机及存储介质与流程

1.本发明实施例涉及但不限于人工智能技术领域，尤其涉及一种眼底豹纹图像分割方法、计算机及存储介质。


背景技术：

2.眼底彩照常用于诊断眼底视网膜的健康状况。豹纹状眼底是高度近视的特征表现，随着近视度数升高、眼轴伸长、视网膜变薄，眼底可透见视网膜下的血管，在眼底彩照图像上呈现为红褐相间的豹纹样。随着豹纹程度加重，眼底可能出现黄斑病变等视网膜疾病，造成严重的视力损害，因此，精准分割眼底豹纹对近视进程监测和病理性近视防控具有重要意义。
3.现有的计算机辅助豹纹分割方法中，大多数研究利用有监督图像分类网络，直接将眼底豹纹按严重程度分为几个等级。这类分割方法存在一定局限性，一方面是训练数据的分级标准较为主观，数据标签容易存在噪声；另一方面，将分类网络用于推理预测时，只能将豹纹眼底粗略分级，无法量化豹纹面积。而且眼底豹纹分布位置不固定、形态不规则、成像色彩风格不一致等原因，传统分割算法难以完整分割豹纹的结构，分割精度较差。


技术实现要素：

4.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
5.本发明实施例的主要目的在于提出一种眼底豹纹图像分割方法、计算机及存储介质，能够明显提升分割结果的结构完整性和边缘准确度，提高分割精度。
6.第一方面，本发明实施例提供了一种眼底豹纹图像分割方法，包括：
7.获取预处理后的眼底图像数据，所述眼底图像数据为眼底豹纹区域和非眼底豹纹区域的融合图像；
8.将所述眼底图像数据输入豹纹特征模块进行第一阶段训练，得到目标豹纹特征模块；
9.将所述眼底图像数据输入融合网络模块中进行第二阶段训练，得到目标骨架特征模块和目标边缘特征模块，所述融合网络模块包括目标豹纹特征模块、骨架特征模块和边缘特征模块；
10.将所述目标豹纹特征模块、所述目标骨架特征模块和所述目标边缘特征模块生成目标神经网络模块；
11.将所述眼底图像数据输入至所述目标神经网络模块中进行豹纹分割处理，得到所述目标神经网络模块输出的目标豹纹图像。
12.在一实施例中，所述将所述眼底图像数据输入豹纹特征模块进行第一阶段训练，得到目标豹纹特征模块，包括：
13.将所述眼底图像数据输入豹纹特征模块进行分割处理，得到豹纹区域损失图像数
据；
14.根据所述豹纹区域损失图像数据与由所述眼底图像数据所生成的豹纹标注进行比较处理得到第一损失函数值；
15.根据所述第一损失函数值对所述豹纹特征模块进行迭代训练，得到目标豹纹特征模块。
16.在一实施例中，所述根据所述第一损失函数值对所述豹纹特征模块进行迭代训练，得到目标豹纹特征模块，包括：
17.将所述第一损失函数值与第一预设阈值进行比较，如果所述第一损失函数值小于所述第一预设阈值，则对所述豹纹特征模块的参数进行迭代调整，直至所述第一损失函大于或者等于所述第一预设阈值，确定当前参数对应的所述豹纹特征模块为目标豹纹特征模块。
18.在一实施例中，所述将所述眼底图像数据输入融合网络模块中进行第二阶段训练，得到目标骨架特征模块和目标边缘特征模块，包括：
19.将所述眼底图像数据分别输入骨架特征模块和边缘特征模块进行分割处理，得到骨架结构损失图像数据以及边缘结构损失图像数据；
20.将所述骨架结构损失图像数据以及所述边缘结构损失图像数据分别与由所述眼底图像数据所生成的骨架标注以及边缘标注进行比较处理，得到第二损失函数值和第三损失函数值；
21.将所述第一损失函数值、所述第二损失函数和所述第三损失函数进行加权处理，得到第四损失函数值；
22.根据第四损失函数值对所述述骨架特征模块和所述边缘特征模块进行迭代训练，得到目标骨架特征模块和目标边缘特征模块。。
23.在一实施例中，所述根据第四损失函数值对所述述骨架特征模块和所述边缘特征模块进行迭代训练，得到目标骨架特征模块和目标边缘特征模块，包括：
24.将所述第四损失函数值与第二预设阈值进行比较，如果所述第四损失函数值小于所述第二预设阈值，则对所述骨架特征模块的参数和所述边缘特征模块的参数进行调整进行迭代调整，直至所述第四损失函大于或者等于所述第二预设阈值，确定当前参数对应的所述骨架特征模块为目标骨架特征模块，当前参数对应的所述边缘特征模块为目标边缘特征模块。
25.在一实施例中，所述将所述眼底图像数据输入豹纹特征模块进行分割处理，得到豹纹区域损失图像数据，包括：
26.将所述眼底图像数据输入至基于像素级分类网络的豹纹特征模块中进行下采样分割处理，得到下采样特征；
27.根据所述下采样特征进行上采样融合处理，得到豹纹区域损失图像数据。
28.在一实施例中，所述获取预处理后的眼底图像数据之前，还包括：
29.对原始眼底图像数据中的预设颜色的眼底图像数据进行增强处理，得到预处理后的眼底图像数据。
30.在一实施例中，所述对原始眼底图像中的预设颜色的眼底图像数据进行增强处理，得到预处理后的眼底图像数据包括：
31.对第一rgb通道中的预设颜色通道进行增强调整，得到第二rgb通道；
32.将所述眼底图像数据通过所述第二rgb通道进行分离处理，得到增强后的预设颜色的眼底图像数据和非预设颜色的眼底图像数据；
33.将所述增强后的预设颜色的眼底图像数据和所述非预设颜色的眼底图像数据进行融合处理，得到预处理后的眼底图像数据。
34.第二方面，本发明实施例提供了一种眼底豹纹图像分割装置，包括：
35.获取模块，用于获取预处理后的眼底图像数据，所述眼底图像数据为眼底豹纹区域和非眼底豹纹区域的融合图像；
36.第一训练模块，用于将所述眼底图像数据输入豹纹特征模块进行第一阶段训练，得到目标豹纹特征模块；
37.第二训练模块，用于将所述眼底图像数据输入融合网络模块中进行第二阶段训练，得到目标骨架特征模块和目标边缘特征模块，所述融合网络模块包括目标豹纹特征模块、骨架特征模块和边缘特征模块；
38.生成模块，用于将所述目标豹纹特征模块、所述目标骨架特征模块和所述目标边缘特征模块生成目标神经网络模块；
39.分割模块，用于将所述眼底图像数据输入至所述目标神经网络模块中进行豹纹分割处理，得到所述目标神经网络模块输出的目标豹纹图像。
40.在一实施例中，所述第一训练模块还用于将所述眼底图像数据输入豹纹特征模块进行分割处理，得到豹纹区域损失图像数据；根据所述豹纹区域损失图像数据与由所述眼底图像数据所生成的豹纹标注进行比较处理得到第一损失函数值；根据所述第一损失函数值对所述豹纹特征模块进行迭代训练，得到目标豹纹特征模块。
41.在一实施例中，所述第一训练模块还用于将所述第一损失函数值与第一预设阈值进行比较，如果所述第一损失函数值小于所述第一预设阈值，则对所述豹纹特征模块的参数进行迭代调整，直至所述第一损失函大于或者等于所述第一预设阈值，确定当前参数对应的所述豹纹特征模块为目标豹纹特征模块。
42.在一实施例中，所述第二训练模块还用于将所述眼底图像数据分别输入骨架特征模块和边缘特征模块进行分割处理，得到骨架结构损失图像数据以及边缘结构损失图像数据；将所述骨架结构损失图像数据与由所述眼底图像数据所生成的骨架标注进行比较处理，得到第二损失函数值，并将所述边缘结构损失图像数据与由所述眼底图像数据所生成的边缘标注进行比较处理，得到第三损失函数值；将所述第一损失函数值、所述第二损失函数和所述第三损失函数进行加权处理，得到第四损失函数值；根据第四损失函数值对所述述骨架特征模块和所述边缘特征模块进行迭代训练，得到目标骨架特征模块和目标边缘特征模块。
43.在一实施例中，所述第二训练模块还用于将所述第四损失函数值与第二预设阈值进行比较，如果所述第四损失函数值小于所述第二预设阈值，则对所述骨架特征模块的参数和所述边缘特征模块的参数进行调整进行迭代调整，直至所述第四损失函大于或者等于所述第二预设阈值，确定当前参数对应的所述骨架特征模。块为目标骨架特征模块，当前参数对应的所述边缘特征模块为目标边缘特征模块
44.在一实施例中，所述第一训练模块还用于将所述眼底图像数据输入至基于像素级
分类网络的豹纹特征模块中进行下采样分割处理，得到下采样特征；根据所述下采样特征进行上采样融合处理，得到豹纹区域损失图像数据。
45.在一实施例中，还包括预处理模块，所述预处理模块用于对原始眼底图像数据中的预设颜色的眼底图像数据进行增强处理，得到预处理后的眼底图像数据。
46.在一实施例中，所述预处理模块还用于对第一rgb通道中的预设颜色通道进行增强调整，得到第二rgb通道；将所述眼底图像数据通过所述第二rgb通道进行分离处理，得到增强后的预设颜色的眼底图像数据和非预设颜色的眼底图像数据；将所述增强后的预设颜色的眼底图像数据和所述非预设颜色的眼底图像数据进行融合处理，得到预处理后的眼底图像数据。
47.第三方面，本发明实施例提供了一种计算机，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的眼底豹纹图像分割方法。
48.第四方面，一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行第一方面所述的眼底豹纹图像分割方法。
49.本发明实施例包括：眼底豹纹图像分割方法包括以下步骤：获取预处理后的眼底图像数据，眼底图像数据为眼底豹纹区域和非眼底豹纹区域的融合图像；将眼底图像数据输入豹纹特征模块进行第一阶段训练，得到目标豹纹特征模块；将眼底图像数据输入融合网络模块中进行第二阶段训练，得到目标骨架特征模块和目标边缘特征模块，融合网络模块包括目标豹纹特征模块、骨架特征模块和边缘特征模块；将目标豹纹特征模块、目标骨架特征模块和目标边缘特征模块生成目标神经网络模块；将所述眼底图像数据输入至所述目标神经网络模块中进行豹纹分割处理，得到所述目标神经网络模块输出的目标豹纹图像。在本实施例的技术方案中，融合目标豹纹特征模块、目标骨架特征模块和目标边缘特征模块三个层次的信息，将多层次结构输入至目标神经网络模块中训练，能够明显提升分割结果的结构完整性和边缘准确度，提高分割精度，而且对图像进行分割时参考多维度的结构特征，不再过分依赖局部像素值，因此受眼底图像的成像质量、图像色彩风格差异的影响较小，有效提高算法模型的鲁棒性。
50.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
51.图1是本发明一个实施例提供的用于执行眼底豹纹图像分割方法的系统架构平台的示意图；
52.图2是本发明一个实施例提供的眼底豹纹图像分割方法的流程图；
53.图3是本发明一个实施例提供的眼底豹纹图像分割方法中第一阶段训练的流程图；
54.图4是本发明一个实施例提供的眼底豹纹图像分割方法中第二阶段训练的流程图；
55.图5是本发明一个实施例提供的眼底豹纹图像分割装置的示意图。
具体实施方式
56.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
57.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
58.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
59.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
60.眼底彩照常用于诊断眼底视网膜的健康状况。豹纹状眼底是高度近视的特征表现，随着近视度数升高、眼轴伸长、视网膜变薄，眼底可透见视网膜下的血管，在眼底彩照图像上呈现为红褐相间的豹纹样。随着豹纹程度加重，眼底可能出现黄斑病变等视网膜疾病，造成严重的视力损害，因此，精准分割眼底豹纹对近视进程监测和病理性近视防控具有重要意义。
61.现有的计算机辅助豹纹分割方法中，大多数研究利用有监督图像分类网络，直接将眼底豹纹按严重程度分为几个等级。这类分割方法存在一定局限性，一方面是训练数据的分级标准较为主观，数据标签容易存在噪声；另一方面，将分类网络用于推理预测时，只能将豹纹眼底粗略分级，无法量化豹纹面积。而且眼底豹纹分布位置不固定、形态不规则、成像色彩风格不一致等原因，传统分割算法难以完整分割豹纹的结构，分割精度较差。
62.为解决以上存在的问题，本发明实施例提供了一种眼底豹纹图像分割方法，该眼底豹纹图像分割方法包括以下步骤：获取预处理后的眼底图像数据，眼底图像数据为眼底豹纹区域和非眼底豹纹区域的融合图像；将眼底图像数据输入豹纹特征模块进行第一阶段训练，得到目标豹纹特征模块；将眼底图像数据输入融合网络模块中进行第二阶段训练，得到目标骨架特征模块和目标边缘特征模块，融合网络模块包括目标豹纹特征模块、骨架特征模块和边缘特征模块；将目标豹纹特征模块、目标骨架特征模块和目标边缘特征模块生成目标神经网络模块；将所述眼底图像数据输入至所述目标神经网络模块中进行豹纹分割处理，得到所述目标神经网络模块输出的目标豹纹图像。在本实施例的技术方案中，融合目标豹纹特征模块、目标骨架特征模块和目标边缘特征模块三个层次的信息，将多层次结构输入至目标神经网络模块中训练，能够明显提升分割结果的结构完整性和边缘准确度，提高分割精度，而且对图像进行分割时参考多维度的结构特征，不再过分依赖局部像素值，因此受眼底图像的成像质量、图像色彩风格差异的影响较小，有效提高算法模型的鲁棒性。
63.下面结合附图，对本发明实施例作进一步阐述。
64.如图1所示，图1是本发明一个实施例提供的用于执行眼底豹纹图像分割方法的系统架构平台100的示意图。
65.在图1的示例中，该系统架构平台100设置有处理器110和存储器120，其中，处理器110和存储器120可以通过总线或者其他方式连接，图1中以通过总线连接为例。
66.存储器120作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器120可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至该系统架构平台。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
67.本领域技术人员可以理解的是，该系统架构平台可以应用于现有的通信网络系统以及后续演进的移动通信网络系统等，本实施例对此并不作具体限定。
68.本领域技术人员可以理解的是，图1中示出的系统架构平台并不构成对本发明实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
69.系统架构平台100可以是独立的系统架构平台，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云系统架构平台100。
70.基于上述系统架构平台，下面提出本发明的眼底豹纹图像分割方法的各个实施例。
71.如图2所示，图2是本发明一个实施例提供的眼底豹纹图像分割方法的流程图，该眼底豹纹图像分割方法应用于上述架构平台，并且该眼底豹纹图像分割方法包括但不限于有步骤s100、步骤s200、步骤s300、步骤s400和步骤s500。
72.步骤s100，获取预处理后的眼底图像数据，眼底图像数据为眼底豹纹区域和非眼底豹纹区域的融合图像；
73.步骤s200，将眼底图像数据输入豹纹特征模块进行第一阶段训练，得到目标豹纹特征模块；
74.步骤s300，将眼底图像数据输入融合网络模块中进行第二阶段训练，得到目标骨架特征模块和目标边缘特征模块，融合网络模块包括目标豹纹特征模块、骨架特征模块和边缘特征模块；
75.步骤s400，将目标豹纹特征模块、目标骨架特征模块和目标边缘特征模块生成目标神经网络模块；
76.步骤s500，将眼底图像数据输入至目标神经网络模块中进行豹纹分割处理，得到目标神经网络模块输出的目标豹纹图像。
77.在一实施例中，接收需要分割处理的眼底图像数据，眼底图像数据为眼底豹纹区域和非眼底豹纹区域的融合图像，本技术方案的目的就是将该融合图像中的眼底豹纹区域进行分割处理，那么首先可以对眼底图像数据进行预处理，并将预处理后的眼底图像数据，眼底图像数据为眼底豹纹区域和非眼底豹纹区域的融合图像，然后将眼底图像数据输入豹
纹特征模块进行第一阶段训练，得到目标豹纹特征模块，再将眼底图像数据输入融合网络模块中进行第二阶段训练得到目标骨架特征模块和目标边缘特征模块，融合网络模块包括目标豹纹特征模块、骨架特征模块和边缘特征模块，接着将目标豹纹特征模块、目标骨架特征模块和目标边缘特征模块生成目标神经网络模块，最后将眼底图像数据输入至目标神经网络模块中进行豹纹分割处理，得到目标神经网络模块输出的目标豹纹图像。在本实施例的技术方案中，融合目标豹纹特征模块、目标骨架特征模块和目标边缘特征模块三个层次的信息，将多层次结构输入至目标神经网络模块中训练，能够明显提升分割结果的结构完整性和边缘准确度，提高分割精度，而且对图像进行分割时参考多维度的结构特征，不再过分依赖局部像素值，因此受眼底图像的成像质量、图像色彩风格差异的影响较小，有效提高算法模型的鲁棒性。
78.需要说明的是，对原始眼底图像数据进行预处理的步骤主要是对原始眼底图像数据中的预设颜色的眼底图像数据进行增强处理，得到预处理后的眼底图像数据。可以是，对第一rgb通道中的预设颜色通道进行增强调整，得到第二rgb通道；将眼底图像数据通过第二rgb通道进行分离处理，得到增强后的预设颜色的眼底图像数据和非预设颜色的眼底图像数据；将增强后的预设颜色的眼底图像数据和非预设颜色的眼底图像数据进行融合处理，得到预处理后的眼底图像数据。上述步骤可以理解的是对原始眼底图像中的预设颜色的眼底图像数据进行增强处理得到预处理后的眼底图像数据，在图像预处理上，为了更好地区分眼底豹纹和非豹纹区域，本实施例将图像进行rgb通道分离，对豹纹集中的预设颜色对应的通道进行增强，再经过通道融合得到模型输入图像。例如，在一实施例中预设颜色为红色，那么首先对第一rgb通道中的红色通道进行增强调整，得到第二rgb通道；然后将眼底图像数据通过第二rgb通道进行分离处理得到增强后的红色的眼底图像数据、蓝色眼底图像数据和绿色眼底图像数据，最后将增强后的红色的眼底图像数据、蓝色眼底图像数据和绿色眼底图像数据进行融合处理，得到预处理后的眼底图像数据。
79.需要说明的是，预设颜色可以是红色，可以是蓝色，可以是绿色，本实施例对其不作具体限定，可以根据实际处理的图像要求进行设置。
80.参照图4，在一实施例中，步骤s300包括但不限于步骤s310、步骤s320和步骤s330。
81.步骤s310，将眼底图像数据输入豹纹特征模块进行分割处理，得到豹纹区域损失图像数据；
82.步骤s320，根据豹纹区域损失图像数据与由眼底图像数据所生成的豹纹标注进行比较处理得到第一损失函数值；
83.步骤s330，根据第一损失函数值对豹纹特征模块进行迭代训练，得到目标豹纹特征模块。
84.具体地，为了能够更好地将豹纹区域进行分割，将眼底图像数据输入至基于像素级分类网络的豹纹特征模块中进行下采样分割处理，得到下采样特征，然后根据下采样特征进行上采样融合处理，得到豹纹区域损失图像数据，例如：可以对常规的神经网络模型修改为resnet34的像素级分类网络，然后通过resnet34的像素级分类网络对眼底图像数据进行分割处理，得到下采样特征，接着将下采样特征进行融合处理，得到比较粗糙的豹纹区域数据，将比较粗糙的豹纹区域数据与由眼底图像数据所生成的豹纹标注进行比较从而得到第一损失函数，通过第一损失函数对眼底图像数据进行分割处理，得到豹纹区域损失数据，
通过上述步骤进行数轮迭代更新第一损失函数，从而能够初步分割出眼底豹纹的大致结构，为后续训练做基础数据准备。在本实施例的技术方案中，融合目标豹纹特征模块、目标骨架特征模块和目标边缘特征模块三个层次的信息，将多层次结构输入至目标神经网络模块中训练，能够明显提升分割结果的结构完整性和边缘准确度，提高分割精度，而且对图像进行分割时参考多维度的结构特征，不再过分依赖局部像素值，因此受眼底图像的成像质量、图像色彩风格差异的影响较小，有效提高算法模型的鲁棒性。
85.在一实施例中，眼底豹纹图像分割方法主要是对unet网络进行改进，并进行两阶段训练。上述步骤为第一阶段的步骤流程，首先将unet中的backbone修改为resnet34，然后在改进后的unet的框架做下采样特征分割，然后进行上采样特征融合，得到用于训练的豹纹分割参数，接着单独使用豹纹区域损失(loss1)作为第一损失函数，loss1为交并比损失(dice loss)；然后利用第一损失函数对豹纹区域数据进行数轮迭代训练，能够初步分割出眼底豹纹的大致结构，即豹纹区域损失数据，为第二阶段的训练做基础数据准备。
86.unet网络为u型对称结构，左侧是卷积层，右侧是上采样层。unet结构包含4个convolutional layer和对应的4个up sampling layer。在实现的时候，既可以从头实现网络并进行权重的初始化，然后进行模型的训练；也可以借用现有一些网络的卷积层结构和对应的已训练好的权重文件，再加上后面的up sampling layer，进行训练计算，比如resnet vgg等，在深度学习的模型训练中，能够使用已有的权重模型文件，可以大大加快训练的速度。unet网络适用于医疗图像的分割，由于医疗图像的数量相对于自然图像要少，获得有临床意义的标签的难度也更大，所以用于医疗图像的网络模型机构不宜太复杂/参数不宜过多，这样容易造成过拟合，影响模型的适用性。unet的模型参数可以通过调成模型层数、每层的channel数来缩小，与其他模型比做到轻量级。而且由于医疗图像在临床使用中，既需要整幅图的信息帮助医生判断诸如位置啊、病变和正常位置的对比之类的全局信息，也需要某些特点区域或者位置的局部信息，所以对于医学图像来说，每个尺度的信息都很重要，都对于诊断结果是有帮助的，所以应当尽量考虑到多尺度下的有效信息，unet就正好可以结合high level和low level的特征，能够增大信息量。
87.需要说明的是，交并比为目标检测中使用的一个概念，是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即两者的交集与并集的比值。其中最理想情况是完全重叠，即比值为1的情况。
88.参照图4，在一实施例中，步骤s300包括但不限于步骤s410、步骤s420、步骤s430和步骤s440。
89.步骤s410，将眼底图像数据分别输入骨架特征模块和边缘特征模块进行分割处理，得到骨架结构损失图像数据以及边缘结构损失图像数据；
90.步骤s420，将骨架结构损失图像数据与由眼底图像数据所生成的骨架标注进行比较处理，得到第二损失函数值，并将边缘结构损失图像数据与由眼底图像数据所生成的边缘标注进行比较处理，得到第三损失函数值；
91.步骤s430，将第一损失函数值、第二损失函数和第三损失函数进行加权处理，得到第四损失函数值；
92.步骤s440，根据第四损失函数值对述骨架特征模块和边缘特征模块进行迭代训练，得到目标骨架特征模块和目标边缘特征模块。
93.具体地，上述步骤流程为眼底豹纹图像分割方法的第二阶段的流程保持第一阶段的网络结构，并加载第一阶段训练得到的模型参数(目标豹纹特征模块)，将眼底图像数据分别输入骨架特征模块和边缘特征模块进行分割处理，得到骨架结构损失图像数据以及边缘结构损失图像数据，然后将骨架结构损失图像数据与由眼底图像数据所生成的骨架标注进行比较处理，得到第二损失函数值，并将边缘结构损失图像数据与由眼底图像数据所生成的边缘标注进行比较处理得到第三损失函数值，再将第一损失函数值、第二损失函数和第三损失函数进行加权处理得到第四损失函数值，最后根据第四损失函数值对述骨架特征模块和边缘特征模块进行迭代训练，得到目标骨架特征模块和目标边缘特征模块。
94.针对步骤s440可以是将第四损失函数值与第二预设阈值进行比较，如果第四损失函数值小于第二预设阈值，则对骨架特征模块的参数和边缘特征模块的参数进行调整进行迭代调整，直至第四损失函大于或者等于第二预设阈值，确定当前参数对应的骨架特征模块为目标骨架特征模块，当前参数对应的边缘特征模块为目标边缘特征模块。
95.需要说明的是，第四损失函数值可以与第二预设阈值进行比较，也可以与预设的多个指标条件进行比较，本实施例对其不作具体限定。
96.在一实施例中，在第二阶段的流程，保持第一阶段的网络结构，并加载第一阶段训练得到的模型参数(目标豹纹特征模块)，然后结合豹纹区域的第一损失函数(loss1)、骨架结构的第二损失函数(loss2)和边缘结构的第三损失函数(loss3)作为第二阶段的损失函数，融合方式为加权融合；其中loss2分别对输入的由眼底图像数据所生成的骨架标注和输出的特征图进行骨架分割，对两者计算交并比损失，loss3分别分割输入由眼底图像数据所生成的边缘标注和输出特征图的边缘，计算交并比损失；通过以上步骤得到骨架结构损失数据和边缘结构损失数据，然后将骨架结构损失数据和边缘结构损失数据输入至像素级分类网络中进行训练并更新模型参数并通过模型参数修正骨架结构损失数据和边缘结构损失数据，得到目标豹纹骨架结构图像和目标豹纹边缘结构图像。即通过上述步骤进行数轮迭代更新模型参数，从而修正豹纹分割结果的骨架结构和边缘结构。设置有融合目标豹纹特征模块、目标骨架特征模块和目标边缘特征模块三个层次的信息三个层次的信息，将多层次结构输入至监督神经网络训练，能够明显提升分割结果的结构完整性和边缘准确度，提高分割精度，而且对图像进行分割时参考多维度的结构特征，不再过分依赖局部像素值，因此受眼底图像的成像质量、图像色彩风格差异的影响较小，有效提高算法模型的鲁棒性。
97.基于上述眼底豹纹图像分割方法，下面分别提出本发明的眼底豹纹图像分割装置、控制器和计算机可读存储介质的各个实施例。
98.参照图5，本发明的一个实施例还提供了眼底豹纹图像分割装置，包括：
99.获取模块510，用于获取预处理后的眼底图像数据，眼底图像数据为眼底豹纹区域和非眼底豹纹区域的融合图像；
100.第一训练模块520，用于将眼底图像数据输入豹纹特征模块进行第一阶段训练，得到目标豹纹特征模块；
101.第二训练模块530，用于将眼底图像数据输入融合网络模块中进行第二阶段训练，得到目标骨架特征模块和目标边缘特征模块，融合网络模块包括目标豹纹特征模块、骨架特征模块和边缘特征模块；
102.生成模块540，用于将目标豹纹特征模块、目标骨架特征模块和目标边缘特征模块
生成目标神经网络模块；
103.分割模块550，用于将眼底图像数据输入至目标神经网络模块中进行豹纹分割处理，得到目标神经网络模块输出的目标豹纹图像。
104.在一实施例中，第一训练模块520还用于将眼底图像数据输入豹纹特征模块进行分割处理，得到豹纹区域损失图像数据；根据豹纹区域损失图像数据与由眼底图像数据所生成的豹纹标注进行比较处理得到第一损失函数值；根据第一损失函数值对豹纹特征模块进行迭代训练，得到目标豹纹特征模块。
105.在一实施例中，第一训练模块520还用于将第一损失函数值与第一预设阈值进行比较，如果第一损失函数值小于第一预设阈值，则对豹纹特征模块的参数进行迭代调整，直至第一损失函大于或者等于第一预设阈值，确定当前参数对应的豹纹特征模块为目标豹纹特征模块。
106.在一实施例中，第二训练模块530还用于将眼底图像数据分别输入骨架特征模块和边缘特征模块进行分割处理，得到骨架结构损失图像数据以及边缘结构损失图像数据；将骨架结构损失图像数据与由眼底图像数据所生成的骨架标注进行比较处理，得到第二损失函数值，并将边缘结构损失图像数据与由眼底图像数据所生成的边缘标注进行比较处理，得到第三损失函数值；将第一损失函数值、第二损失函数和第三损失函数进行加权处理，得到第四损失函数值；根据第四损失函数值对述骨架特征模块和边缘特征模块进行迭代训练，得到目标骨架特征模块和目标边缘特征模块。
107.在一实施例中，第二训练模块530还用于将第四损失函数值与第二预设阈值进行比较，如果第四损失函数值小于第二预设阈值，则对骨架特征模块的参数和边缘特征模块的参数进行调整进行迭代调整，直至第四损失函大于或者等于第二预设阈值，确定当前参数对应的骨架特征模块为目标骨架特征模块，当前参数对应的边缘特征模块为目标边缘特征模块
108.在一实施例中，第一训练模块520还用于将眼底图像数据输入至基于像素级分类网络的豹纹特征模块中进行下采样分割处理，得到下采样特征；根据下采样特征进行上采样融合处理，得到豹纹区域损失图像数据。
109.在一实施例中，还包括预处理模块，预处理模块用于对原始眼底图像数据中的预设颜色的眼底图像数据进行增强处理，得到预处理后的眼底图像数据。
110.在一实施例中，预处理模块还用于对第一rgb通道中的预设颜色通道进行增强调整，得到第二rgb通道；将眼底图像数据通过第二rgb通道进行分离处理，得到增强后的预设颜色的眼底图像数据和非预设颜色的眼底图像数据；将增强后的预设颜色的眼底图像数据和非预设颜色的眼底图像数据进行融合处理，得到预处理后的眼底图像数据。
111.需要说明的是，上述基于姿态指导的行人重分割装置的各个实施例与眼底豹纹图像分割方法的实施例中所使用的技术手段、解决的技术问题以及达到的技术效果一致，此处不作具体赘述，详见眼底豹纹图像分割方法的实施例。
112.另外，本发明的一个实施例提供了一种计算机，该设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
113.处理器和存储器可以通过总线或者其他方式连接。
114.需要说明的是，本实施例中的计算机，可以对应为包括有如图1所示实施例中的存
储器和处理器，能够构成图1所示实施例中的系统架构平台的一部分，两者属于相同的发明构思，因此两者具有相同的实现原理以及有益效果，此处不再详述。
115.实现上述实施例的设备侧的眼底豹纹图像分割方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例的眼底豹纹图像分割方法，例如，执行以上描述的图2中的方法步骤s100至s500、图3中的方法步骤s310至s330和图4中的方法步骤s410至s440。
116.计算机包括：射频(radio frequency，简称rf)电路、存储器、输入单元、显示单元、传感器、音频电路、无线保真(wireless fidelity，简称wifi)模块、处理器、以及电源等部件。本领域技术人员可以理解，本实施例不对计算机的结构进行唯一限定，可以包括比本实施例更多或更少的部件，或者组合某些部件，或者不同的部件布置。
117.rf电路可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器处理；另外，将设计上行的数据发送给基站。通常，rf电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoiseamplifier，简称lna)、双工器等。此外，rf电路还可以通过无线通信与网络和其他装置通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(global system of mobile communication，简称gsm)、通用分组无线服务(general packet radio service，简称gprs)、码分多址(code division multiple access，简称cdma)、宽带码分多址(wideband code division multiple access，简称wcdma)、长期演进(long term evolution，简称lte)、电子邮件、短消息服务(short messaging service，简称sms)等。
118.存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
119.输入单元可用于接收输入的数字或字符信息，以及产生与计算机的设置以及功能控制有关的键信号输入。具体地，输入单元可包括触控面板以及其他输入装置。触控面板，也称为触摸屏，可收集在其上或附近的触摸操作(比如使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器，并能接收处理器发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类别实现触控面板。除了触控面板，输入单元还可以包括其他输入装置。具体地，其他输入装置可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
120.显示单元可用于显示输入的信息或提供的信息以及计算机的各种菜单。显示单元可包括显示面板，可选的，可以采用液晶显示器(liquid crystal display，简称lcd)、有机发光二极管(organic light-emitting diode，简称oled)等形式来配置显示面板。进一步
的，触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类别，随后处理器根据触摸事件的类别在显示面板上提供相应的视觉输出。虽然触控面板与显示面板是作为两个独立的部件来实现计算机的输入和输入功能，但是在某些实施例中，可以将触控面板与显示面板集成而实现计算机的输入和输出功能。
121.计算机还可包括至少一种传感器，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在计算机移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于分割计算机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动分割相关功能(比如计步器、敲击)等；至于计算机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
122.音频电路、扬声器、传声器可提供音频接口。音频电路可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路接收后转换为音频数据，再将音频数据输出处理器处理后，经rf电路以发送给比如另一计算机，或者将音频数据输出至存储器以便进一步处理。
123.wifi属于短距离无线传输技术，计算机通过wifi模块可以收发电子邮件、浏览网页和访问流式媒体等，它提供了无线的宽带互联网访问。wifi模块并不属于计算机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
124.处理器是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、操作界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
125.计算机还包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理系统与处理器逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
126.尽管未示出，计算机还可以包括摄像头、蓝牙模块等，在此不再赘述。
127.在本实施例中，该终端装置所包括的处理器能够执行前面实施例的行人重分割方法。
128.此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，当计算机可执行指令用于执行上述终端侧的眼底豹纹图像分割方法，例如，执行以上描述的图2中的方法步骤s100至s500、图3中的方法步骤s310至s330和图4中的方法步骤s410至s440。
129.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领
域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
130.以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。