图像处理方法、装置、存储介质及电子设备与流程

1.本技术涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。


背景技术：

2.视盘是眼底的基本结构，对视盘进行检测，不仅是识别当前分析的影像是否是眼底影像的重要标准，同时也是识别眼位和眼别、以及进行相关眼底疾病分析的基础，因此，是否能成功且准确地从眼底影像中分割出视盘图像尤为关键。


技术实现要素：

3.为了解决上述技术问题，提出了本技术。本技术实施例提供了一种图像处理方法、装置、存储介质及电子设备。
4.第一方面，本技术一实施例提供了一种图像处理方法，包括：基于后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的m个视盘候选区，m为正整数；基于m个视盘候选区，确定后处理眼底图像对应的预处理眼底图像的视盘选定区的位置信息；基于视盘选定区的位置信息，对预处理眼底图像进行分割，得到视盘分割图像。
5.结合第一方面，在第一方面的某些实现方式中，在基于后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的m个视盘候选区之前，还包括：基于空间域的预处理眼底图像，确定频率域的后处理眼底图像；对后处理眼底图像进行滤波处理，得到后处理眼底图像的梯度信息和灰度信息。
6.结合第一方面，在第一方面的某些实现方式中，在基于空间域的预处理眼底图像，确定频率域的后处理眼底图像之前，还包括：对空间域的初始眼底图像进行预处理，得到空间域的预处理眼底图像，其中，预处理包括感兴趣区域提取处理、去噪处理、归一化处理和增强处理中的至少一种处理。
7.结合第一方面，在第一方面的某些实现方式中，对初始眼底图像进行所述归一化处理，包括：对初始眼底图像的曝光度、颜色和亮度进行归一化处理。
8.结合第一方面，在第一方面的某些实现方式中，在基于视盘选定区的位置信息，对预处理眼底图像进行分割，得到视盘分割图像之后，还包括：基于视盘分割图像，确定视盘的长轴、短轴以及视盘面积。
9.结合第一方面，在第一方面的某些实现方式中，在基于m个视盘候选区，确定后处理眼底图像对应的预处理眼底图像的视盘选定区的位置信息之后，还包括：确定预处理眼底图像的黄斑选定区的位置信息，其中，黄斑选定区的位置信息包括黄斑中心凹位置信息。
10.结合第一方面，在第一方面的某些实现方式中，确定预处理眼底图像的黄斑选定区的位置信息，包括：基于后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的n个黄斑候选区，n为正整数；基于视盘选定区的位置信息和n个黄斑候选区各自对应的位置信息，确定预处理眼底图像中的黄斑选定区的位置信息。
11.第二方面，本技术一实施例提供了一种图像处理装置，包括：第一确定模块，用于基于后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的m个视盘候选区，m为正整数；第二确定模块，用于基于m个视盘候选区，确定后处理眼底图像对应的预处理眼底图像的视盘选定区的位置信息；分割模块，用于基于视盘选定区的位置信息，对预处理眼底图像进行分割，得到视盘分割图像。
12.第三方面，本技术一实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序用于执行第一方面所述的图像处理方法
13.第四方面，本技术一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行第一方面所述的图像处理方法
14.本技术实施例提供的图像处理方法，首先根据后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的m个视盘候选区，进一步地确定预处理眼底图像的视盘选定区的位置信息。基于预先确定的视盘选定区的位置信息，对预处理眼底图像进行分割，得到视盘分割图像。区别于使用分割模型直接对预处理眼底图像进行分割，本技术中的方案可以降低人工标注样本训练分割模型所带来的人为因素的影响，也避免了分割模型在训练时缺少相关种类的图像样本导致的、无法分割出预处理眼底图像中的视盘分割图像的问题。即本技术中的方案在确保视盘分割图像的分割精度的同时，对计算机硬件配置和算力要求不高，具有更广的适用性，为后续的眼位和眼别的判定、以及智能眼底分析奠定了基础。
附图说明
15.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
16.图1所示为本技术实施例所适用的一场景示意图。
17.图2所示为本技术一示例性实施例提供的图像处理方法的流程示意图。
18.图3所示为本技术另一示例性实施例提供的图像处理方法的流程示意图。
19.图4所示为本技术另一示例性实施例提供的图像处理方法的流程示意图。
20.图5所示为本技术另一示例性实施例提供的图像处理方法的流程示意图。
21.图6所示为本技术另一示例性实施例提供的图像处理方法的流程示意图。
22.图7所示为本技术另一示例性实施例提供的确定预处理眼底图像的黄斑选定区的位置信息的流程示意图。
23.图8所示为本技术一示例性实施例提供的图像处理装置的结构示意图。
24.图9所示为本技术一示例性实施例提供的电子设备的结构示意图。
具体实施方式
25.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.视盘是眼底的基本结构，对视盘进行分割提取不仅是眼位识别的基础，也是辅助医生进行相关眼底疾病诊断的基础。
27.视盘在眼底影像中的特征比较明显，但是针对在不同环境下所拍摄的眼底图像，视盘的提取结果可能会存在差异。此外，在对眼底图像进行处理时，也可能获取多个视盘区域。
28.相关技术中，一般是使用分割模型直接对获取的眼底图像进行关于视盘的分割，该方法虽然也能获取所需的视盘分割图像，但此类分割模型的复杂度较高，且在训练分割模型时，对样本标注的要求较高，若当前待分割眼底图像中的情景没有出现在预先的样本标注中，则无法对当前待分割眼底图像中的视盘进行准确地提取。
29.图1所示为本技术实施例所适用的一场景示意图。该场景示意图包括图像采集设备110和计算机设备120，计算机设备120与图像采集设备110之间存在通信连接关系。
30.具体而言，图像采集设备110用于获取后处理眼底图像。计算机设备120用于接收图像采集设备110发送的后处理眼底图像，基于后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的m个视盘候选区，并基于m个视盘候选区，确定后处理眼底图像对应的预处理眼底图像的视盘选定区的位置信息，最后基于视盘选定区的位置信息，对预处理眼底图像进行分割，得到视盘分割图像。
31.计算机设备120可以是通用型计算机或者由专用的集成电路组成的计算机装置，本技术对比不做限定。例如，计算机设备120可以是平板电脑等移动终端设备，也可以是个人计算机，且计算机设备120的数量可以为一个或多个，其类型可以相同或不同，本技术实施例对计算机设备120的数量和类型不做限定。
32.图2所示为本技术一示例性实施例提供的图像处理方法的流程示意图。如图2所示，本技术实施例提供的图像处理方法包括如下步骤。
33.步骤s240，基于后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的m个视盘候选区。
34.具体地，灰度信息指邻域灰度信息，后处理眼底图像为频率域图像。
35.视盘在眼底图像中的特征比较明显，故根据后处理眼底图像的梯度信息和灰度信息，选择梯度数据和灰度数据对应的极值(包括极大值和极小值)区域作为后处理眼底图像中的视盘候选区，其中，视盘候选区的个数大于或等于1。
36.步骤s250，基于m个视盘候选区，确定后处理眼底图像对应的预处理眼底图像的视盘选定区的位置信息。
37.具体地，预处理眼底图像为空间域图像，预处理眼底图像经过变换矩阵后，得到频率域的后处理眼底图像。
38.在得到后处理眼底图像对应的m个视盘候选区之后，通过逆变换矩阵，将频率域的后处理眼底图像转换为空间域的预处理眼底图像，并得到在预处理眼底图像中的m个视盘候选区。
39.若m等于1，即视盘候选区的数量等于1，则将该视盘候选区确定为视盘选定区。若m大于1，即视盘候选区的数量大于1，则从大于1个的视盘候选区中确定视盘选定区，并确定视盘选定区在预处理眼底图像中的位置信息。
40.进一步地，可以根据预处理眼底图像中的视盘候选区的颜色、面积、以及形态特
征，从m个视盘候选区中，确定唯一的视盘选定区。
41.步骤s270，基于视盘选定区的位置信息，对预处理眼底图像进行分割，得到视盘分割图像。
42.具体地，可以根据预训练的视盘分割模型对预处理眼底图像进行分割，也可以根据需要，编写相关的分割代码对预处理眼底图像进行分割，本技术实施例对预处理眼底图像的分割方式不作限制。
43.下面，以使用视盘分割模型为例，对预处理眼底图像的分割过程进行阐释。即，将预处理眼底图像和视盘选定区的位置信息输入视盘分割模型，视盘分割模型根据视盘选定区的位置信息、以及预设的分割阈值对预处理眼底图进行分割，获得视盘分割图像。
44.在本技术实施例中，首先根据后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的m个视盘候选区，进一步确定预处理眼底图像的视盘选定区的位置信息。根据视盘选定区的位置信息，对预处理眼底图像进行分割，得到视盘分割图像。区别于不参考视盘选定区的位置信息，而是使用分割模型直接对预处理眼底图像进行分割，本技术中的方案可以降低人工标注样本训练分割模型所带来的人为因素的影响，也避免了分割模型在训练时缺少相关种类的图像样本导致的、无法分割出预处理眼底图像中的视盘分割图像的问题。即本技术中的方案在确保视盘分割图像的分割精度的同时，对计算机硬件配置和算力要求不高，具有更广的适用性，为后续的眼位和眼别的判定、以及智能眼底分析奠定了基础。
45.图3所示为本技术另一示例性实施例提供的图像处理方法的流程示意图。在图2所示实施例的基础上延伸出图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
46.如图3所示，在基于后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的m个视盘候选区之前，还包括如下步骤。
47.步骤s220，基于空间域的预处理眼底图像，确定频率域的后处理眼底图像。
48.具体地，预处理眼底图像是常见的空间域中的眼底图像。对空间域中的预处理眼底图像进行二维高斯变换、或傅里叶变换、或小波变换，将预处理眼底图像转换为频率域的后处理眼底图像。
49.需要说明的是，本技术实施例只是对空间域的预处理眼底图像转换到频率域的后处理眼底图像的转换方法进行了举例，并不是对转换方法的限制，本领域技术人员可以选择本技术实施例中列举的方法，也可以选择其他任一能将空间域的预处理图像转换为频率域的后处理眼底图像的方法。
50.步骤s230，对后处理眼底图像进行滤波处理，得到后处理眼底图像的梯度信息和灰度信息。
51.通过将空间域中的预处理眼底图像变换为频率域的后处理眼底图像，可以使一些在空间域识别困难较大的对象，在频率域变得容易。此外，对在频率域的后处理眼底图像进行滤波也更为直观，更能解释空间域滤波的某些性质。
52.图4所示为本技术另一示例性实施例提供的图像处理方法的流程示意图。在图3所示实施例的基础上延伸出图4所示实施例，下面着重叙述图4所示实施例与图3所示实施例的不同之处，相同之处不再赘述。
53.如图4所示，在基于空间域的预处理眼底图像，确定频率域的后处理眼底图像之前，还包括如下步骤。
54.步骤s210，对空间域的初始眼底图像进行预处理，得到空间域的预处理眼底图像。
55.预处理包括感兴趣区域提取处理、去噪处理、归一化处理和增强处理中的至少一种处理。其中，去噪主要是消除获取的初始眼底图像的噪声，减弱噪声对黄斑和视盘特征的干扰。归一化处理是指对初始眼底图像进行一系列标准的处理变换，获得固定标准形式的预处理眼底图像。增强主要是为了拉大感兴趣区域的特征与背景特征之间的差异，从而使得感兴趣区域的特征更加明显，便于对初处理眼底图像进行基于感兴趣区域的分割和提取。
56.在本技术一示例性实施例中，对初始眼底图像进行所述归一化处理，包括：对初始眼底图像的曝光度、颜色和亮度进行归一化处理。
57.具体地，对预处理眼底图像中的曝光度，以及颜色、亮度和灰度值范围进行统一，以方便对所获取的、归一化后的预处理眼底图像进行后续的基于感兴趣区域的分割。
58.图5所示为本技术另一示例性实施例提供的图像处理方法的流程示意图。在图2所示实施例的基础上延伸出图5所示实施例，下面着重叙述图5所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
59.如图5所示，在基于视盘选定区的位置信息，对预处理眼底图像进行分割，得到视盘分割图像之后，还包括如下步骤。
60.步骤s280，基于视盘分割图像，确定视盘的长轴、短轴以及视盘面积。
61.具体地，通过求取视盘分割图像的外接圆、或外接椭圆、或外接矩形中的任一一种，获得视盘分割图像对应的视盘的长轴、短轴以及视盘面积。
62.通过获取视盘的相关参数，可以方便医生基于视盘信息，进行相关的眼底疾病诊断。
63.图6所示为本技术另一示例性实施例提供的图像处理方法的流程示意图。在图2所示实施例的基础上延伸出图6所示实施例，下面着重叙述图6所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
64.如图6所示，在基于m个视盘候选区，确定后处理眼底图像对应的预处理眼底图像的视盘选定区的位置信息之后，还包括如下步骤。
65.步骤s260，确定预处理眼底图像的黄斑选定区的位置信息。
66.其中，黄斑选定区的位置信息包括黄斑中心凹位置信息。
67.例如，可以根据视盘选定区的位置信息，确定预处理眼底图像的黄斑选定区的位置信息。
68.视盘和黄斑在眼底图像中的物理距离一般为2.5个视盘直径(papillary diameter，pd)。基于该物理距离，通过视盘选定区的位置信息，确定预处理眼底图像的黄斑选定区的位置信息。
69.需要说明的是，本技术实施例只是示例性地列出了一种确定黄斑选定区的位置信息的方法，本领域技术人员也可以根据实际情况选择其他方式确定黄斑选定区的位置信息，本技术实施例对此不作限定。
70.黄斑也是眼底的基本结构，确定黄斑在预处理眼底图像中的位置信息，进一步为
眼位识别、以及后续的眼底疾病分析奠定了基础。
71.图7所示为本技术另一示例性实施例提供的确定预处理眼底图像的黄斑选定区的位置信息的流程示意图。在图6所示实施例的基础上延伸出图7所示实施例，下面着重叙述图7所示实施例与图6所示实施例的不同之处，相同之处不再赘述。
72.如图7所示，确定预处理眼底图像的黄斑选定区的位置信息，包括如下步骤。
73.步骤s261，基于后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的n个黄斑候选区。
74.同样地，根据后处理眼底图像的梯度信息和灰度信息，选择梯度数据和灰度数据对应的极值(包括极大值和极小值)区域作为黄斑的候选区，黄斑候选区的个数大于或等于1。
75.步骤s262，基于视盘选定区的位置信息和n个黄斑候选区各自对应的位置信息，确定预处理眼底图像中的黄斑选定区的位置信息。
76.首先通过逆变换矩阵，将频率域的后处理眼底图像转换为空间域的预处理眼底图像，并确定预处理眼底图像中的n个黄斑候选区的位置信息，再根据预处理眼底图像中的视盘选定区的位置信息、以及n个黄斑候选区在预处理眼底图像中各自对应的位置信息，确定黄斑选定区在预处理眼底图像中的位置信息。
77.示例性地，预处理眼底图像中存在3个黄斑候选区，其中两个黄斑候选区与视盘选定区之间的距离分别为5pd和4pd，另外一个黄斑候选区与视盘选定区之间的距离为2.3pd，则距离为2.3pd的黄斑候选区被确定为黄斑选定区，并进一步确定黄斑选定区在预处理眼底图像中的位置信息。
78.通过本实施例中的方法，可以简单、高效、准确地筛选出唯一确定的黄斑选定区，并进一步提升预处理眼底图像中的黄斑分割结果的准确度。
79.上文结合图2至图7，详细描述了本技术的图像处理方法实施例，下面结合图8，详细描述本技术的图像处理装置实施例。应理解，图像处理方法实施例的描述与图像处理装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
80.图8所示为本技术一示例性实施例提供的图像处理装置的结构示意图。如图8所示，本技术实施例提供的图像处理装置包括：
81.第一确定模块810，用于基于后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的m个视盘候选区，m为正整数；
82.第二确定模块820，用于基于m个视盘候选区，确定后处理眼底图像对应的预处理眼底图像的视盘选定区的位置信息；
83.分割模块830，用于基于视盘选定区的位置信息，对预处理眼底图像进行分割，得到视盘分割图像。
84.在本技术一实施例中，第一确定模块810还用于基于空间域的预处理眼底图像，确定频率域的后处理眼底图像；对后处理眼底图像进行滤波处理，得到后处理眼底图像的梯度信息和灰度信息。
85.在本技术一实施例中，第一确定模块810还用于对空间域的初始眼底图像进行预处理，得到空间域的预处理眼底图像，其中，预处理包括感兴趣区域提取处理、去噪处理、归一化处理和增强处理中的至少一种处理。
86.在本技术一实施例中，第一确定模块810还用于对初始眼底图像的曝光度、颜色和亮度进行归一化处理。
87.在本技术一实施例中，分割模块830还用于基于视盘分割图像，确定视盘的长轴、短轴以及视盘面积。
88.在本技术一实施例中，第二确定模块820还用于确定预处理眼底图像的黄斑选定区的位置信息，其中，黄斑选定区的位置信息包括黄斑中心凹位置信息。
89.在本技术一实施例中，第二确定模块820还用于基于后处理眼底图像的梯度信息和灰度信息，确定后处理眼底图像的n个黄斑候选区，n为正整数；基于视盘选定区的位置信息和n个黄斑候选区各自对应的位置信息，确定预处理眼底图像中的黄斑选定区的位置信息。
90.下面，参考图9来描述根据本技术实施例的电子设备。图9所示为本技术一示例性实施例提供的电子设备的结构示意图。
91.如图9所示，电子设备90包括一个或多个处理器901和存储器902。
92.处理器901可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备90中的其他组件以执行期望的功能。
93.存储器902可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器901可以运行所述程序指令，以实现上文所述的本技术的各个实施例的图像处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如包括后处理眼底图像的梯度信息和灰度信息、视盘选定区的位置信息、视盘分割图像等各种内容。
94.在一个示例中，电子设备90还可以包括：输入装置903和输出装置904，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
95.该输入装置903可以包括例如键盘、鼠标等等。
96.该输出装置904可以向外部输出各种信息，包括后处理眼底图像的梯度信息和灰度信息、视盘选定区的位置信息、视盘分割图像等。该输出装置904可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
97.当然，为了简化，图9中仅示出了该电子设备90中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。
98.除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本技术各种实施例的图像处理方法中的步骤。
99.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软
件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
100.此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本技术各种实施例的图像处理方法中的步骤。
101.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
102.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
103.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
104.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
105.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
106.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。