目标定位与语义分割相结合的超广角眼底图像视盘提取方法

images.annalsoftranslationalmedicine,2019,7(22):618.为了能够在超广角眼底图像中提取用于检测糖尿病性视网膜病变的标准7视野眼底图像，首先利用视盘区域存在高亮光斑的特点，通过二值化处理得到视盘中心的大致位置。然后经过一定的预处理后送入基于传统眼底图像数据集训练的u-net模型实现视盘的提取。这样做的原因是因为超广眼底图像视盘区域标注数据缺乏，同时也影响了精度。


技术实现要素：

8.针对超广角眼底图像中因视盘标目标小、标签数据缺乏及光照不均匀、噪声干扰严重等原因导致视盘区域提取精度低，且无法直接用于训练视盘分割模型的问题。本发明提出一种目标定位与语义分割相结合的超广角眼底图像视盘提取方法，首先训练视觉目标检测网络yolov4实现视盘区域的粗定位，将超广角眼底图像中视盘检测这一小目标定位问题转换成包含视盘的候选区域的较大目标检测问题。化简了问题难度，提升了检测精度；然后，利用主动轮廓活动曲线模型中的snake算法实现，以交互方式分割出人眼认可的视盘区域，得到后续神经网络训练所用标签；最后训练u
2-net模型对候选区域中的视盘进行精准提取。
9.本发明采取的技术方案为：
10.目标定位与语义分割相结合的超广角眼底图像视盘提取方法，包括以下步骤：
11.步骤1：建立yolov4模型，进行视盘区域的粗定位；
12.步骤2：根据视盘区域的粗定位结果，提取包含视盘区域，除去眼周区域；
13.步骤3：通过活动轮廓模型snake模型交互式分割视盘区域，构建u
2-net模型训练所需的具有视盘标签的数据集；
14.步骤4：使用u
2-net模型进行视盘区域提取。
15.所述步骤2中，根据yolov4模型视盘定位结果，提取包含视盘的感兴趣区域，除去干扰视盘区域提取的眼周区域，将视盘中心置于截取图像的偏左或者偏右的位置，截取两个256
×
256大小感兴趣区域，并覆盖上了掩模。
16.所述步骤3包括以下步骤：
17.首先，对超广角眼底图像进行灰度归一化和高斯滤波，除去噪声；然后手动选取初始轮廓曲线的坐标点，利用插值法得到封闭轮廓曲线；接着计算能量函数e，利用能量函数e得到其梯度f以及五对角带状矩阵a，进而更新曲线上各点位置；最后，填充封闭曲线内的空白区域，得到视盘标签；
18.如公式(1)-(6)所示:
19.e
snake
＝∫e(v(s))ds＝e
int
(v(s)) e
ext
(v(s))(1)；
20.其中：v(s)代表曲线函数，e
snake
代表snake曲线能量，e
int
代表内部能量，e
ext
代表外部能量；
21.e
int
(v(s))＝∫(|v
′
(s)|2 |v
″
(s)|2)ds(2)；
22.其中：v
′
(s)为曲线函数一阶导数，v
″
(s)为曲线函数二阶导数，
23.e
ext
(v(s))＝e
img
(v(s)) e
constaint
(v(s))(3)；
24.其中：e
img
(v(s))、e
constaint
(v(s))分别表示图像能量和约束力能量；
[0025][0026]
其中：i为输入图像，i
x
与iy分别代表图像对x轴与y轴的偏导，x与y为坐标值；
[0027]
表示图像倒数，i
xx
、i
xy
、i
yy
分别表示：图像在x轴上二阶偏导数，在x与y轴上各一次求导的二阶偏导数、在y轴上的二阶偏导数。
[0028][0029]
其中：x
ss
与x
ssss
分别代表v(s)对x轴的一阶与二阶偏导，y
ss
与y
ssss
分别代表v(s)对y轴的一阶与二阶偏导；α、β为权重。
[0030][0031]
其中：f
x
与fy分别代表e
snake
对x轴与y轴的偏导，t代表迭代次数；
[0032]
x
t
、y
t
为本次迭代曲线各点的坐标；
[0033]
x
t-1
、y
t-1
为上次迭代曲线各点的坐标，a为五对角带状矩阵，γ为权重系数；
[0034]
所述步骤3中，在u
2-net模型训练前，通过对比度受限直方图均衡化技术clahe，增强视盘与背景的对比度，以提升模型训练效果。
[0035]
所述步骤4包括以下步骤：
[0036]
s4.1：将增强图片输入u
2-net模型，提取视盘区域；
[0037]
s4.2：对u
2-net模型输出结果进行二值化，得到二值视盘区域图像。
[0038]
本发明一种目标定位与语义分割相结合的超广角眼底图像视盘提取方法，技术效果如下：
[0039]
1)本发明首先利用兼具速度和检测精度的yolov4网络模型，对包含视盘的感兴趣区域进行定位，这样做能够有效减小因视盘区域在整幅超广角眼底图像中所占比例小对后续分割造成的困难。
[0040]
2)本发明接着截取出定位到的感兴趣区域，并利用主动轮廓活动曲线模型中的snake算法实现，以交互的方式分割出人眼认可得视盘区域，作为后续神经网络训练所用标签。解决了超广角眼底图像集中视盘区域标签缺乏的问题。
[0041]
3)本发明得到视盘区域标签数据后，对u
2-net进行训练，在训练前通过对比度受限直方图均衡化技术(clahe)增强视盘与背景的对比度，以提升模型训练效果，最后对u
2-net结果进行二值化得到分割后的视盘区域。
附图说明
[0042]
图1(a)为传统眼底图像；
[0043]
图1(b)为超广角眼底图像。
[0044]
图2为超广角眼图像视盘提取过程示意图。
[0045]
图3为yolov4模型结构图。
[0046]
图4(a)为yolov4定位视盘结果一；
transactionsonpatternanalysisandmachineintelligence,2017,39(12):2481-2495.记载的方案。
[0069]
目标定位与语义分割相结合的超广角眼底图像视盘提取方法，包括以下步骤：
[0070]
步骤一：由于视盘区域相对于整幅超广角眼底图像而言是一个较小目标，无法直接送入语义分割网络进行提取，再加上超广角眼底图片质量较差，包含眼睑和睫毛等不利于视盘区域提取的眼周区域。本发明针对这一问题使用单阶段目标检测模型yolov4进行视盘区域的粗定位，其结构如图3所示
[0071]
yolov4进行视盘区域的粗定位具体是：
[0072]
yolov4模型将cspdarknet53模块作为主干网络，用于提取超广角眼底图像中视盘的深层语义特征，再使用空间金字塔池化和路径聚合网络融合视盘的多尺度特征，最后利用多尺度输出模块获得视盘位置信息。通过图4(a)、图4(b)可以看出yolov4模型能够准确定位视盘位置，并且具有超过90％的置信度。
[0073]
步骤二：根据yolov4模型视盘定位结果，提取包含视盘的感兴趣区域，除去干扰视盘区域提取的眼周区域。如图5所示，将视盘中心置于截取图像的偏左或者偏右的位置，截取两个256
×
256大小感兴趣区域，并覆盖上了掩模。
[0074]
步骤三：针对超广角眼底图像缺乏视盘区域标签的问题，本发明利用活动轮廓模型snake模型交互式分割视盘区域，作为后续深度学习模型训练所需的像素级标签，其流程如图6所示。先对超广角眼底图像进行灰度归一化和高斯滤波，除去噪声，再手动选取初始轮廓曲线的坐标点，利用插值法得到封闭轮廓曲线；再计算能量函数e，利用能量函数得到其梯度f以及五对角带状矩阵a，进而更新曲线上各点位置，最后填充封闭曲线内的空白区域，得到视盘标签。
[0075]
如公式(1)-(6)所示:
[0076]esnake
＝∫e(v(s))ds＝e
int
(v(s)) e
ext
(v(s))(1)；
[0077]
其中：v(s)代表曲线函数，e
snake
代表snake曲线能量，e
int
代表内部能量，e
ext
代表外部能量；
[0078]eint
(v(s))＝∫(|v(s)|2 |v
″
(s)|2ds(2)；
[0079]
其中：v
′
(s)为曲线函数一阶导数，v
″
(s)为曲线函数二阶导数，
[0080]eext
(v(s))＝e
img
(v(s)) e
constaint
(v(s))(3)；
[0081]
其中：e
img
(v(s))、e
constaint
(v(s))分别表示图像能量和约束力能量；
[0082][0083]
其中：i为输入图像，i
x
与iy分别代表图像对x轴与y轴的偏导，x与y为坐标值；
[0084]
表示图像倒数；
[0085]ixx
、i
xy
、i
yy
分别代表：图像在x轴上二阶偏导数、在x与y轴上各一次求导的二阶偏导数、在y轴上的二阶偏导数；
[0086][0087]
其中：x
ss
与x
ssss
分别代表v(s)对x轴的一阶与二阶偏导，y
ss
与y
ssss
分别代表v(s)对
y轴的一阶与二阶偏导；α、β为权重。
[0088][0089]
其中：f
x
与fy分别代表e
snake
对x轴与y轴的偏导，t代表迭代次数；
[0090]
x
t
、y
t
为本次迭代曲线各点的坐标；
[0091]
x
t-1
、y
t-1
为上次迭代曲线各点的坐标；
[0092]
a为五对角带状矩阵，γ为权重系数。
[0093]
步骤四：针对超广角眼底图像数据量较为匮乏以及质量差的问题，本发明使用图像增广与图像对比度增强，增加数据量，增强图像。本发明通过旋转与翻转将数据集中图片数量增加到原来的4倍。然后对视盘图像进行灰度归一化操作，然使用clahe方法，削弱噪声，增加视盘与背景对比度。如图7(a)、图7(b)所示。
[0094]
步骤五：本发明针对超广角眼底图像视盘区域提取的低精度问题，使用u
2-net模型进行视盘区域提取。如图8所示，u
2-net模型通过能够捕捉不同尺度上下文信息的rsu模块，以及能够融合浅层空间位置信息与深层语义信息的跳连接，获取了强大的全局及局部特征提取能力。本发明将增强的图像直接输入到u
2-net模型进行视盘提取的训练。
[0095]
本发明提供了一种视觉目标定位与语义分割相结合的超广角眼底图像视盘区域提取算法。为了能够解决视盘区域在超广角眼底图像中所占面积比例小而无法直接进行有效提取且缺乏视盘标注信息的问题，本发明首先将视盘区域精准提取划分成视盘目标检测与视盘区域分割两个阶段。在第一阶段，通过定位包含视盘的较大一些的图像区域将视盘定位这一小目标检测问题转换为较大目标的检测二问题，比训练yolov3网络模型实现其精准定位。然后，利用主轮廓活动曲线模型中的snake算法，交互式地对检测到的区域中的视盘进行分割，构建后续分割模型训练时所需的带视盘标注信息的训练图像集。在第二阶段，利用前一阶段获得的带视盘标注信息的数据集训练u
2-net，实现视盘区域的精确提取。所提出的这种两阶段的视盘提取方法及交互式视盘标注办法，不仅有效提升了视盘提取精度，同时还能得到用于监督式学习分割方法所需的视盘标注数据。整个方法的视盘定位准确率达到99.7％，为后续分割环节提供稳定可靠的输入；分割精度高于广泛使用的pcnn、u-net、deeplabv3以及segnet模型，具有很好的应用价值。
[0096]
由图10可以看出，相比于被广泛应用于视盘提取的pcnn、u-net、deeplabv3以及segnet模型，本发明算法能够提取出更完整的视盘区域，在视盘边界模糊的病灶图像上尤其明显。
[0097]
由图11可以得知，除灵敏度外，本发明算法相比于pcnn、u-net、deeplabv3以及segnet模型在特异性、精准度、准确率和dice系数四个量化指标上均为最佳结果，具有强劲的视盘区域提取能力。