一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种基于多尺度密集网络的视网膜血管分割方法

2022-09-15 06:49:20 来源:中国专利 TAG:


1.本发明涉及计算机视觉技术和医学图像处理领域,具体涉及一种基于多尺度密集网络的视网膜血管分割方法。


背景技术:

2.临床医学中眼底图像能反映多种疾病的早期症状,例如高血压、糖尿病等。眼科医生可以通过观察视网膜血管形态实现对疾病的初期诊断。由于视网膜血管形态复杂,同时不同的医生在手动分割血管图像时带有主观性,因此设计一种视网膜血管自动分割方法对于辅助医生提高诊断速度和效果具有重要意义。
3.精确的视网膜血管分割是彩色眼底图像处理中的一个具有挑战性的问题,目前视网膜血管的分割通常是由人工进行手动分割的,这项工作效率低下且精度不高。眼底血管分支的细微末端与背景的对比度低、以及视杯视盘等生理结构的影响,使得血管分割任务面临难题。由于眼底血管形态本身具有复杂性,特别是眼底图像中的毛细血管的分割极易受到光照和噪声的影响。
4.现阶段,能够实现眼底血管自动分割的方法主要可以分为两种,一种是基于无监督的方法,一种是基于有监督的方法。基于无监督的视网膜血管分割方法属于比较传统的图像处理算法,其显著特点为分割过程中无须样本标签。与之相对应的是基于有监督和特征工程的机器学习以及深度学习的分割方法。当前医学图像处理领域深度学习已成为主流方法,它相较于机器学习避免了人工提取特征的过程,使得最终获取到的分割结果更加精准客观。


技术实现要素:

5.本发明的目的是为了解决现存的基于深度学习的视网膜血管分割模型对于细微血管的分割不够精准且易出现误分割的问题,提出一种基于多尺度密集网络的视网膜血管分割方法,无需复杂的后处理方法,实现了端到端的眼底图像分割,取得了很好的效果。
6.本发明的目的可以通过采取如下技术方案实现:
7.一种基于多尺度密集网络的视网膜血管分割方法,包括以下步骤:
8.s1:对数据集中的原始彩色视网膜血管图像进行预处理;
9.s2:对预处理之后的视网膜血管图像进行数据增强;
10.s3:基于编码解码结构构建多尺度密集网络模型;
11.s4:将数据增强后的眼底图像数据导入眼底图像分割模型中进行训练,获取训练完成的权重,进一步对视网膜血管图像进行分割,最终获取到分割结果。
12.进一步地,所述的步骤s1中的预处理包括灰度变换、标准化、对比度受限直方图均衡化和伽马矫正的预处理操作。
13.灰度变换是对每一幅彩色视网膜血管图像进行通道加权,根据公式gray=0.299*r 0.587*g 0.114*b,将彩色眼底图像转换为灰度图像。然后对灰度图像进行数据标准化,
具体方式是将整体数据减去均值,再除以方差,从而提高优化器迭代求解的收敛速度和精度。经过数据标准化之后的图像数据,再通过对比度受限的直方图均衡化,达到有效限制噪声放大的前提下,增强眼底图像对比度的作用。最后,本发明采用伽马值为1.2的伽马校正对图像进行非线性色调编辑,提升图像中高、低灰度值的占比,达到增大对比度的效果。
14.进一步地,所述的步骤s2中,数据增强的具体实现方式为:以固定分辨率在经过预处理之后的图像上进行随机裁剪、水平翻转、垂直翻转、随机旋转。分辨率允许在实验中根据分割效果进行动态调整,图像块可以在原图的任意位置随机提取,能够有效扩增用于训练的样本数量。
15.进一步地,所述的步骤s3中,基于编码解码结构构建多尺度密集网络模型,编码过程采用两次下采样,每一层两次标准卷积进行特征提取,引入批归一化层,采用relu激活函数。
16.为了更好的整合不同尺度的信息,提出了一种多层特征融合机制,由编码路径到解码路径的全尺度跳跃连接构成,将不同尺度下特征映射的底层细节与高层语义信息相结合。在编码器与解码器之间设计了密集空洞空间卷积金字塔,以获取更丰富的上下文信息,避免了细节信息的丢失,有助于精准恢复血管细节。解码过程采用两次转置卷积对特征图进行上采样,在解码器中引入压缩激励块和残余连接,自适应地调整各尺度特征的权重,以强调有效信道同时抑制冗余信息。
17.进一步地,在所述步骤s4中,将数据增强后的眼底图像数据导入眼底图像分割模型中进行训练,调整超参数,从而得到训练完成的眼底图像分割模型。再将测试图像输入网络,经过预处理之后,基于重叠错切策略以固定步距在全图区域进行等步距裁剪获取若干图像块,把每个图像块输入网络中进行预测,每个像素点的多个预测结果取平均,得到所属类别的概率,最终进行二值化得到视网膜血管的分割结果图。
18.本发明相对于现有技术具有如下优势:
19.1.本发明采用的图像数据扩增方法可行性高、效果好。为了避免训练过程中出现过拟合现象,以固定分辨率在经过预处理之后的图像上进行随机裁剪、水平翻转、垂直翻转、随机旋转,极大的增加了用于训练的样本数量,分辨率允许在实验中根据分割效果进行动态调整,从而提升视网膜血管分割性能。
20.2.本发明基于编码解码结构构建的多尺度密集网络在编码器与解码器之间设计了密集空洞空间卷积金字塔,在解码器部分引入了压缩激励模块和残余连接,并设计了全尺度的跳跃连接。将不同尺度下特征映射的底层细节与高层语义信息相结合,避免了信息的丢失,同时能够获取更丰富的上下文信息,有助于精准恢复血管细节。
21.3.本发明在模型训练完成后,对视网膜血管图像进行分割,采用的是重叠错切策略,以固定步距在全图区域进行等步距裁剪获取若干图像块,最后对每一个像素多个类别概率图取平均,以此均值作为网络的最终分割结果,进步提高了视网膜血管分割的准确率。
附图说明
22.图1是本发明中整体视网膜血管分割流程图;
23.图2是本发明中多尺度密集网络结构图;
24.图3是本发明中密集空间空洞卷积金字塔细节图;
25.图4是本发明中引入残余连接的压缩激励模块细节图;
26.图5是本发明中预处理效果图;
27.图6是本发明中数据增强后的效果图;
28.图7是本发明中模型分割结果与原图及专家手动分割结果的对比图;
29.图8是本发明中提出的分割方法在drive数据集上进行分割的roc曲线图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优势更加清晰明了,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清晰、具体地分步解析,所描述的实施例是本发明一部分实施例,并不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性成果的前提下所获得的所有其他实施例,都属于本发明保护的范围。
31.本实施例的整体视网膜血管分割流程图如图1所示。本实施例中数据集采用drive公开数据集作为实验数据,该数据集共包含40张彩色眼底图像,已被均分为训练集和测试集,并提供了两位专家手动分割的金标准以及对应的掩膜图像。图像使用佳能cr5非散瞳3ccd相机获取,分辨率为565
×
584,。部分图像来自早期糖尿病视网膜病变患者,以jpeg格式存储。在测试过程,采用第一位专家的手动分割结果作为真值来评估本发明所提出框架的分割性能。具体实施步骤如下:
32.1.眼底图像预处理
33.对原始彩色视网膜血管图像进行预处理,使其更适合作为后续分割模型的输入,加快训练速度。首先对每一幅彩色视网膜血管图像进行通道加权,根据公式gray=0.299*r 0.587*g 0.114*b,将彩色眼底图像转换为灰度图像。然后对灰度图像进行数据标准化,具体方式是将整体数据减去均值,再除以方差,从而提高优化器迭代求解的收敛速度和精度。经过数据标准化之后的图像数据,再通过对比度受限的直方图均衡化,达到有效限制噪声放大的前提下,增强眼底图像对比度的作用。最后,采用伽马值为1.2的伽马校正对图像进行非线性色调编辑,提升图像中高、低灰度值的占比,达到增大对比度的效果。预处理效果图如图5所示
34.2.数据增强
35.数据量少是医学图像处理任务方向的通病,为了避免因数据量少而引起的过拟合,本实例以64
×
64的分辨率在经过预处理之后的眼底图像上进行随机裁剪,共获取到15万张切片,然后进行二次同时以0.5的翻转概率进行水平和垂直翻转。为了和训练数据一一对应,专家手动分割的金标准和掩膜图像也需要进行相同操作。并按照9:1的比例把用于训练的眼底图像数据集划分为训练集和验证集。数据增强后的效果图如图6所示。
36.3.网络的搭建以及训练和测试过程详解
37.基于编码解码结构构建多尺度密集网络模型,编码过程采用两次下采样,每一层两次标准卷积进行特征提取,引入批归一化层,采用relu激活函数。每层下采样之前会将特征图上采样至统一大小,为特征融合做准备,进而由编码路径到解码路径的全尺度跳跃连接将不同尺度下特征映射的底层细节与高层语义信息相结合。在编码器与解码器之间设计了密集空洞空间卷积金字塔,如图3所示,以密集连接的形式连接一组空洞卷积,空洞卷积层通过残余连接来共享信息。不同空洞率的卷积层之间是相互依赖的,其前馈过程不仅会
构成一个更密集的特征金字塔,而且会增大卷积核的感受野来感知更加丰富的上下文信息。为了避免解码过程采用两次卷积核大小为3
×
3的转置卷积对特征图进行上采样,在解码器中引入压缩激励块和残余连接,如图4所示,自适应地调整各尺度特征的权重,以强调有效信道同时抑制冗余信息,之后使用1
×
1的卷积核进行通道的调整,最后通过softmax激活函数输出分割结果。多尺度密集网络结构图如图2所示。
38.训练:为了不改变特征图的尺寸,所有的卷积层都采取填充0的方式进行卷积,除最后一层使用softmax激活函数,其余激活函数层,均采用relu激活函数,训练过程使用adam优化器,初始学习率设置为0.0005,基于余弦模拟退火策略进行学习率的衰减,批次大小设置为64,共训练60个epoch。使用tensorboard和matplotlib进行训练过程的可视化。
39.测试:将经过预处理的测试图像输入网络,在每个测试图像上按照步距为16,分辨率为96
×
96的尺寸提取图像块,之后加载训练权重和网络模型进行分割。需要说明的是,用于测试的图像块均通过掩膜图像提取自fov区域,否则评价结果会有无意义的提升。由于使用重叠错切策略提取的图像块存在重叠区域,每个像素点在重叠的多个图像块中被多次提取,每个图像块输入网络中进行一次分割,则每个像素点对应多个分割概率图。每个像素点的多个预测结果取平均,得到所属类别的概率,最终进行二值化得到视网膜血管的分割结果图。
40.将测试集中的图像的分割结果和金标准进行对比,使用第一位专家的手动分割图像作为标准评价每张图像分割血管的准确性、特异度、灵敏度和auc(area under the curve)值。如图7所示,模型分割结果与原图及专家手动分割结果的对比图。图8为在drive数据集上进行分割的roc曲线图auc定义为roc(receiver operating characteristic curve)曲线下面积,取值范围在0.5到1之间,用作评价标准时,auc值越接近于1表示分类器的性能越好,能够综合衡量分割效果的优劣。通过实验表明,本实施例在dtive数据集上的auc达到了98.17%,特异度达到了98.24%,灵敏度达到了78.62%,和现存的其他算法相比具有一定的先进性。
41.上述实施例为本发明的优选,但本发明的实施方式并不受上述实施例的限制,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献