基于分割和分类相融合的糖尿病性视网膜病变检测方法

技术特征：
1.基于分割和分类相融合的糖尿病性视网膜病变检测方法，其特征在于：包括如下步骤：步骤1：获取idrid和ddr公开的数据集，同时对数据集进行预处理；步骤2：使用设计的st-net对npdr和pdr数据进行分类；步骤3：基于传统的unet网络，对其中的encoder进行改进，并融入vision transformer(构成mt-snet)对npdr的视网膜病变分割。并将分割的病变再融入到对应的原始视网膜图中；步骤4：使用所设计的srvgg对分割后的npdr数据进行分类。步骤1包括如下步骤：步骤1.1：获取idrid和ddr公开的数据，其中idrid数据集采集431张视网膜图片，其中含有病变的一共81张，54张作为训练集，27张作为测试集，同时对每张图片进行标注了病变等级；步骤1.2：ddr数据集采集了13673张视网膜图片，其中6835张作为训练集，2733张作为验证集，4105张作为测试集，同时对其中的757张图片进行了病变标注；步骤1.3：先对数据进行裁剪，将多余的黑色边框裁剪掉。同时利用直方图均衡化实现数据对比度增强；步骤1.4：通过重采样的方式实现类平衡。先对数据量大的类缩减样本，再通过旋转、裁剪、反转等方式对数据量小的类扩增。步骤2包括如下步骤：步骤2.1：在resnet-50的基础上添加rga注意力机制，构成新的st-net；步骤2.2：使用st-net对npdr和pdr数据进行分类。步骤3包括如下步骤：步骤3.1:在unet基础上，将其encoder部分替换为vgg16，同时对卷积进行分块，并去掉最后的全连接层；步骤3.2:在修改后的unet中引入vision transformer；步骤3.2.1:对encoder得到的图像进行序列化；encoder得到的矩阵格式不符合vision transformer的输入格式。按着vision transformer的介绍，需要经过一个图像序列化的过程，将输入的图像形状重塑为2dpatch，patch的表示如公式(1)：其中每个patch的大小是p
×
p，是图像patch的数量(即输入序列长度)。步骤3.2.2:获取并添加病变的位置信息；经过图像序列化之后，使用可训练线性投影将矢量化patches xp映射到潜在的d维嵌入空间。为了编码patch的空间信息，我们学习了特定的病变位置信息。这些位置被添加到patch中，以保留位置信息，具体过程如公式(2)。
其中e是patch的嵌入投影，表示学习到的病变位置。步骤3.2.3:带有病灶位置的序列输入到visiontransformer中进行特征提取，重复十二次；visiontransformer块由l层多头自我注意(msa)和多层感知机(mlp)块组成(公式(3)(4))。因此，第τ
th
层的输出可写入如下。q
′
ε＝msa(ln(qε-1)) qε-1(3)qε＝mlp(ln(q
′
ε)) q
′
ε(4)其中ln(～)表示层归一化操作符，qε表示编码图像表示。步骤3.3:利用分割网络将视网膜图像的病变进行分割，并将分割后的图像与原始对应的图像融合。步骤4包括如下步骤：步骤4.1基于repvgg，在此基础上加入空间注意力机制，构成srvgg；步骤4.2利用分割后ddr数据集训练网络；步骤4.3利用srvgg对ddr数据集进行分类，实现npdr的分类,最终结合第一阶段的结果，实现dr五分类，计算过程如公式(5)。

技术总结
本发明涉及一种基于分割和分类相融合的糖尿病性视网膜病变检测方法，基于分割和分类相融合的糖尿病性视网膜病变检测方法：首先获取相关IDRiD和DDR的数据集。对数据集进行预处理，将其裁剪为512x512的尺寸，同时进行对比度增强，使得图像的病变信息表现的更加明显。为了降低DR分类的难度和解决图像域差异的问题，我们采用两阶段的分类网络实现DR的五分类。在第一阶段中，使用ST-Net对NPDR和PDR数据进行分类。在第二阶段中，使用改进的UNet和ViSion Transformer相结合(称为MT-SNet)对病变进行分割，再融入到原始图像中。在分割后的NPDR数据中，再使用SRVGG进行分类。再使用SRVGG进行分类。再使用SRVGG进行分类。


技术研发人员：陈宇 徐仕豹
受保护的技术使用者：东北林业大学
技术研发日：2022.10.21
技术公布日：2023/1/31