病灶分割的方法、设备及介质

1.本发明涉及计算机视觉领域，更为具体的，涉及一种病灶分割的方法、设备及介质。


背景技术：

2.现有关于病灶分割的技术方案存在如下技术问题：1.同种病灶在不同疾病发展阶段存在较大的差别，使得分割模型难以学到病灶的标准特征；2.不同病灶间存在形态学上存在一定的相似度，例如硬渗出物和软渗出物，使得模型出现误分割和错分割的情况。下面举例糖尿病视网膜病(dr)进行说明，但是不限于糖尿病这种疾病。
3.糖尿病视网膜病(dr)是一种多发的长病程糖尿病引发的并发症，我国是全球糖尿病患者最多的国家，糖尿病视网膜病变在糖尿病罹患人群中的患病率为24.7％到37.5％，是目前我国工作年龄人群致盲的首要原因。血糖水平升高会影响到视网膜血管，前期主要表现为视网膜血管出现微血管瘤，中期随着微血管瘤的破裂，视网膜局部缺血，此时可以人眼观察到明显的棉絮斑，后期微血管不断增殖，新生血管压力不断增大甚至破裂，血管管壁与周围组织发生粘连，视网膜破裂，最终致盲。
4.现在普遍认为对于dr最有效的治疗方法，是在疾病的早期阶段进行干预，如激光光凝等。因此对糖尿病人群的早期筛查与诊断尤为重要。临床诊断中，dr筛查主要依靠眼科医生检查彩色眼底图像。然而，专业眼科医生紧缺与偏远地区医疗环境不佳严重制约了筛查诊断的进程，人工实时分析更是难上加难。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提供一种病灶分割的方法、设备及介质，解决了背景中提出的技术问题。
6.本发明的目的是通过以下方案实现的：
7.一种病灶分割的方法，包括步骤：
8.s1，筛选数据集并根据数据集的数据特征，编写卷积神经网络所需的数据接口；
9.s2，制作数据集标签；
10.s3，构建训练集和测试集；
11.s4，卷积神经网络的搭建，建立特征提取模型，将图像输入卷积神经网络，分别得到多病灶的分割结果。
12.进一步地，在步骤s1中，所述数据集包括idrid数据集和ddr数据集，所述数据特征包括数据集idrid和数据集ddr的病灶分割标签与图像分辨率。
13.进一步地，在步骤s2中，包括子步骤：
14.s21，构造多病灶分割的统一标签；
15.s22，制作血管的伪标签：利用带有血管像素级标注drive和stare数据集预先训练一个分割模型，并基于此模型得到idrid和ddr数据集的血管伪标签。
16.进一步地，在步骤s3中，包括子步骤：在构建训练集和测试集的过程中，包括子步骤：对数据集进行分割，将数据集进行处理多等分。
17.进一步地，在步骤s4中，当图像输入为彩色眼底图像时，分别得到糖尿病视网膜病灶多病灶与血管的分割结果，且包括子步骤s40：选择特征提取的骨干网络，构建基于transformer结构的全局注意模块，通过2个全局注意模块分别得到血管和病灶的初步特征；构建基于transformer结构的特征注意模块，模块的输入包括两部分：病灶特征和血管特征；通过特征注意模块得到病灶和血管的分割结果。
18.进一步地，步骤s40包括子步骤：
19.s401，选择特征提取的骨干网络，采用densenet-161结构，该结构的初始化参数设置为预先在imagenet数据集上充分训练的最终参数；将其集成到u型网络的卷积块中，利用u型网络实现对输入图像的有效特征提取；
20.s402，构建基于transformer结构的全局注意模块，包括3个第一卷积层，1个池化层和一个激活函数层；3个第一卷积层作为生成器分别得到索引、键值和内容，索引和键值经过矩阵相乘的结果通过一个激活函数层得到注意力分布图；注意力分布图以元素相加的形式作用在内容上；加权后的内容通过1个第一卷积层抽象特征，并通过短路连接与原始输入元素相加；当短路连接输入输出维度不一致时，用一个第二卷积层对输入升维；
21.s403，构建基于transformer结构的特征注意模块，该模块的输入包括两部分：病灶特征和血管特征；病灶特征一路通过一个第一卷积层得到索引，一路作为短路连接与输出端相连；血管特征分别通过两个第一卷积层得到键值和内容；键值先与索引矩阵相乘，后通过激活函数形成注意力分布图；注意力分布图以元素相加的形式作用在内容上；加权后的内容通过1个第一卷积层抽象特征，并通过短路连接与原始输入元素相加；当短路连接输入输出维度不一致时，用一个第二卷积层对输入升维。
22.进一步地，在步骤s403之后，包括步骤：
23.s404，设置训练参数及损失函数策略，选择网络优化器，设置初始学习率，采用余弦退火函数衰减学习率，设置训练时期和设置批尺寸，选择激活函数；多病灶分割和血管分割结果使用的损失函数为加权的交叉熵损失函数，分别为l1、l2；
24.总损失函数l表达式如下：
25.l＝l1 λl226.λ为两种损失函数的比例，对网络训练和网络测试；使用测试集进行网络测试得到多病灶分割和血管分割结果。
27.进一步地，所述第一卷积层为3x3的卷积层，所述第二卷积层为1*1的卷积层，所述网络优化器为sgd优化器，所述初始学习率设为0.001，设置训练时期为300，批尺寸为16，所述激活函数为softmax函数，所述对网络训练和网络测试具体为使用留一交叉验证方法进行网络训练和网络测试。
28.一种病灶分割的设备，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载时并执行如权利要求1～8任一项所述的方法。
29.一种可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如权利要求1～8任一项所述的方法。
30.本发明的有益效果包括：
31.本发明解决了背景中提出的技术问题，以及解决了糖尿病视网膜病(dr)病灶分割存在的技术问题，能够获得图像中不同病灶的依赖关系和病灶与血管之间的隐性病理关联，使得整体模型能够更准确地实现对dr多病灶的同时分割。同时，带权重的交叉熵损失函数的使用，使得前后景像素点不均衡问题得到克服。
32.本发明不仅能够获取病灶和血管的细节信息和充分利用血管分布包含的丰富的眼底先验信息，而且还能够获得图像中不同病灶的依赖关系和病灶与血管之间的隐性病理关联，能够更准确地实现对dr多病灶的同时分割，使得前后景像素点不均衡问题得到克服，实现了实际医学诊断中较难且较为重要的多病灶的同时精确分割，解决了现有技术中分割模型难以学到病灶的标准特征和存在误分割和错分割的技术问题。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明实施例的整体流程图；
35.图2为本发明实施例采用的整体网络结构简图；
36.图3为本发明实施例中网络结构中全局注意模块的详细示意图；
37.图4为本发明实施例中网络结构中特征注意模块的详细示意图。
具体实施方式
38.本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
39.下面根据附图1～图4，对本发明解决的技术问题、技术构思、工作原理、工作过程和有益效果作进一步详细、充分地说明。
40.本发明为了解决背景技术中提出的问题，认为有必要引入计算机辅助治疗减轻眼科医生负担、缩短检查时间，降低疾病筛查的时间和人力成本。
41.在解决如上问题的过程中，本发明发现：深度学习算法是目前最常用的自动医学图像处理方法。卷积神经网络(cnn)是深度学习算法中一种以端到端的方式进行特征提取的方法，不仅在目标检测、语义分割，也在医学领域得到了广泛应用。transformer结构是近年来深度学习领域的新兴网络结构，以其无需考虑它们在序列中的距离就能对输入输出序列的依赖项进行建模的特点，被广泛应用自然语言处理、模式识别、计算机视觉等各个领域。因此利用transformer结构有效地探索输入图像中不同病灶之间的关系，提升网络性能，以自动化的方式实现dr的病灶分割，得到准确可靠的结果，解决人工筛查中遇到的各种复杂问题，使医学诊断更加的科学化、自动化、准确化，这也将成为医学图像处理发展的主要趋势。
42.本发明又发现了如下技术问题：现有多数的方法，没有考虑到dr病程发展与不同病灶出现的内在联系，过多地关注网络结构的设计和对小样本等共性问题的解决方法。同时，针对眼底复杂结构，如视神经、视盘、血管等，只强调避开其不利影响而忽视了其包含的
丰富的眼底先验信息。
43.针对上述技术问题，本发明实施例的设计思想是这样的：提供一种病灶分割的技术方案，包括相应方法、设备及介质。在具体实施时，可以提供一种基于transformer结构的糖尿病视网膜病病灶自动分割的方法。具体地，在特征提取后，进一步设计了基于transformer结构的全局注意模块获取病灶和血管的细节信息。利用上述病灶和血管信息，本发明实施例又提出了另一个基于transformer结构的特征注意模块。这一模块能够获得图像中不同病灶的依赖关系和病灶与血管之间的隐性病理关联，使得整体模型能够更准确地实现对dr多病灶的同时分割。同时，带权重的交叉熵损失函数的使用，使得前后景像素点不均衡问题得到克服。
44.在具体实施时，包括以下步骤：
45.步骤a、筛选数据集，根据公开数据集idrid和ddr的病灶分割标签与图像分辨率等数据特征，编写卷积神经网络所需的数据接口。首先进行的是数据集筛选。其中，idrid(印度糖尿病视网膜病灶图像数据集)数据集是2018年ieee生物医学成像国际研讨会联合组织的“糖尿病视网膜病灶：分割和分级挑战”竞赛的一部分，具有81幅4288
×
2848大小的彩色眼底图以及其对应的四种病灶分割像素级：微血管瘤、出血点、软渗出物和硬渗出物。ddr(糖尿病视网膜病灶图像数据集)数据集是2019年眼部疾病智能识别比赛(odir-2019)的公开数据集之一，包含了来自中国23个省147家医院的13673张眼底图像，其中有757张提供了上述4种病灶的像素级别标签注释。
46.步骤b、制作数据集标签，具体实现如下：
47.1.构造多病灶分割的统一标签：由于不同类别分别具有不同的标注标签，因此要实现多类别同时分割，需要将不同标签统一到同一标签上，通过0～4分别表示背景和四类病灶。
48.2.制作血管的伪标签：由于医学图像标注的高成本，所以具有病灶标注的图像一般不同时具有血管的像素级标注。本发明实施例利用带有血管像素级标注drive和stare数据集预先训练一个分割模型，并基于此模型得到idrid和ddr数据集的血管伪标签。
49.步骤c、构建训练集和测试集，对数据集进行分割，将数据集十等分，以实现在后续训练过程中使用留一交叉验证方法进行网络训练和网络测试。
50.步骤d、卷积神经网络的搭建，建立特征提取模型，将彩色眼底图像输入卷积神经网络，可以分别得到糖尿病视网膜病灶多病灶与血管的分割结果。具体步骤如下：
51.1.选择特征提取的骨干网络，考虑到对底层细节信息的有效保留，本发明采用densenet-161结构，该结构的初始化参数设置为预先在imagenet数据集上充分训练的最终参数。将其集成到u型网络的卷积块中，利用u型网络实现对输入图像的有效特征提取。
52.2.构建基于transformer结构的全局注意模块，模块由一个类似transformer的模块构成，包括3个3x3的卷积层，1个池化层和一个激活函数层。3个卷积层作为生成器分别得到索引、键值和内容，索引和键值经过矩阵相乘的结果通过一个激活函数层得到注意力分布图。注意力分布图以元素相加的形式作用在内容上。加权后的内容通过1个3x3卷积层抽象特征，并通过短路连接与原始输入元素相加。当短路连接输入输出维度不一致时，用一个1*1卷积层对输入升维。
53.3.构建基于transformer结构的特征注意模块，模块的输入由两部分组成：病灶特
征和血管特征。病灶特征一路通过一个3x3卷积层得到索引，一路作为短路连接与输出端相连。血管特征分别通过两个3x3卷积层得到键值和内容。键值先与索引矩阵相乘，后通过激活函数形成注意力分布图。注意力分布图以元素相加的形式作用在内容上。加权后的内容通过1个3x3卷积层抽象特征，并通过短路连接与原始输入元素相加。当短路连接输入输出维度不一致时，用一个1*1卷积层对输入升维。
54.4.设置训练参数及损失函数策略，网络优化器选择了sgd优化器，初始学习率为0.001，采用余弦退火函数衰减学习率，设置训练时期为300，批尺寸为16，激活函数为softmax函数。多病灶分割和血管分割结果使用的损失函数为加权的交叉熵损失函数，分别为l1、l2。
55.总损失函数表达式如下：
56.l＝l1 λl257.使用留一交叉验证方法进行网络训练和网络测试。使用测试集进行网络测试得到多病灶分割和血管分割结果。
58.实施例1：一种病灶分割的方法，包括步骤：
59.s1，筛选数据集并根据数据集的数据特征，编写卷积神经网络所需的数据接口；
60.s2，制作数据集标签；
61.s3，构建训练集和测试集；
62.s4，卷积神经网络的搭建，建立特征提取模型，将图像输入卷积神经网络，分别得到多病灶的分割结果。
63.实施例2：在实施例1的基础上，在步骤s1中，所述数据集包括idrid数据集和ddr数据集，所述数据特征包括数据集idrid和数据集ddr的病灶分割标签与图像分辨率。
64.实施例3：在实施例1的基础上，在步骤s2中，包括子步骤：
65.s21，构造多病灶分割的统一标签：由于不同类别分别具有不同的标注标签，因此要实现多类别同时分割，需要将不同标签统一到同一标签上，通过0～4分别表示背景和四类病灶；
66.s22，制作血管的伪标签：由于医学图像标注的高成本，所以具有病灶标注的图像一般不同时具有血管的像素级标注。本发明实施例利用带有血管像素级标注drive和stare数据集预先训练一个分割模型，并基于此模型得到idrid和ddr数据集的血管伪标签。
67.实施例4：在实施例1的基础上，在步骤s3中，包括子步骤：在构建训练集和测试集的过程中，对数据集进行分割，将数据集进行处理多等分。具体为，所述将数据集进行处理具体为十等分，以及实现在后续训练过程中使用留一交叉验证方法进行网络训练和网络测试。
68.实施例5：在实施例1的基础上，步骤s4中，当图像输入为彩色眼底图像时，分别得到糖尿病视网膜病灶多病灶与血管的分割结果，且包括子步骤s40：选择特征提取的骨干网络，构建基于transformer结构的全局注意模块，通过2个全局注意模块分别得到血管和病灶的初步特征；构建基于transformer结构的特征注意模块，模块的输入包括两部分：病灶特征和血管特征；通过特征注意模块得到病灶和血管的分割结果。
69.实施例6：在实施例5的基础上，在步骤s40中，包括子步骤：
70.s401，选择特征提取的骨干网络，考虑到对底层细节信息的有效保留，本发明实施
例采用densenet-161结构，该结构的初始化参数设置为预先在imagenet数据集上充分训练的最终参数；将其集成到u型网络的卷积块中，利用u型网络实现对输入图像的有效特征提取；
71.s402，构建基于transformer结构的全局注意模块，模块由一个类似transformer的模块构成，包括3个第一卷积层，1个池化层和一个激活函数层；3个第一卷积层作为生成器分别得到索引、键值和内容，索引和键值经过矩阵相乘的结果通过一个激活函数层得到注意力分布图；注意力分布图以元素相加的形式作用在内容上；加权后的内容通过1个第一卷积层抽象特征，并通过短路连接与原始输入元素相加；当短路连接输入输出维度不一致时，用一个第二卷积层对输入升维；
72.s403，构建基于transformer结构的特征注意模块，模块的输入包括两部分：病灶特征和血管特征；病灶特征一路通过一个第一卷积层得到索引，一路作为短路连接与输出端相连；血管特征分别通过两个第一卷积层得到键值和内容；键值先与索引矩阵相乘，后通过激活函数形成注意力分布图；注意力分布图以元素相加的形式作用在内容上；加权后的内容通过1个第一卷积层抽象特征，并通过短路连接与原始输入元素相加；当短路连接输入输出维度不一致时，用一个第二卷积层对输入升维；
73.实施例7：在实施例6的基础上，在步骤s403之后，包括步骤：
74.s404，设置训练参数及损失函数策略，选择网络优化器，设置初始学习率，采用余弦退火函数衰减学习率，设置训练时期和设置批尺寸，选择激活函数为；多病灶分割和血管分割结果使用的损失函数为加权的交叉熵损失函数，分别为l1、l2；
75.总损失函数l表达式如下：
76.l＝l1 λl277.λ为两种损失函数的比例，对网络训练和网络测试；使用测试集进行网络测试得到多病灶分割和血管分割结果。
78.实施例8：在实施例7的基础上，所述第一卷积层为3x3的卷积层，所述第二卷积层为1*1的卷积层。所述网络优化器为sgd优化器，所述初始学习率设为0.001，设置训练时期为300，批尺寸为16，所述激活函数为softmax函数。所述对网络训练和网络测试具体为使用留一交叉验证方法进行网络训练和网络测试。
79.实施例9：一种病灶分割的设备，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载时并执行如实施例1～8任一项所述的方法。例如，在具体应用时，设置有如下功能模块：
80.数据接口模块，用于根据筛选数据集的数据特征，编写卷积神经网络所需的数据接口；
81.标签制作模块，用于构造多病灶分割的统一标签和制作血管的伪标签；训练集和测试集构建模块，用于进行网络训练和网络测试；
82.卷积神经网络的搭建模块，用于卷积神经网络的搭建，建立特征提取模型，将彩色眼底图像输入卷积神经网络，分别得到糖尿病视网膜病灶多病灶与血管的分割结果；其中，选择特征提取的骨干网络为采用densenet-161结构的u型网络，构建基于transformer结构的全局注意模块，通过2个全局注意模块分别得到血管和病灶的初步特征；构建基于transformer结构的特征注意模块，模块的输入包括两部分：病灶特征和血管特征；通过特
征注意模块得到病灶和血管的分割结果。
83.实施例10：一种可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如实施例1～8任一项所述的方法。
84.本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
85.上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
86.除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。