一种基于高亮点去除的医学图像分割方法

1.本发明涉及图像识别相关技术领域，更具体的说是涉及一种基于高亮点去除的医学图像分割方法。


背景技术：

2.随着科技的发展，微创医疗程序作为医疗手段变得越来越普遍；医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断。自从fcn全卷积网络被提出来以后，医学图像分割领域的研究已经广泛被深度学习的方法替代。但是由于医学图像自身的复杂性，加上内窥镜图像的镜面反射现象，导致内窥镜图出现高光现象，这些高亮点区域分布不均匀，且相互之间没有联系，很大程度上影响了医生的观察与判断。得益于传统手段的高效，因此提出将传统的高光修复作为识别结肠息肉病变的预处理步骤。传统的图像修复技术可以分为基于结构的图像修复技术和基于纹理的图像修复技术两大类。
3.1.基于结构的图像修复技术
4.变分偏微分方程模型是基于结构的图像修复技术的典型代表，由变分模型和偏微分方程模型构成。21世纪初，betalmio等人首次提出图像修复技术bscb模型，该模型通过待修补区域的边界向待修补区域扩散的方法来实现图像修复。bscb模型中图像的整体结构决定了图像的修复结果，待修复图像由边界线划分，根据待修复图像区域边界填充相对应的颜色，以此产生修补信息。基于bscb算法的tv(全变分)模型可以对图像进行很好的修补，但是和一些基于无纹理的修补方法一样，tv方法适合修补没有纹理结构的图像，结构十分清晰，但是修补的区域一般都会趋于模糊化，没有办法满足主观视觉上对图像连通性的要求。
5.2.基于纹理的图像修复技术
6.基于纹理的图像修复技术可以实现图像破损区域较大的修复。criminisi等人提出基于块的图像修复技术，该技术通过寻找最优的目标块，并将目标中的像素复制到待填充的区域，以此达到图像的修复。基于块的图像修复技术比基于像素的图像修复技术速度更快，受到广泛的关注。wei等人在优先计算公式时丢弃等照度线方向上的信息，使用垂直方向上的信息，该方法能更好地修复图像中的结构等信息。非参数采样的纹理合成方法使用基于马尔科夫随机场的方法进行图像修复，在图像中寻找与当前最接近的图像块，然后再估计当前像素的概率分布，通过诸如权重采样等方法生成当前像素。尽管此类图像修复方法有效地保持了图像纹理的一致性，但是却忽略了图像边缘结构，不能对此进行有效修复而且需要消耗大量的时间。
7.3.基于深度学习的图像修复技术
8.传统的图像修复方法结果中存在语义信息不完整、图像模糊等问题，无法达到目前对图像修复的要求。而基于深度学习的图像修复算法能够捕获更多图像的高级特征，修复结果较好，所以经常用于图像修复。目前基于生成式对抗网络的图像修复是深度学习图
像修复领域的一大研究热点，为图像修复技术的发展奠定了坚实的基础。目前主要的深度学习手段是采用生成对抗网络进行修复。
9.基于此，如何高效且保持纹理不丢失地完成图像修复是本领域技术人员亟需解决的问题。


技术实现要素：

10.有鉴于此，本发明提供了一种基于高亮点去除的医学图像分割方法，克服现有技术的缺陷，高效且保持纹理地不丢失的完成图像修复。
11.为了实现上述目的，本发明提供如下技术方案：
12.一种基于高亮点去除的医学图像分割方法，具体步骤为：
13.获取待修复图像；
14.对待修复图像进行图像增强处理；
15.对增强处理后的待修复图像进行修复，获得修复图像；
16.基于修复图像，利用生成对抗网，训练图像分割模型；
17.利用图像分割模型对修复图像进行图像分割。
18.可选的，获得修复图像的步骤为：
19.采用阈值算法对待修复图像进行高亮点检测，并获得初始镜面反射区域；
20.对初始镜面反射区域进行形态学膨胀操作；
21.依次修复高亮点区域块。
22.可选的，检测高亮点是对待修复图像中大于预定义阈值的图像块按照亮点大小进行划分。
23.可选的，高亮点区域块的获得公式为：
[0024][0025]
式中，thd为预定义阈值，(x,y)表示图像i中的像素坐标；其中b(x,y)为二值阈值输出。
[0026]
可选的，依次修复高亮点区域块的步骤为：
[0027]
步骤331、计算各个高亮点的优先级；
[0028]
步骤332、按照优先级获取待修复高亮点，并依据待修复高亮点确定高亮点区域块的范围；
[0029]
步骤333、根据高亮点区域块以及扩张系数确定匹配块搜索范围；
[0030]
步骤334、依据匹配原则在匹配块搜索范围获得最佳匹配块；
[0031]
步骤335、更新最佳匹配块的置信度，利用最佳匹配块对待修复高亮点进行填充，获得任一亮点修复图；
[0032]
步骤336、判断高亮点轮廓集合是否为空，若否，重复步骤334以及步骤335；若是，执行步骤337；
[0033]
步骤337、重复步骤332至步骤336，直至未有高亮点。
[0034]
可选的，高亮点轮廓集合为通过自适应搜索范围的搜索策略，对任一高亮点区域块中的高亮点进行轮廓检测，获得的轮廓集合。
[0035]
可选的，高亮点的优先级的计算公式为：
[0036]
p(p)＝α
·
c(p) β
·
d(p)
ꢀꢀꢀ
(2)；
[0037]
式中，c(p)为置信度项；d(p)为数据项；α、β均为归一化的系数。
[0038]
可选的，更新匹配块的置信度的公式为：
[0039][0040]
式中，为最佳匹配块的置信度；th为待修复高亮点区域块与最佳匹配块之间的平均梯度差值。
[0041]
经由上述的技术方案可知，与现有技术相比，本发明公开了一种基于高亮点去除的医学图像分割方法，不仅能够修复医学图像中绝大多数的亮点，还能保持纹理不丢失，使图像更符合人眼的美学观赏，不会被高亮点影响到视觉体验。
附图说明
[0042]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0043]
图1为本发明方法流程图；
[0044]
图2(a)为本发明实施例中待修复图像；图2(b)为本发明实施例中待修复图像的阈值化示意图；图2(c)为本发明实施例中对阈值化图进行形态学膨胀操作后示意图；
[0045]
图3(a)为本发明实施例中匹配策略的输入图；图3(b)为criminisi匹配策略的结果示意图；图3(c)为本实施例中匹配策略的结果示意图；
[0046]
图4(a)为本发明实施例中的输入图；图4(b)为opencv修复结果图；图4(c)为criminisi算法修复结果；图4(d)为本实施例修复图结果图；
[0047]
图5(a)为采用unet网络时，有高亮点时的图像分割示意图；图5(b)为采用unet网络时，没有高亮点时的图像分割示意图；
[0048]
图6(a)为采用unet 网络时，有高亮点时的图像分割示意图；图6(b)为采用unet 网络时，没有高亮点时的图像分割示意图；
[0049]
图7(a)为采用pranet网络时，有高亮点时的图像分割示意图；图7(b)为采用pranet网络时，没有高亮点时的图像分割示意图。
具体实施方式
[0050]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]
本发明实施例公开了一种基于高亮点去除的医学图像分割方法，基于纹理的图像修复技术，修复图像的同时保持纹理的不丢失有利于视觉的观赏和细节的保留，为下一步的网络分割提供保障；具体为：先将待修复的图片进行图像增强处理，再对增强处理后的图
像使用修复算法进行修复，将修复完成后的息肉数据集放入常用的医学息肉分割网络中进行训练。
[0052]
实施例1
[0053]
一种基于高亮点去除的医学图像分割方法，如图1所示，具体步骤为：
[0054]
步骤1、获取待修复图像；
[0055]
步骤2、对待修复图像进行图像增强处理；
[0056]
步骤3、对增强处理后的待修复图像进行修复，获得修复图像；
[0057]
步骤4、基于修复图像，利用生成对抗网，训练图像分割模型；
[0058]
步骤5、利用图像分割模型对修复图像进行图像分割。
[0059]
在获得修复图像过程中，需要去除镜面反射，在去除镜面反射之前，应当先进行高亮点检测，检测高亮点采用的手段是阈值算法，对大于某阈值的图像块按照亮点大小进行划分。此外，镜面反射区域的周围通常有黑圈和彩圈，为了减小黑圈和彩圈对后续处理的影响，采用形态学膨胀操作对阈值法得到的镜面反射区域进行放大，获得的图像如图2(a)-图2(c)所示。
[0060]
基于此，步骤3可具体为：
[0061]
步骤31、待修复图像进行亮度阈值判断，获取初始镜面反射区域，并按照高亮点大小对待修复图像进行划分，获得高亮点区域块；
[0062]
高亮点区域块的获得公式为：
[0063][0064]
式中，thd为预定义阈值，(x,y)表示图像i中的像素坐标；其中b＝{b(x,y)}为二值阈值输出。
[0065]
步骤32、对初始镜面反射区域进行形态学膨胀操作，b1＝{b1(x,y)}，b1为任一镜面反射区域。
[0066]
本实施例中，设定镜面反射检测的结构元素为5*5，预定义阈值thd为210；从膨胀操作后的掩模图可以看出，检测到的区域可以覆盖待修复图。
[0067]
步骤33、依次修复高亮点区域。
[0068]
具体为：依次修复高亮点区域时，即在修复过程中每次只针对一个高亮点区域进行修复，然后再基于高亮点轮廓集合依次修复图像中剩余的高亮点，直至全部修复完成。
[0069]
步骤33的具体内容为：
[0070]
步骤331、计算各个高亮点的优先级；
[0071]
步骤332、将优先级最高的高亮点为待修复高亮点，并依据待修复高亮点确定待修复高亮点区域块的的大小；
[0072]
步骤333、根据待修复高亮点区域块以及扩张系数确定匹配块搜索范围；
[0073]
步骤334、依据匹配原则在匹配块搜索范围获得最佳匹配块；
[0074]
步骤335、更新最佳匹配块的置信度，利用最佳匹配块对待修复高亮点进行填充，获得修复高亮点的修复图；
[0075]
步骤336、判断高亮点轮廓集合是否为空，若否，重复步骤334以及步骤335；若是，执行步骤337；
[0076]
步骤337、重复步骤332至步骤336，直至未有高亮点。
[0077]
其中，高亮点轮廓集为通过自适应搜索范围的搜索策略，对任一待修复高亮点区域块中的高亮点进行轮廓检测，获得轮廓集合。
[0078]
其中，步骤331中，高亮点轮廓集中各个高亮点的优先级的计算公式为：
[0079]
p(p)＝α
·
c(p) β
·
d(p)
ꢀꢀꢀ
(2)；
[0080]
式中，c(p)为置信度项，用来衡量以像素点p为中心的高亮点区域块ψ
p
内已知信息的数目；d(p)为数据项；α β＝1，当d(p)＝0且c(p)《0时，α＝0，β＝0；当d(p)≠0且c(p)≠0时，α＝0.4,β＝0.6；当d(p)＝0且c(p)》0.8时，α＝1，β＝0。以此保证当d(p)为零时，只要c(p)高，也能优先修复；当d(p)为零和c(p)很低时，令p(p)为零，表示该像素块后修复；当d(p)和c(p)都不为零时，令β》α，使数据项占主导因素。
[0081]
其中，c(p)和d(p)表达式如下：
[0082][0083]
式中|ψ
p
|表示ψ
p
的面积，α是归一化因子(对于8位的灰度图像，一般取值为255)，为待修复高亮点区域块边界ω正交的单位向量。
⊥
表示正交算子，结构信息所在的点具有更高的优先级。
[0084]
通过本实施例所提出的方法能够避免纹理丰富区域修复过度扩展的现象以及解决criminisi算法中修复方向严格按照线性结构进行出现断层的问题。
[0085]
其中，步骤333中匹配块搜索范围的获取步骤为：
[0086]
基于自适应搜索范围的搜索策略，该策略首先对检测到的高亮点进行轮廓检测，获得高亮点的轮廓集合，然后根据轮廓长度lc采取不同的扩张系数n来确定搜索范围；在搜索范围内搜索匹配块；扩张系数公式如下：
[0087][0088]
式中；a为规定的轮廓集合阈值，决定匹配块的修复范围；n1，n2为不同的轮廓集合长度对应的扩张系数，按照图像纹理结构复杂度不同而进行不同的调整，lc为高亮点轮廓长度。
[0089]
步骤334中匹配原则具体为：
[0090][0091]
式中，分别为纹理块中对应像素点的r、g、b的值。
[0092]
其中，定义为两个块中已知像素的差的平方和，搜索整幅图像的已知信息后，找到最小的即为最佳的匹配块
[0093]
其中，通过最大优先权块后搜索最佳匹配块的公式为：
[0094][0095]
在此之前还需要获得初始化时图像的各像素点的置信度，其公式为：
[0096][0097]
如图3(a)-图3(b)所示，通过与criminisi匹配策略相比，criminisi算法的匹配块有大量集中在待修复区域附近，有少量分布在无关区域，对于修复后的效果并无改进，而本实施例所采用的的算法得到的匹配效果更佳。
[0098]
其中，步骤335中更新匹配块的置信度的公式为：
[0099][0100]ipi
为待修复高亮点区域块ψq中已知点的梯度值，i
qi
为匹配块对应的已知点的梯度值，m为待修复高亮点区域块中已知点的个数，令梯度值，m为待修复高亮点区域块中已知点的个数，令th为待修复高亮点区域块与对应的匹配块之间的平均梯度差值，th值越小，说明两块之间的纹理相差越小，复制过来点的置信度就越大。
[0101]
在现有技术中有不少修补方法，通过与opencv、criminisi相比，可以看出本实施例所采用的修复方法效果更加，其修复结果示意图如图4(a)-图4(d)所示。
[0102]
实施例2
[0103]
先将待修复的图片进行图像增强处理，再使用传统算法进行修复，将修复完成后的息肉数据集选出五分之四，作为训练集和对应的专家标注的掩模图放入到三种常用的医学息肉分割网络中进行训练。再将剩下的五分之一的修复完成的图片数据集作为测试集放入到已经训练完成的unet、unet 、pranet网络中进行比较，unet网络的分割结果对比如图5(a)-图5(b)所示；unet 网络的分割结果对比如图6(a)-图6(b)所示；pranet网络的分割结果对比如图7(a)-图7(b)所示；通过对比有高亮点时的分割结果与没有高亮点时的分割结果，可以观察到分割效果的提升；unet是2005年提出的网络，作为第一批全卷积神经网络在医学领域上的应用，大幅度提升了分割的准确率。unet 是2017年提出的基于unet改进的网络，将densenet的思想引入网络中，并加入了自监督系统和裁剪结构，在提升准确率的同时并没有提高网络的参数量，是一种非常新颖的网络结构。pranet是2020年miccai年出版的竞赛论文，通过并行部分解码器(pdd)在高层聚合特征，从而获取上下文信息并生成全局映射图，该图只能捕捉息肉组织的相对粗略位置，为进一步挖掘边界线索，反复利用反向注意力(ra)模块来建立区域和边界线索之间的关系。由于区域和边界线索之间的这种迭代的交互机制，模型能够矫正预测结果中一些不一致的区域。
[0104]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0105]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一
致的最宽的范围。