基于特征解耦的不配对眼底图像的结构保持性增强方法

1.本发明涉及深度学习领域，具体涉及一种基于特征解耦的不配对眼底图像的结构保持性增强方法及系统。


背景技术：

2.随着医疗水平的进步和医疗设备的智能化，图像越来越成为临床诊断的重要依据。而在眼科疾病的诊断中，眼底视网膜图像更是极为重要的判断根据。良好的图像质量是医生和计算机辅助诊断系统做出正确诊断的必要前提。相比于其他医疗图像，眼底图像采集更为复杂，要求也更加严格，同时制约其图像质量的因素也更多。受试者的小瞳、玻璃体浑浊、眼球震颤等多种生理和病理性原因都会造成眼底图像亮度低、模糊等多种低质量情况，对于白内障、葡萄膜炎、角膜炎、视网膜脱落的患者都会出现眼底图像有雾的情况。所以针对眼底图像增强的研究具有极大的现实意义。
3.针对眼底图像的增强方法有以下两种：(1)传统图像增强方法；(2)深度学习方法。传统的图像增强方法如直方图均衡化、对比度自适应直方图均衡化和gamma校正等多数以调整灰度分布直方图和全局的像素调整为主，这些增强方法用于眼底图像经常出现噪音大、过曝等问题，而且不适合复杂的、不均匀的和质量较差的图像增强。而基于深度学习的增强算法大多依赖于成对的数据，这在医疗图像中很难获取。尤其对于眼底图像而言，人眼即使在间隔很短的两次拍摄过程中也会出现非自主的转动，所以很难获取到成对数据。近期随着cyclegan的提出，涌现出大量的研究开始进行不配对的图像增强，引起相关研究者的极大关注。
4.但是，不配对增强算法存在一个严峻的问题：增强后的图像总是存在的结构的丢失和改变，这在医疗图像中是无法接受的，因为这会带来医生或者计算机辅助诊断系统的误诊。所以对于医疗图像的增强过程中，如何保证增强前后结构的一致性成为亟待解决的问题。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种基于特征解耦的不配对眼底图像的结构保持性增强方法及系统。
6.本发明技术解决方案为：一种基于特征解耦的不配对眼底图像的结构保持性增强方法，包括：
7.步骤s1：获取不成对的原始高质量眼底图像ih和原始低质量眼底图像i
l
，经过n层编码器，分别提取各层眼底图像的语义特征其中，l和h分别表示低质量眼底图像和高质量眼底图像，n为所述语义特征的层数；所述语义特征包含：本征结构特征和非本征质量特征；
8.步骤s2：将最高层，即第n层的语义特征和输入解耦增强模块qdm，进行解耦性增强和质量交换，输出语义特征和其中，为对所述低质量眼底图像语义特
征进行解耦强化和质量增强后的语义特征，为对所述高质量眼底图像语义特征进行解耦强化和质量退化后的语义特征；
9.步骤s3：将和分别经过n层解码器，同时，在第1层到第n-1层所述编码器和其对应的所述解码器之间使用基于实例归一化的跳跃连接i-norm-skip模块来充分利用低级语义特征中的结构信息，实例归一化用于剔除所述低级语义特征中的所述非本征质量特征，同时保留其本征结构特征；将每层所述编码器的归一化后的语义特征与其对应的所述解码器中对应尺寸的特征在通道维度进行拼接后，最终得到具有原始低质量眼底图像结构的质量增强图像i
l_e
和具有原始高质量眼底图像结构的质量退化图像i
h_d
；
10.步骤s4：采用循环一致性模型，将i
h_d
和i
l_e
再次执行步骤s1～s3进行质量的交换，最终得到重建的高质量眼底图像i
′h和低质量眼底图像i
′
l
，同时，构建一致性损失解耦强化损失和特征不变损失对所述循环一致性模型进行监督和优化。
11.本发明与现有技术相比，具有以下优点：
12.本发明公开了一种基于特征解耦的不配对眼底图像的结构保持性增强方法，针对眼底图像中结构和病灶尺寸小、低质量因素众多且复杂交错、成对眼底图像(即配对的低质量/高质量图像)难以获取的现状，构建循环一致性框架，针对眼底图像的结构信息和质量信息进行解耦性强化，并且构建基于实例归一化的跳跃连接模块以保证眼底图像增强前后结构的一致性。
附图说明
13.图1为本发明实施例中一种基于特征解耦的不配对眼底图像的结构保持性增强方法的流程图；
14.图2为本发明实施例中基本模型示意图；
15.图3为本发明实施例中解耦强化模块的结构示意图；
16.图4为本发明实施例中循环一致性框架示意图；
17.图5为本发明实施例中一种基于特征解耦的不配对眼底图像的结构保持性增强系统的结构框图。
具体实施方式
18.本发明提供了一种基于特征解耦的不配对眼底图像的结构保持性增强方法。
19.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
20.实施例一
21.如图1所示，本发明实施例提供的一种基于特征解耦的不配对眼底图像的结构保持性增强方法，包括下述步骤：
22.步骤s1：获取不成对的原始高质量眼底图像ih和原始低质量眼底图像i
l
，经过n层编码器，分别提取各层眼底图像的语义特征其中，l和h分别表示低质量眼底图像和高质量眼底图像，n为语义特征的层数；语义特征包含：本征结构特征和非本征质量特征；
23.步骤s2：将最高层，即第n层的语义特征和输入解耦增强模块qdm，进行解耦性增强和质量交换，输出语义特征和其中，为对低质量眼底图像语义特征进行解耦强化和质量增强后的语义特征，为对高质量眼底图像语义特征进行解耦强化和质量退化后的语义特征；
24.步骤s3：将和分别经过n层解码器，同时，在第1层到第n-1层编码器和其对应的解码器之间使用基于实例归一化的跳跃连接i-norm-skip模块来充分利用低级语义特征中的结构信息，实例归一化用于剔除低级语义特征中的非本征质量特征，同时保留其本征结构特征；将每层编码器的归一化后的语义特征与其对应的解码器中对应尺寸的特征在通道维度进行拼接后，最终得到具有原始低质量眼底图像结构的质量增强图像i
l_e
和具有原始高质量眼底图像结构的质量退化图像i
h_d
；
25.步骤s4：采用循环一致性模型，将i
h_d
和i
l_e
再次执行步骤s1～s3进行质量的交换，最终得到重建的高质量眼底图像i
′h和低质量眼底图像i
′
l
，同时，构建一致性损失解耦强化损失和特征不变损失对循环一致性模型进行监督和优化。
26.在一个实施例中，上述步骤步骤s1：获取不成对的原始高质量眼底图像ih和原始低质量眼底图像i
l
，经过n层编码器，分别提取各层眼底图像的语义特征其中，l和h分别表示低质量眼底图像和高质量眼底图像，n为语义特征的层数；语义特征包含：本征结构特征和非本征质量特征，具体包括：
27.利用基于vgg网络的n层编码器提取i
l
和ih在不同层次的语义特征其中，l和h分别低质量眼底图像和高质量眼底图像，n为语义特征的层数；
28.语义特征包括：本征结构特征和非本征质量特征其中，本征结构特征定义为其中，μ和σ是按通道的均值和方差，非本征质量特征定义为其中m表示批尺寸，c是语义特征的通道数。
29.由于vgg网络具有良好的图像特征表征能力，本发明实施例采用在包含1400万张200万个类别的图像数据库imagenet上预训练的vgg作为编码器。vgg提取出输入眼底图像(包括高质量眼底图像和低质量眼底图像)4个层次的语义特征。通过对不同级别语义特征进行了解耦性的探索，发现其最高层，即第四层的语义特征具有较好的解耦特性，所以在后续步骤中会对该层次进行质量信息的增强。
30.如图2基本模型示意图所示，本发明实施例使用基于vgg网络的4层编码器，提取高质量和低质量眼底图像在不同层次的本征结构特征和非本征质量特征并通过结合低质量图的本征结构特征和高质量图的非本征质量特征实现图像质量的增强。
31.在一个实施例中，上述步骤s2：将最高层，即第n层的语义特征和输入解耦增强模块qdm，进行解耦性增强和质量交换，输出语义特征和其中，为对低质量眼底图像语义特征进行解耦强化和质量增强后的语义特征，为对高质量眼底图像语义特征进行解耦强化和质量退化后的语义特征，具体包括：
32.步骤s21：将最高层语义特征和分别输入到qdm模块进行解耦性的增强和质量的交换：将非本征质量表征输入到分类网络中，其中，分类网络由全连接层和激活函
数relu组成，由relu输出增强的非本征质量特征和最后全连接层的输出向量用二分类交叉熵来进行低质量和高质量的分类，得到增强后的语义特征由低质量本征结构特征和解耦强化的高质量非本征质量特征组成；类似的，退化后的语义特征由高质量本征结构特征和解耦强化后的低质量非本征质量特征组成；
33.质量交换由自适应实例归一化的方式进行，如下所示：
[0034][0035]
其中，x，y分别代表低质量图像和高质量图像的语义特征，先通过按通道归一化的方式剔除本身的非本征质量特征，再通过赋予新的均值和方差的方式获得新的非本征质量特征；
[0036]
步骤s22：同时，构建解耦强化损失由交叉熵损失和正则化损失两项组成：
[0037][0038][0039]
其中，为最高的第n层的低质量非本征质量特征，为解耦强化后的非本征质量特征；为最高的第n层的高质量非本征质量特征，为解耦强化后的非本征质量表征；||.||2为l2范数。
[0040]
在本步骤中，将步骤s1提取的高质量眼底图像和低质量眼底图像的第4层语义特征进行解耦，各自解耦出结构信息和质量信息两个特征向量。使用解耦强化模块qdm，其结构如图3所示，进行解耦性的增强同时完成质量的交换：首先对非本征质量特征向量进行全连接层映射，relu激活函数激活，再进行一次全连接层映射实现降维。将降维之后的高质量眼底图像和低质量眼底图像的非本征质量特征向量进行交叉熵损失计算，强化解耦出的两类非本征质量特征向量，使用正则化损失约束非本征质量特征在适当的范围内变化。将强化后的非本征质量特征进行交换，从而完成质量的交换。
[0041]
在一个实施例中，上述步骤s3：将和分别经过n层解码器，同时，在第1层到第n-1层编码器和其对应的解码器之间使用基于实例归一化的跳跃连接i-norm-skip模块来充分利用低级语义特征中的结构信息，实例归一化用于剔除低级语义特征中的非本征质量特征，同时保留其本征结构特征；将每层编码器的归一化后的语义特征与其对应的解码器中对应尺寸的特征在通道维度进行拼接后，最终得到具有原始低质量眼底图像结构的质量增强图像i
l_e
和具有原始高质量眼底图像结构的质量退化图像i
h_d
，具体包括：
[0042]
步骤s31：i-norm-skip模块通过公式(1)所示实例归一化的方式剔除语义特征中的非本征质量特征：
[0043][0044]
其中，fj为第1层到第n-1层眼底图像的语义特征，j∈[1，n-1]；μ
nc
(fj)表示语义特
征按通道的均值，σ
nc
(fj)表示语义特征按通道的方差；二者共同构成语义特征的非本征质量特征；
[0045]
步骤s32：将归一化后的语义特征inf(fj)中包含的结构信息以通道拼接的方式传递给解码器；所以，第i
th
层解码器的语义特征gi为：
[0046][0047]
其中，up为上采样操作。
[0048]
在本步骤中，本发明实施例设计了基于实例归一化的跳跃连接模块(i-norm-skip)以保证增强后图像的结构一致性，使用跳跃连接将剔除质量信息的低级语义特征传递给解码器，即：编码器阶段的低级语义特征与相对应的解码器阶段的高级语义特征进行通道上的拼接，从而可以充分利用低级语义特征中的细节结构信息。将拼接之后的眼底图像语义特征信息输入解码器，最后得到与原始低/高质量眼底图像尺寸一致的输出图像，即，最终得到具有原始低质量眼底图像结构的质量增强图像i
l_e
和具有原始高质量眼底图像结构的质量退化图像i
h_d
。
[0049]
在一个实施例中，上述步骤s4：采用循环一致性模型，将i
h_d
和i
l_e
再次执行步骤s1～s3进行质量的交换，最终得到重建的高质量眼底图像i
′h和低质量眼底图像i
′
l
，同时，构建一致性损失解耦强化损失和特征不变损失对循环一致性模型进行监督和优化，具体包括：
[0050]
步骤s41：针对训练质量交换模型，在重建图像与原始图像之间设计了一致性损失
[0051][0052]
其中，l表示原始低质量眼底图像，表示重建的低质量眼底图像；
[0053]
h表示原始高质量眼底图像，表示重建的高质量眼底图像；||.||1表示l1范数；
[0054]
步骤s42：构建特征不变损失对增强后的图像与原始图像分别在本征结构特征和非本征质量特征进行监督，保证增强后图像结构的不变性和具有预期的质量；
[0055][0056][0057][0058]
其中，λe为预设的参数，f表示编码器用于提取语义特征，g表示解码器用于将语义特征输出对应的图像，表示提取的增强图像的语义特征。
[0059]
如图4所示，为了实现不配对图像的增强任务，本发明通过增强-退化的互逆过程实现对图像pix-pix的监督，本发明实施例构建了循环一致性框架，通过对输入图像进行连续的质量增强和退化完成对输入图像的重建，以此来实现对图像的像素-像素监督。循环一
致性框架包括2个阶段，第一个阶段为质量交换，利用上述步骤s1～s3，得到增强后的低质量图像和退化后的高质量图像，并将其输入第二阶段的图像重建，再次重复步骤s1～s3进行质量交换，从而最终完成对输入图像的重建。
[0060]
本发明公开了一种基于特征解耦的不配对眼底图像的结构保持性增强方法，针对眼底图像中结构和病灶尺寸小、低质量因素众多且复杂交错、成对眼底图像(即配对的低质量/高质量图像)难以获取的现状，构建循环一致性框架，针对眼底图像的结构信息和质量信息进行解耦性强化，并且构建跳跃连接模块以保证眼底图像增强前后结构的一致性。
[0061]
实施例二
[0062]
如图5所示，本发明实施例提供了一种基于特征解耦的不配对眼底图像的结构保持性增强系统，包括下述模块：
[0063]
语义特征提取模块51，用于获取不成对的原始高质量眼底图像ih和原始低质量眼底图像i
l
，经过n层编码器，分别提取各层眼底图像的语义特征其中，l和h分别表示低质量眼底图像和高质量眼底图像，n为语义特征的层数；语义特征包含：本征结构特征和非本征质量特征；
[0064]
解耦强化和质量增强模块52，用于将最高层，即第n层的语义特征和输入解耦增强模块qdm，进行解耦性增强和质量交换，输出语义特征和其中，为对低质量眼底图像语义特征进行解耦强化和质量增强后的语义特征，为对高质量眼底图像语义特征进行解耦强化和质量退化后的语义特征；
[0065]
结构保持性模块53，用于将和分别经过n层解码器，同时，在第1层到第n-1层编码器和其对应的解码器之间使用基于实例归一化的跳跃连接i-norm-skip模块来充分利用低级语义特征中的结构信息，实例归一化用于剔除低级语义特征中的非本征质量特征，同时保留其本征结构特征；将每层编码器的归一化后的语义特征与其对应的解码器中对应尺寸的特征在通道维度进行拼接后，最终得到具有原始低质量眼底图像结构的质量增强图像i
l-e
和具有原始高质量眼底图像结构的质量退化图像i
h-d
；
[0066]
循环一致性模块54，用于i
h_d
和i
l_e
再次执行上述模块进行质量的交换，最终得到重建的高质量眼底图像i
′h和低质量眼底图像i
′
l
，同时，构建一致性损失解耦强化损失和特征不变损失对循环一致性模型进行监督和优化。
[0067]
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。