基于细节增强分解模型的医学图像融合方法

1.本发明属于医学图像融合领域，主要涉及利用一个细节增强分解模型在不失真的情况下提高图像质量进行医学图像融合的融合方法。


背景技术：

2.图像融合的目的是将多幅不同输入图像的特征融合成一幅图像，从而使其更可靠，更易于患者和医生理解。随着医学影像技术的迅速发展，大量医学影像设备被成功地应用于疾病诊断、放射治疗和外科手术。然而，不同的传感器对相同的细胞、组织、骨骼、器官和系统产生不同的成像结果。单一模式的医学成像不能完全反映器官或组织的全部生理信息。此外，融合图像不仅合成互补信息，还减少多模态医学图像中的冗余信息，从而节省存储成本。
3.基于深度学习网络的图像融合算法近年来成为热门研究课题。其中包括卷积神经网络(cnn)，多交点图像融合框架(ifcnn)等。这些基于深度神经网络的融合算法已经在非医学领域取得了众多成就。然而，由于缺乏地面实况信息和大量有效数据，基于神经网络的医学图像融合算法的发展受到了挫折。因此，像素级医学图像融合算法的开发仍然是一个热门的研究课题，其直接从原始像素中提取特征并应用，无需额外处理。此外，像素级的医学融合算法在空间域和变换域中运行。
4.特征提取方法和特征融合规则是医学融合算法的基础。基于特征提取方法，医学图像融合算法可分为三类。首先，使用多尺度变换(mst)或多尺度几何分析方法，如拉普拉斯金字塔(lp)、离散小波变换(dwt)。其次，通过局部拉普拉斯金字塔滤波等滤波分解获得图像的基本层和细节层(llf)。第三，输入图像的能量和边缘细节层通过求解混合分解模型等目标函数和正则化项获得。特征提取后采用适当的特征融合规则，得到满意的融合图像。然而现有医学图像融合算法遇到的典型问题是对比度降低、细节模糊、颜色失真和耗时。


技术实现要素：

5.为了解决上述问题，本发明提供了一种细节增强分解模型的医学图像融合方法，该方法提供了一种细节增强模型，增强了图像的边缘细节，并且对分解后的每一层提出了有针对性的融合规则，有效的解决了现有的医学图像融合算法中存在的对比度降低以及失真等问题，为现代医学图像融合提供了一定的应用价值。
6.为了达到上述目的，本发明是通过以下技术方案实现的：
7.本发明是一种基于细节增强分解模型的医学图像融合方法，该方法包括如下步骤：
8.步骤1：获取数据集，从公开数据库或者实验等其他途径中获取对应的输入图像1记录为i1，输入图像2记录为i2。
9.步骤2：由于本研究的主要实验对象是灰度与彩色图像融合。因此，彩色图像首先被转换成yuv通道；然后，使用y通道与相应的灰度图像进行融合。
10.步骤3：使用细节增强分解模型对医学图像进行分解。
11.细节增强分解模型为：
[0012][0013]
其中wb为一阶导数滤波器w1＝[-1 1]，w2＝[-1 1]
t
与二阶拉普拉斯滤波器ρ(x)为非凸变量，λ控制平滑度，表示对基本层使用拉普拉斯滤波器，表示强制定位的基本层b和细节层l与原始图像i接近。
[0014]
步骤4：选用特定的融合规则将增强后的层融合。
[0015]
基本层b包含了图像的基本内容信息，因此使用加权平均法获得基本层，具体公式如下：
[0016][0017][0018]
其中x＝1，γ＝1.5，b
′
表示进行加权平均处理后的基本层，n代表有n个输入。
[0019]
细节层l分别包含纹理细节与边缘轮廓信息，l2范数和最大奇异值分别表示细节与主要变形信息，通过使用3x3窗口滑动图像来获得一系列面片，对于每一个面片，通过计算l2范数和最大奇异值的乘积来确定，具体细节层融合规则为：
[0020][0021]
其中(i，j)是窗口中的位置，g是面片的数量，表示g块在i，j中的融合像素，表示位于(i，j)中的第m个局部平均细节层的g块的像素，的定义如下：
[0022][0023]
其中v
max
(l
g，m
)表示细节层的最大奇异值，在得到所有的融合面片lg，g＝1，2，...，g后，选择对重叠区域的平均操作得到融合的细节层l。
[0024]
融合图像的计算公式如下：
[0025]
f＝b l。
[0026]
步骤5：根据融合后的图像进行重构。
[0027]
本研究的主要实验对象是灰度和彩色图像融合。因此，彩色图像首先被转换成yuv
通道；然后，使用y通道与相应的灰度图像进行融合。最后进行颜色空间反演，得到彩色融合图像。
[0028]
本发明的有益效果是：
[0029]
本发明的融合方法增强分解图像的细节与边缘，更加的高效并且不引入噪声，有助于解决因融合而遇到的对比度降低、细节模糊以及颜色失真等问题；
[0030]
本发明相比于单纯的特征提取，使用细节增强模型使分解出的层更加的平滑，不失真；
[0031]
本发明针对每一层提出有效的、有针对性的融合规则，比传统的融合方法更具优势。
[0032]
本发明细节增强分解模型与作为经典增强分解方法的局部拉普拉斯金字塔滤波相比具有无附加噪声、主观效果可接受、时间短等优点。
附图说明
[0033]
图1为本发明的算法流程图。
[0034]
图2为本发明与其他先进方法在pet-mri数据集上的对比实验图，其中：输入图像：pet图像为(a1/b1/c1/d1)；mri图像为(a2/b2/c2/d2)；mst-sr方法图像为(a3/b3/c3/d3)；csr方法图像为(a4/b4/c4/d4)；cnn方法图像为(a5/b5/c5/d5)；lr-sr方法图像为(a6/b6/c6/d6)；nsst-cstf方法图像为(a7/b7/c7/d7)；nsst-papcnn方法图像为(a8/b8/c8/d8)；relp方法图像为(a9/b9/c9/d9)；tl-st方法图像为(a10/b10/c10/d10)；csmca方法图像为(a11/b11/c11/d11)；ifcnn方图像为法(a12/b12/c12/d12)；nsct-dct图像为(a13/b13/c13/d13)；pca-svd方法图像为(a14/b14/c14/d14)，本发明的融合方法图像为(a15/b15/c15/d15)。
[0035]
图3为本发明与其他先进方法在spect-mri数据集上的对比实验图，其中：输入图像：spect图像为(a1/b1/c1/d1)；mri图像为(a2/b2/c2/d2)；mst-sr方法图像为(a3/b3/c3/d3)；csr方法图像为(a4/b4/c4/d4)；cnn方法图像为(a5/b5/c5/d5)；lr-sr方法图像为(a6/b6/c6/d6)；nsst-cstf方法图像为(a7/b7/c7/d7)；nsst-papcnn方法图像为(a8/b8/c8/d8)；relp方法图像为(a9/b9/c9/d9)；tl-st方法图像为(a10/b10/c10/d10)；csmca方法图像为(a11/b11/c11/d11)；ifcnn方法图像为(a12/b12/c12/d12)；nsct-dct图像为(a13/b13/c13/d13)；pca-svd方法图像为(a14/b14/c14/d14)，本发明融合方法图像为(a15/b15/c15/d15)
具体实施方式
[0036]
以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。
[0037]
如图1-3所示，本发明公开了一种基于细节增强分解模型的医学图像融合方法，该方法包括如下步骤：
[0038]
第一步：挑选数据集。
[0039]
本发明研究的是灰度与彩色图像的融合，因此从公开数据库中选用mri&pet、mri&
spect数据集，从公开数据库或者实验等其他途径中获取对应的输入图像1记录为i1，输入图像2记录为i2。
[0040]
步骤2、将步骤1中获取的彩色图像转换为yuv信道，具体为：彩色图像首先被转换成yuv通道，然后，使用y通道与灰度图像进行融合。
[0041]
步骤3、设计细节增强分解模型，对医学图像进行分解。
[0042]
细节增强分解模型为：
[0043][0044]
其中wb为一阶导数滤波器w1＝[-1 1]，w2＝[-1 1]
t
与二阶拉普拉斯滤波器ρ(x)为非凸变量，λ控制平滑度，表示对基本层使用拉普拉斯滤波器，表示强制定位的基本层b和细节层l与原始图像i接近。
[0045]
由于ρ(x)为非凸变量，因此该细节增强分解模型函数为非凸的，本发明使用半二次分离方案来解决非凸问题，在每个像素出处引入辅助变量公式如下：
[0046][0047]
其中β是优化过程中增加的权重；
[0048]
通过交替计算b和l和更新辅助变量实现目标函数的最小化；
[0049]
更新在保持b、l固定的情况下，找到每个像素处的闭合形式解以最小化
[0050][0051][0052]
计算b，l，固定时，b，l的函数为二次函数，假设有循环边界条件，使用对卷积矩阵wb进行对角化，从而直接找到最优解b，l：
[0053]
[0054][0055][0056]
其中：*是复共轭，加在分母上的参数τ是增加算法稳定性所需的一个小数值(在我们的实验中τ＝10-16
)，乘法和划分都是执行的，解决公式仅需要两次傅立叶变换，并且在每次迭代时只需要一个逆傅立叶变换ifft，是对基本层b进行傅立叶变换，是卷积矩阵wb进行对角化。
[0057]
步骤4、使用不同的融合规则对分解的层进行融合。
[0058]
基本层b融合规则为：
[0059][0060][0061]
其中x＝1，γ＝1.5，b
′
表示进行加权平均处理后的基本层，n代表有n个输入。
[0062]
细节层l分别包含纹理细节与边缘轮廓信息，l2范数和最大奇异值分别表示细节与主要变形信息，通过使用3x3窗口滑动图像来获得一系列面片，对于每一个面片，通过计算l2范数和最大奇异值的乘积来确定，具体细节层融合规则为：
[0063][0064]
其中(i，j)是窗口中的位置，g是面片的数量，表示g块在i，j中的融合像素，表示位于(i，j)中的第m个局部平均细节层的g块的像素，的定义如下：
[0065][0066]
其中v
max
(l
g，m
)表示细节层的最大奇异值，在得到所有的融合面片lg，g＝1，2，...，g后，选择对重叠区域的平均操作得到融合的细节层l。
[0067]
为了解决医学图像融合算法遇到的一些典型问题，例如：对比度降低、细节模糊、颜色失真和耗时等。本发明在得到包含不同特征的信息层后，有针对性的为每一层提出了有效的融合规则，与传统的融合方法比具有明显的优势。
[0068]
步骤5：模型测试。
[0069]
影响模型的主要参数是λ和β。λ控制基本层的平滑度；β控制增强程度。为了证明本发明的有效性，使用100组pet-mri和100组spect-mri分析所提算法融合规则的效果。融合规则为旨在在多个输入图像之间保留尽可能多的非公共信息，同时删除冗余信息。为了更
好地观察本研究算法的主观视觉效果，选取两组pet-mri医学图像、两组spect-mri医学图像进行比较。获得融合图像后，客观评价图像至关重要。多方位评价更有利于这种分析。
[0070]
为了验证所提出的医学图像融合方法的有效性，选取了以下经典图像融合方法进行了比较：分别是mst-sr、csr、cnn、lr-sr、nsst-cstf、nsst-papcnn、relp、tl-st、csmca、ifcnn、nsct-dct和pca-svd。其中cnn和ifcnn是深度学习融合算法；其他十种是传统的融合算法。本发明是在一台配备英特尔i5处理器(1.6ghz)和8gb内存的mac上完成的。在没有任何gpu加速的情况下，使用matlab实现。获得融合图像后，客观评价图像至关重要。多方位评价更有利于这种分析。本发明选取信息熵(en)、平均梯度(ag)、边缘结构相似性(ssim)、互信息(mi)和空间频率(sf)。en是信息熵，代表信息的丰富程度。mi是互信息，表示融合图像保留得源图像的信息量大小。值越大，说明融合图像保留得信息越多，融合结果越好。ag是平均梯度，提取图像的对比度和纹理变化特征。
[0071]
不同方法在不同图像上客观评价指标的值参照下表1
[0072]
表1
[0073]
[0074][0075]
对于所有指标，值越大，融合图像越好。本发明所提出的融合方法在pet-mri和spect-mri数据集上表现最好。通过观察表1可以看出，ag、mi、sf的平均值在三个数据集中都是最优的。这说明本发明的所提出的方法的综合性能对于不同的数据集都有更好的表现。
[0076]
本发明提出了一个细节增强分解模型从一个图像中提取两层，在分解的过程中适当的增强图像的边缘与纹理细节，来解决细节不清晰以及边缘模糊的问题。从单个图像进行层分解本质上是不适定的，通过调整参数灵活的增强细节，抑制分解过程中的残留噪声。随后针对每一层提出有针对性的融合规则，最后重构，完成了此过程。并且进行了大量的实
验证明了所提出的算法比现有的算法更加有效，在增强和去噪方面都达到了更好的质量。
[0077]
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。