基于域变换保边滤波器的多源医学图像融合方法和系统

1.本发明涉及图像处理技术领域，尤其涉及基于域变换保边滤波器的多源医学图像融合方法和系统。


背景技术：

2.医学影像技术能够帮助医生了解病人身体的内部结构，许多疾病都需要医生通过医学影像设备检查来实现诊断。不同成像设备得到的医学图像所携带的病情信息各有不同，着重点各异，而某些模态的医学图像呈现的信息在很大程度上是互补的。举例来说，计算机断层扫描(ct)通过其灰度反映组织密度，清楚显示器官结构，对骨骼等致密结构比较敏感，但无法详细地显示软组织。磁共振图像(mri)则通过较高的空间分辨率显示了软组织结构的解剖结构信息，但对于人体代谢活动信息无法展现。磁共振图像中的t1加权图像在一定程度上准确反映了解剖结构，t2加权图像则主要提供了组织病变细节。医生在进行诊断时，通常需要看到人体的不同内部结构，只通过一种方式无法获得更全面的信息。


技术实现要素：

3.为了解决上述技术问题，本发明提出基于域变换保边滤波器的多源医学图像融合方法和系统。在所述方法及系统中，将来自不同成像设备的信息结合在一起，构建一个新的图像，通过其互补的信息，医生能够更好的了解病人的身体状况，精准判断身体的患病区域。
4.为了达到上述目的，本发明的技术方案如下：
5.基于域变换保边滤波器的多源医学图像融合方法，包括如下步骤：
6.将多源医学图像输入域变换保边滤波器进行滤波处理，获得多源医学图像的平滑分量和结构分量；
7.融合相应的平滑分量和结构分量，获得融合后的平滑分量融合图像和融合后的结构分量融合图像；
8.对融合后的平滑分量融合图像和结构分量融合图像进行逆变换，获得多源医学图像的融合图像。
9.优选地，所述将多源医学图像输入域变换保边滤波器进行滤波处理前，还包括如下步骤：获取多源医学图像，并对多源医学图像进行预处理，所述多源医学图像为不同成像设备的医学图像对。
10.优选地，所述预处理为图像配准。
11.优选地，所述将多源医学图像输入域变换保边滤波器进行滤波处理，具体包括如下步骤：
12.对输入的多源医学图像的水平方向进行变换和滤波处理，将水平方向滤波后的结果作为输入，再对垂直方向进行变换和滤波；
13.根据预设的迭代次数，对上述步骤进行迭代操作。
14.优选地，所述迭代次数为3。
15.优选地，采用绝对最大融合规则融合相应的平滑分量，获得融合后的平滑分量融合图像，计算公式如下所示：
[0016][0017]
其中fs表示平滑分量的融合图像，as和bs则分别是两幅源医学图像的平滑层图像，map则表示融合权重系数，x，y则是像素在图像中的行列位置。
[0018]
优选地，采用局部图像能量最大规则融合相应的结构分量，获得融合后的结构分量融合图像，具体包括如下步骤：
[0019]
将局部图像能量设定为当前像素以及周边的几个像素的灰度值的平方和，局部图像能量的计算公式规则如下：
[0020][0021]
其中m、n则表示局部区域的尺寸大小，x，y则是像素在图像中的行列位置，f(x，y)表示(x，y)处的像素灰度值，e(x，y)表示位于(x，y)处的局部图像能量，是以(x，y)为中心的大小为m*n的局部区域中所有像素的灰度值平方的总和，
[0022]
局部图像能量最大融合规则具体如下：
[0023][0024]
其中fl表示结构分量的融合图像，al和bl则分别是两幅源图像的结构层图像，map(x，y)表示了结构层图像在(x，y)处的融合权重系数，e
al
(x，y)和e
bl
(x，y)则是(x，y)处的局部图像能量。
[0025]
优选地，还包括如下步骤：
[0026]
采用评价指标进行融合性能评估。
[0027]
优选地，所述评价指标为信息熵、均方差、空间频率和基于差异相关性总和的度量值。
[0028]
基于域变换保边滤波器的多源医学图像融合系统，包括：处理单元、初步融合单元和融合单元，其中，
[0029]
所述处理单元，用于对输入域变换保边滤波器的多源医学图像进行滤波处理，获得多源医学图像的平滑分量和结构分量；
[0030]
所述初步融合单元，用于融合所述处理单元处理后的相应的平滑分量和结构分量，获得融合后的平滑分量融合图像和融合后的结构分量融合图像；
[0031]
所述融合单元，用于对所述初步融合单元融合后的平滑分量融合图像和结构分量融合图像进行逆变换，获得多源医学图像的融合图像。
[0032]
基于上述技术方案，本发明的有益效果是：本发明将多源医学图像输入域变换保边滤波器进行滤波操作，获得其平滑分量和结构分量；分别对平滑分量和结构分量进行融
合；平滑分量采用绝对最大融合规则进行融合，结构分量采用局部图像能量最大规则进行图像融合；对平滑分量和结构分量的融合图像进行逆变换，获得最终的融合图像。针对医学图像进行图像分析与处理的技术，可有效地对不同模态的图像之间的差异信息进行融合和集中显现，既可以辅助医生能够更好的了解病人的身体状况，精准判断身体的患病区域，还利于医学图像的后续处理。
附图说明
[0033]
图1是一个实施例中基于域变换保边滤波器的多源医学图像融合方法流程图；
[0034]
图2是一个实施例中基于域变换保边滤波器的多源医学图像融合方法的概述图；
[0035]
图3是一个实施例中部分源图像对的融合结果示意图；
[0036]
图4是一个实施例中基于域变换保边滤波器的多源医学图像融合方法的结构示意图。
具体实施方式
[0037]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0038]
如1、2图所示，本实施例提供一种基于域变换保边滤波器的多源医学图像融合方法，包括如下步骤：
[0039]
步骤s110，将多源医学图像输入域变换保边滤波器进行滤波处理，获得多源医学图像的平滑分量和结构分量。
[0040]
本实施例中，首先获取多源医学图像(不同成像设备的医学图像对)，并对多源医学图像进行图像配准，且尺寸大小都为256
×
256。
[0041]
然后，域变换滤波器是通过一个等距变换ct，将空间域1维、值域c维的c 1维的向量转为1维向量，如公式(1)所示。
[0042][0043]
其中，c为图像i的通道数，即图像值域的维度，i
′k是图像i的第k个通道，σs为空间范围的标准差，σr为值域标准差，可用来控制滤波器。
[0044]
使用公式(1)对1维空间域的c通道信号(c 1)进行等距转换t：r
c 1
→
r，其中r，其中
[0045]
由于医学图像的空间域是2维的，无法通过等距变换实现降维t：r
c 2
→
r2，故为实现这一降维，分别对整幅医学图像的水平方向进行变换和滤波后，再对垂直方向进行变换和滤波，并对以上过程进行多次迭代，一般三次迭代以后即可得到较好的保边滤波效果。
[0046]
在经过域变换后，通过递归滤波来实现保边滤波，这一方法速度最快，实现简单，滤波过程如公式(2)所示：
[0047]
j[n]＝(1-ad)i[n] adj[n-1]
ꢀꢀꢀꢀ
(2)
[0048]
其中为反馈系数，d＝ct(xn)-ct(x
n-1
)是在变换域中相邻两个采样点(xn)和(x
n-1
)之间的距离，i[n]＝i[x]为待滤波的原始离散信号，j[n]则为域变换
递归滤波的结果。
[0049]
步骤s120，融合相应的平滑分量和结构分量，获得融合后的平滑分量融合图像和融合后的结构分量融合图像。
[0050]
本实施例中，由于域变换滤波器能够有效地去除小到中等数量的噪声，获得的滤波结果(即平滑分量)保留了重要的边缘信息以及亮度信息。对于这一分量，将图像像素的灰度值作为活跃度的度量指标，选择绝对值最大的灰度值进行保留，计算过程如式(3)所示：
[0051]
采用绝对最大融合规则进行融合，规则如下所示：
[0052][0053]
其中fs表示平滑分量的融合图像，as和bs则分别是两幅源图像的平滑层图像，map则表示融合权重系数。
[0054]
结构分量是域变换滤波中被平滑的部分，属于小尺度结构信息。算法采用了局部图像能量最大这一融合规则进行图像融合。算法将局部图像能量(lpe)设定为当前像素以及周边的几个像素的灰度值的平方和，lpe的计算公式规则如下：
[0055][0056]
其中m、n则表示局部区域的尺寸大小，f(x，y)表示(x，y)处的像素灰度值，e(x，y)表示位于(x，y)处的局部图像能量(lpe)，是以(x，y)为中心的大小为m*n的局部区域中所有像素的灰度值平方的总和。
[0057]
局部图像能量最大融合规则具体如下：
[0058][0059]
其中fl表示结构分量的融合图像，al和bl则分别是两幅源图像的结构层图像，map(x，y)表示了结构层图像在(x，y)处的融合权重系数，e
al
(x，y)和e
bl
(x，y)则是(x，y)处的局部图像能量(lpe)。
[0060]
步骤s130，对融合后的平滑分量融合图像和结构分量融合图像进行逆变换，获得多源医学图像的融合图像。
[0061]
本实施例中，三个融合图像之间的关系如式(6)所示。
[0062]
f＝fl fs
ꢀꢀꢀꢀꢀꢀ
(6)
[0063]
其中fl表示结构分量的融合图像，fs表示平滑分量的融合图像，f则表示最终的融合图像。
[0064]
在一个实施例一种基于域变换保边滤波器的多源医学图像融合方法中还提供采用评价指标进行融合性能评估的方法。
[0065]
本实施例中，为了评估融合性能，从哈佛医学院建立的脑部多源医学图像数据集thewhole brain atlas里挑选了390对脑部医学图像进行实验。这390对多源医学图像数据
集即为原始数据集。这些源图像都来自不同的成像设备，包含了mr-t1和mr-t2、ct和mr融合类型，且都已经过配准且大小一致，尺寸大小都为256
×
256。为进行算法对比实验，我们在原始数据集上随机挑选了235对源图像对，并计算了它们的客观评价指标平均值。
[0066]
采用的4个客观评价指标来定量评价算法的融合性能，分别为信息熵(en)、均方差(mse)、空间频率(sf)和基于差异相关性总和(scd)的度量值。这四种指标为正向指标，度量值越高，融合性能越好，具体说明如下：
[0067]
1.信息熵(en)
[0068]
信息熵反映了图像信息的丰富度，是正向指标，数值越高表明图像信息越丰富，其计算公式如下：
[0069][0070]
其中l和p(xi)分别表示图像的灰度级数以及灰度分布，i则是像素索引。
[0071]
2.均方差(mse)
[0072]
图像的均方差，又名标准差，表示图像的像素值相对于像素平均值的偏移程度。公式如下：
[0073][0074]
其中i，j是像素索引，代表像素在图像中的行列位置，x
i，j
表示(i，j)处的像素值，μ即为平均像素值，m，n则表示图像的尺寸大小。mn可表示为m*n，其结果数值表示像素的个数，其结果表示。该值越大说明图像像素值更分散。
[0075]
3.空间频率(sf)
[0076]
sf与图像灰度空间的活跃度成正比，反映的是图像灰度的变化率，计算公式如下：
[0077][0078]
其中rf和cp分别表示图像的行频和列频，计算过程如下所示：
[0079][0080][0081]
其中i，j是像素索引，代表像素在图像中的行列位置。m，n则表示图像的尺寸大小。
[0082]
4.基于差异相关性总和(scd)的度量值
[0083]
融合图像包含来自输入图像的互补信息数量可以用来衡量融合性能。基于差异相关性总和(scd)的度量值质量指标就是基于这一互补信息而制定的。首先对源图像和融合图像做“减”操作，获得差异图像，计算过程如式(12)所示。差异图像较为简明地表现了来自另一幅源图像的信息。
[0084][0085]
其中d表示差异图像，f表示融合图像，s表示源图像。
[0086]
通过差异图像我们可计算图像间的相似度，scd即相似度的总和，计算公式如下：
[0087]
scd＝r(d1，s1) r(d2，s2)
ꢀꢀꢀꢀ
(13)
[0088][0089]
其中r(.)函数计算了源图像s1和差异图像d1以及源图像s2和差异图像d2之间的相似度，而和分别表示了sk和dk的像素平均值。
[0090]
实验设计与结果分析：将本发明提出的基于域变换保边滤波器的多源医学图像融合方法即rf-lpe算法和目前已提出的其他2种有代表性的新颖算法进行了定量评价比较，即nsst-papcnn算法和ifcnn算法。
[0091]
判断融合算法融合性能最直观的方法是直接利用人的视觉系统对融合结果进行直观视觉评价。图三是部分源图像对使用本发明所提的rf-lpe算法的融合结果，其中(al)-(a6)和(b1)-(b6)分别是来自不同成像设备的医学图像，(c1)-(c6)是所提rf-lpe算法得到的融合图像。通过观察图3中的融合图像，我们可以非常清晰地看出，采用本发明方法所得的融合图像兼备了两幅源图像的特征信息。
[0092]
评价指标则是客观评价算法融合性能的方式。这些指标都是正向指标，数值越大，说明其融合性能越好。表中的每个图像融合度量都是不同算法在随机挑选的235个源图像对上的平均值，而其中加粗显示的数值则是该指标下的最佳得分。
[0093]
从表1融合图像的客观评价指标数据可知，除了指标空间频率sf之外，本发明提出的方法在所有指标(即信息熵en、均方差mse和基于差异相关性总和scd的度量值)上均大幅度优于nsst-papcnn和ifcnn算法。从客观评价指标的总体情况上看，本发明所提出的方法融合性能还是较为优秀的。
[0094]
表1融合图像的客观评价指标数据
[0095]
methodnsst-papcnnifcnnrf-lpeen0.89920.85500.9126mse0.31890.29470.3212sf0.13590.13930.1156scd1.30621.13021.3370
[0096]
如图4所示，在一个实施例中提供一种基于域变换保边滤波器的多源医学图像融合系统200，包括：处理单元210、初步融合单元220和融合单元230，其中，
[0097]
所述处理单元210，用于将多源医学图像输入域变换保边滤波器进行滤波处理，获得多源医学图像的平滑分量和结构分量；
[0098]
所述初步融合单元220，用于融合所述处理单元210处理后的相应的平滑分量和结构分量，获得融合后的平滑分量融合图像和融合后的结构分量融合图像；
[0099]
所述融合单元230，用于对所述初步融合单元220融合后的平滑分量融合图像和结
构分量融合图像进行逆变换，获得多源医学图像的融合图像。
[0100]
以上所述仅为本发明所公开的基于域变换保边滤波器的多源医学图像融合方法和系统的优选实施方式，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。