医疗影像融合方法

1.本发明涉及一种医疗影像融合方法。


背景技术：

2.随着医疗科技技术的进步，人们对于多种疾病的诊断水平有了很大的提升，但与此同时，问题也伴随而生，医生对于疾病的诊断除了基础的生化检测指标外，基本都依靠医疗影像的辅助，在这样的背景下，一旦医疗影像出现任何信息的缺失将导致严重的后果甚至错过最佳治疗时机，损害宝贵的生命，图像处理技术可以最大程度的保留并利用这些有效信息。
3.另一方面，由于技术限制，影像学在辅助诊断的时候常常受到视野限制，对于病灶的判断需要依靠多张影响图片联合进行判断，但由于人的视觉问题，锥细胞集中在眼球正中，因而无论医生经验丰富与否，对于图片边界信息的利用总不及视野中，这就致使影像边界的信息极易被忽略，但如果仅仅将图片进行简单地直接拼接，由于拍摄时间的不同，以及影像拍摄的身体部分限制，图片常常出现亮度，对比度以及灰度的差异，这些问题都会干扰医生的注意力的集中区进而影像疾病诊断。


技术实现要素：

4.本发明的目的在于提供一种医疗影像融合方法。
5.为解决上述问题，本发明提供一种医疗影像融合方法，包括：
6.应用python设计系统界面，采用图像金字塔计算方法。
7.进一步的，在上述方法中，所述python设计的系统界面，用于进行人机交互，根据需求选择不同的用于进行图像拼接的影像对象，显示所选择的图像资料，进行拼接的选择，并且拼接结果同时显示直接拼接与通过所述智能算法用于医疗影像融合技术进行拼接的结果，直观地进行对比。
8.进一步的，在上述方法中，所述图像金字塔计算方法，以多分辨率来解释图像的有效但概念简单的结构，其通过梯次向下采样获得，直到达到某个终止条件才停止采样，其中，金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。
9.进一步的，在上述方法中，应用python设计系统界面，包括：
10.利用pil库、tkinter库编写所述系统界面。
11.进一步的，在上述方法中，所述系统界面是一个具有图形金字塔融合图像融合算法功能的医学影像融合系统，利用这个系统对几组需要拼接的亮度、对比度、灰度的参数不同的图像数据进行融合整体采用python语言进行编写，图像融合界面使用所述pil库进行编写，由于考虑到影像尺寸的特殊性，不设计固定页面，在添加图片时，根据具体尺寸自动排版。
12.进一步的，在上述方法中，所述图像金字塔计算方法，包括：高斯金字塔算法与拉普拉斯金字塔算法；
13.所述高斯金字塔算法的计算表达式为：pn＝down(p
n-1
)，公式中，down是指高斯金字塔下采样算法，下采样是使用删去图像中的偶数的行列的方式来完成，这样处理后图片的边长变少了一倍，面积则变小了四倍；
14.所述拉普拉斯金字塔算法的表达式ln＝p
n-up(down(pn)，意为是拉普拉斯金字塔的一层图像是对应层的高斯金字塔图像的上采样图像与其上一层原图像进行差值运算结果。
15.进一步的，在上述方法中，所述高斯金字塔算法与拉普拉斯金字塔算法，使用高斯金字塔下采样算法与高斯金字塔上采样算法。
16.进一步的，在上述方法中，所述高斯金字上采样算法，包括：内插值，在周围像素色彩的基础上用数学公式计算丢失像素的色彩；
17.反卷积，通过转置卷积核的方法来实现卷积的逆过程；
18.反池化，在池化过程将每一个元素根据坐标填写，其余位置补0。
19.进一步的，在上述方法中，所述高斯金字塔下采样算法，通过池化操作把一个位于原始图像上的s*s的窗口变成一个像素：pk＝∑
i∈win(k)ii
/s2原图若为x*y，则下采样之后原图的尺寸为(x/s)(y/s)。
20.进一步的，在上述方法中，采用图像金字塔计算方法，包括：
21.通过循环，分别将有待拼接的原图像进行多次上述拉普拉斯金字塔处理与上述高斯金字塔处理，成为高斯金字塔的最小图片，再将处理过的图片进行循环，依次通过拉普拉斯金字塔恢复到大图像。
22.与现有技术相比，本发明应用python设计系统界面，采用图像金字塔计算方法，能够将灰度，明度，饱和度不同的影像拼接成为边界过度柔和的完整图像，使用高斯金字塔与拉普拉斯金字塔算法原理，利用python中的pi库与tkinter库制作了一个图像融合的系统平台，给出了算法的数学原理、融合步骤以及主要程序。本发明可以解决由于在医疗影像采集过程中由于设备限制导致的视野受到限制的问题，能够辅助医生进行影像学诊断，减少由于靠近边界的图像信息受到图像直接拼接导致的僵硬过渡引起的一定程度上图像边界信息缺失，导致的影响医生诊断判断引起误诊的问题。
附图说明
23.图1是本发明一实施例的医疗影像融合方法的金字塔的示意图；
24.图2是本发明一实施例的图像融合界面的示意图；
25.图3是本发明一实施例的完成图像选择后图像界面的示意图；
26.图4是本发明一实施例的完成图像融合后图像界面的示意图。
具体实施方式
27.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
28.如图1所示，本发明提供一种医疗影像融合方法，包括：
29.应用python设计系统界面，采用图像金字塔计算方法。
30.本发明的医疗影像融合方法一实施例中，所述python设计的系统界面，用于进行
人机交互，根据需求选择不同的用于进行图像拼接的影像对象，显示所选择的图像资料，进行拼接的选择，并且拼接结果同时显示直接拼接与通过所述智能算法用于医疗影像融合技术进行拼接的结果，直观地进行对比。
31.本发明的医疗影像融合方法一实施例中，所述图像金字塔计算方法，以多分辨率来解释图像的有效但概念简单的结构，其通过梯次向下采样获得，直到达到某个终止条件才停止采样，其中，金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。
32.本发明的医疗影像融合方法的主要代码如下：
33.ls＝[]
[0034]
for la,lb in zip(lpa,lpb):
[0035]
rows,cols,dpt＝la.shape
[0036]
ls＝np.hstack((la[:,0:cols//2],lb[:,cols//2:]))
[0037]
ls.append(ls)
[0038]
ls_＝ls[0]
[0039]
for i in range(1,6):
[0040]
ls_＝cv2.pyrup(ls_)
[0041]
ls_＝cv2.add(ls_,ls[i])
[0042]
real＝np.hstack((a[:,:cols//2],b[:,cols//2:]))
[0043]
cv2.imwrite('pyramid_blending2.jpg',ls_)
[0044]
cv2.imwrite('direct_blending.jpg',real)
[0045]
本发明的医疗影像融合方法一实施例中，应用python设计系统界面，包括：利用pil库、tkinter库编写所述系统界面。
[0046]
本发明的医疗影像融合方法一实施例中，所述系统界面是一个具有图形金字塔融合图像融合算法功能的医学影像融合系统，利用这个系统对几组需要拼接的亮度、对比度、灰度的参数不同的图像数据进行融合整体采用python语言进行编写，图像融合界面使用所述pil库进行编写，由于考虑到影像尺寸的特殊性，不设计固定页面，在添加图片时，根据具体尺寸自动排版。
[0047]
本发明的医疗影像融合方法一实施例中，所述图像金字塔计算方法，包括：高斯金字塔算法与拉普拉斯金字塔算法。
[0048]
本发明的医疗影像融合方法一实施例中，所述高斯金字塔算法的计算表达式为：pn＝down(p
n-1
)，公式中，down是指高斯金字塔下采样算法，下采样是使用删去图像中的偶数的行列的方式来完成，这样处理后图片的边长变少了一倍，面积则变小了四倍。
[0049]
本发明的医疗影像融合方法一实施例中，所述拉普拉斯金字塔算法的表达式ln＝p
n-up(down(pn)，意为是拉普拉斯金字塔的一层图像是对应层的高斯金字塔图像的上采样图像与其上一层原图像进行差值运算结果。
[0050]
本发明的医疗影像融合方法一实施例中，所述高斯金字塔算法与拉普拉斯金字塔算法，使用高斯金字塔下采样算法与高斯金字塔上采样算法。
[0051]
本发明的医疗影像融合方法一实施例中，所述高斯金字上采样算法，包括：
[0052]
内插值，在周围像素色彩的基础上用数学公式计算丢失像素的色彩；
[0053]
反卷积，通过转置卷积核的方法来实现卷积的逆过程；
[0054]
反池化，在池化过程将每一个元素根据坐标填写，其余位置补0。
[0055]
本发明的医疗影像融合方法一实施例中，所述高斯金字塔下采样算法，通过池化操作把一个位于原始图像上的s*s的窗口变成一个像素：pk＝∑
i∈win(k)ii
/s2原图若为x*y，则下采样之后原图的尺寸为(x/s)(y/s)。
[0056]
本发明的医疗影像融合方法一实施例中，采用图像金字塔计算方法，包括：
[0057]
通过循环，分别将有待拼接的原图像进行多次上述拉普拉斯金字塔处理与上述高斯金字塔处理，成为高斯金字塔的最小图片，再将处理过的图片进行循环，依次通过拉普拉斯金字塔恢复到大图像。
[0058]
具体的，本发明的代码中使用了两种图像金字塔变换算法：高斯金字塔、拉普拉斯金字塔。
[0059]
1、高斯金字塔
[0060]
在图像处理和机械视觉这类的工作中，我们常常会需要用到原图像各种大小的子图像，高斯金字塔就可以帮助我们获取这些图像。将一张图像不断地逐级向下采样就能得到一个高斯金字塔。
[0061]
原图像放在金字塔的最下层，越接近顶层的图像会变的越小，高斯金字塔便是由这些图像构成的。使用p0代表原图，第n次下采样的结果使用pn表示，高斯金字塔的计算表达式为：
[0062]
pn＝down(p
n-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4-1)
[0063]
公式中，down是指高斯金字塔下采样算法，文中下采样是使用删去图像中的偶数的行列的方式来完成，这样处理后图片的边长变少了一倍，面积则变小了四倍。由此不难看出，每一次下采样后，图像包含的细节越来越少，得到的子图像也变的越来越模糊。
[0064]
2、拉普拉斯金字塔
[0065]
拉普拉斯金字塔中储存的东西简单的理解就是高斯金字塔生成中丢失的细节。我们知道，有高斯金字塔中的随意一层图像pn(p0为最清晰的原图像)，对其进行下采样计算得到下采样结果down(pn)，然后对这个下采样结果反过来进行上采样得到up(down(pn))，很明显能看出来up(down(pn))与pn是完全不一样的，下采样的过程删去的行和列部分是不可能通过简单的逆变换就能凭空恢复，我们需要记录下被删去的行和列才能完美恢复这一过程。
[0066]
想要能够从下采样图像down(pn)中完整的恢复出原始图像pn，上采样图像up(down(pn))与原始图片pn之间的差值是必要条件，将这个差值记录下来，就是拉普拉斯金字塔算法的核心思想。
[0067]
拉普拉斯金字塔就是用来储存高斯金字塔下采样图像简单的逆变换后与其原本的差值，利用这个差值就能完整的恢复出下采样之前的图像。拉普拉斯金字塔运算简单的表达式如下所示：
[0068]
ln＝p
n-up(down(pn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4-2)
[0069]
公式意为是拉普拉斯金字塔的一层图像是对应层的高斯金字塔图像的上采样图像与其上一层原图像进行差值运算结果。
[0070]
在顶层处理中对于顶层图像的融合，首先计算以其各个像素为中心的区域大小为
m*n(m、n取奇数且m》＝3、n》＝3)的区域平均梯度,其中，ix与iy分别为像素f(x,y)在x与y方向上的一阶差分：
[0071][0072]
顶层图像的融合结果为
[0073][0074]
3、上采样：
[0075]
即图像插值，可以使图像显示在更高分辨率的显示设备上，但在一定程度上会对图像的质量造成影响，并没有带来更多的信息。
[0076]
通常采用以下三种方式实现：
[0077]
(1)内插值，插值方法有很多，比如均值，中值，最近邻。通过这种方法，在周围像素色彩的基础上用数学公式计算丢失像素的色彩。
[0078]
具体过程是用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图将gl内插方法得到放大图像*gl，使*gl的尺寸与*gl-1的尺寸相同，即放大算子expand
[0079][0080]
该式子实现两个步骤：在偶数行和列插入0，然后使用下采样中的高斯核进行滤波处理，得到和l-1层一样大小的图像。
[0081][0082]
(2)反卷积；即通过转置卷积核的方法来实现卷积的逆过程。
[0083]
(3)反池化；在池化过程，比如max-pooling时，要记录下每个元素对应kernel中的坐标。反池化时即将每一个元素根据坐标填写，其余位置补0.
[0084]
4、下采样：
[0085]
即降采样，生成对应图像的缩略图，使图像符合对应的显示区域，降低特征的维度并保留有效信息，一定程度上避免过拟合，保持旋转、平移、伸缩不变形。在降采样的过程中，把一个位于原始图像上的s*s的窗口变成一个像素：
[0086][0087]
原图若为x*y，则下采样之后原图的尺寸为(x/s)(y/s).这说明s最好是x和y的公约数。
[0088]
这一过程可以通过池化(pooling)实现，池化操作是在卷积神经网络中经常采用过的一个基本操作，一般在卷积层后面都会接一个池化操作,使用的比较多的也是max-pooling即最大池化，因为max-pooling更像是做了特征选择，选出了分类辨识度更好的特征，提供了非线性。
[0089]
详细的，本发明可以包括如下步骤
[0090]
一、在python上利用pil库、tkinter库编写了一个具有图形金字塔融合图像融合算法功能的医学影像融合系统，利用这个系统对几组需要拼接的亮度、对比度、灰度等参数不同的图像数据进行融合测试。
[0091]
二、用pil库、tkinter库来设计操作界面
[0092]
程序使用了以下功能
[0093]
1.创建windows窗口
[0094]
2.几何布局管理器
[0095]
grid几何布局管理器。
[0096]
3.tkinter组件
[0097]
标签组件label；
[0098]
按钮组件button；
[0099]
多行文本框组件text。
[0100]
三、图像融合系统界面设计
[0101]
传统的图像融合系统界面多使用matlab中的guid进行设计，但由于matlab版权问题，本发明中，整体采用python语言进行编写，图像融合界面使用pil库进行编写，由于考虑到影像尺寸的特殊性，不设计固定页面，在添加图片时，根据具体尺寸自动排版。如图2所示。
[0102]
四、图像融合系统界面调试
[0103]
完成图像选择后图像界面如图3所示
[0104]
完成图像融合后图像界面如图4所示，可以看到边界过度僵硬的问题很好的得到了改善。
[0105]
五、医学影像融合系统界面设计主要代码
[0106]
label_show＝tk.label(window,textvariable＝var,
[0107]
font＝('arial',12),width＝15,height＝2)
[0108]
label_show.grid(row＝1,column＝1,columnspan＝2)
[0109]
btn_open1＝tk.button(window,command＝open_img1)
[0110]
btn_open1.grid(row＝2,column＝1)
[0111]
btn_open2＝tk.button(window,command＝open_img2)
[0112]
btn_open2.grid(row＝2,column＝2)
[0113]
btn_open3＝tk.button(window,command＝open_img3)
[0114]
btn_open3.grid(row＝4,column＝1)
[0115]
btn_open4＝tk.button(window,command＝open_img4)
[0116]
btn_open4.grid(row＝4,column＝2)
[0117]
window.mainloop()
[0118]
六、图像金字塔变换融合主要代码
[0119]
图像金字塔就是把一个图像向下采样，然后在可视化的时候进行排列，高分辨率的排在下面，低分辨率的排在上面。基于图像金字塔的融合便是用两个待融图像的图像金字塔，每一层按照一定规则进行融合，得到的融合图像金字塔再按照金字塔的逆生成过程进行变化重构，就得到了融合图像，代码中使用了两种图像金字塔变换算法：高斯金字塔、拉普拉斯金字塔。
[0120]
ls＝[]
[0121]
for la,lb in zip(lpa,lpb):
[0122]
rows,cols,dpt＝la.shape
[0123]
ls＝np.hstack((la[:,:],lb[:,:]))
[0124]
ls.append(ls)
[0125]
ls_＝ls[0]
[0126]
for i in range(1,6):
[0127]
ls_＝cv2.pyrup(ls_)
[0128]
ls_＝cv2.add(ls_,ls[i])
[0129]
real＝np.hstack((a[:,:],b[:,:]))
[0130]
cv2.imwrite('pyramid_blending2.jpg',ls_)
[0131]
cv2.imwrite('direct_blending.jpg',real)
[0132]
本发明能够将灰度，明度，饱和度不同的影像拼接成为边界过度柔和的完整图像，使用高斯金字塔与拉普拉斯金字塔算法原理，利用python中的pi库与tkinter库制作了一个图像融合的系统平台，给出了算法的数学原理、融合步骤以及主要程序。本发明可以解决由于在医疗影像采集过程中由于设备限制导致的视野受到限制的问题，能够辅助医生进行影像学诊断，减少由于靠近边界的图像信息受到图像直接拼接导致的僵硬过渡引起的一定程度上图像边界信息缺失，导致的影响医生诊断判断引起误诊的问题。
[0133]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0134]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0135]
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之
内，则本发明也意图包括这些改动和变型在内。