一种基于三判别器生成对抗网络的PET和MRI图像融合方法

技术特征：
1.一种基于三判别器生成对抗网络的pet和mri图像融合方法，其特征在于：具体步骤如下：s1：ycbcr色彩空间转换；将pet图像由rgb彩色空间变换为ycbcr彩色空间，经过彩色空间变换后的pet图像包含三个图像分量，分别为y，cb和cr图像分量，其中y图像分量包含能够反映pet图像整体结构与亮度变化的亮度信息，cb与cr图像分量则分别表现了pet图像中对蓝色与红色的浓度偏移量成份；s2：y分量图像的融合；对pet图像的y分量和mri图像进行差分操作，所得到的差分图像与pet图像的y分量和mri图像进行联结操作后输入到所提出的网络模型中，得到融合的y分量图像；s3：rgb图像的重构；将生成器生成的y分量图像与相应的源pet图像的cb，cr分量进行ycbcr颜色空间到rgb彩色空间的反变换，从而得到最终的融合图像。2.根据权利要求1所述的一种基于三判别器生成对抗网络的pet和mri图像融合方法，其特征在于：所述s1的ycbcr色彩空间转换中，将pet图像i
p
进行rgb彩色空间到ycbcr彩色空间的变换，分别得到i
p
的y，cb，cr三个通道的分量图像i
p-y
，i
p-cb
和i
p-cr
；pet图像由rgb彩色空间至ycbcr彩色空间的变换过程如下：3.根据权利要求1所述的一种基于三判别器生成对抗网络的pet和mri图像融合方法，其特征在于：所述s2的y分量图像的融合，将mri图像i
m
与pet图像y分量i
p-y
进行差分并取绝对值，得到差分图像i
d
，然后将mri图像i
m
、pet图像y分量i
p-y
、差分图像i
d“联结”后输入到生成器网络中；生成器提取所输入图像的特征信息并进行特征选择，然后融合生成i
f-y
，此步骤需要在融合前完成对生成器-判别器网络的训练。4.根据权利要求3所述的一种基于三判别器生成对抗网络的pet和mri图像融合方法，其特征在于：所述生成器-判别器网络的训练过程为：首先，将i
m
、i
p-y
与计算得到的i
d
图像输入到生成器网络，生成器采用3条不同的支路进行图像特征的提取，3条支路基于所提取的图像特征信息的特点可分别称为梯度支路，对比度支路与差分支路；其次，将生成器网络所生成的i
f-y
分别与i
m
、i
p-y
、i
d
输入到对应的判别器d
m
、d
p-y
与d
d
中进行鉴别；最后，依据生成器与判别器的输出结果，通过损失函数对生成器和判别器的网络进行对抗训练和交替更新，直至达到网络平衡，此时训练得到的生成器网络就是我们所需的用于pet和mri图像融合的生成器。5.根据权利要求4所述的一种基于三判别器生成对抗网络的pet和mri图像融合方法，其特征在于：所述损失函数包括损失函数的权重、生成器损失函数和判别器损失函数。
6.根据权利要求5所述的一种基于三判别器生成对抗网络的pet和mri图像融合方法，其特征在于：所述损失函数的权重采用基于权重的方法对输入的三类图像间的信息进行平衡，具体地，分别对pet的y分量、mri图像和差分图像进行信息熵度量、显著性度量以及梯度度量，然后依据度量结果综合生成权重参数，此外，结合pet与mri图像的信息表现特点，设置增强和衰减参数对不同类别的损失函数进行平衡；所述信息熵度量是通过计算源图像的信息熵来衡量图像所含有信息的多少，以此作为损失函数的权重参考，具体为：其中i
en
为图像i的信息熵；l为灰度级别数，设置为256；p
l
为对应灰度级别的概率；所述显著性度量，对源图像中含有的高亮信息的多少进行衡量，以此作为权重的参考，具体为：其中i
sal
为图像i的显著信度量；sign(
·
)为符号函数；τ为筛选显著区域的阈值；h，w为图像i的高度与宽度；i
ij
为图像i中坐标为(i，j)处像素点的灰度值；所述梯度度量是采用拉普拉斯算子进行衡量，度量值越高表明图像中含有更多的纹理细节，从而作为损失权重的衡量，具体为：其中i
grad
为图像i的梯度度量；为拉普拉斯算子；总的损失函数的权重定义为：η
i
＝λ1i
en
λ2i
sal
λ3i
grad
其中η
i
为对应图像i的总体度量，λ1，λ2，λ3为控制不同度量的比例参数；类似的，分别为mri图像、pet图像的y分量和差分图像的总体度量；ω1，ω2，ω3分别为mri图像、pet图像的y分量和差分图像的损失参数权重。7.根据权利要求5所述的一种基于三判别器生成对抗网络的pet和mri图像融合方法，其特征在于：所述生成器损失函数采用混合损失，即通过图像表层信息的损失结合通过网络挖掘出的深层语义信息的损失对网络施加约束；生成器的损失函数定义如下：l
g
＝l
adv
αl
ssim
βl
grad
γl
per
其中l
g
为生成器的总损失，l
adv
为对抗损失，l
ssim
为结构相似性损失，l
grad
为梯度损失，l
per
为感知损失；α、β、γ分别为调整不同损失的比例参数。8.根据权利要求7所述的一种基于三判别器生成对抗网络的pet和mri图像融合方法，其特征在于：所述对抗损失是判别器对生成器生成的图像所施加的深层约束，由三部分构成，分别源于三个判别器，生成器需要在训练过程中，保证其所生成的图像能够在三类图像的信息保留中取得平衡，当对抗损失的取值较低时，表明生成的图像能够同时保留3类输入
图像的原始信息，从而使得判别器无法对生成的图像做出准确的判断，对抗损失定义为：l
adv
＝e(log(1-d
m
(i
f-y
))) e(log(1-d
p-y
(i
f-y
))) e(log(1-d
d
(i
f-y
)))i
f-y
＝g(i
m
,i
p-y
,i
d
)其中i
f-y
为生成器所生成的图像(生成的pet图像的y分量)，i
m
为原始mri图像，i
p-y
为源pet图像经过ycbcr变换得到的y分量，i
d
为差分图像；g为生成器，d
m
为鉴别生成器所生成的图像与原始mri图像的判别器，d
p-y
为鉴别生成器所生成的图像与源pet图像的y分量的判别器，d
d
为鉴别生成器所生成的图像与差分图像i
d
的判别器；e(
·
)表示取平均值操作。9.根据权利要求7所述的一种基于三判别器生成对抗网络的pet和mri图像融合方法，其特征在于：所述结构相似性损失项通过亮度、对比度和结构方面对三支路生成器进行约束，使得生成器在生成图像时在输入的mri图像、pet图像的y分量和差分图像之间取得平衡，从而使得生成的融合图像拥有一定的相似结构，具体定义为：l
ssim
＝ω1(1-l
ssim
(i
f-y
,i
m
)) ω2(1-l
ssim
(i
f-y
,i
p-y
)) ω3(1-l
ssim
(i
f-y
,i
d
))其中l
ssim
(
·
)表示对输入的两幅图像进行结构相似性计算，其输出值为介于0和1的标量，值越大表明两幅图像所拥有的相似结构越多；所述梯度损失是衡量融合得到的图像与输入图像间结构纹理等信息的差异，由于原始mri图像中通常含有较多的密集结构性信息，因此对其施加一个增强系数；差分图像作为辅助信息对其施加一个衰减系数，通过该项约束使得融合图像尽可能多地包含源图像的细节和纹理信息，梯度损失定义如下：其中||
·
||
tv
为tv范数；s1、s2分别为增强与衰减系数。10.根据权利要求7所述的一种基于三判别器生成对抗网络的pet和mri图像融合方法，其特征在于：所述感知损失是衡量融合图像中对输入图像的深层特征信息的保留情况，以此在图像的深层语义层面对生成器进行约束；所述判别器损失函数由三部分组成，分别为对mri与融合图像(融合得到的pet的y分量)进行判别的损失，对pet的y分量和融合图像进行判别的损失，以及对差分图像与融合图像进行判别的损失。

技术总结
本发明公开了一种基于三判别器生成对抗网络的PET和MRI图像融合方法，首先对PET图像进行RGB彩色空间到YCbCr彩色空间的变换操作，分别得到PET图像的Y，Cb，Cr三个分量图像；再对PET图像的Y分量和MRI图像进行差分操作，所得到的差分图像与PET图像的Y分量和MRI图像进行联结操作后输入到生成器网络；然后将通过生成器所生成的图像(PET的Y分量)和实际图像(源PET图像的Y分量，MRI图像，以及差分图像)分别输入到三个判别器中，通过进行循环对抗来不断提升生成器的生成能力与三个判别器的鉴别能力，最终达到两类网络的平衡状态，从而使得生成器能够综合所输入的图像信息，生成一幅既包含原始MRI图像的空间结构信息又包含原始PET图像的功能信息的融合图像。图像的功能信息的融合图像。图像的功能信息的融合图像。


技术研发人员：康家银 贺天福 武凌霄 姬云翔 张文娟
受保护的技术使用者：江苏海洋大学
技术研发日：2022.08.22
技术公布日：2022/11/29