一种基于多模态影像的图像分割方法及装置与流程

技术特征：
1.一种基于多模态影像的图像分割方法，其特征在于，包括以下步骤：获取多模态医学影像，以一种模态的医学影像为固定图像x
f
，以其余模态的医学影像为移动图像x
mi
，i＝1,2,
…
,n-1，n为医学影像模态的数量；分别对x
f
与每一x
mi
进行仿射变换，得到图像x
ai
，将x
f
与每一x
ai
拼接后分别输入到一个变形场网络g
i
，得到变形场ф
i
；将x
ai
分别通过变形场ф
i
后得到变形图像x
фi
；将x
f
与所有x
фi
拼接后输入到分割网络f，得到预测的分割结果；分割网络f和变形场网络g
i
的结构相同。2.根据权利要求1所述的基于多模态影像的图像分割方法，其特征在于，所述多模态医学影像包括ct图像、mri图像、超声图像、pet图像。3.根据权利要求2所述的基于多模态影像的图像分割方法，其特征在于，以mri图像为固定图像x
f
，以ct图像、超声图像、pet图像为移动图像x
mi
，i＝1,2,3。4.根据权利要求1所述的基于多模态影像的图像分割方法，其特征在于，所述方法还包括图像预处理步骤：将所有模态的图像归一化至目标分辨率和目标尺寸。5.根据权利要求1所述的基于多模态影像的图像分割方法，其特征在于，所述分割网络为卷积网络unet或fcn或vnet或unet 。6.根据权利要求1所述的基于多模态影像的图像分割方法，其特征在于，基于损失函数l
s
优化变形场网络：l
s
＝l
cc
λl
smoothsmoothsmooth
式中，l
cc
为互相关损失，l
smooth
为平滑正则项，λ为两项损失的平衡系数，x
f
(p
i
)为x
f
中第i个像素点的灰度值，x
φ
(p
i
)为x
ф
中第i个像素点的灰度值，n为第i个像素点附近局部区域内像素点的数量。7.根据权利要求6所述的基于多模态影像的图像分割方法，其特征在于，基于损失函数l
d
对变形场网络进行优化：式中，g
f
为固定图像分割金标准的所有像素点集合，g'
m
为移动图像分割金标准g
m
经变形场后的图像的所有像素点集合，|
·
|表示计算像素点数量。8.根据权利要求7所述的基于多模态影像的图像分割方法，其特征在于，在进行模型训
练时，引入移动图像分割网络f
m
，先利用损失函数l
m
对移动图像分割网络f
m
进行预训练，用预训练的移动图像分割网络f
m
对移动图像x
m
和变形后的图像x
φ
进行分割，利用损失函数l
m
、l'
m
优化变形场和移动图像分割网络f
m
：：式中，f
m
(x
m
)、f
m
(x
φ
)分别为x
m
、x
φ
经移动图像分割网络f
m
输出图像的所有像素点集合。9.根据权利要求8所述的基于多模态影像的图像分割方法，其特征在于，利用损失函数l
f
优化分割网络f：式中，f(x
f
)表示输入固定图像x
f
时分割网络f输出图像的所有像素点集合。10.一种基于多模态影像的图像分割装置，其特征在于，所述装置包括：图像获取模块，用于获取多模态医学影像，以一种模态的医学影像为固定图像x
f
，以其余模态的医学影像为移动图像x
mi
，i＝1,2,
…
,n-1，n为医学影像模态的数量；图像变形模块，用于分别对x
f
与每一x
mi
进行仿射变换，得到图像x
ai
，将x
f
与每一x
ai
拼接后分别输入到一个变形场网络g
i
，得到变形场ф
i
；将x
ai
分别通过变形场ф
i
后得到变形图像x
фi
；分割预测模块，用于将x
f
与所有x
фi
拼接后输入到分割网络f，得到预测的分割结果；分割网络f和变形场网络g
i
的结构相同。

技术总结
本发明提供一种基于多模态影像的图像分割方法及装置。所述方法包括：获取多模态医学影像，以一种模态的医学影像为固定图像X


技术研发人员：毛丽 李秀丽 孙昊 金征宇 俞益洲 李一鸣 乔昕
受保护的技术使用者：杭州深睿博联科技有限公司
技术研发日：2021.11.02
技术公布日：2022/3/25