一种CT图像与MRI图像的跨模态配准方法

本发明属于医学图像处理，具体涉及一种ct图像与mri图像的跨模态配准方法。

背景技术：

1、现有技术中，医学图像配准是医学图像处理领域的重要研究方向，其目标是建立不同时间、不同个体、不同设备或不同模态医学图像之间的空间对应关系。对于计算机断层成像（computed tomography，简称ct）-磁共振成像（magnetic resonance imaging，简称mri）跨模态医学图像配准而言，由于ct图像主要反映组织密度和骨性结构信息，而mri图像更突出软组织对比信息，两种模态之间存在明显的灰度分布差异、组织对比差异和局部纹理表达差异，因此跨模态非刚性配准仍然具有较大难度。

2、现有技术已经从跨模态结构描述子、cnn无监督配准、transformer长距离关系建模、粗到精金字塔配准、跨模态注意力、对比度无关训练以及局部相关性建模等方面对医学图像配准进行了研究。这些方法为ct-mri跨模态配准提供了重要基础，但仍存在以下与本发明相关的不足：

3、1、现有mind相关方法多将mind作为相似性度量或结构描述子使用，较少利用粗配准后的mind损失梯度生成任务相关的多尺度显著性图；

4、2、现有深度学习配准网络通常依赖普通cnn、transformer或注意力特征，容易受到ct-mri模态外观差异、背景响应和局部错误匹配的影响；

5、3、已有注意力或相关性方法虽然能够增强图像对之间的特征交互，但其关注区域不一定直接对应当前配准误差敏感区域，也未显式区分可靠正样本区域、困难错配区域和背景非可靠区域；

6、4、完整三维局部匹配搜索或复杂注意力计算在3d医学图像中可能带来较高计算和显存开销。

7、因此，现有技术仍需要一种适用于ct-mri跨模态非刚性配准的方法，能够在粗配准基础上利用跨模态结构误差自动定位关键结构区域，融合cnn特征与mind结构特征，构建轻量化局部匹配关系，并通过显著性与mind置信度约束增强跨模态特征判别能力，从而提高精配准阶段关键解剖结构匹配精度和形变场稳定性。

技术实现思路

1、为了解决现有技术中由于ct与mri灰度分布、组织对比和局部结构表达差异较大，导致关键解剖结构匹配不准确、局部形变估计不稳定以及普通特征表达易受模态外观和背景响应干扰的问题，本发明提出一种ct图像与mri图像的跨模态配准方法，对粗配准网络的形变场进行修正，利用修正的形变场对mri图像进行变换，具体包括以下步骤：

2、101、获取待配准的ct图像和mri图像，并进行预处理；

3、102、在粗配准网络中，利用该训练的粗配准网络输出的形变场对mri图像进行变换，得到粗配准后的mri图像；

4、102、将待配准的ct图像和mri图像输入训练完成的粗配准网络，由所述粗配准网络预测粗形变场，并利用所述粗形变场对mri图像进行空间变换，得到粗配准后的mri图像；

5、103、精配准网络利用分别对ct图像和粗配准后的mri图像进行连续下采样提取多个尺度的特征；

6、104、精配准网络最深层的特征拼接后通过瓶颈层进行卷积操作，得到瓶颈层输出；后续级联的解码单元将对应尺度的特征、代价体匹配特征以及前一解码单元输出或瓶颈层输出上采样至当前尺度后进行拼接，并通过解码卷积模块得到当前尺度的解码特征；

7、105、将解码模块的输出映射为残差形变场，利用残差形变场对粗配准网络的形变场进行修正，得到复合形变场；

8、106、在空间变换网络中，基于复合形变场对mri图像进行空间变换，得到与ct图像空间对齐的精配准mri图像。

9、本发明通过粗配准后的mind结构误差信息生成多尺度梯度显著性图，引导精配准网络重点关注对跨模态配准误差敏感的关键结构区域；同时结合cnn-mind联合匹配特征、稀疏局部代价体和显著性-mind置信度三元组约束，提高ct-mri跨模态局部结构匹配能力，并通过残差形变预测与形变场复合保持形变场的平滑性和稳定性。实验结果表明，本发明在ct-mri测试集上可取得dice为0.7525±0.0452、hd95为2.3107±0.6718、assd为0.7324±0.1979、njd为0.000148±0.000162的配准结果，说明该方法能够提高结构重叠精度，并保持较低的形变折叠率和较好的形变稳定性。

1.一种ct图像与mri图像的跨模态配准方法，其特征在于，对粗配准网络的形变场进行修正，利用修正的形变场对mri图像进行变换，具体包括以下步骤：

2.根据权利要求1所述的一种ct图像与mri图像的跨模态配准方法，其特征在于，每个尺度的特征包括ct图像特征、mri图像特征以及代价体匹配特征，代价体匹配特征的获取过程包括：

3.根据权利要求2所述的一种ct图像与mri图像的跨模态配准方法，其特征在于，ct图像联合匹配特征表示为：

4.根据权利要求3所述的一种ct图像与mri图像的跨模态配准方法，其特征在于，采用显著性图对特征进行增强，得到对应的增强特征，包括：

5.根据权利要求4所述的一种ct图像与mri图像的跨模态配准方法，其特征在于，显著性图像的获取过程包括：

6.根据权利要求1所述的一种ct图像与mri图像的跨模态配准方法，其特征在于，粗配准网络在进行训练时的损失函数表示为：

7.根据权利要求5所述的一种ct图像与mri图像的跨模态配准方法，其特征在于，精配准网络训练过程中采用patch级的三元组损失项，所述三元组损失项表示为：

8.根据权利要求7所述的一种ct图像与mri图像的跨模态配准方法，其特征在于，第l层第g个patch的最难负样本相似度表示为：

9.根据权利要求8所述的一种ct图像与mri图像的跨模态配准方法，其特征在于，正负样本描述符的获取过程包括：

10.根据权利要求9所述的一种ct图像与mri图像的跨模态配准方法，其特征在于，ct图像的正样本描述符表示为：