一种跨模态核磁共振超分网络及图像超分辨率方法与流程

1.本发明涉及核磁共振图像超分辨率领域，特别涉及一种跨模态核磁共振超分网络及图像超分辨率方法。


背景技术：

2.凭借其在捕获人体软组织的病理学细节方面的适用性，核磁共振图像被认为是计算机辅助诊断和脑功能探究中使用最广泛的数据之一，可以有效地帮助医学研究者进行疾病诊断和脑功能分析。高分辨率核磁共振图像能给病理分析提供有效的辅助信息，反之，低分辨率核磁共振图像可能会在临床诊断中对部分疾病（例如病灶区域很小的肿瘤）的诊断造成困难，不利于病情的及时诊断而带来健康隐患，也给研究人员探索人脑内部结构带来挑战。然而，由于硬件和处理程序的运行限制，在特定模态下完成核磁扫描程序以获取高分辨率核磁共振图像需要耗费较长的时间。为了提高核磁共振图像分辨率，我们可以改善成像设备的精密度，然而，由此而造成的成本会显著增加。而现有图像超分重建算法在提升分辨率时，往往会引入噪声信息，导致信噪比较低。为了解决这个问题，课题组计划基于可变形神经网络构建新型核磁共振图像超分框架，以期推动该研究领域的进展，大幅改善超分图像的全局结构信息的准确度和局部细节的清晰度。
3.当前核磁共振图像超分辨率的主流技术是基于卷积神经网络的深度学习模型。借助强大的表征学习能力，卷积神经网络可以有效学习从低分辨率图像到高分辨率图像的非线性映射，使得模型能够取得令人较为满意的结果。但是，由于卷积神经网络固有的局部感知特性影响，其捕获全局结构和长距离上下文信息的能力较为欠缺，而核磁共振超分辨率重建需要深度学习模型既能拥有良好的局部感知特性来重建低频上下文细节，又能拥有长距离的全局感知来重建高频纹理结构，这使得基于卷积神经网络的核磁共振超分辨率技术并不是最优解决方案。对于核磁共振图像超分任务，如果能够同时实现高质量的低频信号重建和高频结构以及纹理信息恢复，那么将能以较低成本为疾病诊断和治疗带来便利，有效提高临床诊断地准确性，更好地造福人类生命健康。


技术实现要素：

4.本发明的目的主要解决当前基于深度学习的核磁共振图像超分任务中，跨模态核磁共振图像超分问题。基于卷积神经网络的深度学习模型难以兼顾局部和全局信息的互补融合，并且单模态输入无法引入有效的辅助信息，这极大限制了深度学习模型的上采样映射能力。
5.为实现上述目的，本发明提供如下技术方案：本技术公开了一种跨模态核磁共振超分网络的图像超分辨率方法，包括以下步骤：所述跨模态核磁共振超分网络包括依次串联的输入门、跨模态高频融合互补模块和输出门，所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络，其中，多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一
对应，多级所述跨模态高频可变形网络模块依次串联，多级所述密集残差嵌入网络依次串联，当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入，最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入；所述方法包括以下步骤：s1、对核磁共振图像t1、t2进行处理，获得t2对应的模态图像和梯度图、t1对应的梯度图为，其中，t1、t2分别为同一人体组织部位所获得的t1加权图像和t2加权图像；s2、将、、输入所述输入门，在所述输入门中进行浅层度特征提取，获得t1对应的浅层梯度特征、t2对应的浅层图像域特征、t2对应的浅层梯度特征；s3、将作为第一级的密集残差嵌入网络的输入，将、作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中进行处理，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出；s4、将、最后一级的跨模态高频可变形网络模块的输出以及最后级的密集残差嵌入网络的输出输入所述输出门，以通过所述输出门的上下分支分别输出高分辨率图像及其对应的梯度图像。
6.作为优选，所述跨模态高频可变形网络模块共有4级，所述密集残差嵌入网络共有4级。
7.作为优选，所述跨模态高频可变形网络模块从由长短距离感知模块，空间特征自适应模块和模态间多头注意力模块依次串联而成，所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机，所述第一多层感知机和第二多层感知机内部结构依次为层归一化，卷积，高斯线性分布单元；所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式，长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式，所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式，参数初始化为1。
8.作为优选，所述步骤s3具体包括：s31、将作为第一级的密集残差嵌入网络的输入，将、作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中，当前级的t2对应的跨模态高频可变形网络模块输出的t2对应的浅层图像域特征通过下一级的密集残差嵌入网络得到特征，特征通过一组卷积得到跨模态输入特征，并与t2对应的浅
层梯度特征进行通道拼接，得到；其中，，r表示通过密集残差嵌入网络；i为密集残差嵌入网络的级别数，且i≥1；，c表示通过一组卷积；s32、在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内，经过长短距离感知模块得到特征，与t1对应的浅层梯度特征结合输入空间特征自适应模块得到分布对齐特征，与进行通道拼接之后经过模态间多头注意力模块得到特征；s33、经过一组卷积和gelu激活函数得到高低频融合注意力图，通过矩阵相乘广播机制得到；其中，；表示通过过矩阵相乘广播机制；s34、迭代步骤s31至s33，迭代预设次后，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输，其中，预设次为跨模态高频融合互补模块中跨模态高频可变形网络模块的总级数。
9.本发明还公开了一种跨模态核磁共振超分网络，包括依次串联的输入门、跨模态高频融合互补模块和输出门，所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络，其中，多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应，多级所述跨模态高频可变形网络模块依次串联，多级所述密集残差嵌入网络依次串联，当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入，最后一级的跨模态高频可变形网络模块的输出以及最后级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入；其中，所述输入门用于对外部输入的核磁共振图像t2对应的模态图像和梯度图、核磁共振图像t1对应的梯度图为进行浅层度特征提取，获得t1对应的浅层梯度特征、t2对应的浅层图像域特征、t2对应的浅层梯度特征；t1、t2分别为同一人体组织部位所获得的t1加权图像和t2加权图像；将作为第一级的密集残差嵌入网络的输入，将、作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中进行处理，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出；所述输出门用于接收、最后一级的跨模态高频可变形网络模块的输出和最后级的密集残差嵌入网络的输出，以通过所述输出门的上下分支分别输出高分辨率图像及
其对应的梯度图像。
10.作为优选，所述跨模态高频可变形网络模块共有4级，所述密集残差嵌入网络共有4级。
11.作为优选，所述密集残差嵌入网络由5组密集残差嵌入模块串联而成，所述密集残差嵌入模块串联由5组密集残差模块串联而成。
12.作为优选，所述跨模态高频可变形网络模块从由长短距离感知模块，空间特征自适应模块和模态间多头注意力模块依次串联而成，所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机，所述第一多层感知机和第二多层感知机内部结构依次为层归一化，卷积，高斯线性分布单元；所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式，长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式，所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式，参数初始化为1。
13.本发明还公开了一种跨模态核磁共振超分网络的图像超分辨率装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述的一种跨模态核磁共振超分网络的图像超分辨率方法。
14.本发明还公开了一种计算机可读存储介质，其特征在于：其上存储有程序，该程序被处理器执行时，用于实现上述的一种跨模态核磁共振超分网络的图像超分辨率方法。
15.本发明的有益效果：1、本发明通过引入t1核磁共振图像作为辅助信息重建高分辨率t2核磁共振图像，实现不同模态之间的信息交流与互补，显著提高信息的融合能力，加强特征表达。
16.2、本发明将t2对应的模态图像的低高频信息重建任务分而治之，利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力，有效提升高频信息的重建效果。
17.3、本发明设计的模态间多头注意力模块，利用空间特征自相似性来有效融合特征非局部信息，有效提高模型泛化性。
18.本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
19.图1是本发明一种跨模态核磁共振超分网络的结构示意图；图2是本发明的跨模态高频可变形模块结构示意图；图3是本发明的长短距离感知模块中的长短距离采样结构示意图；图4是本发明的输出门的结构示意图；图5是本发明空间特征自适应模块的结构示意图；图6是本发明模态间多头注意力模块的结构示意图；图7是本发明一种跨模态核磁共振超分网络的图像超分辨率装置的结构示意图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，
并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
21.参见图1，本发明实施例中的跨模态核磁共振超分网络包括依次串联的输入门、跨模态高频融合互补模块和输出门，所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络（图1中的5xrrdb），其中，多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应，多级所述跨模态高频可变形网络模块依次串联，多级所述密集残差嵌入网络依次串联，当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入，最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入。
22.其中，所述输入门用于对外部输入的核磁共振图像t2对应的模态图像和梯度图、核磁共振图像t1对应的梯度图为进行浅层度特征提取，获得t1对应的浅层梯度特征、t2对应的浅层图像域特征、t2对应的浅层梯度特征。t1、t2分别为同一人体组织部位所获得的t1加权图像和t2加权图像。
23.将作为第一级的密集残差嵌入网络的输入，将、作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中进行处理，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出。
24.所述输出门用于接收、最后一级的跨模态高频可变形网络模块的输出和最后级的密集残差嵌入网络的输出，以通过所述输出门的上下分支分别输出高分辨率图像及其对应的梯度图像。
25.本发明实施例通过引入t1核磁共振图像作为辅助信息重建高分辨率t2核磁共振图像，实现不同模态之间的信息交流与互补，显著提高信息的融合能力，加强特征表达；并且，将t2对应的模态图像的低高频信息重建任务分而治之，利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力，有效提升高频信息的重建效果；另外，本发明实施例设计的模态间多头注意力模块，利用空间特征自相似性来有效融合特征非局部信息，有效提高模型泛化性。
26.本发明实施例中，将核磁共振图像t1、t2的加权成像t1wi和t2wi的模态图像经过梯度提取卷积，再逐像素平方和再取其算术平方根，得到梯度图，其中t2wi模态图像及其梯度图设为，，t1wi的梯度图为。
27.可选地，在一些实施例中，跨模态高频融合互补模块的具体处理过程如下：s31、将作为第一级的密集残差嵌入网络的输入，将、作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中，当前级的t2对应的跨
模态高频可变形网络模块输出的t2对应的浅层图像域特征通过下一级的密集残差嵌入网络得到特征，特征通过一组卷积得到跨模态输入特征，并与t2对应的浅层梯度特征进行通道拼接，得到；其中，，r表示通过密集残差嵌入网络；i为密集残差嵌入网络的级别数，且i≥1；，c表示通过一组卷积；s32、在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内，经过长短距离感知模块得到特征，与t1对应的浅层梯度特征结合输入空间特征自适应模块得到分布对齐特征，与进行通道拼接之后经过模态间多头注意力模块得到特征；s33、经过一组卷积和gelu激活函数得到高低频融合注意力图，通过矩阵相乘广播机制得到；其中，；表示通过过矩阵相乘广播机制；s34、迭代步骤s31至s22，迭代预设次后，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输，其中，预设次为跨模态高频融合互补模块中跨模态高频可变形网络模块的总级数。
28.可以理解地，本发明实施例中，为各级密集残差嵌入网络的输出，为各级跨模态高频可变形网络模块的输出。
29.在跨模态高频融合互补模块中，跨模态高频可变形网络模块的级数与密集残差嵌入网络的级数大小相等，具体可根据需要设置跨模态高频可变形网络模块的级数与密集残差嵌入网络的级数大。例如，在一些实施例中，所述跨模态高频可变形网络模块共有4级，所述密集残差嵌入网络共有4级，本实施例中，i=1,2,3,4，通过将跨模态高频可变形网络模块的级数和密集残差嵌入网络的级数均设置成4级，能够利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力，从而有效提升高频信息的重建效果。当然，跨模态高频可变形网络模块的级数和密集残差嵌入网络的级数也可设置为其他大小，如2、3、5、6等等。
30.所述跨模态高频可变形网络模块从由长短距离感知模块，空间特征自适应模块和模态间多头注意力模块依次串联而成，所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机，所述第一多层感知机和第二多层感知机内部结构依次为层归一化，卷积，高斯线性分布单元；所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式，长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式，所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式，参数初始化为1。
31.实施例： 本发明的学习目标是 ： ； ； ；；x为输入的低分辨率图像，y是高分辨率图像输出，s是网络上采样函数，、、分别为输入特征的通道数、长、宽，为上采用因子，、分别代表输出空间与输入空间。
32.对此，本发明从跨模态核磁共振图像超分入手，设计出能兼顾全局和局部感知特性的跨模态高频可变形网络，利用其内部空间特征自适应模块消除不同模态特征之间的差异性，进一步加强跨模态特征融合，并设计了高频结构先验和模态间上下文先验，引入峰值信噪比和结构相似性约束，将高分辨率t2wi模态的图像及其高频梯度图像作为网络学习目标，卷积神经网络和可变形网络双分支中间不同频率及不同模态特征彼此融合，相互提高表达能力。
33.本发明设计的一种跨模态核磁共振超分网络从网络结构（如图1）上看，可以分成三个部分：输入门(input gate)（如图1中的部分标注），由4个结构相同的跨模态高频可变形网络(cross-modality high-frequency transformer cohf-t)（如图2）构成的跨模态高频融合互补模块，输出门(output gate)（如图3）。输入门由卷积神经网络构成，其作用是对输入的t1wi和t2wi模态图像进行浅层特征提取，跨模态高频可变形网络进行跨模态特征融合与互补,输出门将融合的t1wi和t2wi特征进行上采样重建。本发明所设计的网络输入是t1wi核磁共振模态图像作为辅助信息，t2wi模态核磁共振图像作为所要超分的对象，网络输出为放大n()倍的t2w1模态核磁共振高分辨率图像。
34.本发明在训练模型上包括如下步骤：步骤s01：高分辨率t2wi模态的核磁共振图像经过k-space频域下采样方法得到低分辨率图像，k-space操作首先将输入的高分辨率t2wi模态图像进行傅里叶变换，然后根据下采样因子截断频谱图外圈频域信息，最后反傅里叶变换。
35.二维傅里叶变换：二维傅里叶反变换：二维傅里叶反变换：、分别图像长、宽，辅助信息为高分辨率t1wi模态的核磁共振图像，均为单通道图像，，像素值已线性归一化到[0,1],线性归一化：线性归一化：、分别代表输入图像的像素最大值及最小值
在输入到输入门之前，辅助模态图像经过梯度提取操作得到其梯度图像，水平方向梯度：垂直方向梯度：水平垂直梯度：梯度2范数：输入门的设计如图1部分标注所示，其中，rrdb（residual-in-residual dense block,）表示密集残差嵌入模块，由5个密集残差模块（residual dense network rdn）经过串联而成，一个密集残差模块由5层卷积结构经过残差连接而成，残差连接是指输入特征经过某个卷积层或者某个模块得到的输出特征与输入特征相加形成新的输出特征，传播到下一个串联模块。
[0036]
rrdb模块：rrdb模块：gelu表示高斯分布线性单元(gaussian error linerar units)。
[0037]
；步骤s02：输入门出来的t1wi、t2wi模态特征及其梯度特征分别为，结构一致的跨模态高频可变形网络模块迭代4次，跨模态高频可变形网络模块包括3个模块，分别为长短距离感知模块，空间特征自适应模块，长短距离感知模块包括短距离感知模块和长距离感知模块，短距离感知模块由短距离窗口采样模块和多层感知机串联而成，长距离感知模块由长距离窗口采样模块和多层感知机串联而成。
[0038]
第i个跨模态高频可变形网络模块的输入输出： ；第i 1个跨模态高频可变形网络模块的输入输出：；步骤s02所提的长短距离感知模块，如图3，为了充分利用可变形网络的长距离信息感知能力，在该模块中引入两种不同的长短距离窗口采样作为特征向量嵌入方式，如图4，使得一个特征窗口内既包含短距离细节信息，又包含长距离的结构信息，两种不同距离的向量嵌入交替迭代在网络的前向传播过程，由卷积神经网络提取的浅层特征经过本发明设计的长短距离注意力提取更深更高频的特征，短距离注意力模块的输入特征为像素相邻的特征元素构成，旨在感知局部信息，提取和加工由t2图像域的低频特征，补充卷积核所感w知的局部信息，恢复图像的纹理细节。长距离注意力模块的输入特征（embedding)为全局
间隔特征元素构成，旨在感知全局部信息，提取和加工由t2梯度域的高频特征，补充卷积核所不充分感知的全局信息，恢复图像的高频结构。长短距离向量嵌入相互配合，可以提高可变形网络对特征的感知能力，让网络在同时具有局部感知何全局感知的能力，在感知纹理细节的同时能够有效处理全局的高频信息。
[0039]
窗口变形函数：； 、、、分别表示特征维度、高、宽、窗口大小。
[0040]
步骤s03：经过长短距离感知模块提取的特征输入到空间特征自适应模块，本发明在进行跨模态注意力之前，将t1wi(t1)的梯度特征与t2wi(t2)特征分布一致，使得跨模态注意力模块能够更准确地融合t1和t2模态地高频分量。使网络学习出适应t1模态特征均值和方差分布的能力，在设计跨模态注意力模块之前，本发明加入空间特征自适应模块，如图5，使t1模态特征分布适应t2模态特征分布，能够更好地进行跨模态高频特征融合。
[0041]
t1wi模态梯度特征归一化：，，分别表示通道上的均值和方差。
[0042]
t1wi模态梯度特征反归一化输出：，，分别表示通道上的均值偏移量和方差偏移量。
[0043]
步骤s04：t1模态的特征分布经通过空间特征自适应模块之后，送入模态间多头注意力，如图6，根据t2模态特征的自相似性和t2与t1模态特征之间的互相关性，该模块提取到加强的高频信息，以t1模态的相关高频特征来补充t2模态的高频特征，t1与t2特征经过一系列卷积然后融合各自的位置编码，得到嵌入向量，该模块主要由头内注意力及头间注意力两部分构成，在头内注意力部分，t2 模态的嵌入向量由网络自学习出头内注意力矩阵，通过头内自相关性进行特征融合，；；；；；；， ，分别表示查询量，键，值，，，分别表示特征头数，特征维度，窗口大小。
[0044]
为了充分利用头间特征，在头内注意力之后，该模块加入了头间注意力融合模块，通过头间相关性矩阵融合进一步加强特征表达能力；；；；，a、u、v分别表示头间注意力分数矩阵、输出特征、输入特征，n、m分别表示特征维度及空间大小。
[0045]
步骤s05：经过迭代的跨模态高频可变形网络模块之后，t1wi和t2wi模态的特征输入到输出门，输出门通过通道混洗(channel shuffle)将通道特征转变为空间特征，然后经过卷积重构特征为图像。特征尺寸的转换过程如下：特征尺寸的转换过程如下：分别代表图像的批次、通道、高、宽，代表上采样倍数。
[0046]
步骤s06：重构的图像与目标图像的损失函数l为：；；；；
ꢀꢀ
；；；，，，，分别表示均方差，图像域输出，图像域真值，梯度域输出，梯度域真值；在ssim计算中，、为图像的均值和方差，为x和y的协方差，，分别
为、，l为像素的动态范围，、分别为常数0.01、0.03。
[0047]
实施例：1.数据集与平均指标本发明利用两个常用医学影像分析的数据集作为训练及测试数据：brats2018[16]和ixi[17]。brats2018是由 750 个 核磁共振三维体（volume）组成。空间分辨率为（1毫米（mm）
×
1mm
×
1mm）。其中训练集484个volume（包括75,020张图像），验证集66个volume（包括10,230张图像）测试集200个volume（包括31,000张图像）。ixi数据集由 576 个mr volume构成， 其中训练集404个volume（包括48480张图像），验证集42个volume（包括5040张图像），测试集130个volume（包括15600张图像）。
[0048] 评价指标a. 峰值信噪比（peak signal-to-noise ratio，psnr）b. 结构相似性（structural similarity，ssim）2.数据准备与参数设置t1wi模态输入的图像为高分辨率核磁共振图像，t2wi模态输入的图像为低分辨率分辨率核磁共振图像，下采样方式为k域（k-space）频域下采样。
[0049]
网络搭建架构基于python 火炬库（pytorch），在英伟达（nvidia）v100上训练并测试，使用阿达姆（adam）优化器，其权重衰减系数为0.0001，网络特征维度为32，在长短距离子模块，模态内注意力模块的窗口大小为6*6，patch大小为1，模态间注意力模块的窗口大小为5*5，多头自注意力的头（head）数为4，如不加特别说明，本发明所使用的卷积核为3*3大小，图像外填充为1，步长为1，各组rrdb的输入输出通道为32。损失函数系数λ为0.5，α为0.95。
[0050]
3.图像处理过程在bra2018和ixi两个数据集中，高分辨率t1wi和t2wi模态图像空间分辨率为240*240，在四倍下采样设定下，输入的低分辨率t2wi模态图像大小为为60*60，低分辨t2wi和高分辨t1wi模态图像首先经过梯度提取卷积,横向卷积核为[[1,0,-1],[1,0,-1],[1,0,-1]],纵向卷积核为[[1,0,-1],[1,0,-1],[1,0,-1]]的转置，分别得到两个方向的梯度图，然后逐像素平方和再取其算术平方根，得到梯度图。输入的t2wi模态图像及其梯度图设为，；t1wi的高分辨率辅助梯度图为。
[0051]
在一个跨模态高频可变形网络模块内，, ,首先经过输入门分别得到，，；通过一组卷积得到跨模态输入特征，并与进行通道拼接，得到，依次经过短距窗口感知模块，长距离感知模块，与结合输入空间自适应模块，经过
模态间注意力模块得到，经过一组卷积和gelu激活函数得到高低频融合注意力图，，通过矩阵相乘广播机制得到,该步骤一次迭代4次，得到输出门的输入特征，其中t2wi模态的图像特征为，梯度域特征为。
[0052]
，，；，，输入到输出门，通过3组rrdb模块与残差形式相加，输出门上下分支输出分别为高分辨率图像及其对应的梯度图像。
[0053]
子模块使用步骤输入门模块对输入图像进行浅层特征提取，具体而言是图像域的t1w2核磁共振图像经过一层卷积层（conv1），其输入通道为1，输出通道为32，卷积核大小为3，步长为1，无填充，梯度域的低分辨率t1w2核磁共振图像经过一层与conv1相同设置的卷积层，以及5个迭代的密集残差嵌入模块（rrdb），输出通道为32，梯度域的高分辨率t1w1核磁共振图像的输入门分支设置与梯度域的低分辨率t1w2核磁共振图像处理形式相同，输入门的三分支输出分布是。
[0054]
输入门之后的特征传入基于可变形网络的跨模态高频融合互补模块(cross-modality high-frequency transformer, cohf-t)进行跨模态特征融合与互补，将高分辨率t1wi模态特征作为辅助信息，来复原低分辨率t1w2模态的高频结构部分，其子模块连接顺序分别为短距离窗口注意力子模块，长距离窗口注意力子模块，空间特征自适应模块，模态间注意力子模块。图像域的特征通过5*rrdb模块得到特征，经过一个卷积层得到加强特征，并于梯度与特征进行通道拼接，接入下一个卷积层，之后依次传入短距离窗口注意力模块，多层感知机，长距离感知子模块，多层感知机，空间自适应模块，模态间注意力子模块，多层感知机，每两个相邻的子模块之间采用残差连接。
[0055]
连接图像域及梯度域的rrdb迭代模块将加强的梯度辅助信息引入图像域中，加强低频信息与高频信息融合，提高图像复原质量。来自梯度域的高频特征与卷积分支的图像域特征进行通道拼接之后传入下一个rrdb模块，依次同形式迭代4次，输入门得到的图形域t1wi模块特征经过残差连接域最后一个rrdb输出的特征传入输出门，得到最后的t1w2模块高分辨率复原图像。
[0056]
输出门是进行低频图像域及高频梯度域的深层特征融合，得到最后的输出图像，低频图像域特征首先经过3个rrdb，然后与输入门传来的浅层特征进行通道拼接，输入到下一个卷积层，通过通道混洗将通过信息转移到空间上来，再传到下一个卷积及高斯线性激活函数，与经过同种形式的卷积操作的梯度域特征进行通道拼接，然后经过一个rrdb模块和一层卷积得到最后的输出。
[0057]
本发明实施例还提供一种跨模态核磁共振超分网络的图像超分辨率方法，包括以
下步骤：s1、对核磁共振图像t1、t2进行处理，获得t2对应的模态图像和梯度图、t1对应的梯度图为，其中，t1、t2分别为同一人体组织部位所获得的t1加权图像和t2加权图像。
[0058]
s2、将、、输入所述输入门，在所述输入门中进行浅层度特征提取，获得t1对应的浅层梯度特征、t2对应的浅层图像域特征、t2对应的浅层梯度特征。
[0059]
s3、将作为第一级的密集残差嵌入网络的输入，将、作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中进行处理，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出。
[0060]
s4、将、最后一级的跨模态高频可变形网络模块的输出以及最后级的密集残差嵌入网络的输出输入所述输出门，以通过所述输出门的上下分支分别输出高分辨率图像及其对应的梯度图像。
[0061]
在一些实施例中，所述步骤s3具体包括：s31、将作为第一级的密集残差嵌入网络的输入，将、作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中，当前级的t2对应的跨模态高频可变形网络模块输出的t2对应的浅层图像域特征通过下一级的密集残差嵌入网络得到特征，特征通过一组卷积得到跨模态输入特征，并与t2对应的浅层梯度特征进行通道拼接，得到；其中，，i为密集残差嵌入网络的级别数，且i≥1；；s32、在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内，经过长短距离感知模块得到特征，与t1对应的浅层梯度特征结合输入空间特征自适应模块得到分布对齐特征，与进行通道拼接之后经过模态间多头注意力模块得到特征；
s33、经过一组卷积和gelu激活函数得到高低频融合注意力图，通过矩阵相乘广播机制得到；其中，；s34、迭代步骤s31至s22，迭代预设次后，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输，其中，预设次为跨模态高频融合互补模块中跨模态高频可变形网络模块的总级数。
[0062]
本发明实施例还提供一种跨模态核磁共振超分网络的图像超分辨率方法，包括以下步骤：s10、将核磁共振图像t1、t2的加权成像t1wi和t2wi的模态图像经过梯度提取卷积，再逐像素平方和再取其算术平方根，得到梯度图，其中t2wi模态图像及其梯度图设为 ，，t1wi的梯度图为；s20、将，，经过输入门得到t1wi浅层梯度特征，t2wi浅层图像域特征，t2wi浅层梯度特征；s30、t2wi浅层图像域特征通过一个密集残差嵌入网络得到特征，特征通过一组卷积得到跨模态输入特征，并与t2wi浅层梯度特征进行通道拼接，得到；其中，，i=1,2,3,4；；s40、在跨模态高频融合互补模块中的第一个跨模态高频可变形网络模块内，经过长短距离感知模块得到特征，与t1wi浅层梯度特征结合输入空间特征自适应模块得到分布对齐特征，与进行通道拼接之后经过模态间多头注意力模块得到特征；s50、经过一组卷积和gelu激活函数得到高低频融合注意力图，通过矩阵相乘广播机制得到；；s60、迭代步骤s3至s5，迭代4次后得到输出门的输入特征，其中t2wi模态的图像特征为，梯度域特征为；s70、，，输入到输出门，通过3组密集残差嵌入模块与残差形式相
加，输出门上下分支输出分别为高分辨率图像及其对应的梯度图像。
[0063]
本发明实施例还提供一种跨模态核磁共振超分网络的图像超分辨率装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的跨模态核磁共振超分网络的图像超分辨率方法。
[0064]
本发明一种跨模态核磁共振超分网络的图像超分辨率装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本发明一种跨模态核磁共振超分网络的图像超分辨率装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0065]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0066]
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种跨模态核磁共振超分网络的图像超分辨率装置。
[0067]
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(smart media card，smc)、sd卡、闪存卡(flash card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
[0068]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。