一种基于双域自注意力的太赫兹图像超分辨率重建方法

本发明属于太赫兹图像重建，尤其涉及一种基于双域自注意力的太赫兹图像超分辨率重建方法。

背景技术：

1、近年来，深度学习技术已广泛应用于太赫兹图像超分辨率重建领域，现有主流技术方案分为卷积神经网络、残差网络以及编码 - 解码网络三类。相较于光学硬件升级、插值数值增强等传统方法，深度学习重建效果存在一定提升，但现有技术仍存在四大核心缺陷：

2、第一，现有网络多采用卷积残差网络作为特征提取主干，卷积仅具备局部感受野，无法对太赫兹图像 “样品中心强信号、周边弱信号、边缘伪影” 全局灰度分布建立长程依赖关系，模型难以区分有效目标信号与背景衍射伪影；

3、第二，现有方案搭载的注意力机制多为全局池化类门控结构（se、cbam 等），仅能对通道、空间像素赋予权重增强，无法在任意两个特征元素间构建配对长程依赖，针对衍射条纹、低对比度微弱边缘的识别重建能力不足；

4、第三，现有训练策略均采用全局均匀裁剪图像块，而太赫兹图像平滑背景区域占比极高，边缘、纹理等难重建样本数量稀缺，模型极易出现纹理区域欠拟合，重建图像边缘模糊不清晰；

5、第四，现有损失函数普遍采用像素域 mse 损失或图像预训练网络感知损失，缺少针对高频信息的约束项，无法有效约束锐利边缘、细小纹理等高频结构，重建图像普遍存在过度平滑问题。

6、除此之外，不同太赫兹成像设备的点扩散函数、波束形态、探测器响应、噪声强度差异较大，现有重建算法泛化能力弱，跨成像系统重建稳定性差。

技术实现思路

1、本发明目的在于提供一种基于双域自注意力的太赫兹图像超分辨率重建方法，解决现有技术无法建模长程全局依赖、池化门控注意力特征判别能力弱、均匀采样造成纹理欠拟合、损失函数高频约束缺失的技术缺陷，实现太赫兹图像高频细节与锐利边缘高质量恢复，抑制背景伪影，且在多套不同成像系统下均可保持高保真稳定重建效果。

2、本发明为解决上述技术问题采用如下技术方案：一种基于双域自注意力的太赫兹图像超分辨率重建方法，其特征在于，包括以下步骤：

3、将待重建的太赫兹图像输入重建模型，得到目标尺度的超分辨率太赫兹图像；其中，

4、重建模型包括：

5、浅层特征提取模块，用于对输入的太赫兹图像进行特征提取，得到浅层特征图；

6、自注意力主干，包括级联的若干个注意力组，注意力组级联处理后形成的特征图经卷积操作后，通过全局残差连接与输入自注意力主干的浅层特征图相加，输出增强特征图；其中，注意力组包括若干个级联的注意力单元，且每个注意力单元均包括一个空间自注意力块和一个通道自注意力块，注意力单元级联处理后形成的特征图经卷积操作后，通过组内残差连接与输入该注意力组的特征图相加后输出；

7、上采样重建单元，用于将增强特征图上采样至目标尺度并进行卷积重建，形成超分辨率太赫兹图像。

8、进一步的，所述自注意力主干内部，各注意力单元中的空间自注意力块、通道自注意力块交替排布。

9、进一步的，所述空间自注意力块、通道自注意力块均基于统一自注意力块结构搭建；所述自注意力块结构依次串联第一 ln 层、自注意力模块、第二 ln 层、门控前馈网络；自注意力模块输出特征与自注意力块输入原始特征残差相加得到一级融合特征，一级融合特征输入门控前馈网络，门控前馈网络输出特征再次与一级融合特征残差相加，作为自注意力块整体输出。

10、进一步的，所述自注意力模块采用统一自注意力模块架构，架构包含并行设置的自注意力分支与深度卷积分支；自注意力分支输出特征、深度卷积分支输出特征共同输入自适应交互模块完成融合，输出自注意力模块整体特征。

11、进一步的，所述空间自注意力块内置空间自注意力模块；所述空间自注意力模块将输入特征图分割为若干互不重叠的局部运算窗口，并在单个窗口内完成自注意力运算。

12、进一步的，不同层级的空间自注意力模块采用差异化窗口划分策略，层级之间交替使用水平长条窗口、竖直长条窗口分割特征图。

13、进一步的，相邻层级空间自注意力模块的局部运算窗口采用错位划分方式；前一层分属不同窗口的相邻像素，可在后一层空间自注意力模块中划分至同一局部运算窗口内。

14、进一步的，所述通道自注意力块内置通道自注意力模块；所述通道自注意力模块对输入特征图沿通道维度做维度转置，基于转置后的特征图执行自注意力计算。

15、进一步的，所述重建模型的训练步骤具体为：获取太赫兹高清图像数据集，对每张高清太赫兹图像实施图像退化处理，生成一一对应的低分辨率-高分辨率图像样本对；将所有低分辨率图像、匹配的高分辨率图像裁剪为统一固定尺寸图像块；依据图像块局部梯度幅值、边缘密度中的至少一项计算采样权重，基于采样权重对纹理、边缘区域图像块做过采样处理，筛选得到训练图像块；采用包含频域损失项的复合损失函数迭代训练重建模型；所述频域损失项用于约束重建超分辨率图像与真实高清图像之间的频域特征差异。

16、进一步的，所述复合损失函数为空域损失项与频域损失项加权求和；所述频域损失项计算方式为：分别对重建超分辨率图像、对应真实高分辨率图像做傅里叶变换或高通滤波，求取两组变换 / 滤波分量之间的误差作为频域差异度量。

17、采用本发明上述技术方案，对比现有技术具备如下优势：

18、（1）本发明采用空间自注意力块、通道自注意力块交替堆叠构成的自注意力主干替代传统卷积残差主干，通过查询-键-值配对运算建立图像特征元素间长程全局依赖，完整建模太赫兹图像“中心强信号-周边弱信号-边缘伪影”全局分布特征，有效抑制衍射条纹与背景伪影；依托自注意力全局建模特性，本发明适配不同点扩散函数、波束形态、噪声强度的成像设备，无需针对单套系统单独调参，跨系统重建鲁棒性更强。

19、（2）本发明在空间、通道双维度交替部署自注意力计算，同步捕捉图像局部纹理与通道语义特征；相较于仅单一维度池化门控轻量化注意力方案，本发明特征区分能力更强，微小细节重建效果更优。

20、（3）模型训练阶段引入梯度、边缘密度驱动的非均匀采样机制，提升边缘、纹理难重建图像块采样频次，改善均匀采样带来的纹理区域欠拟合缺陷，重建图像边缘轮廓更加锐利清晰。

21、（4）损失函数增设独立频域约束项，对图像高频分量施加显性损失约束，大幅缓解超分辨率图像普遍存在的过度平滑缺陷，显著提升细小纹理、锐利边缘等高频细节恢复质量。

1.一种基于双域自注意力的太赫兹图像超分辨率重建方法，其特征在于，包括如下步骤：将待重建太赫兹图像输入预设重建模型，输出目标尺度的超分辨率太赫兹图像；所述重建模型包含浅层特征提取模块、自注意力主干及上采样重建单元；所述浅层特征提取模块，用于对输入太赫兹图像完成特征提取，输出浅层特征图；所述自注意力主干包含多级级联的注意力组，各级注意力组依次处理得到中间特征图，中间特征图经卷积运算后，通过全局残差连接与输入自注意力主干的浅层特征图逐元素相加，输出增强特征图；单个所述注意力组由若干注意力单元级联构成；各注意力单元输出特征图经卷积运算后，通过组内残差连接与输入该注意力组的特征图相加，完成本组特征输出；每一注意力单元均串联设置空间自注意力块与通道自注意力块；所述上采样重建单元，用于对增强特征图执行上采样至目标尺度，并通过卷积重建生成最终超分辨率太赫兹图像。

2.根据权利要求1所述一种基于双域自注意力的太赫兹图像超分辨率重建方法，其特征在于，所述自注意力主干内，各注意力单元中的空间自注意力块、通道自注意力块交替排布。

3.根据权利要求1所述一种基于双域自注意力的太赫兹图像超分辨率重建方法，其特征在于，所述空间自注意力块、通道自注意力块采用统一自注意力块架构搭建；所述自注意力块架构依次串联第一层归一化层ln、自注意力模块、第二层归一化层ln、门控前馈网络；自注意力模块输出特征与自注意力块输入特征做残差相加，得到第一融合特征；第一融合特征输入门控前馈网络，门控前馈网络输出特征再与第一融合特征残差相加，作为自注意力块整体输出。

4.根据权利要求3所述一种基于双域自注意力的太赫兹图像超分辨率重建方法，其特征在于，所述自注意力模块包含并行设置的自注意力分支与深度卷积分支；自注意力分支输出特征、深度卷积分支输出特征输入自适应交互模块完成特征融合，得到自注意力模块最终输出。

5.根据权利要求3所述一种基于双域自注意力的太赫兹图像超分辨率重建方法，其特征在于，所述空间自注意力块内置的自注意力模块为空间自注意力模块；所述空间自注意力模块将输入特征图分割为若干互不重叠的局部运算窗口，仅在单一局部窗口内完成自注意力计算。

6.根据权利要求5所述一种基于双域自注意力的太赫兹图像超分辨率重建方法，其特征在于，不同层级的空间自注意力模块采用差异化窗口划分策略，层级之间交替使用水平长条窗口、竖直长条窗口分割特征图。

7.根据权利要求5所述一种基于双域自注意力的太赫兹图像超分辨率重建方法，其特征在于，相邻层级空间自注意力模块的局部运算窗口采用错位划分方式；前一层分属不同窗口的相邻像素，可在后一层空间自注意力模块中划分至同一局部运算窗口内。

8.根据权利要求1所述一种基于双域自注意力的太赫兹图像超分辨率重建方法，其特征在于，所述通道自注意力块内置通道自注意力模块；所述通道自注意力模块对输入特征图沿通道维度做维度转置，基于转置后的特征图执行自注意力计算。

9.根据权利要求1所述一种基于双域自注意力的太赫兹图像超分辨率重建方法，其特征在于，所述重建模型的训练步骤具体为：构建太赫兹高清图像数据集，对每张高清太赫兹图像实施图像退化处理，生成一一对应的低分辨率-高分辨率图像样本对；将所有低分辨率图像、匹配的高分辨率图像裁剪为统一固定尺寸图像块；依据图像块局部梯度幅值、边缘密度中的至少一项计算采样权重，基于采样权重对纹理、边缘区域图像块做过采样处理，筛选得到训练图像块；采用包含频域损失项的复合损失函数迭代训练重建模型；所述频域损失项用于约束重建超分辨率图像与真实高清图像之间的频域特征差异。

10.根据权利要求9所述一种基于双域自注意力的太赫兹图像超分辨率重建方法，其特征在于，所述复合损失函数为空域损失项与频域损失项加权求和；所述频域损失项计算方式为：分别对重建超分辨率图像、对应真实高分辨率图像做傅里叶变换或高通滤波，求取两组变换/滤波分量之间的误差作为频域差异度量。