一种基于自注意力机制的跨尺度图像超分辨处理方法及系统与流程

技术特征：
1.一种基于自注意力机制的跨尺度图像超分辨处理方法，其特征在于，所述方法包括：获取全局场景图像和多个局部细节图像，并获取局部细节图像与全局场景图像的对应关系，包括局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置；根据局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置，分别对全局场景图像和局部细节图像进行预处理；构建并训练基于自注意力机制的图像超分辨模型，通过所述图像超分辨模型对处理后的全局场景图像和局部细节图像进行图像融合，得到高分辨图像。2.根据权利要求1所述的一种基于自注意力机制的跨尺度图像超分辨处理方法，其特征在于，获取全局场景图像和多个局部细节图像，具体包括：通过全局相机获取全局场景图像，通过多个局部相机分别获取多个局部细节图像，所述全局相机的水平视场角为50
°
～60
°
，所述局部相机的水平视场角10
°
～15
°
。3.根据权利要求2所述的一种基于自注意力机制的跨尺度图像超分辨处理方法，其特征在于，获取局部细节图像与全局场景图像的对应关系，具体包括：从局部细节图像中提取部分关键点并与全局场景图像进行特征匹配，根据匹配关系局部细节图像在全局场景图像的相对位置；根据相机镜头的参数，估计全局相机以及局部相机对观测物体的放大倍率，得到初始图像比例，并根据局部图像关键点与全局场景图像的匹配结果对初始图像比例进行优化得到最终的图像比例。4.根据权利要求1所述的一种基于自注意力机制的跨尺度图像超分辨处理方法，其特征在于，根据局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置，分别对全局场景图像和局部细节图像进行预处理，具体包括：基于图像比例，将全局图像进行单个图像超分辨使得局部图像与全局图像对统一物体的采集尺寸一致；基于局部细节图像相对于全局图像的位置，对局部图像进行填充处理，即对局部图像的边缘进行补零处理，使得局部细节图像达到与全局图像相同的分辨率。5.根据权利要求1所述的一种基于自注意力机制的跨尺度图像超分辨处理方法，其特征在于，所述基于自注意力机制的图像超分辨模型包括编码模块和解码模块，所述编码模块用于通过转移窗口注意力机制模块swin-transfomer block和块融合模块patch merge实现对输入的全局场景图像和局部细节图像不同尺度特征的提取，并通过对全局场景图像和局部细节图像的特征图中相应位置取最大值的方式进行融合，最后逐级的连接到解码模块中，最终生成符合条件的高分辨率图像。6.根据权利要求5所述的一种基于自注意力机制的跨尺度图像超分辨处理方法，其特征在于，所述解码模块的核心为块扩展模块patch expanding，用于实现对特征图的上采样。7.根据权利要求5所述的一种基于自注意力机制的跨尺度图像超分辨处理方法，其特征在于，所述编码模块具体用于通过patch embeding层对输入的图像进行编码得到编码结果，然后通过逐层的swin transformer block模块对编码后的图像进行图像特征提取，从而得到图像不同尺度的特征，其中swin transformer block模块包括归一化、区域的注意力机制、图像矩阵的偏移模块，然后通过patch merge模块得到感受野更大的特征图，实现
对更高维度特征的提取。8.根据权利要求1所述的一种基于自注意力机制的跨尺度图像超分辨处理方法，其特征在于，所述方法还包括：对模型进行训练时，将预处理后的全局场景图像g和局部细节图像l进行单图像的超分辨获得g
u
、l
u
，对超分辨后的图像s进行下采样s
d
，然后利用其归一化互信息作为训练的损失函数。9.一种基于自注意力机制的跨尺度图像超分辨处理系统，其特征在于，所述系统包括：图像采集与关系获取模块，用于获取全局场景图像和多个局部细节图像，并获取局部细节图像与全局场景图像的对应关系，包括局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置；图像预处理模块，用于根据局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置，分别对全局场景图像和局部细节图像进行预处理；图像融合模块，用于构建并训练基于自注意力机制的图像超分辨模型，通过所述图像超分辨模型对处理后的全局场景图像和局部细节图像进行图像融合，得到高分辨图像。10.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于自注意力机制的跨尺度图像超分辨处理系统执行如权利要求1-8任一项所述的方法。

技术总结
本发明公开了一种基于自注意力机制的跨尺度图像超分辨处理方法及系统，获取全局场景图像和多个局部细节图像，并获取局部细节图像与全局场景图像的对应关系，包括局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置；根据局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置，分别对全局场景图像和局部细节图像进行预处理；构建并训练基于自注意力机制的图像超分辨模型，通过所述图像超分辨模型对处理后的全局场景图像和局部细节图像进行图像融合，得到高分辨图像。基于不同尺度的图像(局部细节图像、全局场景图像)，利用自注意力机制的Transformer框架实现大场景图像的超分辨。超分辨。超分辨。


技术研发人员：夏晗 邵航 袁肖赟 刘威
受保护的技术使用者：浙江未来技术研究院（嘉兴）
技术研发日：2022.08.31
技术公布日：2022/12/19