一种基于自注意力机制的跨尺度图像超分辨处理方法及系统与流程

1.本发明涉及深度学习技术领域，具体涉及一种基于自注意力机制的跨尺度图像超分辨处理方法及系统。


背景技术：

2.根据技术调研，由于相机镜头以及传感器等硬件的限制，拍摄的图像往往不能到达所需的分辨率，为了解决这种情况，往往需要对图像进行超分辨，最常用的方式是利用插值的方式进行超分辨，然而这种方式并没有有效地增加图像的细节信息；最新的研究表明利用深度学习的方法，可以有效地增加超分辨图像的细节表现能力，然而利用机器学习的超分辨往往依赖于所训练的场景，同时由于超分辨过程中并没有额外的细节信息，因而会导致超分辨的结果并不完全准确，同时传统的机器学习方法大多采用的cnn的传统架构，很难获取信息的远距离依赖，存在明显的不足。


技术实现要素：

3.为此，本发明提供一种基于自注意力机制的跨尺度图像超分辨处理方法及系统，以解决现有图像超分辨方法存在的结果不准确、很难获取信息的远距离依赖等的问题。
4.为了实现上述目的，本发明提供如下技术方案：
5.根据本发明实施例的第一方面，提出了一种基于自注意力机制的跨尺度图像超分辨处理方法，所述方法包括：
6.获取全局场景图像和多个局部细节图像，并获取局部细节图像与全局场景图像的对应关系，包括局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置；
7.根据局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置，分别对全局场景图像和局部细节图像进行预处理；
8.构建并训练基于自注意力机制的图像超分辨模型，通过所述图像超分辨模型对处理后的全局场景图像和局部细节图像进行图像融合，得到高分辨图像。
9.进一步地，获取全局场景图像和多个局部细节图像，具体包括：
10.通过全局相机获取全局场景图像，通过多个局部相机分别获取多个局部细节图像，所述全局相机的水平视场角为50
°
～60
°
，所述局部相机的水平视场角10
°
～15
°
。
11.进一步地，获取局部细节图像与全局场景图像的对应关系，具体包括：
12.从局部细节图像中提取部分关键点并与全局场景图像进行特征匹配，根据匹配关系局部细节图像在全局场景图像的相对位置；
13.根据相机镜头的参数，估计全局相机以及局部相机对观测物体的放大倍率，得到初始图像比例，并根据局部图像关键点与全局场景图像的匹配结果对初始图像比例进行优化得到最终的图像比例。
14.进一步地，根据局部细节图像和全局场景图像的图像比例、局部细节图像在全局
场景图像的相对位置，分别对全局场景图像和局部细节图像进行预处理，具体包括：
15.基于图像比例，将全局图像进行单个图像超分辨使得局部图像与全局图像对统一物体的采集尺寸一致；基于局部细节图像相对于全局图像的位置，对局部图像进行填充处理，即对局部图像的边缘进行补零处理，使得局部细节图像达到与全局图像相同的分辨率。
16.进一步地，所述基于自注意力机制的图像超分辨模型包括编码模块和解码模块，所述编码模块用于通过转移窗口注意力机制模块swin-transfomer block和块融合模块patch merge实现对输入的全局场景图像和局部细节图像不同尺度特征的提取，并通过对全局场景图像和局部细节图像的特征图中相应位置取最大值的方式进行融合，最后逐级的连接到解码模块中，最终生成符合条件的高分辨率图像。
17.进一步地，所述解码模块的核心为块扩展模块patch expanding，用于实现对特征图的上采样。
18.进一步地，所述编码模块具体用于通过patch embeding层对输入的图像进行编码得到编码结果，然后通过逐层的swin transformer block模块对编码后的图像进行图像特征提取，从而得到图像不同尺度的特征，其中swin transformer block模块包括归一化、区域的注意力机制、图像矩阵的偏移模块，然后通过patch merge模块得到感受野更大的特征图，实现对更高维度特征的提取。
19.进一步地，所述方法还包括：
20.对模型进行训练时，将预处理后的全局场景图像g和局部细节图像l进行单图像的超分辨获得gu、
lu
，对超分辨后的图像s进行下采样sd，然后利用其归一化互信息作为训练的损失函数。
21.根据本发明实施例的第二方面，提出了一种基于自注意力机制的跨尺度图像超分辨处理系统，所述系统包括：
22.图像采集与关系获取模块，用于获取全局场景图像和多个局部细节图像，并获取局部细节图像与全局场景图像的对应关系，包括局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置；
23.图像预处理模块，用于根据局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置，分别对全局场景图像和局部细节图像进行预处理；
24.图像融合模块，用于构建并训练基于自注意力机制的图像超分辨模型，通过所述图像超分辨模型对处理后的全局场景图像和局部细节图像进行图像融合，得到高分辨图像。
25.根据本发明实施例的第三方面，提出了一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于自注意力机制的跨尺度图像超分辨处理系统执行如上任一项所述的方法。
26.本发明具有如下优点：
27.本发明提出的一种基于自注意力机制的跨尺度图像超分辨处理方法及系统，获取全局场景图像和多个局部细节图像，并获取局部细节图像与全局场景图像的对应关系，包括局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置；根据局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置，分别对全局场景图像和局部细节图像进行预处理；构建并训练基于自注意力机制的图
像超分辨模型，通过所述图像超分辨模型对处理后的全局场景图像和局部细节图像进行图像融合，得到高分辨图像。基于不同尺度的图像(局部细节图像、全局场景图像)，利用自注意力机制的transformer框架实现大场景图像的超分辨。
附图说明
28.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
29.图1为本发明实施例1提供的一种基于自注意力机制的跨尺度图像超分辨处理方法的流程示意图；
30.图2为本发明实施例1提供的一种基于自注意力机制的跨尺度图像超分辨处理方法中图像采集模块结构示意图；
31.图3为本发明实施例1提供的一种基于自注意力机制的跨尺度图像超分辨处理方法中基于自注意力机制的图像超分辨模型的框架结构示意图；
32.图4为本发明实施例1提供的一种基于自注意力机制的跨尺度图像超分辨处理方法中转移窗口注意力机制模块的结构示意图。
具体实施方式
33.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.实施例1
35.随着深度学习算法在机器视觉领域的广泛应用，许多研究表面利用深度学习算法进行多焦点的图像融合可以得到sota的效果，而且算法本身的鲁棒性以及自适应性的特点，具有非常好的发展前景。随着基于自注意力机制的transformer框架在自然语言处理领域取得的巨大成功，近几年研究表明，transformer的深度学习框架在许多机器视觉任务中达到sota的结果，许多结果甚至可以优于传统的卷积神经网络架构。本技术基于不同尺度的图像(局部细节图像、全局图像)，利用自注意力机制的transformer框架实现大场景图像的超分辨。
36.如图1所示，本实施例提出了一种基于自注意力机制的跨尺度图像超分辨处理方法，所述方法包括：
37.s100、获取全局场景图像和多个局部细节图像，并获取局部细节图像与全局场景图像的对应关系，包括局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置。
38.本实施例中提及的非结构化多尺度大场景感知硬件，如图2所示，主要包括局部相机(水平视场角10
°
～15
°
)和全局相机(水平视场角50
°
～60
°
)，单个相机的分辨率均为1200万。全局相机用以捕捉全局场景，局部相机用来捕捉局部细节信息(图1)，往往需要根据实
际应用场景进行部署。基于以上的结构还可以拓展应用场景，可以增加显微镜头，从而应用在医学以及工业检测领域。
39.通过上述硬件设备，获取了多个局部细节图像(l1
……
ln)和一个全局场景图像(g)，基于以上获取的数据设计了自注意力机制的跨尺度图像超分辨方法。
40.首先，基于图像关键点提取以及匹配算法，获取局部细节图像与全局图像的对应关系，包括局部细节图像和全局图像的图像比例(γ)，以及局部细节图像在全局图像的相对位置。
41.具体的，从局部细节图像中提取部分关键点并与全局场景图像进行特征匹配，根据匹配关系局部细节图像在全局场景图像的相对位置；根据相机镜头的参数，估计全局相机以及局部相机对观测物体的放大倍率，得到初始图像比例并根据局部图像关键点与全局场景图像的匹配结果对初始图像比例进行优化得到最终的图像比例γ。
42.s200、根据局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置，分别对全局场景图像和局部细节图像进行预处理。
43.局部细节图像与全局图像的分辨率尽管相同，但是其对应实际场景的尺寸存在较大差异，因此为了能够更好的统一尺寸我们需要对图像进行一定的预处理，首先基于图像比例γ，将全局图像进行单个图像超分辨(机器学习方法、插值算法)使得局部图像与全局图像对统一物体的采集尺寸一致，基于局部细节图像相对于全局图像的位置，对局部图像进行填充(padding)，使得局部细节图像达到与全局图像相同的分辨率。
44.注：padding是指为了保证进入模型的两张图片的尺度一致，需要对局部图像的边缘进行补零处理，简单来说在已经得到了局部图像在全局图像中的位置了，然后对局部图像不能覆盖全局图像的位置填充零。
45.s300、构建并训练基于自注意力机制的图像超分辨模型，通过所述图像超分辨模型对处理后的全局场景图像和局部细节图像进行图像融合，得到高分辨图像。
46.本实施例设计的深度学习框架，如图3所示，主要包括编码和解码模块，其中解码模块通过转移窗口注意力机制模块(swin-transfomer block，如图4所示)以及块融合(patch merge)模块实现对不同尺度特征的提取，然后通过对g与l提取的特征利用取最大值的方式进行融合，最后逐级的连接到解码模块中，其中解码模块的核心为与块扩展(patch expanding)。最终生成符合条件的高分辨率图像(f)。
47.对g与l提取的特征利用取最大值的方式进行融合具体为，对利用深度学习编码框架分别提取了局部图像以及全局图像的特征图，同时由于之前已经做到了图像分辨率一致，因而得到的特征图的尺寸是相同的，具体方式是取局部特征图与全局特征图中相应位置的最大值，得到合成后的特征图。
48.模型详细处理过程如下：通过编码层对输入图像进行编码得到[w/4,h/4,96]的编码结果，然后通过逐层的swin transformer block对编码后的图像进行图像特征提取，从而得到图像不同尺度的特征。其中swin transformer block包括归一化、区域的注意力机制、图像矩阵的偏移，然后通过patch merging得到感受野更大的特征图，实现对更高维度特征的提取。在解码过程中patch expanding实现对特征图的上采样。
[0049]
如图4所示，转移窗口注意力机制模块(swin-transformer block)主要包括层标
准化、多层感知器以及一个正常的窗口多注意力以及一个转移窗口的多头注意力机制，值得注意的是利用窗口注意力机制相对于传统注意力机制可以有效地降低运算过程中的计算复杂度，大大提高计算的效率，使得注意力机制可以应用在大图像的处理过程中。然而如果只利用正常的窗口注意力机制严重限制框架的感受野，因此通过添加转移窗口注意力机制在不增加计算复杂度的前提下大大提高了注意力机制的感受野。
[0050]
然而由于在训练过程中超分辨的ground truth无法获得，同时超分辨后的图像结果(s)与预处理后全局图像(g)、局部细节图像(l)并不完全一致，我们将g和l进行单图像的超分辨获得gu、lu，对超分辨后的图像s进行下采样sd，然后利用其归一化互信息作为训练的损失函数，公式如下：
[0051]
l＝ω1q
mi
(g,l,sd) ω2q
mi
(gu,lu,s)
[0052]
其中
[0053][0054]
mi(i,f)代表i和f的互信息h(i)代表i的信息熵h(i)＝-∑
i∈i
p(i)log2p(i)。
[0055]
实施例2
[0056]
与上述实施例1相对应的，本实施例提出了一种基于自注意力机制的跨尺度图像超分辨处理系统，所述系统包括：
[0057]
图像采集与关系获取模块，用于获取全局场景图像和多个局部细节图像，并获取局部细节图像与全局场景图像的对应关系，包括局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置；
[0058]
图像预处理模块，用于根据局部细节图像和全局场景图像的图像比例、局部细节图像在全局场景图像的相对位置，分别对全局场景图像和局部细节图像进行预处理；
[0059]
图像融合模块，用于构建并训练基于自注意力机制的图像超分辨模型，通过所述图像超分辨模型对处理后的全局场景图像和局部细节图像进行图像融合，得到高分辨图像。
[0060]
本发明实施例提供的一种基于自注意力机制的跨尺度图像超分辨处理系统中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。
[0061]
实施例3
[0062]
与上述实施例相对应的，本实施例提出了一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于自注意力机制的跨尺度图像超分辨处理系统执行如上实施例1所述的方法。
[0063]
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。