一种多源遥感图像融合语义分割方法及系统与流程

1.本发明涉及多源遥感图像处理领域，特别是涉及一种多源遥感图像融合语义分割方法及系统。


背景技术：

2.目前多源遥感图像的语义分割算法有fusenet、segnet
‑
rc等。fusenet使用多支路编码器对多源遥感图像进行联合编码，几个编码器的输出结果在每个卷积块后相加。然后，一个解码器将编码后的联合表示重新采样回标签概率空间。然而，在这种架构中，分支数据被视为二手数据，即这几个分支并不是完全对称的。此外，在上采样过程中，只使用主分支的指标。因此，需要选择哪个数据源是主要数据源，哪个数据源是辅助数据，这在处理这多源的方式上存在一种概念上的不平衡。segnet
‑
rc使用多个编码器对多源遥感信息分别进行编码，然后分别解码，并在解码之后进行不同支路的融合。该方法改善了语义标注的精度，但要求多源遥感图像属于非异构图像，模型应用存在一定的局限性，尤其源数据为光电与雷达图像时。
3.由于多源遥感图像往往具有异质性，现有的方法对于不均衡的数据源没有针对性的融合策略，对于通道数不同的遥感图像难以提高对互补数据的利用率；并且多源遥感图像包括光学(如高光谱、多光谱、全色)、红外、dsm和sar图像等，而现有模型在融合过程中对主要数据源和辅助数据不加区分，导致语义分割结果易受部分图像的遮挡和观测效果影响，模型稳定性不佳；大部分现有的方法基于卷积神经网络，卷积神经网络的固有的局部感知特性可能导致对象和类别的错误分类，并忽略全局上下文信息，对于城市区域的建筑等大型片区目标的分割效果不理想。
4.为了解决多源遥感图像融合中的全局特征无法提取和数据利用率不高的问题，亟需提供一种新的处理方法或系统。


技术实现要素：

5.本发明的目的是提供一种多源遥感图像融合语义分割方法及系统，能够提供多源遥感图像融合中的全局特征提取的准确性和数据利用率。
6.为实现上述目的，本发明提供了如下方案：
7.一种多源遥感图像融合语义分割方法，包括：
8.通过编码网络对目标的多源遥感图像中不同模态的遥感数据分别进行下采样，同时利用通道网络对不同模态的遥感数据对应的分支网络进行通道交换，确定分支网络对应的多分辨率的特征图；不同模态的遥感数据包括：全色pan、多光谱ms和合成孔径雷达sar三种模态的遥感数据；分支网络包括：pan分支网络、ms分支网络和sar分支网络；
9.对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图；
10.利用解码网络对特征图进行解码，确定目标的分割结果；所述分割结果为分割掩
膜。
11.可选地，所述对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图，具体包括：
12.对拼接后的特征图的空间维度折叠为一维序列；
13.利用公式z0＝f pe生成特征嵌入；
14.根据特征嵌入依次输入多个transformer层中，确定特征图，并将特征图的尺寸恢复成与多分辨率的特征图的相同的尺寸；所述transformer层包括：多头注意力mha块和前馈网络ffn；
15.其中，代表位置嵌入，为特征嵌入，f为一维序列。
16.可选地，第l个transformer层具体包括：
17.z
′
l
＝mha(ln(z
l
‑1)) z
l
‑1；
18.z
l
＝ffn(ln(z
′
l
)) z
′
l
；
19.其中，ln(*)表示标准化层，z
l
为第l个transformer层的输出，z
l
‑1为第l
‑
1个transformer层的输出，z
′
l
为多头注意力mha块输出。
20.可选地，所述利用解码网络对特征图进行解码，确定目标的分割结果，具体包括：
21.解码网络在上采样的过程中与pan分支网络的各级输出的多分辨率的特征图进行像素级拼接，通过跳跃连接将编码网络中的多分辨率的特征图与transformer编码器输出的特征图进行融合，确定目标的分割结果。
22.一种多源遥感图像融合语义分割系统，包括：
23.多分辨率的特征图提取模块，用于通过编码网络对目标的多源遥感图像中不同模态的遥感数据分别进行下采样，同时利用通道网络对不同模态的遥感数据对应的分支网络进行通道交换，确定分支网络对应的多分辨率的特征图；不同模态的遥感数据包括：全色pan、多光谱ms和合成孔径雷达sar三种模态的遥感数据；分支网络包括：pan分支网络、ms分支网络和sar分支网络；
24.特征图输出模块，用于对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图；
25.分割结果确定模块，用于利用解码网络对特征图进行解码，确定目标的分割结果；所述分割结果为分割掩膜。
26.可选地，所述特征图输出模块具体包括：
27.空间维度折叠单元，用于对拼接后的特征图的空间维度折叠为一维序列；
28.特征嵌入生成单元，用于利用公式z0＝f pe生成特征嵌入；
29.特征图确定单元，用于根据特征嵌入依次输入多个transformer层中，确定特征图，并将特征图的尺寸恢复成与多分辨率的特征图的相同的尺寸；所述transformer层包括：多头注意力(multi
‑
head attention，mha)块和前馈网络ffn；
30.其中，代表位置嵌入，为特征嵌入，f为一维序列。
31.可选地，第l个transformer层具体包括：
32.z
′
l
＝mha(ln(z
l
‑1)) z
l
‑1；
33.z
l
＝ffn(ln(z
′
l
)) z
′
l
；
34.其中，ln(*)表示标准化层，z
l
为第l个transformer层的输出，z
l
‑1为第l
‑
1个transformer层的输出，z
′
l
为多头注意力mha块输出。
35.可选地，所述分割结果确定模块具体包括：
36.分割结果确定单元，用于解码网络在上采样的过程中与pan分支网络的各级输出的多分辨率的特征图进行像素级拼接，通过跳跃连接将编码网络中的多分辨率的特征图与transformer编码器输出的特征图进行融合，确定目标的分割结果。
37.根据本发明提供的具体实施例，本发明公开了以下技术效果：
38.本发明所提供的一种多源遥感图像融合语义分割方法及系统，使用通道交换网络对各融合支路中的特征图进行随机通道交换，使得不同遥感信息深度融合，模型分割结果不过分依赖于某一数据源，克服不同数据源不均衡时融合分割结果不理想的问题；利用transformer编码器对全局信息的建模能力，对不同源的遥感图像进行长距离依赖项进行建模，解决现有的方法对于遥感图像的全局上下文信息提取能力不足的问题。本发明通过下采样和transformer编码，实现了多源遥感图像融合特征图的长距离依赖项建模，提高了模型特征提取能力，改善了分割效果；为了平衡模态间融合和模态内处理，采用了无参数、自适应、有效的通道交换网络，将尺度因子的稀疏性约束应用于不同模态的不相交区域，实现了多源遥感图像的深度融合。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明所提供的一种多源遥感图像融合语义分割方法流程示意图；
41.图2为多源遥感图像融合语义分割原理示意图；
42.图3为本发明所提供的一种多源遥感图像融合语义分割方法整体流程示意图；
43.图4为本发明所提供的一种多源遥感图像融合语义分割系统结构示意图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.本发明的目的是提供一种多源遥感图像融合语义分割方法及系统，能够提供多源遥感图像融合中的全局特征提取的准确性和数据利用率。
46.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
47.图1为本发明所提供的一种多源遥感图像融合语义分割方法流程示意图，图2为多源遥感图像融合语义分割原理示意图，图3为本发明所提供的一种多源遥感图像融合语义分割方法整体流程示意图，如图1
‑
图3所示，本发明所提供的一种多源遥感图像融合语义分
割方法，包括：
48.s101，通过编码网络对目标的多源遥感图像中不同模态的遥感数据分别进行下采样，同时利用通道网络对不同模态的遥感数据对应的分支网络进行通道交换，确定分支网络对应的多分辨率的特征图；不同模态的遥感数据包括：全色pan、多光谱ms和合成孔径雷达sar三种模态的遥感数据；其中，全色pan、多光谱ms和合成孔径雷达sar三种模态的遥感数据分别为数据分别为和其中h
×
w代表空间分辨率，c
*
代表通道数；分支网络包括：pan分支网络、ms分支网络和sar分支网络；
49.为了缩减开支，先通过编码网络对输入图片进行下采样，逐步将输入图像编码为低分辨率特征表示。经过的3次下采样，丰富的局部上下文特征就可以有效地嵌入到f
i
。之后f
i
被输入到transformer编码器中，以进一步学习具有全局感受域的大范围相关性。在下采样过程中，3个分支网络通过通道交换网络进行通道交换。
50.s102，对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图；利用transformer编码器对拼接后的特征图进行长距离依赖项的建模使得连续建筑群更容易被分割出来；之后解码网络将上采样层和卷积层进行逐级像素级相加，逐步得到高分辨率的分割结果。
51.进行通道拼接为一维序列特征图f为d
×
n(n＝hw/(8
×
8))；
52.具体包括：
53.对拼接后的特征图的空间维度折叠为一维序列；
54.为了对建筑物分割任务中至关重要的位置信息进行编码，引入可学习的位置嵌入，并通过直接相加的方式将其与特征图f融合，即利用公式z0＝f pe生成特征嵌入；
55.根据特征嵌入依次输入多个transformer层中，确定特征图，并将特征图的尺寸恢复成与多分辨率的特征图的相同的尺寸；所述transformer层包括：多头注意力mha块和前馈网络ffn；
56.为了将序列还原成特征图，这里通过特征映射实现。对于transformer输出的特征图将其重整形为这样特征图的大小恢复为得到与编码部分特征图f相同的尺寸大小。
57.其中，代表位置嵌入，为特征嵌入，f为一维序列。
58.第l个transformer层具体包括：
59.z
′
l
＝mha(ln(z
l
‑1)) z
l
‑1；
60.z
l
＝ffn(ln(z
′
l
)) z
′
l
；
61.其中，ln(*)表示标准化层，z
l
为第l个transformer层的输出，z
l
‑1为第l
‑
1个transformer层的输出，z
′
l
为多头注意力mha块输出。
62.s103，利用解码网络对特征图进行解码，确定目标的分割结果；所述分割结果为分割掩膜。
63.s103具体包括：
64.pan图像是因为在pan、ms和sar图像中，pan图像具有最高的地面空间分辨率，纹理
细节更加清晰，从而使得结果更加稳定，以sar图像为辅助数据，保证了多种天气条件下的持续观测，可以获得更好地语义分割效果；因此解码网络在上采样的过程中与pan分支网络的各级输出的多分辨率的特征图进行像素级拼接，通过跳跃连接将编码网络中的多分辨率的特征图与transformer编码器输出的特征图进行融合，确定目标的分割结果
65.图4为本发明所提供的一种多源遥感图像融合语义分割系统结构示意图，如图4所示，本发明所提供的一种多源遥感图像融合语义分割系统，包括：
66.多分辨率的特征图提取模块401，用于通过编码网络对目标的多源遥感图像中不同模态的遥感数据分别进行下采样，同时利用通道网络对不同模态的遥感数据对应的分支网络进行通道交换，确定分支网络对应的多分辨率的特征图；不同模态的遥感数据包括：全色pan、多光谱ms和合成孔径雷达sar三种模态的遥感数据；分支网络包括：pan分支网络、ms分支网络和sar分支网络；
67.特征图输出模块402，用于对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图；
68.分割结果确定模块403，用于利用解码网络对特征图进行解码，确定目标的分割结果；所述分割结果为分割掩膜。
69.所述特征图输出模块402具体包括：
70.空间维度折叠单元，用于对拼接后的特征图的空间维度折叠为一维序列；
71.特征嵌入生成单元，用于利用公式z0＝f pe生成特征嵌入；
72.特征图确定单元，用于根据特征嵌入依次输入多个transformer层中，确定特征图，并将特征图的尺寸恢复成与多分辨率的特征图的相同的尺寸；所述transformer层包括：多头注意力mha块和前馈网络ffn；
73.其中，代表位置嵌入，为特征嵌入，f为一维序列。
74.第l个transformer层具体包括：
75.z
′
l
＝mha(ln(z
l
‑1)) z
l
‑1；
76.z
l
＝ffn(ln(z
′
l
)) z
′
l
；
77.其中，ln(*)表示标准化层，z
l
为第l个transformer层的输出，z
l
‑1为第l
‑
1个transformer层的输出，z
′
l
为多头注意力mha块输出。
78.所述分割结果确定模块403具体包括：
79.分割结果确定单元，用于解码网络在上采样的过程中与pan分支网络的各级输出的多分辨率的特征图进行像素级拼接，通过跳跃连接将编码网络中的多分辨率的特征图与transformer编码器输出的特征图进行融合，确定目标的分割结果。
80.本发明针对多源遥感图像语义分割问题，提出了一种基于注意力机制的多源遥感图像融合语义分割方法，通过通道交换网络进行多支路的通道融合编码，使得不同源的遥感数据之间深度融合，可提高模型的鲁棒性，防止对某一数据源的过度依赖；通过多源transformer机制，以捕获多源遥感数据的全局语义信息(像素点之间的某种上下文联系)。同时为了减小模型的计算量，通过下采样降低特征图的分辨率，使得模型的计算量大幅减少，保证了对全局语义信息的提取能力；本发明通过将注意力机制和通道交换网络对多源遥感图像进行深度融合，可实现对大型建筑等目标的有效提取。
81.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
82.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。