基于风格内容解耦的跨域遥感图像目标检测方法与流程

1.本发明属于图像信息处理技术领域，特别是涉及跨域遥感图像目标检测的方法。


背景技术：

2.目前，与本专利相关的方法包括两方面：第一是基于深度学习的遥感图像目标检测算法；第二是风格内容解耦的深度学习算法。
3.基于深度学习的目标检测方法主要分为两类：一阶段目标检测(one
‑
stage) 和两阶段目标检测(two
‑
stage)两类。一阶段目标检测算法速度快但是精度相对较低，两阶段目标检测算法速度慢但是精度相对较高。这种大多设计特定的网络结构用于提取可能是目标的区域，ren等人在文献《faster r
‑
cnn:towardsreal
‑
time object detection with region proposal networks》中提出的网络就设计了一个用于提取可能是目标区域的rpn网络，然后再将这些区域进行分类，有了特定的区域进行辅助，因此精度较高，但也存在检测速度较慢的问题；一阶段目标检测网络，则没有提取辅助区域的网络结构，为提升网络准确度，大量学者采取了众多的研究，redmon等人在文献《you only look once:unified, real
‑
time object detection》采用将图像分块的方法，将目标检测的任务分给图像块，lin等人在《focal loss for dense object detection》中解决了一阶段网络样本不平衡的问题，提升了网络的检测准确度。由于一阶段网络抛弃了提取辅助区域这一计算过程，因此与二阶段的网络相比有着更快的目标检测速度，但是抛弃提取感兴趣的区域，也不可避免地导致了目标检测准确度的下降。
4.风格内容解耦的深度学习算法，junyan zhu等人在文献《unpairedimage
‑
to
‑
image translation using cycle
‑
consistent adversarial networks》提出，通过使用生成对抗网络，在源域和目标域之间，无须建立训练数据间一对一的映射，实现风格的迁移。xun huang等人在《arbitrary style transfer in real
‑
time withadaptive instance normalization》一文中提出自适应实例归一化，在特征空间中，将内容图的每通道输入的均值和方差归一化后的结果对齐匹配到风格图的每通道输入的均值和方差。这里的内容图和风格图的每通道输入的值都是特征空间的，使用预训练好的vgg网络获得的特征图作为输入的。
5.针对于跨域遥感图像的目标检测，解决该问题的一种常见的方法是首先进行域分类然后进行迁移学习的方式，将不同域的遥感图像首先进行分类，然后在一个类别上训练好目标检测模型之后，再将模型在目标域上进行迁移学习。这就要求有足够的多域图像，并且使用迁移学习来提高模型的泛化性；通过这种方法获得的模型泛化性较差，对于不同域的遥感图像的目标检测性能也较差。


技术实现要素：

6.针对跨域遥感图像之间的域差异问题，为了提高遥感图像目标检测算法模型的泛化性，使其在不同域的遥感图像上都有足够良好的性能表现，提出了一种基于风格内容解
耦的遥感图像目标检测方法。本方法通过自适应实例归一化将不同域的遥感图像的风格内容进行解耦，并且重新划分，获得多个域的遥感图像，并且进一步进行目标检测。本方法可以适用于不同域的遥感图像，均可以得到较好的预测结果。
7.本发明的技术方案：
8.一种基于风格内容解耦的跨域遥感图像目标检测方法，步骤如下：
9.在所设计的编码器基础上，采用yolo目标检测框架中的解码器来进行遥感图像的目标检测，在网络训练阶段，由于一张图像中仅有少量目标，直接利用交叉熵计算每个位置的损失函数会导致正样本的损失值被负样本的损失值“淹没”影响网络对正样本特征的学习，所以我们利用focal loss损失函数来平衡正负样本对应的损失函数值：
[0010][0011]
其中，n1为一个训练批次中目标的数目，y
xyc
为图片真值，为网络预测值α和β为网络的两个超参数用于规定锚框分类过程中正负样本的平衡程度。锚框回归分支实际上预测的是人为规定的锚框与真值之间的位置和大小的差距；现设真值锚框为(x,y,h,w)，四个值分别代表锚框位置的横坐标、纵坐标、锚框高度和宽度；人为规定的的锚框为则网络需要预测：
[0012][0013][0014]
利用如下损失函数来监督网络：
[0015][0016][0017][0018]
其中n2为与第j个真值框重叠度(iou)大于阈值的预测框数目；为网络的对第i个符合要求(与第j个真值框重叠度(iou)大于阈值)锚框的预测值， t
mj
为对应真值，(x
j
,y
j
,h
j
,w
j
)为第j个真值锚框的参数，为第i个符合要求的人为规定锚框的参数。在网络对于目标检测总的损失函数l
detect
为：
[0019]
l
detect
＝l
class
l
loc
ꢀꢀꢀꢀꢀꢀ
(7)
[0020]
其中，l
class
和l
loc
为公式中规定的损失函数。
[0021]
我们提出了一个基于风格内容解耦的多域遥感图像目标检测任务的方法，通过将来自不同域的图像进行风格内容的解耦以及重组来获得多域图像，并且使用通过解耦获得的图像内容编码来进行遥感图像目标检测。因此，我们仅仅使用两个不同域的图像进行风格与内容的解耦与互换，并在此基础上进行监督编码器的收敛，就可以获得特征提取能力优秀的特征提取器与对应地特征空间，并在此基础上进行遥感目标检测。
[0022]
通过使用自适应实例归一化(adaptive instance norm，ain)，可以将一幅图像的
风格与内容进行解耦，获得一幅图像的风格与内容对应的特征向量，然后将对应的特征向量与来自不同域的图像的风格与内容对应的特征向量进行呼唤，就可以获得多域的遥感图像，对于生成多域遥感图像使用相应的损失进行约束；之后将原始遥感图像的与风格解耦的内容特征编码送入目标检测网络之中进行有监督的目标检测，最终通过训练学习获得泛化性优秀的遥感图像目标检测模型。
[0023]
通过对于输入的内容图像进行实例级别的归一化，以及对应地对归一化之后的内容图像，通过使用风格图像的均值与方差参数获得风格图像的风格。
[0024][0025]
其中，x表示输入的内容图像，y表示输入的风格图像，μ(x)、μ(y)分别表示输入的x、y的均值，σ(x)、σ(y)分别表示输入的x、y的方差。将归一化后的内容图的输入，通过风格的相关参数进行缩放和平移。在本文中，输入x、y分别为内容图像、风格图像经过预训练的vgg深度神经网络获得的特征图。
[0026]
获得经过风格转换的特征图之后，使用与对应编码器vgg网络相反结构的解码器输出风格转换后的图像。对于风格转换后的图像，要保证其内容是没有变化的，同时也要保证其风格与输入的风格图像相似。可以通过预训练生成对抗网络中的判别器来保证生成的图像在风格上与风格图像保持一致，此外，设计两种损失来保证内容的不变与风格的转换。
[0027]
通过使用与训练好的判别器对于生成的风格转化图像进行判别，使得网络生成的图像可以让判别器“认为”是属于输入的风格图像一类。
[0028]
l
adv
＝l
ce
(d(g(t)),1) (9)
[0029]
其中，t表示生成的风格转换之后获得的特征图，l
ce
表示交叉熵损失函数。
[0030]
另外还有对于生成的风格转换图像的内容进行监督，使其保持内容不变的损失
[0031][0032]
其中，t表示生成的风格转换特征图，g(t)表示特征图t经过解码器g之后获得的输出图像，f表示编码器。通过内容不变损失，使得输出的特征图经过编码器解码后获得的图像g(t)，再送入编码器之后获得的特征图f(g(t))，与原始的特征图t相同。
[0033]
另外还有对于生成的风格转换图像的风格进行监督，使其获得风格图像的风格的损失
[0034][0035]
其中，φ
i
表示编码器vgg中的激活函数层，共选取了l个激活函数层；μ、σ分别表示求输入的均值和方差。s表示风格图像。通过对于生成的图像g(t)与原始风格图像s经过编码器之后的不同层次的激活函数值进行比较，让生成图像获得与输入风格图像相同的风格。
[0036]
对于风格转换的自适应实例归一化的总损失l
style
为：
[0037]
l
style
＝l
adv
l
c
l
s (12)
[0038]
最终端到端训练的跨域遥感图像目标检测网络损失函数l为：
[0039]
l＝l
detect
l
style (13)。
[0040]
本发明的有益效果：本发明的端到端训练的跨域遥感图像目标检测方法利用了自适应实例归一化的方式获得多域图像，并且进一步将解耦获得的内容特征编码送入目标检测网络来进行目标检测。本方法对于不同域的遥感图像有较好的泛化性，可以得到理想的目标检测结果。
附图说明
[0041]
图1所示为所设计的端到端训练的跨域遥感图像目标检测方法流程图。
[0042]
图2所示为所设计的端到端训练的跨域遥感图像目标检测方法网络结构示意图。
具体实施方式
[0043]
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
[0044]
首先通过自适应实例归一化的方法获得不同域图像之间内容与风格的解耦与重组。内容与风格解耦重组的过程需要用到式(12)来进行监督。之后可以获得内容与风格互换的图像，通过这种方法获得表达能力理想的特征提取器以及对应的内容特征编码。之后将经过内容内容特征编码送入yolo网络的解码器部分进行目标检测，此过程需要用到式(7)来进行监督。
[0045]
总的来说，本方法设计了一种基于内容风格解耦的多域遥感图像目标检测方法，可以有效的针对多域的遥感图像进行目标检测。