基于风格内容解耦的跨域遥感图像目标检测方法与流程

技术特征：
1.一种基于风格内容解耦的跨域遥感图像目标检测方法，其特征在于，步骤如下：在所设计的编码器基础上，采用yolo目标检测框架中的解码器进行遥感图像的目标检测，在网络训练阶段，利用focal loss损失函数来平衡正负样本对应的损失函数值：其中，n1为一个训练批次中目标的数目，y
xyc
为图片真值，为网络预测值α和β为网络的两个超参数用于规定锚框分类过程中正负样本的平衡程度；锚框回归分支实际上预测的是人为规定的锚框与真值之间的位置和大小的差距；现设真值锚框为(x,y,h,w)，四个值分别代表锚框位置的横坐标、纵坐标、锚框高度和宽度；人为规定的锚框为则网络需要预测：需要预测：利用如下损失函数来监督网络：利用如下损失函数来监督网络：利用如下损失函数来监督网络：其中，n2为与第j个真值框重叠度大于阈值的预测框数目；为网络的对第i个符合要求锚框的预测值，与第j个真值框重叠度大于阈值；t
mj
为对应真值，(x
j
,y
j
,h
j
,w
j
)为第j个真值锚框的参数；为第i个符合要求的人为规定锚框的参数；在网络对于目标检测总的损失函数l
detect
为：l
detect
＝l
class
l
loc
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)其中，l
class
和l
loc
为公式中规定的损失函数；提出一个基于风格内容解耦的多域遥感图像目标检测任务的方法，通过将来自不同域的图像进行风格内容的解耦以及重组来获得多域图像，并且使用通过解耦获得的图像内容编码来进行遥感图像目标检测；因此，仅仅使用两个不同域的图像进行风格与内容的解耦与互换，并在此基础上进行监督编码器的收敛，就可获得特征提取能力优秀的特征提取器与对应地特征空间，并在此基础上进行遥感目标检测；通过使用自适应实例归一化，将一幅图像的风格与内容进行解耦，获得一幅图像的风格与内容对应的特征向量，然后将对应的特征向量与来自不同域的图像的风格与内容对应的特征向量进行呼唤，就可获得多域的遥感图像；对于生成多域遥感图像使用相应的损失进行约束；之后将原始遥感图像的与风格解耦的内容特征编码送入目标检测网络中进行有监督的目标检测，最终通过训练学习获得泛化性优秀的遥感图像目标检测模型；通过对于输入的内容图像进行实例级别的归一化，以及对应地对归一化之后的内容图像，通过使用风格图像的均值与方差参数获得风格图像的风格；
其中，x表示输入的内容图像，y表示输入的风格图像，μ(x)、μ(y)分别表示输入的x、y的均值，σ(x)、σ(y)分别表示输入的x、y的方差；将归一化后的内容图的输入，通过风格的相关参数进行缩放和平移；输入x、y分别为内容图像、风格图像经过预训练的vgg深度神经网络获得的特征图；获得经过风格转换的特征图后，使用与对应编码器vgg网络相反结构的解码器输出风格转换后的图像；对于风格转换后的图像，要保证其内容是没有变化的，同时也要保证其风格与输入的风格图像相似，通过预训练生成对抗网络中的判别器来保证生成的图像在风格上与风格图像保持一致，此外，设计两种损失来保证内容的不变与风格的转换；通过使用与训练好的判别器对于生成的风格转化图像进行判别，使得网络生成的图像让判别器“认为”是属于输入的风格图像一类；l
adv
＝l
ce
(d(g(t)),1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)其中，t表示生成的风格转换之后获得的特征图，l
ce
表示交叉熵损失函数；另外还有对于生成的风格转换图像的内容进行监督，使其保持内容不变的损失使其保持内容不变的损失其中，t表示生成的风格转换特征图，g(t)表示特征图t经过解码器g之后获得的输出图像，f表示编码器；通过内容不变损失，使得输出的特征图经过编码器解码后获得的图像g(t)，再送入编码器之后获得的特征图f(g(t))，与原始的特征图t相同；另外还有对于生成的风格转换图像的风格进行监督，使其获得风格图像的风格的损失使其获得风格图像的风格的损失其中，φ
i
表示编码器vgg中的激活函数层，共选取了l个激活函数层；μ、σ分别表示求输入的均值和方差；s表示风格图像；通过对于生成的图像g(t)与原始风格图像s经过编码器之后的不同层次的激活函数值进行比较，让生成图像获得与输入风格图像相同的风格；对于风格转换的自适应实例归一化的总损失l
style
为：l
style
＝l
adv
l
c
l
s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)最终端到端训练的跨域遥感图像目标检测网络损失函数l为：l＝l
detect
l
style
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)。

技术总结
本发明属于图像信息处理技术领域，提供了一种基于风格内容解耦的跨域遥感图像目标检测方法。本发明的端到端训练的跨域遥感图像目标检测方法利用了自适应实例归一化的方式获得多域图像，并且进一步将解耦获得的内容特征编码送入目标检测网络来进行目标检测。本方法对于不同域的遥感图像有较好的泛化性，可以得到理想的目标检测结果。到理想的目标检测结果。到理想的目标检测结果。


技术研发人员：赵文达 杨瑞凯 祝嘉文 徐从安 姚力波 刘瑜 何友 卢湖川
受保护的技术使用者：大连理工大学
技术研发日：2021.08.10
技术公布日：2021/11/17