一种基于运动前景的场景自适应目标检测方法

技术特征：
1.一种基于运动前景的场景自适应目标检测方法，其基于源域数据和目标域的前景数据对模型进行训练，使得模型在目标域(t)上也拥有良好的检测效果，其特征在于包括如下步骤：a)把源域连续帧样本集合和目标域连续帧样本集合输入运动目标检测算法,输出源域连续帧样本的运动前景目标框和目标域连续帧样本的运动前景目标框，与源域标注标签共同构成源域数据集与目标域数据集；b)将源域数据集与目标域数据集输入特征提取模块获取源域特征和目标域特征；c)将源域特征、目标域特征和运动前景目标框分别输入第一候选框前景框聚合模块(pfa1)，得到源域实例特征和目标域实例特征；d)将源域特征与源域运动前景目标框输入第二候选框前景框聚合模块(pfa2)，得到源域分类回归特征；e)把源域分类回归特征输入分类回归模块，与源域目标框真值标签计算损失，从而在源域上获取优化的检测效果；f)把源域实例特征和目标域实例特征输入生成式相似性计量模块(gsm)，使得源域实例特征和目标域实例特征尽可能相似并提升泛化性能，减少过拟合；g)把源域特征和目标域特征输入全局特征对齐模块(gfa).，使图像特征对齐,从而使得源域特征和目标域特征的所属域无法被分辨出,所述第一候选框前景框聚合模块(pfa1)包括分别进行如下操作的子模块：步骤s201：把源域连续帧样本和目标域连续帧样本输入rpn网络，生成源域正负候选框集合和目标域正负候选框集合；步骤s211：选取步骤s201中生成的源域正负候选框集合和目标域正负候选框集合中置信度大于预设的阈值th的源域正负候选框和目标域正负候选框；步骤s202：通过运动目标检测算法获取源域运动前景目标框和目标域运动前景目标框；步骤s212：合并步骤s211得到的置信度大于预设的阈值th的源域正负候选框和目标域正负候选框与步骤s202获取的源域运动前景目标框和目标域运动前景目标框，获取源域合并目标框与目标域合并目标框；步骤s213：通过样本均衡过滤器，获取第一候选框前景框聚合模块(pfa1)的源域候选框和目标域候选框；样本均衡过滤器通过复制或删除步骤s212中生成的源域合并目标框与目标域合并目标框，从而使源域(s)中的第i个样本包括的源域合并目标框与目标域(t)的第i个样本中包括的目标域合并目标框的数量保持一致，从而有效利用运动前景先验并消除样本不均衡。所述第二候选框前景框聚合模块(pfa2)包括分别进行如下操作的子模块：步骤s301：使源域连续帧样本通过rpn网络，生成源域正负候选框集合；步骤s302：利用运动目标检测算法获取源域运动前景目标框；步骤s311：叠加源域正负候选框集合与源域运动前景目标框，生成第二候选框前景框聚合模块(pfa2)的源域候选框集合，通过在源域正负候选框集合中加入源域运动前景目标框，解决源域与目标域的目标尺寸差异过大时模型无法生成好的候选目标框的问题；生成式相似性计量模块(gsm)包括分别进行如下操作的子模块：
步骤s401：使用步骤s213中生成的第一候选框前景框聚合模块(pfa1)的源域候选框，截取源域特征中的源域实例特征；使用步骤s213中生成的第一候选框前景框聚合模块(pfa1)的目标域候选框，截取目标域特征中的目标域实例特征；步骤s402：将源域实例特征和目标域实例特征输入自适应平均池化层，将源域实例特征和目标域实例特征的尺寸改变为8*8，通道数等于源域实例特征的通道数，输出源域池化层特征和目标域池化层特征；步骤s403：将s402中获得的源域池化层特征和目标域池化层特征输入第一1*1卷积层，该第一1*1卷积层是一个1*1卷积层，输出源域第一卷积层特征和目标域第一卷积层特征；步骤s404：将s403中获得的源域第一卷积层特征和目标域第一卷积层特征输入第一上采样模块，该第一上采样模块执行插值上采样、卷积和/或批标准化层操作，输出源域第一上采样层特征和目标域第一上采样层特征；步骤s405，将步骤s404中第一上采样模块的输出输入第二上采样模块，该第二上采样模块执行插值上采样、卷积和/或批标准化层操作，输出源域第二上采样层特征和目标域第二上采样层特征；步骤s406，将步骤s405中第二上采样模块的输出输入第三上采样模块，该第三上采样模块执行插值上采样、卷积和/或批标准化层操作，输出源域第三上采样层特征和目标域第三上采样层特征；步骤s407，将步骤s406中第三上采样模块的输出输入第二1*1卷积层，该第二1*1卷积层是一个1*1卷积层，生成源域解码特征和目标域解码特征，源域解码特征和目标域解码特征的通道数为3，计算源域解码特征和目标域解码特征的感知损失，得到损失l
ins
：l
ins
＝e(g(s),g(t))其中：l
ins
为源域解码特征和目标域解码特征的感知损失值，e为感知损失计算函数，g(s)代指源域实例特征经过步骤s402-s407生成的源域解码特征，g(t)代指目标域实例特征经过步骤s402-s407生成和目标域解码特征，全局特征对齐模块包括分别进行如下操作的子模块：步骤s501:获取源域特征和目标域特征；步骤s502：将源域特征,目标域特征输入梯度反转层输出分类特征，梯度反转层将传到本层的误差取反，从而实现梯度反转层前后的网络训练目标相反，以实现对抗的效果，输出分类特征，步骤s503：把上述分类特征输入分类器，以区分源域特征和目标域特征，该分类器包括第一分类器卷积层、第一分类器激活层、第二分类器卷积层；其中：梯度反转层在图像层面实现一定程度的特征对齐，全局特征对齐模块(gfa)的损失函数为分类器的损失函数。2.根据权利要求1所述的基于运动前景的场景自适应目标检测方法，其特征在于：所述步骤b)包括将源域连续帧样本和目标域连续帧样本输入作为特征提取网络的resnet-101，而把获得的最后一层特征作为源域特征和目标域特征。3.根据权利要求1所述的基于运动前景的场景自适应目标检测方法，其特征在于：
分类回归模块，使用步骤s311生成的第二候选框前景框聚合模块(pfa2)的源域候选框集合截取源域实例特征生成分类回归特征，接入分类回归模块第一卷积层对样本进行回归与分类，其中涉及到的损失函数包括：分类回归损失函数l
t
和rpn损失函数l
rpn
，源域目标检测算法损失函数l
det
为：l
det
＝l
rpn
l
t
上式中，l
rpn
，l
t
分别是rpn损失函数与分类回归损失函数；其中角标det代指分类回归模块的总损失函数，rpn代指二阶段目标检测框架的第一阶段rpn的损失函数，t代指二阶段目标检测框架的第二阶段分类回归阶段的损失函数名称。4.根据权利要求1所述的基于运动前景的场景自适应目标检测方法，其特征在于：全局特征对齐模块的损失函数l
img
为交叉熵损失函数：其中，n为源域和目标域所有样本数量，i为样本标号，y
i
为样本实际标签即属于源域还是目标域，p
i
为经过分类器后属于不同类别的概率。5.根据权利要求4所述的基于运动前景的场景自适应目标检测方法，其特征在于：全局损失函数为：l＝l
det
λ1l
ins
λ2l
img
其中λ1,λ2为经验值，用于衡量三项损失各自对最终损失的贡献值。6.根据权利要求1所述的基于运动前景的场景自适应目标检测方法，其特征在于：所述运动目标检测算法包括帧差法和/或背景消除法。7.存储有计算机程序的计算机可读存储介质，该计算机程序能使处理器执行根据权利要求1-6之一所述的场景自适应目标检测方法。

技术总结
随着深度学习技术的日益发展，真实环境下对模型泛化性能的要求日益提升，光照、背景等等差异对模型泛化性能的影响已经引起了广泛关注。本发明公开了一种基于运动前景的场景自适应目标检测方法。该方法通过利用运动前景与全局目标数据分布一致性的先验，有效利用了运动前景目标框，同时通过解码器进行实例特征相似度计算，极大程度了提升了模型在目标域的效果。实验结果表明，本发明所提供的方法在真实环境下目标检测效果得到大幅度提升。环境下目标检测效果得到大幅度提升。环境下目标检测效果得到大幅度提升。


技术研发人员：胡海苗 李明竹 张译丹 姜宏旭
受保护的技术使用者：北京航空航天大学杭州创新研究院
技术研发日：2021.11.25
技术公布日：2022/4/26