一种基于自监督生成对抗学习背景建模的目标检测方法与流程

1.本发明属于数字图像处理技术领域，尤其是一种实现图像或视频中前景目标检测的方法。


背景技术：

2.图像中前景目标检测是进行目标识别和跟踪的基础，广泛应用于视频监控、居家监护、野外环境监察等众多领域。前景目标检测一般有三类方法，即帧差法、背景减和直接目标检测。其中背景减方法的基本思想是首先建立一个背景模型，然后用当前图像减去背景图像就得到前景目标。
3.经过几十年的发展，特别是随着2012年以来深度学习的发展，前景目标检测技术取得了很大的进步。卷积神经网络在前景目标检测中与传统的基于多特征或多线索策略的无监督方法相比，表现出了较大的性能提升。但是当前的前景目标检测技术仍然面临很大的挑战。亮度的变化、背景的动态化、摄像机的移动等都给目标检测算法带来不小的困难。比如当前在静态摄像机拍摄的视频上能取得最优效果的基于卷积神经网络的方法，当应用到移动摄像机拍摄的视频上时却存在很大的困难。
4.本发明提出一种基于自监督生成对抗学习进行背景建模的方法以解决前景目标检测中的亮度变化、背景动态化和摄像机移动等困难。


技术实现要素：

5.在前景目标检测的很多场景中，摄像头都安装在一个固定的位置或者安装位置所在的工作环境是一个相对稳定的环境，因此背景有相对固定的模式。本发明试图使用背景图像构建一个背景模型，使之可以捕获图像背景中的对象特征，以及各对象之间的语义关系。使用该背景模型对输入图像进行重建，如果输入图像中只有背景信息，那么该模型就能很好地重建输入图像，如果输入图像中存在前景目标，那么重建结果将与原始图像存在较大的差异。基于原始图像与经过背景模型重建图像的差异分析，我们就能够进行前景目标的检测。此时，动态背景、亮度变化、摄像机移动等长期存在于前景目标检测领域的挑战都可以迎刃而解。
6.有鉴于此，本发明的目的在于克服现有技术的不足，提出一种基于自监督生成对抗学习背景建模的目标检测方法。首先，采用图像自动补全的自监督方法形成训练数据，使用生成对抗神经网络进行自监督对抗学习，对环境中背景图像包含的各个对象及其相互之间的语义信息建立背景模型；其次，训练一个新的卷积神经网络学习前景目标的检测标准，其输入使用原始图像以及该图像经过背景模型重建的图像；最终，通过以上两个步骤，得到适用于背景模式相对固定的环境中的前景目标检测方法。
7.为了实现上述目的，本发明采用如下技术方案：
8.一种基于自监督生成对抗学习背景建模的目标检测方法，包括以下步骤：
9.步骤1、利用环境中的摄像头采集图像，并进行前景目标标注得到对应标签，构建
数据集s；
10.步骤2、从数据集s中选择只含有背景信息图像的数据子集s
b
；
11.步骤3、构建由生成网络g和判别网络d组成的生成对抗网络，采用自监督和对抗学习的方法使用数据集s
b
进行训练；训练完成后的生成网络g就是背景模型；
12.步骤4、构建卷积神经网络m
obj
，使用数据集s和s经过生成网络g后的输出s
g
一起作为m
obj
的输入，采用有监督的学习方法对m
obj
进行训练，监督信号就是s中的标签；训练完成后的m
obj
作为前景目标推理模型。
13.步骤5、进行前景目标检测，即将当前图像i
o
以及将其输入生成网络g得到的输出i
g
一起作为前景目标推理模型m
obj
的输入，则m
obj
的输出即为前景检测结果。
14.进一步，所述步骤1中的数据集s，每个样本由图像和对应的前景目标掩膜标签组成，前景目标掩膜标签是与原图像相同大小的二值图像，前景目标的像素标注为1，背景像素标注为0。
15.进一步，所述步骤3中的生成对抗网络训练时，不使用数据集s
b
中的标签信息，而是使用图像i
o
裁剪掉一个随机位置、随机大小的区域后得到的图像i
c
，将i
o
作为i
c
的标签，这是一种图像自动补全的自监督学习；与通常的生成网络不同，这里生成网络g的输入没有随机信号z，而只使用i
c
作为输入，其学习目标是使得其输出i
g
能够与原始图像i
o
相同；判断网络d的目标是区分开i
g
和i
o
；生成对抗网络训练时用平方损失函数和对抗损失函数；这种自监督生成对抗学习能够帮助模型更好地学习环境中的对象以及对象之间的语义信息；
16.进一步，所述步骤4中卷积神经网络m
obj
的训练采用交叉熵损失函数；i
o
经过背景模型重建得到i
g
，原i
o
中的背景部分会得到很好的重建，但前景部分则不会，因此通过i
g
与i
o
的差异分析就可以判断前景和背景，通过对m
obj
的训练能够得到一个更准确的判断标准。
17.本发明的优点和积极效果是：
18.1、本发明设计合理，采用自监督生成对抗学习进行背景建模，能够很好地帮助背景模型捕捉到环境中的对象以及对象之间的语义信息，从而通过比较原图与该图经过背景模型重建的图像的差异得到前景区域；该方法很好地利用了深度卷积神经网络的表达能力，将环境中动态背景、亮度变化等拟合到背景模型当中，减少了环境对目标检测的影响。
19.2、本发明提出了一种两阶段的前景目标检测训练方法，第一个阶段基于图像重建进行背景建模，第二个阶段使用第一阶段的背景建模结果进行前景目标检测标准的学习。背景建模采用自监督的方法减少了对大规模标记数据的依赖，可以利用尽量多的无标签数据进行大数据学习，提高背景建模的效果。
20.3、本发明提供了一种静止摄像头和移动摄像头拍摄的视频内容均能使用的前景目标检测方法，具有广泛的使用场景和实际应用价值。
附图说明
21.图1为本发明中基于自监督生成对抗学习背景建模的目标检测方法框架示意图；
具体实施方式
22.以下结合附图对本发明实施例做进一步详述。
23.一种基于自监督生成对抗学习背景建模的目标检测方法，包括以下步骤：
24.步骤1、利用环境中的摄像头采集图像，并进行前景目标标注得到对应标签，构建数据集s。
25.每个样本由图像和对应的前景目标掩膜标签组成，前景目标掩膜标签是与原图像相同大小的二值图像，前景目标的像素标注为1，背景像素标注为0。
26.步骤2、从数据集s中选择只含有背景信息图像的数据子集s
b
。
27.步骤3、构建由生成网络g和判别网络d组成的生成对抗网络，采用自监督和对抗学习的方法使用数据集s
b
进行训练；训练完成后的生成网络g就是背景模型。
28.生成对抗网络训练时，不使用数据集s
b
中的标签信息，而是使用图像i
o
裁剪掉一个随机位置、随机大小的区域后得到的图像i
c
，将i
o
作为i
c
的标签，这是一种图像自动补全的自监督学习；与通常的生成网络不同，这里生成网络g的输入没有随机信号z，而只使用i
c
作为输入，其学习目标是使得其输出i
g
能够与原始图像i
o
相同；判断网络d的目标是区分开i
g
和i
o
；生成对抗网络训练时用平方损失函数和对抗损失函数；这种自监督生成对抗学习能够帮助模型更好地学习环境中的对象以及对象之间的语义信息。
29.步骤4、构建卷积神经网络m
obj
，使用数据集s和s经过生成网络g后的输出s
g
一起作为m
obj
的输入，采用有监督的学习方法对m
obj
进行训练，监督信号就是s中的标签；训练完成后的m
obj
作为前景目标推理模型。
30.卷积神经网络m
obj
的训练采用交叉熵损失函数；i
o
经过背景模型重建得到i
g
，原i
o
中的背景部分会得到很好的重建，但前景部分则不会，因此通过i
g
与i
o
的差异分析就可以判断前景和背景，通过对m
obj
的训练能够得到一个更准确的判断标准。
31.步骤5、进行前景目标检测，即将当前图像i
o
以及将其输入生成网络g得到的输出i
g
一起作为前景目标推理模型m
obj
的输入，则m
obj
的输出即为前景检测结果。
32.需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。