一种基于超像素融合网络的运动目标检测方法

1.本发明涉及目标检测技术领域，特别是涉及一种基于超像素融合网络的运动目标检测方法。


背景技术：

2.运动目标检测是图像处理的应用之一，通常而言，是通过统计的方法得到背景模型，并实时地对背景模型进行更新以适应光线变化和场景本身的变化，用形态学方法和检测连通域面积进行后处理，消除噪声和背景扰动带来的影响，在hsv色度空间下检测阴影，得到准确的运动目标，在复杂场景中，运动目标检测仍然是一项具有挑战性的任务，现有的基于深度学习的方法主要采用u-net网络，并取得了惊人的效果，但是，它们忽略了像素之间的局部连续性，检测性能有待进一步提高，除此之外，上述网络中包含了场景的信息，泛化能力有待进一步提高。


技术实现要素：

3.针对上述情况，为克服现有技术之缺陷，本发明之目的在于提供一种基于超像素融合网络的运动目标检测方法。
4.本发明的上述技术目的是通过以下技术方案得以实现的：一种基于超像素融合网络的运动目标检测方法，包括两部分阶段：
①
训练阶段；
②
检测阶段；所述检测阶段包括：步骤1.输入彩色图像序列r1,将3通道数值进行平均进行图像灰度化，得到灰度化的图像序列g1；步骤2.对图像序列进行中值滤波背景图像b1，并将图像序列g1与背景图像b1进行差分，得到候选前景序列，记为像素特征f1；步骤3.对彩色图像序列r1进行超像素分割，得到区域信息c1；步骤4.根据区域信息计算超像素对应的候选前景区域的像素的直方图，直方图范围时[-1,1]，间隔为0.1；步骤5.将每一个区域的直方图作为该区域内所有像素的特征，记为超像素特征f2；步骤6.构建网络；步骤7.对模型进行训练；步骤8.输出训练后的网络模型m；所述检测阶段包括：步骤9.输入图像序列r2,如果图像为彩色图像则将3通道数值进行平均进行图像灰度化，得到灰度化的图像序列g2；如果为灰度图像，则直接令g2=r2；步骤10.对图像序列进行中值滤波背景图像b2，并将图像序列g2与背景图像b2进
行差分，得到候选前景序列，记为像素特征f3；步骤11.对彩色图像序列r2进行超像素分割，得到区域信息c2；步骤12.根据区域信息计算超像素对应的候选前景区域的像素的直方图，直方图范围时[-1,1]，间隔为0.1；步骤13.将每一个区域的直方图作为该区域内所有像素的特征，记为超像素特征f4；步骤14.将超像素特征f4和像素特征f3作为已训练好的网络模型m的输入；步骤15.输出检测结果。
[0005]
进一步地，所述步骤6的具体方法为：
①
构建编码器：卷积神经网络包含输入层、隐含层和输出层；所述输入层包括两个输入，分辨率都为240
×
320，超像素特征f2对应的编码器输入的通道数为21，像素特征f1对应的编码器输入为1，卷积神经网络中的卷积尺寸大小为3
×
3；所述隐含层中第1层采用卷积、批归一化、激活层和池化层conv bn relu maxpool，使用8个卷积来生成8个特征图；所述隐含层中第2层采用卷积、批归一化、激活层和池化层conv bn relu maxpool，使用16个卷积来生成16个特征图；所述隐含层中第3层采用卷积、批归一化、激活层和池化层conv bn relu maxpool，使用32个卷积来生成32个特征图；所述隐含层中第4层采用卷积、批归一化、激活层和池化层conv bn relu maxpool，使用64个卷积来生成64个特征图；
②
构建连接层：所述隐含层中的第5层为连接层，所述连接层采用concatenation对两个编码器进行连接；
③
构建解码器：所述隐含层中第6层采用卷积、批归一化、激活层和池化层conv bn relu，使用128个卷积来生成64个特征图；所述隐含层中第7层采用卷积、批归一化、激活层和池化层deconv bn relu，使用64个卷积来生成32个特征图；所述隐含层中第8层采用卷积、批归一化、激活层和池化层deconv bn relu，使用32个卷积来生成16个特征图；所述隐含层中第9层采用卷积、批归一化、激活层和池化层deconv bn relu，使用8个卷积来生成8个特征图；所述隐含层中第10层采用卷积、批归一化、激活层和池化层deconv bn clippedrelu，使用1个卷积来生成1个特征图；所述输出层中包含了回归层；将超像素特征和像素特征作为网络的输入，输出为对应输入图像的groundtruth。
[0006]
综上所述，本发明具有以下有益效果：
本发明首先使用中值滤波得到候选前景，然后通过超像素融合网络来判断像素是否为前景像素，在进行检测时只涉及矩阵的简单乘法，因此本发明时间复杂度小，训练阶段以及检测阶段的处理速度快，由于考虑到了动态的特点，通过超像素融合特征可以有效地抑制动态背景，本发明具有运算速度快、鲁棒性强的优点，像素融合可以去除更多的背景噪声，比相同深度的网络具有更强的表达能力。
附图说明
[0007]
此处所说明的附图是用来提供对本发明的进一步理解，构成本技术的一部分，但并不构成对本发明的不当限定，在附图中：图1是本发明的步骤示意图。
具体实施方式
[0008]
有关本发明的前述及其他技术内容、特点与功效，在以下配合参考附图1对实施例的详细说明中，将可清楚的呈现。以下实施例中所提到的结构内容，均是以说明书附图为参考。
[0009]
下面将参照附图描述本发明的各示例性的实施例。
[0010]
实施例1：一种基于超像素融合网络的运动目标检测方法，包括两部分阶段：
①
训练阶段；
②
检测阶段；所述检测阶段包括：步骤1.输入彩色图像序列r1,将3通道数值进行平均进行图像灰度化，得到灰度化的图像序列g1；步骤2.对图像序列进行中值滤波背景图像b1，并将图像序列g1与背景图像b1进行差分，得到候选前景序列，记为像素特征f1；步骤3.对彩色图像序列r1进行超像素分割，得到区域信息c1；步骤4.根据区域信息计算超像素对应的候选前景区域的像素的直方图，直方图范围时[-1,1]，间隔为0.1；步骤5.将每一个区域的直方图作为该区域内所有像素的特征，记为超像素特征f2；步骤6.构建网络：
①
构建编码器：卷积神经网络包含输入层、隐含层和输出层；输入层包括两个输入，分辨率都为240
×
320，超像素特征f2对应的编码器输入的通道数为21，像素特征f1对应的编码器输入为1，卷积神经网络中的卷积尺寸大小为3
×
3；隐含层中第1层采用卷积、批归一化、激活层和池化层conv bn relu maxpool，使用8个卷积来生成8个特征图；隐含层中第2层采用卷积、批归一化、激活层和池化层conv bn relu maxpool，使用16个卷积来生成16个特征图；隐含层中第3层采用卷积、批归一化、激活层和池化层conv bn relu maxpool，使用32个卷积来生成32个特征图；
隐含层中第4层采用卷积、批归一化、激活层和池化层conv bn relu maxpool，使用64个卷积来生成64个特征图；
②
构建连接层：隐含层中的第5层为连接层，连接层采用concatenation对两个编码器进行连接；
③
构建解码器：隐含层中第6层采用卷积、批归一化、激活层和池化层conv bn relu，使用128个卷积来生成64个特征图；隐含层中第7层采用卷积、批归一化、激活层和池化层deconv bn relu，使用64个卷积来生成32个特征图；隐含层中第8层采用卷积、批归一化、激活层和池化层deconv bn relu，使用32个卷积来生成16个特征图；隐含层中第9层采用卷积、批归一化、激活层和池化层deconv bn relu，使用8个卷积来生成8个特征图；隐含层中第10层采用卷积、批归一化、激活层和池化层deconv bn clippedrelu，使用1个卷积来生成1个特征图；输出层中包含了回归层；将超像素特征和像素特征作为网络的输入，输出为对应输入图像的groundtruth；步骤7.对模型进行训练；步骤8.输出训练后的网络模型m；所述检测阶段包括：步骤9.输入图像序列r2,如果图像为彩色图像则将3通道数值进行平均进行图像灰度化，得到灰度化的图像序列g2；如果为灰度图像，则直接令g2=r2；步骤10.对图像序列进行中值滤波背景图像b2，并将图像序列g2与背景图像b2进行差分，得到候选前景序列，记为像素特征f3；步骤11.对彩色图像序列r2进行超像素分割，得到区域信息c2；步骤12.根据区域信息计算超像素对应的候选前景区域的像素的直方图，直方图范围时[-1,1]，间隔为0.1；步骤13.将每一个区域的直方图作为该区域内所有像素的特征，记为超像素特征f4；步骤14.将超像素特征f4和像素特征f3作为已训练好的网络模型m的输入；步骤15.输出检测结果。
[0011]
本发明利用中值滤波提取候选前景（称为像素特征），并对图像序列进行超像素分割，然后提取候选前景超像素的直方图特征（称为超像素特征），随后将像素特征和超像素特征分别作为找像素融合网络的输入。
[0012]
整个检测的过程中，只涉及矩阵的简单乘法，因此时间复杂度小，训练阶段以及检测阶段的处理速度快，由于考虑到了动态的特点，通过超像素融合特征可以有效地抑制动态背景，本发明具有运算速度快、鲁棒性强的优点。
[0013]
实验表明，像素融合网络对cdnet 2014中34幅图像序列具有良好的效果，像素融合可以去除更多的背景噪声，比相同深度的网络具有更强的表达能力。
[0014]
以上所述是结合具体实施方式对本发明所作的进一步详细说明，不能认定本发明具体实施仅局限于此；对于本发明所属及相关技术领域的技术人员来说，在基于本发明技术方案思路前提下，所作的拓展以及操作方法、数据的替换，都应当落在本发明保护范围之内。