一种基于时序门控循环单元模型的溢出监测方法与流程

1.本发明涉及垃圾监测技术领域，尤其涉及到一种基于时序门控循环单元模型的溢出监测方法。


背景技术：

2.随着城市化进程的加快，大城市的人口密集度急剧增加，导致了垃圾产量骤增，对垃圾回收和处理等带来不小的挑战，有的地方因为垃圾处理不及时导致垃圾桶满溢和垃圾散落等问题，在影响市容市貌的同时，垃圾的异味也影响了人们的正常生活、旅游等，目前大多数的垃圾桶满溢检测是基于传感器检测和终端报警监测的方式实现，但由于垃圾的垃圾形状不规则和重量不一定等问题，造成检测误差较大，且实现成本较高，干扰因素较多。如何在垃圾桶满溢之前进行精确检测并进行及时报警处理，且实现成本较低，是研究垃圾满溢监测系统及方法的重要方向。
3.综上所述，提供一种可提高垃圾桶检测精度和速度，计算量较少，且成本较低，并能及时进行报警的基于时序门控循环单元模型的溢出监测方法，是本领域技术人员急需解决的问题。


技术实现要素：

4.本方案针对上文提到的问题和需求，提出一种基于时序门控循环单元模型的溢出监测方法，其由于采取了如下技术方案而能够解决上述技术问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于时序门控循环单元模型的溢出监测方法，包括以下步骤：步骤step1：获取垃圾桶的监控视频，并通过视频信息处理模块对所述监控视频进行预处理，得到数据训练集、数据测试集和数据验证集；
6.步骤step2：特征提取模块利用ssd目标检测网络从视频图像中提取垃圾桶内垃圾信息，获取垃圾特征信息；
7.步骤step3：由检测模块构建基于gru网络的溢出检测模型，采用所述基于gru网络的溢出检测模型对目标特征提取网络输出的识别结果图进行学习分类，具体为将所述垃圾特征信息输入所述基于gru网络的溢出检测模型进行垃圾溢出检测，基于所述检测结果，所述检测模块向报警模块发送报警信息；
8.步骤step4：所述报警模块根据设定模式进行溢出报警。
9.进一步地，所述视频信息处理模块对垃圾桶的监控视频进行分帧处理，得到垃圾桶监测的序列图像数据集，将序列图像数据集进行双边滤波预处理后按照一定比例划分为数据训练集、数据测试集和数据验证集，并对所述数据训练集进行随机剪裁、镜像、缩放和随机角度旋转处理，然后对图片人工标注，将垃圾溢出训练样本记为正样本，将垃圾未溢出训练样本记为负样本，最后将标注结果制作成成pascal_voc数据集格式。
10.更进一步地，所述利用ssd目标检测网络从视频图像中提取垃圾桶内垃圾信息包括：将经过处理后的数据训练集图像信息传入到卷积层，利用基于ssd的目标特征提取网络
对输入的垃圾桶监测图片进行特征提取；对提取出的特征图进行分类识别，得出识别结果图。
11.更进一步地，所述基于ssd的目标特征提取网络的构建过程包括：在vgg
‑
16网络的基础上，将vgg16网络的两个全连接层换成卷积层，然后添加四个卷积层得到ssd网络结构，基础网络用来提取图像特征，后面添加的四个卷积层用来预测不同尺度和宽高比的目标检测框的偏移量及其相关置信度，图像经过每层网络进行卷积后，生成大小不同的特征图，利用多个特征图可同时进行softmax分类和位置回归。
12.更进一步地，根据计算所述目标检测框的大小,其中，r
i
表示第i个特征图的大小，m为特征图的个数，r
min
为最小特征图的大小，r
max
为最大特征图的大小，在对ssd网络进行模型训练时，将目标检测框设定为不同的宽高比。
13.更进一步地，所述对提取出的特征图进行分类识别，得出识别结果图包括：采用非极大值抑制算法获取最佳的目标检测框，依据获取的目标检测框置信度大小，对所有的目标检测框进行排序；计算所有预测框的面积，计算置信度最高的目标检测框与剩余候选框的iou，根据设置的阈值删除iou值大于所述阈值的候选框，输出最终垃圾与背景的检测检结果。
14.更进一步地，将所述垃圾特征信息输入所述基于gru网络的溢出检测模型进行垃圾溢出检测之前，需构建并训练得到基于gru网络的溢出检测模型，所述构建基于gru网络的溢出检测模型包括：所述基于gru网络的溢出检测模型包含第一卷积层、第一激活层、第一池化层、第一dropout层、第二卷积层、第二激活层、第二池化层、第二dropout层、gru层、全连接层和softmax回归层，采用relu非线性函数作为激活函数，将目标特征提取网络输出的识别结果图作为模型的输入，利用softmax回归作为分类算法，得到垃是否满溢的检测结果；
15.所述第一卷积层通过设置好大小的滤波器来完成对输入垃圾信息图像的特征提取，得到激活二维图m＝[m1,m2,
…
,m
t
]，其中，m
j
为一个卷积核得到的激活二维图，t为卷积核个数，单个输入数据尺寸为20*72*72*16，第一卷积层包括16个3*3卷积核；
[0016]
第一池化层对所述第一卷积层的输出做最大池化，在2*2的滑动区域内取最大值作为输出，以减少维度抑制过拟合，第一池化层的输出数据尺寸为20*36*36*16，并通过第一dropout层进行正则化；
[0017]
第二卷积层包括32个3*3卷积核用于对高维特征进行提取，第二池化层对所述第二卷积层的输出做最大池化，最终输出的数据体尺寸为20*18*18*32；
[0018]
将经过第二dropout层随机失活和变换的2阶张量输入gru层，通过横向连接提取时间维度上的相关性特征，最后通过全连接层和softmax分类层将预测结果输出，一个具有softmax激活的完全连接层，包含2个神经元用于预测2分类，即垃圾满溢和垃圾未满溢。
[0019]
更进一步地，训练所述基于gru网络的溢出检测模型需先获取样本集，对采集的不同状态的垃圾桶图像数据进行标注，构成样本集u，对样本集u进行预处理，所述预处理包括对数据进行标准化处理和样本集划分，所述样本集u包括垃圾满溢的正样本和未满溢的负样本，利用softmax回归层作为分类器进行分类处理，获取分类结果，当检测结果为垃圾溢出时，则向报警模块发送报警信息。
[0020]
更进一步地，训练基于gru网络的溢出检测模型包括：对基于gru网络的溢出检测模型进行初始化，采用大于0的小随机数初始化网络中待训练参数；向初始化后的模型中输入训练样本集来训练该模型并得到实际输出结果，其中，所述的训练样本包括降维之后的特征向量和真实垃圾溢出类别标签，当特征向量输入模型中后经过逐层变换，得到模型预测的垃圾溢出类别标签，采用交叉熵损失函数，结合反向传播bp算法调整各层参数，利用softmax回归作为分类算法，完成模型的训练，得到最优模型。
[0021]
更进一步地，所述设定模式包括a模式、b模式和c模式三种报警模式，a模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行语音提醒；b模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行灯光提醒；c模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，同时进行语音和灯光提醒。
[0022]
从上述的技术方案可以看出，本发明的有益效果是：可提高垃圾桶检测精度和速度，计算量较少，且成本较低，并能及时进行报警。
[0023]
除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
[0024]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
[0025]
图1为本发明一种基于时序门控循环单元模型的溢出监测方法的具体步骤示意图。
[0026]
图2为本实施例中像素分类过程的具体步骤示意图。
[0027]
图3为本实施例中基gru层的组成组成结构示意图。
具体实施方式
[0028]
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0029]
如图1至图3所示，一种基于时序门控循环单元模型的溢出监测方法具体包括：步骤step1：获取垃圾桶的监控视频，并通过视频信息处理模块对所述监控视频进行预处理，得到数据训练集、数据测试集和数据验证集。
[0030]
所述视频信息处理模块对垃圾桶的监控视频进行分帧处理，得到垃圾桶监测的序列图像数据集，将序列图像数据集进行双边滤波预处理后按照一定比例划分为数据训练集、数据测试集和数据验证集，并对所述数据训练集进行随机剪裁、镜像、缩放和随机角度旋转处理，然后对图片人工标注，将垃圾溢出训练样本记为正样本，将垃圾未溢出训练样本记为负样本，最后将标注结果制作成成pascal_voc数据集格式。
[0031]
步骤step2：特征提取模块利用ssd目标检测网络从视频图像中提取垃圾桶内垃圾信息，获取垃圾特征信息。
[0032]
所述利用ssd目标检测网络从视频图像中提取垃圾桶内垃圾信息包括：将经过处理后的数据训练集图像信息传入到卷积层，利用基于ssd的目标特征提取网络对输入的垃圾桶监测图片进行特征提取；对提取出的特征图进行分类识别，得出识别结果图，其中，ssd是基于卷积神经网络的一种网络结构,相比于r
‑
cnn、fast
‑
rcnn,ssd的准确性更高,实时性的预测速度表现更好，ssd的网络架构以vgg
‑
16为基础,因为vgg
‑
16拥有高质量的图像分类和迁移学习的能力。本方法中，所述基于ssd的目标特征提取网络的构建过程包括：在vgg
‑
16网络的基础上，将vgg16网络的两个全连接层换成卷积层，然后添加四个卷积层得到ssd网络结构，基础网络用来提取图像特征，后面添加的四个卷积层用来预测不同尺度和宽高比的目标检测框的偏移量及其相关置信度，图像经过每层网络进行卷积后，生成大小不同的特征图，利用多个特征图可同时进行softmax分类和位置回归。并根据计算所述目标检测框的大小,其中，r
i
表示第i个特征图的大小，m为特征图的个数，r
min
为最小特征图的大小，r
max
为最大特征图的大小，在对ssd网络进行模型训练时，将目标检测框设定为不同的宽高比。
[0033]
具体地，所述对提取出的特征图进行分类识别，得出识别结果图包括：采用非极大值抑制算法获取最佳的目标检测框，依据获取的目标检测框置信度大小，对所有的目标检测框进行排序；计算所有预测框的面积，计算置信度最高的目标检测框与剩余候选框的iou，根据设置的阈值删除iou值大于所述阈值的候选框，输出最终垃圾与背景的检测检结果，而iou相当于两个区域重叠的部分除以两个区域的集合部分得出的结果。
[0034]
步骤step3：由检测模块构建基于gru网络的溢出检测模型，采用所述基于gru网络的溢出检测模型对目标特征提取网络输出的识别结果图进行学习分类，具体为将所述垃圾特征信息输入所述基于gru网络的溢出检测模型进行垃圾溢出检测，基于所述检测结果，所述检测模块向报警模块发送报警信息。
[0035]
通过ssd网络得到垃圾桶中垃圾和背景检测结果，然后由gru网络的溢出检测模型对圾桶中垃圾图像信息进行特征提取，并学习分类是否存在垃圾满溢问题，如图2所示，将所述垃圾特征信息输入所述基于gru网络的溢出检测模型进行垃圾溢出检测之前，需构建并训练得到基于gru网络的溢出检测模型，所述构建基于gru网络的溢出检测模型包括：所述基于gru网络的溢出检测模型包含第一卷积层、第一激活层、第一池化层、第一dropout层、第二卷积层、第二激活层、第二池化层、第二dropout层、gru层、全连接层和softmax回归层，采用relu非线性函数作为激活函数，将目标特征提取网络输出的识别结果图作为模型的输入，利用softmax回归作为分类算法，得到垃是否满溢的检测结果；
[0036]
所述第一卷积层通过设置好大小的滤波器来完成对输入垃圾信息图像的特征提取，得到激活二维图m＝[m1,m2,
…
,m
t
]，其中，m
j
为一个卷积核得到的激活二维图，t为卷积核个数，单个输入数据尺寸为20*72*72*16，第一卷积层包括16个3*3卷积核；20为样本帧数、72为图像宽度和图像高度。
[0037]
第一池化层对所述第一卷积层的输出做最大池化，在2*2的滑动区域内取最大值作为输出，以减少维度抑制过拟合，第一池化层的输出数据尺寸为20*36*36*16，并通过第
一dropout层进行正则化；
[0038]
第二卷积层包括32个3*3卷积核用于对高维特征进行提取，第二池化层对所述第二卷积层的输出做最大池化，最终输出的数据体尺寸为20*18*18*32；
[0039]
将经过第二dropout层随机失活和变换的2阶张量输入gru层，通过横向连接提取时间维度上的相关性特征，最后通过全连接层和softmax分类层将预测结果输出，一个具有softmax激活的完全连接层，包含2个神经元用于预测2分类，即垃圾满溢和垃圾未满溢。而门控循环单元gru，是由chok等人提出的一种lstm改进模型,如图3所示，其将遗忘门和输入门合并成一个更新，在进行非线性变换前应用了一个重置门，并且将胞元状态和隐藏层状态合二为一,gru网络各个们结构和状态的计算公式包括：
[0040]
z
t
＝σ(w
z
·
[h
t
‑1,x
t
]),
[0041]
r
t
＝σ(w
r
·
[h
t
‑1,x
t
]),
[0042][0043]
其中，x
t
为t时刻的gru输入，w
z
,w
r
,w为权值矩阵，z
t
为更新门，r
t
为重置门，为备选激活函数，tanh为tanh激活函数，σ为sigmoid激活函数。
[0044]
在本方法中，训练所述基于gru网络的溢出检测模型需先获取样本集，对采集的不同状态的垃圾桶图像数据进行标注，构成样本集u，对样本集u进行预处理，所述预处理包括对数据进行标准化处理和样本集划分，所述样本集u包括垃圾满溢的正样本和未满溢的负样本，利用softmax回归层作为分类器进行分类处理，获取分类结果，当检测结果为垃圾溢出时，则向报警模块发送报警信息。而训练基于gru网络的溢出检测模型包括：对基于gru网络的溢出检测模型进行初始化，采用大于0的小随机数初始化网络中待训练参数；向初始化后的模型中输入训练样本集来训练该模型并得到实际输出结果，其中，所述的训练样本包括降维之后的特征向量和真实垃圾溢出类别标签，当特征向量输入模型中后经过逐层变换，得到模型预测的垃圾溢出类别标签，采用交叉熵损失函数，结合反向传播bp算法调整各层参数，利用softmax回归作为分类算法，完成模型的训练，得到最优模型。
[0045]
步骤step4：所述报警模块根据设定模式进行溢出报警，其中，所述设定模式包括a模式、b模式和c模式三种报警模式，a模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行语音提醒；b模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行灯光提醒；c模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，同时进行语音和灯光提醒。
[0046]
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。