一种基于时序门控循环单元模型的溢出监测方法与流程

技术特征：
1.一种基于时序门控循环单元模型的溢出监测方法，其特征在于，包括以下步骤：步骤step1：获取垃圾桶的监控视频，并通过视频信息处理模块对所述监控视频进行预处理，得到数据训练集、数据测试集和数据验证集；步骤step2：特征提取模块利用ssd目标检测网络从视频图像中提取垃圾桶内垃圾信息，获取垃圾特征信息；步骤step3：由检测模块构建基于gru网络的溢出检测模型，采用所述基于gru网络的溢出检测模型对目标特征提取网络输出的识别结果图进行学习分类，具体为将所述垃圾特征信息输入所述基于gru网络的溢出检测模型进行垃圾溢出检测，基于所述检测结果，所述检测模块向报警模块发送报警信息；步骤step4：所述报警模块根据设定模式进行溢出报警。2.如权利要求1所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，所述视频信息处理模块对垃圾桶的监控视频进行分帧处理，得到垃圾桶监测的序列图像数据集，将序列图像数据集进行双边滤波预处理后按照一定比例划分为数据训练集、数据测试集和数据验证集，并对所述数据训练集进行随机剪裁、镜像、缩放和随机角度旋转处理，然后对图片人工标注，将垃圾溢出训练样本记为正样本，将垃圾未溢出训练样本记为负样本，最后将标注结果制作成成pascal_voc数据集格式。3.如权利要求2所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，所述利用ssd目标检测网络从视频图像中提取垃圾桶内垃圾信息包括：将经过处理后的数据训练集图像信息传入到卷积层，利用基于ssd的目标特征提取网络对输入的垃圾桶监测图片进行特征提取；对提取出的特征图进行分类识别，得出识别结果图。4.如权利要求3所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，所述基于ssd的目标特征提取网络的构建过程包括：在vgg
‑
16网络的基础上，将vgg16网络的两个全连接层换成卷积层，然后添加四个卷积层得到ssd网络结构，基础网络用来提取图像特征，后面添加的四个卷积层用来预测不同尺度和宽高比的目标检测框的偏移量及其相关置信度，图像经过每层网络进行卷积后，生成大小不同的特征图，利用多个特征图可同时进行softmax分类和位置回归。5.如权利要求4所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，根据计算所述目标检测框的大小,其中，r
i
表示第i个特征图的大小，m为特征图的个数，r
min
为最小特征图的大小，r
max
为最大特征图的大小，在对ssd网络进行模型训练时，将目标检测框设定为不同的宽高比。6.如权利要求5所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，所述对提取出的特征图进行分类识别，得出识别结果图包括：采用非极大值抑制算法获取最佳的目标检测框，依据获取的目标检测框置信度大小，对所有的目标检测框进行排序；计算所有预测框的面积，计算置信度最高的目标检测框与剩余候选框的iou，根据设置的阈值删除iou值大于所述阈值的候选框，输出最终垃圾与背景的检测检结果。7.如权利要求6所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，将所述垃圾特征信息输入所述基于gru网络的溢出检测模型进行垃圾溢出检测之前，需构建并训练得到基于gru网络的溢出检测模型，所述构建基于gru网络的溢出检测模型包括：所述
基于gru网络的溢出检测模型包含第一卷积层、第一激活层、第一池化层、第一dropout层、第二卷积层、第二激活层、第二池化层、第二dropout层、gru层、全连接层和softmax回归层，采用relu非线性函数作为激活函数，将目标特征提取网络输出的识别结果图作为模型的输入，利用softmax回归作为分类算法，得到垃是否满溢的检测结果；所述第一卷积层通过设置好大小的滤波器来完成对输入垃圾信息图像的特征提取，得到激活二维图m＝[m1,m2,
…
,m
t
]，其中，m
j
为一个卷积核得到的激活二维图，t为卷积核个数，单个输入数据尺寸为20*72*72*16，第一卷积层包括16个3*3卷积核；第一池化层对所述第一卷积层的输出做最大池化，在2*2的滑动区域内取最大值作为输出，以减少维度抑制过拟合，第一池化层的输出数据尺寸为20*36*36*16，并通过第一dropout层进行正则化；第二卷积层包括32个3*3卷积核用于对高维特征进行提取，第二池化层对所述第二卷积层的输出做最大池化，最终输出的数据体尺寸为20*18*18*32；将经过第二dropout层随机失活和变换的2阶张量输入gru层，通过横向连接提取时间维度上的相关性特征，最后通过全连接层和softmax分类层将预测结果输出，一个具有softmax激活的完全连接层，包含2个神经元用于预测2分类，即垃圾满溢和垃圾未满溢。8.如权利要求7所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，训练所述基于gru网络的溢出检测模型需先获取样本集，对采集的不同状态的垃圾桶图像数据进行标注，构成样本集u，对样本集u进行预处理，所述预处理包括对数据进行标准化处理和样本集划分，所述样本集u包括垃圾满溢的正样本和未满溢的负样本，利用softmax回归层作为分类器进行分类处理，获取分类结果，当检测结果为垃圾溢出时，则向报警模块发送报警信息。9.如权利要求8所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，训练基于gru网络的溢出检测模型包括：对基于gru网络的溢出检测模型进行初始化，采用大于0的小随机数初始化网络中待训练参数；向初始化后的模型中输入训练样本集来训练该模型并得到实际输出结果，其中，所述的训练样本包括降维之后的特征向量和真实垃圾溢出类别标签，当特征向量输入模型中后经过逐层变换，得到模型预测的垃圾溢出类别标签，采用交叉熵损失函数，结合反向传播bp算法调整各层参数，利用softmax回归作为分类算法，完成模型的训练，得到最优模型。10.如权利要求8所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，所述设定模式包括a模式、b模式和c模式三种报警模式，a模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行语音提醒；b模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行灯光提醒；c模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，同时进行语音和灯光提醒。

技术总结
本发明提供了一种基于时序门控循环单元模型的溢出监测方法，包括：步骤Step1：获取垃圾桶的监控视频，并其进行预处理，得到数据训练集、数据测试集和数据验证集；步骤Step2：特征提取模块利用SSD目标检测网络从视频图像中提取垃圾桶内垃圾信息，获取垃圾特征信息；步骤Step3：由检测模块构建基于GRU网络的溢出检测模型，采用所述基于GRU网络的溢出检测模型对目标特征提取网络输出的识别结果图进行学习分类，具体为将所述垃圾特征信息输入所述基于GRU网络的溢出检测模型进行垃圾溢出检测，基于所述检测结果，检测模块向报警模块发送报警信息；步骤Step4：所述报警模块根据设定模式进行溢出报警，本发明可提高垃圾桶检测精度和速度，且成本较低，并能及时进行报警。并能及时进行报警。并能及时进行报警。


技术研发人员：曹少丽 张笑钦 胡明俊 王文哲
受保护的技术使用者：温州大学
技术研发日：2021.06.11
技术公布日：2021/11/19