基于深度学习的监所行为规范检测装置及方法与流程

技术特征：
1.一种基于深度学习的监所行为规范检测装置，其特征在于包括：人头计数检测模块和行为规范检测模块；其中：所述人头计数检测模块，用于无感点名和/或人群密度识别；所述人头计数检测模块包括目标检测分割过程；所述行为规范检测模块，用于对人员行为进行实时计算判别；所述行为规范检测模块包括利用训练样本集获得分类器的训练过程，以及利用分类器识别测试样本的识别过程。2.根据权利要求1所述的基于深度学习的监所行为规范检测装置，其特征在于，所述人头计数检测模块的目标检测分割过程包括以下步骤：s1)利用标注工具，对图像进行人头的标注，每个图片产生一个json文件，经过卷积神经网络提取图像标注的特征信息；s2)将步骤s1)得到的特征信息使用区域生成网络提取出roi，即感兴趣区域，然后使用感兴趣区域池化将这些roi全部变成固定尺寸；s3)对步骤s2)得到的roi通过全连接层进行bounding box回归和分类预测，在特征图的不同点采样，并应用双线性插值；s4)最后进行分割掩码网络，取roi分类器选择的正区域为输入，并生成它们的掩码；将预测的掩码放大为roi边框的尺寸以给出最终的掩码结果，每个目标有一个掩码；将预测分割的掩模添加到每个roi，输出结果为图像上现有目标和高质量的分割掩模。3.根据权利要求2所述的基于深度学习的监所行为规范检测装置，其特征在于，所述人头计数检测模块具体包括：目标检测单元，用于对在押人员的无感实时检测和统计；密度分析单元，用于监舍及放风圈的实时精准密度检测和异常报警；所述目标检测单元包括以下步骤：首先采集五个组分别按规范要求在不同环境中暴露出头在视频图像中，其中四个组的视频作为训练数据集，一个组视频作为验证数据集；然后将四组的视频帧图像按照所述步骤s1)至s5)进行操作，得到人头检测模型；最后对剩下那组的视频帧图像加载该人头检测模型，进行最终的人员实时检测和统计。4.根据权利要求1所述的基于深度学习的监所行为规范检测装置，其特征在于，所述行为规范检测模块的训练过程包括以下步骤：s5)将某一行为的视频帧图像输入，让图片经过卷积神经网络提取特征，对网络中6个特定的卷积层的输出分别用两个3*3的卷积核进行卷积，然后将生成的所有边界框都集合起来，全部丢到nms，即非极大值抑制，得到一系列的目标检测框。s6)将步骤s5)得到的目标检测框输入到stn，即空间变换网络，进行强化操作，从不准确的候选框中提取高质量的单人区域；s7)对步骤s6)强化后的单人区域框使用sppe，即单人姿态估计器，估计此人的姿态骨架；s8)将步骤s7)得到的单人姿态通过sdtn，即空间逆变换网络，重新映射到图像坐标系下，从而得到更加精确的人体目标检测框，并再次进行人体姿态估计操作；然后通过pp-nms，即参数化非极大值抑制，解决冗余检测问题，得到该行为下的人体骨架信息；s9)对步骤s8)得到的多尺度下关键点，经过反卷积层进行关键点回归操作，相当于进行一次向上采样的过程，能够提高目标关键点的精度；考虑多个关键点的连通性，建立连接
关键点的有向场，根据人体部位的连通性和结构明确匹配连接的关键点对，减少误连接，得到最终的人体骨架信息；s10)对步骤s9)得到最终人体骨架信息进行特征提取，并将其作为该类行为的训练样本输入到分类器中进行训练；s11)重复以上各步骤，得到各种行为的分类器。5.根据权利要求4所述的基于深度学习的监所行为规范检测装置，其特征在于，所述行为规范检测模块的识别过程包括以下步骤：s12)依照看守所在押人员行为规范守则，针对具体的行为检测要求，设定检测触发时间段与检测区域，以json的形式存储在本地；s13)进行检测时，先读取json文件，在设定好的检测触发时间段内，录入某一行为的视频帧图像，只取检测区域内的图像，采用所述步骤s5)至s10)对其进行人体姿态估计，得到检测区域内的人体骨架特征信息；其余时间段只播放视频帧图像，不进行相应的行为识别操作；s14)将步骤s13)得到的人体骨架特征信息输入到分类器中进行识别得到视频行为类别。6.根据权利要求1所述的基于深度学习的监所行为规范检测装置，其特征在于，所述识别过程包括设定各项规范行为检测的检测触发时间段与检测区域和利用分类器进行识别，包括人为设定检测时间和检测区域，严格按照看守所在押人员行为规范守则执行，当处于检测触发时间段内，对设定的检测区域内进行相应的行为识别操作，当识别出违规行为需发出警报信息；若未在检测触发时间段内，则不进行相应的行为识别操作；检测时间段与检测区域完全由用户自定义，依照标准行为规范设定，能够很好地满足行为规范检测的需求。7.根据权利要求4所述的基于深度学习的监所行为规范检测装置，其特征在于，所述步骤s8)中pp-nms操作具体包括：选取最大置信度的姿态作为参考，并且根据消除标准将靠近该参考的区域框进行消除，多次重复该过程直到冗余的识别框被消除并且每一个识别框都是唯一出现；所述步骤s8)得到的人体骨架信息还包括：使用强化数据集，通过学习输出结果中不同姿态的描述信息，来模仿人体区域框的形成过程，进一步产生一个更大的训练集。8.一种基于深度学习的监所行为规范检测方法，其特征在于，所述方法包括如下步骤：人头计数检测，用于无感点名和/或人群密度识别；所述人头计数检测包括目标检测分割过程；行为规范检测，用于对人员行为进行实时计算判别；所述行为规范检测包括利用训练样本集获得分类器的训练过程，以及利用分类器识别测试样本的识别过程。9.根据权利要求8所述的基于深度学习的监所行为规范检测方法，其特征在于，所述目标检测分割过程具体包括以下步骤：s1)利用标注工具，对图像进行人头的标注，每个图片产生一个json文件，经过卷积神经网络提取图像标注的特征信息；s2)将步骤s1)得到的特征信息使用区域生成网络提取出roi，即感兴趣区域，然后使用感兴趣区域池化将这些roi全部变成固定尺寸；s3)对步骤s2)得到的roi通过全连接层进行bounding box回归和分类预测，在特征图
的不同点采样，并应用双线性插值；s4)最后进行分割掩码网络，取roi分类器选择的正区域为输入，并生成它们的掩码；将预测的掩码放大为roi边框的尺寸以给出最终的掩码结果，每个目标有一个掩码；将预测分割的掩模添加到每个roi，输出结果为图像上现有目标和高质量的分割掩模。10.根据权利要求9所述的基于深度学习的监所行为规范检测方法，其特征在于，所述人头计数检测具体包括以下步骤：目标检测，用于对在押人员的无感实时检测和统计；密度分析，用于监舍及放风圈的实时精准密度检测和异常报警；所述目标检测包括以下步骤：首先采集五个组分别按规范要求在不同环境中暴露出头在视频图像中，其中四个组的视频作为训练数据集，一个组视频作为验证数据集；然后将四组的视频帧图像按照所述步骤s1)至s5)进行操作，得到人头检测模型；最后对剩下那组的视频帧图像加载该人头检测模型，进行最终的人员实时检测和统计。

技术总结
本发明公开了一种基于深度学习的监所行为规范检测装置及方法。所述基于深度学习的监所行为规范检测装置包括：人头计数检测模块和行为规范检测模块；所述人头计数检测模块包括目标检测分割过程，用于人员无感点名和人群密度识别；所述行为规范检测模块包括利用训练样本集获得分类器的训练过程以及利用分类器识别测试样本的识别过程，用于对人员的行为进行实时计算判别。通过上述方式，本发明能够有效地针对监所要求对在押人员进行行为规范识别，对异常行为进行检测报警，加强监舍安防，提高民警工作效率。民警工作效率。民警工作效率。


技术研发人员：杨景翔 许根 黄业鹏 吕立 王菊 徐刚 肖江剑
受保护的技术使用者：中国科学院宁波材料技术与工程研究所
技术研发日：2020.07.28
技术公布日：2022/2/24