一种视频中行人和人脸混合提取方法与流程

技术特征：
1.一种视频中行人和人脸混合提取方法，其特征在于，包括以下几个步骤：s1、对摄像头通过5g网络传入的实时视频流解码和离线存储的监控视频文件解码，采用ffmpeg视频处理库进行视频逐帧解码，得到序列化的图片数据，后将图片数据分别送入人脸检测模块和行人检测模块中；s2、对s1解码出的视频信息，进行目标检测，得到人脸和行人信息，使用基于centernet深度学习网络训练出的行人检测模块器进行视频帧中行人位置和大小的检测；s3、对s2中的人脸和行人信息进行目标定位跟踪，使用faceboxes作为视频帧中人脸位置和大小的检测器，对不同尺寸、姿态和场景下的人脸进行定位，采用sort算法，将s2当前检测的目标与现有目标相关联，并管理跟踪目标的生命周期；s4、对s3检测出的行人和人脸图片分别进行质量评估，质量评估使用基于深度学习的质量分类算法以及传统图像处理方法获得各项质量评估结果；s5、对行人和人脸进行相关联对比识别；s6、混合提取对比，根据行人、人脸以及关联评估提取输出结果。2.根据权利要求1所述的一种视频中行人和人脸混合提取方法，其特征在于，所述s1目标检测中包括cpu和gpu硬件和视频解码模块，所述视频解码模块与摄像头通过5g网络信号连接，所述视频解码模块采用ffmpeg视频处理库进行视频逐帧解码。3.根据权利要求1所述的一种视频中行人和人脸混合提取方法，其特征在于，所述s2中设有人脸检测模块和行人检测模块，所述人脸检测模块采用faceboxes检测器，检测视频帧中人脸位置和大小，所述人脸检测模块包括人脸检测模块算法，所述人脸检测模块算法包括以下三个步骤：步骤一、通过rdcl利用7
×
7、5
×
5的大卷积核和crelu完成1024
×
1024高分辨率图像的快速下采样，在大幅度减少参数量的同时，覆盖必要的图片分布信息；步骤二、引入mscl和fpn将不同尺度卷积层的信息进行了融合；进一步扩大了模型的感受视野，提升了对不同尺度人脸的召回能力；步骤三、引入anchor densification strategy，通过稠密采样anchor提升小人脸匹配成功的概率。4.根据权利要求1所述的一种视频中行人和人脸混合提取方法，其特征在于，所述s2中行人检测模块采用centernet目标检测方法，检测当前热点与周围8个临近点，采用3
×
3最大池化。5.根据权利要求1所述的一种视频中行人和人脸混合提取方法，其特征在于，所述s2中包括人脸跟踪模块和行人跟踪模块，所述人脸跟踪模块和行人跟踪模块均采用多目标跟踪，且采用sort算法，以目标检测框iou作为前后帧间目标关系度量指标，预测当前位置，并关联检测框到目标。6.根据权利要求1所述的一种视频中行人和人脸混合提取方法，其特征在于，所述s4中包括人脸质量评估模块和行人质量评估模块，所述人脸质量评估模块和行人质量评估模块均使用基于深度学习的质量分类算法以及传统图像处理方法，所述人脸跟踪模块包括行人评估维度和人脸质量评估模块维度，所述行人评估维度由行人清晰度、行人重叠度、行人宽高比例、是否存在到人脸、行人是否完整和行人朝向构成，所述人脸质量评估模块维度由人脸清晰度、人脸角度和人脸遮挡情况构成。
7.根据权利要求1所述的一种视频中行人和人脸混合提取方法，其特征在于，所述s5中包括人脸/行人关联模块，所述人脸/行人关联模块选择关联到的帧数最多的一个人脸id作为此行人的最优关联人脸，避免短暂关联结果的干扰，减少关联的错误。8.根据权利要求1所述的一种视频中行人和人脸混合提取方法，其特征在于，所述s6中设有人脸/行人结果输出模块，所述人脸/行人结果输出模块中记录行人离开后输出和行人长时间逗留后输出，根据行人、人脸以及关联评估给定的输出结果综合评定出同一行人id中最佳的行人和人脸图片和属性信息。

技术总结
本发明公开了一种视频中行人和人脸混合提取方法，包括本发明提出了一种基于深度学习和图像处理算法的监控视频行人和人脸混合提取技术，在传统服务器上使用通用cpu和gpu硬件，利用深度学习相关技术实现了对监控摄像头输出的实时视频流进行行人和人脸抓拍功能，提取出指定监控区域内经过的行人最优图像以及对应人脸图像，同时利用本技术可以实现离线监控视频中行人/人脸快速提取，便于对监控历史视频数据的整理，极大提高安防人员对重点人员管控效率。管控效率。管控效率。


技术研发人员：夏立 周祥 王祥 钱坤 王康 李峰岳
受保护的技术使用者：南京烽火星空通信发展有限公司
技术研发日：2021.10.29
技术公布日：2022/3/7