基于视频的深度学习抛物行为检测方法与流程

技术特征：
1.一种基于视频的深度学习抛物行为检测方法，其特征在于，包括：通过预设视频流分析系统连接网络监控平台接收视频数据流，并进行解码处理；基于预设深度学习的抛物行为检测模型，对视频流中的抛物行为进行推理，确定被抛包裹；分别对每一个所述被抛包裹进行追踪，并单独记录每一个被抛包裹移动的轨迹信息，得到对应每个被抛包裹的信息组；基于所述信息组对每个对应的被抛包裹进行抛物分析，锁定抛物人员；根据预设距离角度算法，基于抛物人员和被抛包裹的距离信息、被抛包裹分与图像中心的角度信息，以及拍摄相机倾斜的角度信息，计算得到包裹抛物信息；其中，所述包裹抛物信息包括被抛包裹的抛物距离信息和抛物等级信息；在被抛包裹轨迹的中间帧上绘制抛物轨迹，并记录所述包裹抛物信息后，得到并输出可视化图像。2.根据权利要求1所述的基于视频的深度学习抛物行为检测方法，其特征在于，所述通过预设视频流分析系统连接网络监控平台接收视频数据流，并进行解码处理，包括：连接各中心和网点的网络摄像头，通过轮询逻辑算法获取多路rtsp监控视频流；对所述rtsp监控视频流进行解码；针对多路rtsp监控视频流，从多个输入源形成一批帧，完成批处理帧。3.根据权利要求1所述的基于视频的深度学习抛物行为检测方法，其特征在于，所述深度学习抛物行为检测模型的训练过程包括：人工在具有抛物行为的图像上进行分类标注，得到抛物图片和标注的文本信息，建立抛物行为数据集；基于所述抛物行为数据集中的标注分类和数量，在darknet框架中配置yolov4算法的参数；通过配置yolov4算法参数的darknet框架和yolov4算法，对所述抛物行为数据集进行训练，得到深度学习的抛物行为检测模型。4.根据权利要求3所述的基于视频的深度学习抛物行为检测方法，其特征在于，所述人工在具有抛物行为的图像上进行分类标注的标注分类包括：人类、人类头颅、被抛包裹和误检抛物物体。5.根据权利要求3所述的基于视频的深度学习抛物行为检测方法，其特征在于，还包括基于所述被抛包裹的信息组中提取分析得到：被抛包裹的起始点、被抛包裹的终点、被抛包裹的运动轨迹、人类信息、人类头颅信息和被抛包裹的角度信息。6.根据权利要求5所述的基于视频的深度学习抛物行为检测方法，其特征在于，所述基于所述信息组对每个对应的被抛包裹进行抛物分析，锁定抛物人员包括：通过被抛包裹起始点到被抛包裹终点的多帧人物信息记录，汇总平均得到平均人物身体宽度；判断是否存在在人物中心点不超过所述平均人物身体宽度的范围，与在被抛包裹起始点中心重合的人物；若存在，则判断该人物为抛物人员；若不存在，则判断抛物人员不在画面内。
7.根据权利要求5所述的基于视频的深度学习抛物行为检测方法，其特征在于，所述根据预设距离角度算法，基于抛物人员和被抛包裹的距离信息、被抛包裹与图像中心的角度信息，以及拍摄相机倾斜的角度信息，计算得到包裹抛物信息包括：基于人物头部像素宽度，通过三角数学公式，判断人物和抛物包裹终点的距离，得到初步距离值；基于所述初步距离值、被抛包裹与图像中心的角度信息和拍摄相机倾斜的角度信息，判断被抛包裹的实际角度变化，对初步距离值进行比例调节，得到真实距离值；基于所述真实距离值，得到包括抛物等级信息和抛物距离信息的包裹抛物信息。8.根据权利要求7所述的基于视频的深度学习抛物行为检测方法，其特征在于，还包括基于所述真实距离值和所述深度学习抛物行为检测模型进行误检排查，所述误检排查包括：识别移动包裹轨迹角度变化情况，当移动包裹轨迹角度无变化时，则确定为在包裹在平移车辆内或移动传送带上，判断包裹不是被抛包裹；识别被抛包裹的起始、中间件和结束的包裹中心点距离人物中心点的综合距离，当包裹始终处于人物的周边位置没有抛出，则确定为搬运行为，判断包裹不是被抛包裹；通过人工标记误检抛物信息，生成误检标注数据集，经所述深度学习的抛物行为检测模型训练后，通过深度学习的抛物行为检测模型判断包裹是否为被抛包裹。

技术总结
本申请涉及一种基于视频的深度学习抛物行为检测方法，针对深度学习选择框架，制作抛物行为检测需要的数据集，然后在框架中，对深度学习的算法选择以及调参，模型的迭代和训练，得到深度学习的抛物行为检测模型，再将模型挂载至视频流检测系统，通过视频流检测系统和距离角度分析算法，对抛物人员进行锁定，并且计算距离和角度，判断抛物等级后上传至企业数据管理平台。整个过程节省人力和时间成本，误判率低，并且只要有一定的原始数据，自动的分析学习提取迭代出需要的模型，从而轻松实现全国大范围的拓展。同时，基于深度学习识别到抛物行为数据，可以进行二次开发得到更深度的信息，方便企业相关人员对抛物信息的跟深层次的掌握。的掌握。的掌握。


技术研发人员：李继承 汤斐 叶方义
受保护的技术使用者：上海中通吉网络技术有限公司
技术研发日：2021.08.06
技术公布日：2021/10/18