基于时序约束的枪支验枪红线动作智能检测方法及系统与流程
本发明涉及智能视频监控领域,尤其涉及基于时序约束的枪支验枪红线动作智能检测方法及系统。
背景技术:
1、在综合警务及反恐实战训练基地中,92改手枪射击训练前的标准化验枪是规避枪支走火、杜绝枪械安全事故的核心前置流程。目前,针对验枪过程中违规红线动作的监督主要依赖人工教官现场全程监督模式。该模式下,训练基地需安排专职教官对参训警员进行一对一或一对多的现场旁站,通过肉眼观察警员验枪全过程,识别手指进入扳机护圈、枪口指向手部等违规红线动作,并以口头方式进行现场纠偏。
2、随着人工智能技术的发展,部分现有技术提出了基于标准动作数据库全帧比对的视觉检测方案,部分现有技术采用基于标准动作数据库的全帧比对视觉检测方案,但该方案需逐帧与海量标准样本进行特征匹配,算力开销极高,多路并发实时性差;其仅进行画面视觉特征比对,未建立验枪流程的阶段约束关系,无法区分同一动作在不同阶段的合规性差异,误报、漏报率极高;同时缺乏防抖与时序平滑机制,单帧检测偏差即触发报警,抗干扰能力弱;此外,该方案未联动枪支细分部件检测,亦无法自动截取违规帧、生成标准化事件日志及实时推送预警消息,缺少完整的数字化监督与取证能力。
技术实现思路
1、针对现有技术的不足,本发明提供了基于时序约束的枪支验枪红线动作智能检测方法及系统,解决了以上问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:基于时序约束的枪支验枪红线动作智能检测方法,包括以下步骤:
3、s1、获取警员验枪视频流,基于ffmpeg逐帧解码获取bgr格式图像;
4、s2、将每帧图像并行输入通用yolo目标检测模型和obb旋转框检测模型进行联合推理,其中,所述通用yolo目标检测模型用于识别手、弹匣、握把、保险开合状态、套筒伸缩状态、手指是否进入护圈、击锤待击/释放状态共11类目标,所述obb旋转框检测模型用于检测套筒并输出倾斜检测框的四个顶点坐标;
5、s3、对推理结果执行三层过滤优化:同类目标择优保留置信度最高检测框、互斥类别筛选每组仅保留最优状态、基于枪支物理规则修正检测结果;
6、s4、基于滑动窗口对保险、套筒、手指、击锤状态进行多帧投票时序平滑,并结合空间几何约束进行红线动作判定,其中,所述空间几何约束包括:基于套筒obb倾斜检测框构建枪口射线并检测与手部检测框的相交关系以判定枪口指向手,以及基于套筒obb倾斜检测框向后延展构建套筒尾部危险矩形区域并计算与手部检测框的交并比以判定手部是否位于套筒正后方;
7、s5、基于有限状态机构建验枪流程时序管控,将标准化验枪流程依次划分为拆卸弹匣、打开保险、第一次拉套筒、第二次拉套筒、举枪瞄准并朝安全区域射击、将击锤由释放状态扳至待击发状态、关闭保险、弹匣复位八个阶段,各阶段独立配置禁止红线动作集合,仅当检测到当前阶段对应的红线动作且该动作持续帧数超过预设防抖阈值时,判定为有效违规;
8、s6、对判定为有效违规的红线动作进行分阶段去重,同一阶段同一红线动作仅首次触发自动截取违规帧、编码上传至minio对象存储并生成可访问图片url作为违规凭证;
9、s7、通过sse长连接向前端实时推送标准化事件,所述标准化事件包括阶段开始、阶段完成、红线动作预警、心跳保活、全流程完成及视频流结束事件。
10、优选的,所述八个阶段禁止的红线动作包括:手指进入扳机护圈、违规打开保险、违规关闭保险、违规拉套筒、将击锤由释放状态扳至待击发状态、将击锤由待击发状态变为释放状态、手部位于套筒正后方、枪口指向手。
11、优选的,所述基于枪支物理规则修正检测结果包括:当检测到套筒处于拉伸状态时,强制修正保险状态为打开状态;所述互斥类别筛选包括:对保险开合、套筒伸缩、手指进出护圈、击锤待击/释放四组互斥检测类别,每组仅保留置信度最高的单一状态。
12、优选的,所述基于套筒obb倾斜检测框向后延展构建套筒尾部危险矩形区域具体为:以套筒obb倾斜检测框中连接枪口边与尾部边的侧边长度为基准,自尾部边起沿远离枪口方向向后延展该侧边长度的三分之一,生成尾部危险矩形区域;当所述尾部危险矩形区域与手部检测框的交并比不小于0.5时,判定手部位于套筒正后方。
13、优选的,所述基于有限状态机构建验枪流程时序管控中,各阶段完成判定逻辑包括:拆卸弹匣阶段基于弹匣检测框与握把检测框的交并比由零变为大于零再变为零的状态变化序列判定完成;打开保险阶段基于保险状态由关闭变为打开的切换判定完成;拉套筒阶段基于套筒检测类别经历未拉伸至拉伸再恢复未拉伸的状态变化序列判定完成;瞄准射击阶段基于手指进入护圈且击锤由待击发状态变为释放状态的组合条件判定完成;击锤扳至待击发状态阶段基于击锤由释放状态变为待击发状态的切换判定完成;关闭保险阶段基于保险状态由打开变为关闭的切换判定完成;弹匣复位阶段基于弹匣检测框与握把检测框的交并比由零变为大于零再变为零的状态变化序列判定完成。
14、基于时序约束的枪支验枪红线动作智能检测系统,包括:
15、视频解码模块,所述视频解码模块用于基于ffmpeg对警员验枪视频流进行逐帧解码,输出bgr格式图像;
16、ai推理模块,包括通用yolo目标检测子模块和obb旋转框检测子模块,所述通用yolo目标检测子模块用于对每帧图像识别手、弹匣、握把、保险开合状态、套筒伸缩状态、手指是否进入护圈、击锤待击/释放状态共11类目标,所述obb旋转框检测子模块用于检测套筒并输出倾斜检测框的四个顶点坐标;
17、结果过滤模块,所述结果过滤模块用于对推理结果执行同类目标择优、互斥类别筛选及枪支物理规则修正三层过滤优化;
18、时序平滑与几何校验模块,所述时序平滑与几何校验模块用于基于滑动窗口对保险、套筒、手指、击锤状态进行多帧投票时序平滑,并基于套筒obb倾斜检测框构建枪口射线及套筒尾部危险矩形区域,通过射线相交检测和交并比计算进行空间几何危险判定;
19、有限状态机管理模块,所述有限状态机管理模块用于将标准化验枪流程划分为八个阶段,各阶段独立配置禁止红线动作集合,结合防抖帧计数进行分阶段红线动作判定;
20、违规取证模块,所述违规取证模块用于对有效违规动作进行分阶段去重,同一阶段同一红线动作仅首次触发自动截取违规帧并上传至minio对象存储生成违规凭证;
21、消息推送模块,所述消息推送模块用于通过sse长连接向前端实时推送包含阶段开始、阶段完成、红线动作预警、心跳保活、全流程完成及视频流结束的标准化事件。
22、优选的,所述有限状态机管理模块内置当前阶段变量和动作完成标记字典,所述当前阶段变量随验枪流程推进在八个阶段间顺序流转,所述动作完成标记字典用于记录各阶段完成状态;各阶段独立维护违规动作集合,实现同阶段同类型红线动作的去重告警。
23、优选的,所述时序平滑与几何校验模块中,枪口射线构建方式为:以套筒obb倾斜检测框靠近尾部一边的中点为起点,以靠近枪口一边的中点为方向参考点,生成贯穿套筒的射线,若该射线与手部检测框相交则判定枪口指向手。
24、优选的,还包括后台异步线程调度模块,所述后台异步线程调度模块创建心跳保活线程和检测主线程,所述心跳保活线程以预设周期向消息队列推送心跳包以维持sse长连接,所述检测主线程独立执行视频解码、ai推理、状态机判定及违规取证逻辑,实现视频解码、ai推理、消息推送与文件存储的并行运行。
25、优选的,所述标准化事件中的红线动作预警事件携带任务标识、时间戳、当前验枪阶段编号、红线动作类型编码及minio存储的违规帧图片访问url;所述消息推送模块基于fastapi框架构建sse服务端,通过消息队列缓存待推送事件并由事件生成器循环读取封装为标准sse数据流持续推送至前端,任务结束后自动断开长连接。
26、有益效果
27、本发明提供了基于时序约束的枪支验枪红线动作智能检测方法及系统。与现有技术相比具备以下有益效果:
28、1、本发明中,通过采用轻量化双yolo模型仅针对枪支关键部件及手部目标进行局部检测,结合ffmpeg流式解码与多线程异步解耦架构,单帧全链路处理耗时可控制在43ms以内,单台普通服务器即可稳定支撑8路高清视频流并发实时分析,预警延迟低至118ms,大幅降低了硬件部署门槛与算力成本;同时,通过有限状态机绑定验枪流程时序阶段,叠加互斥目标择优、枪支物理规则修正、滑动窗口时序平滑、连续帧防抖计数及空间几何约束五层校验机制,有效区分了同一动作在不同阶段的合规性差异,过滤了光线变化、摄像头抖动、手部遮挡及模型瞬时偏差带来的无效报警,整体漏报率仅为1.07%,复杂干扰场景下误报极少,显著提升了警务训练现场实时风险预警的可靠性与准确性;
29、2、本发明中,以机器判定完全替代人工教官旁站监督,不仅大幅释放了警力资源、降低了人力成本,更彻底消除了因参训警员职级高于现场教官而导致的不敢纠偏、监督失效等管理盲区,确保所有违规红线动作均被无差别实时预警;检测到有效违规时,系统自动截取违规帧并上传至minio分布式存储,同步记录时间戳、验枪阶段、红线动作类型编码及可访问图片url,形成不可篡改的电子化训练档案,便于后期复盘追溯与考核评分;基于sse长连接向前端持续推送结构化标准化事件,可直接对接警务训练管理平台,实现大屏实时监控与警员训练数据统计的数字化管理;整套方案依赖通用开源组件、轻量化易部署,能够从源头精准识别枪口指向手部、手部置于套筒正后方等高危红线动作,及时制止危险操作,有效降低92改手枪验枪环节枪支走火及人员伤害事故的发生概率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com