基于参考背景约束与多模态排序的监控视频分层存储方法及系统
本申请涉及计算机视觉与视频监控,具体而言,涉及基于参考背景约束与多模态排序的监控视频分层存储方法及系统。
背景技术:
1、监控视频已成为公共安全与社会治理的重要基础设施。随着摄像机部署规模扩大、视频分辨率提升及留存周期延长,连续录像产生的数据量呈指数级增长,对存储系统的容量与成本构成持续压力。分层存储通过将不同价值的视频数据分配至不同性能的存储介质,可在保障关键证据可回溯的前提下降低总体存储开销,因此被广泛视为一种有效的应对策略。然而,分层存储的有效性高度依赖于前置筛选环节能否准确识别具有长期保存价值的视频内容,否则无效数据仍会占用高层级存储资源,削弱分层策略的实际收益。
2、现有监控系统通常依赖运动检测技术触发录像或生成候选片段,以此作为筛选存储内容的主要手段。但实际场景中,光照变化、阴影投射、背景物体扰动及摄像机微抖动等因素均可触发运动检测,导致大量不涉及人员或电动自行车有效状态变化的无效片段被误判为有价值内容并进入存储链路。这种“有运动即存储”的粗放筛选方式,使得大量无效视频占据存储资源,而真正需要关注的事件反而被淹没在海量录像中。
3、因此,如何在保留完整有效事件证据的前提下,面向固定监控场景对运动候选片段进行筛选,并据此建立紧凑、便于快速调阅的事件表示,是本领域亟待解决的技术问题。
技术实现思路
1、本申请提供了基于参考背景约束与多模态排序的监控视频分层存储方法及系统,以解决上述技术问题。
2、本申请提供了基于参考背景约束与多模态排序的监控视频分层存储方法,包括:按照预设采样策略为监控视频对应的各候选片段确定多个采样时刻,获取与各采样时刻对应的采样帧,根据与各候选片段对应的参考背景帧以及各候选片段的各采样帧,构造与各采样帧对应的局部变化区域;其中,所述预设采样策略包括:针对每一候选片段,以该候选片段的首帧为该候选片段的参考背景帧,并基于该候选片段的参考背景帧在该候选片段内以相同帧间隔确定多个采样时刻;根据各候选片段的各采样时刻对应的局部变化区域,确定各采样时刻的判定结果;其中,所述判定结果用于指示人员的有效状态变化和/或电动自行车的有效状态变化;根据各候选片段内多个采样时刻的判定结果,确定有效事件集合,对所述有效事件集合构建候选帧集合;提取所述候选帧集合中各候选帧的视觉特征及语义特征;基于各候选帧的视觉特征及语义特征,对各候选帧进行价值排序以确定中心代表帧;将所述有效事件集合对应的视频数据确定为存储数据,并基于所述中心代表帧确定所述存储数据的事件索引。
3、本申请提供了基于参考背景约束与多模态排序的监控视频分层存储系统,包括:构造模块,用于按照预设采样策略为监控视频对应的各候选片段确定多个采样时刻,获取与各采样时刻对应的采样帧,根据与各候选片段对应的参考背景帧以及各候选片段的各采样帧,构造与各采样帧对应的局部变化区域;其中,所述预设采样策略包括:针对每一候选片段,以该候选片段的首帧为该候选片段的参考背景帧,并基于该候选片段的参考背景帧在该候选片段内以相同帧间隔确定多个采样时刻;判定模块,用于根据各候选片段的各采样时刻对应的局部变化区域,确定各采样时刻的判定结果;其中,所述判定结果用于指示人员的有效状态变化和/或电动自行车的有效状态变化;候选帧确定模块,用于根据各候选片段内多个采样时刻的判定结果,确定有效事件集合,对所述有效事件集合构建候选帧集合;中心代表帧确定模块,用于提取所述候选帧集合中各候选帧的视觉特征及语义特征;基于各候选帧的视觉特征及语义特征,对各候选帧进行价值排序以确定中心代表帧;分层存储模块,用于将所述有效事件集合对应的视频数据确定为存储数据,并基于所述中心代表帧确定所述存储数据的事件索引。
4、本申请中,通过为监控视频对应的各候选片段确定多个采样时刻并获取对应采样帧,并结合与各候选片段对应的参考背景帧构造各采样帧的局部变化区域,使后续分析能够聚焦于画面中相对于固定场景产生实际变化的局部区域,而非对整幅监控画面进行无差别处理,从而避免了大面积稳定背景对目标状态判断的干扰,提高了固定监控场景下有效状态变化识别的准确性;在此基础上,根据各采样时刻的局部变化区域确定是否存在人员的有效状态变化和/或电动自行车的有效状态变化,将筛选依据从通用的“像素运动”限定为特定语义目标相对于其进入场景前参考状态的变化,使得光照变化、阴影投射、背景物体扰动及摄像机微抖动等不涉及人员或电动自行车实际状态变化的环境干扰因素无法通过判定,从而解决了现有技术中运动检测粗放导致大量无效片段进入存储链路、削弱分层存储收益的技术问题。
5、根据候选片段内多个采样时刻的判定结果确定有效事件集合,并构建候选帧集合,实现了从连续视频流中精准提取完整有效事件片段的功能;通过提取候选帧集合中各候选帧的视觉特征及语义特征,基于融合特征对各候选帧进行价值排序以确定中心代表帧,使中心代表帧的选取不再依赖运动强度、清晰度等通用视觉准则,而是面向监控场景中人员身份表征、衣着外观、电动自行车车型特征及人与车之间的交互关系等辨识线索进行综合价值评估,确保所选代表帧在监控信息层面具有较高的信息含量;进而将有效事件集合对应的视频数据确定为存储数据,并基于中心代表帧确定存储数据的事件索引,使得每一有效事件在完整存储以保留全部证据信息的同时,具备对应其信息价值最高时刻的紧凑索引表示,后续调阅时首先通过中心代表帧进行快速浏览与筛选,无需逐帧检索完整事件内容,从而在保留完整证据链的前提下显著降低了人工复核的检索负担。
1.基于参考背景约束与多模态排序的监控视频分层存储方法,其特征在于,包括:
2.根据权利要求1所述的基于参考背景约束与多模态排序的监控视频分层存储方法,其特征在于,所述根据与各候选片段对应的参考背景帧以及各候选片段的各采样帧,构造与各采样帧对应的局部变化区域,包括:
3.根据权利要求1所述的基于参考背景约束与多模态排序的监控视频分层存储方法,其特征在于,所述根据各候选片段的各采样时刻对应的局部变化区域,确定各采样时刻的判定结果,包括:
4.根据权利要求3所述的基于参考背景约束与多模态排序的监控视频分层存储方法,其特征在于,
5.根据权利要求1所述的基于参考背景约束与多模态排序的监控视频分层存储方法,其特征在于,所述根据各候选片段内多个采样时刻的判定结果,确定有效事件集合,包括:
6.根据权利要求3所述的基于参考背景约束与多模态排序的监控视频分层存储方法,其特征在于,对所述有效事件集合构建候选帧集合,以及提取所述候选帧集合中各候选帧的视觉特征及语义特征,包括:
7.根据权利要求6所述的基于参考背景约束与多模态排序的监控视频分层存储方法,其特征在于,所述基于各候选帧的视觉特征及语义特征,对各候选帧进行价值排序以确定中心代表帧,包括:
8.根据权利要求7所述的基于参考背景约束与多模态排序的监控视频分层存储方法,其特征在于,在根据所述原始分数对各候选帧进行价值排序之后,所述方法还包括:
9.根据权利要求1所述的基于参考背景约束与多模态排序的监控视频分层存储方法,其特征在于,所述基于所述中心代表帧确定所述存储数据的事件索引,包括:
10.基于参考背景约束与多模态排序的监控视频分层存储系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com