基于历史录像的视频目标批量异步检测方法及系统与流程

本发明涉及图像识别，尤其涉及基于历史录像的视频目标批量异步检测方法及系统。

背景技术：

1、随着视频监控设备、网络存储设备和人工智能识别技术的发展，视频监控系统已广泛应用于园区管理、道路交通、社区安防、仓储物流、工厂生产、消防监管和公共场所管理等场景。上述场景通常布设有大量摄像机，用于连续采集人员活动、车辆通行、区域出入、烟火状态和现场秩序等视频信息。视频数据除用于实时预览和实时告警外，还需要在事件复核、责任追溯、异常排查和历史风险分析过程中被再次读取和处理。

2、在实际应用中，监控平台通常按照摄像头点位、录像日期、存储路径和时间索引保存历史录像。当管理人员需要排查某一时间段内是否存在人员进入、车辆停留、烟火出现、区域越界或人员聚集等事件时，可以通过平台选择摄像头点位和时间范围，读取对应历史录像内容。对于录像时间较短、摄像头数量较少的场景，人工回看能够完成基本核查；但在摄像头数量多、录像时间跨度长或核查事件类型较多的情况下，人工逐段查看录像需要消耗较多时间，且容易受到人员经验、注意力和重复劳动强度的影响。

3、为降低人工回看压力，相关视频分析平台开始将目标检测、行为识别和事件识别等人工智能模型应用于历史录像处理过程。常见处理方式是先从录像存储系统中读取历史录像，根据设定时间窗口确定待分析录像范围，再按照固定时间长度将录像划分为多个录像片段；随后对各录像片段进行抽帧，将抽取得到的视频帧或图像序列提交至人工智能推理服务，由模型对人员、车辆、烟火、越界和聚集等目标或事件进行识别；最后将模型输出的检测框、事件类型、置信度、帧时间戳、摄像头标识和录像时间段等结果写入告警数据库或事件记录表中，以供后续查询、统计和复核。

4、例如公告号为：cn114332734b的中国发明专利公开的目标检测方法包括：对目标视频进行预处理，将目标视频分成k个等长的视频单元；将视频单元切分成连续的视频帧，并对视频帧进行稀疏采样，得到视频帧的rgb图像；根据连续的rgb图像生成三组热图；通过置信度分数从三组热图上分别选取n个左上角点、右下角点和中心关键点；通过计算左上角点和右下角点的嵌入向量距离来判断左上角点和右下角点是否属于同一个物体；在检测到属于同一个物体后，通过计算左上角点和右下角点的偏移量来筛选目标边界框；通过检测目标边界框中的中心关键点来确定是否保留目标边界框；输出保留的目标边界框的坐标信息和目标类别。

5、发现上述技术至少存在如下技术问题：

6、在历史录像批量异步检测过程中，现有方式通常按照固定时间片段和固定抽帧间隔生成待推理帧，并批量写入异步推理队列。该方式未充分考虑录像片段内画面变化程度、事件持续时间以及推理队列当前承载状态之间的差异。当录像内容长期平稳时，固定抽帧容易产生较多低价值待推理帧，占用队列容量和模型计算资源；当人员越界、车辆停留、烟火出现等短时事件发生时，又可能因抽帧间隔较大而错过关键帧。

7、同时，历史录像批量检测任务通常与实时视频检测任务共用推理服务。现有方式在提交历史录像待推理帧时，缺少对队列积压量、推理完成能力、允许新增排队时长及实时任务保护需求的综合约束，容易造成异步推理队列积压，甚至挤占实时检测任务资源；若单纯降低历史录像抽帧密度，又会增加短时变化事件漏检风险。因此，现有历史录像批量异步检测方式难以兼顾短时事件关键帧保留和推理队列拥塞控制。

技术实现思路

1、为了解决现有技术存在的固定抽帧难以兼顾事件漏检风险和推理资源负载的技术问题，本发明实施例提供了基于历史录像的视频目标批量异步检测方法及系统。技术方案如下：

2、一方面，提供了基于历史录像的视频目标批量异步检测方法，应用于历史录像智能分析平台，历史录像智能分析平台用于对视频监控系统中已存储的历史录像进行抽帧、异步推理和检测结果回填，包括：接收历史录像检测请求，按片段时长将待检测时间窗口切分为连续录像片段；按预览抽帧间隔解码预览帧，计算相邻预览帧变化像素占比，并根据相邻预览帧变化像素占比与变化像素占比阈值标记变化片段或平稳片段；根据异步推理队列的当前待推理帧数、单位时间已完成推理帧数和允许新增排队时长计算理论可接收帧数，并结合实时任务保护容量得到当前有效可接收帧数；根据当前有效可接收帧数得到最终待推理帧时间点；根据最终待推理帧时间点解码图像帧并写入异步推理队列执行检测。

3、另一方面，提供了基于历史录像的视频目标批量异步检测系统，应用于历史录像智能分析平台，历史录像智能分析平台用于对视频监控系统中已存储的历史录像进行抽帧、异步推理和检测结果回填，包括：片段记录生成模块，用于接收历史录像检测请求，按片段时长将待检测时间窗口切分为连续录像片段；预览变化标记模块，用于按预览抽帧间隔解码预览帧，计算相邻预览帧变化像素占比，并根据相邻预览帧变化像素占比与变化像素占比阈值标记变化片段或平稳片段；队列容量确定模块，用于根据异步推理队列的当前待推理帧数、单位时间已完成推理帧数和允许新增排队时长计算理论可接收帧数，并结合实时任务保护容量得到当前有效可接收帧数；负载约束抽帧模块，用于使变化片段采用最小抽帧间隔、平稳片段采用基础抽帧间隔，并在预计待推理帧数大于当前有效可接收帧数时增大平稳片段抽帧间隔或仅保留首尾帧；异步推理执行模块，用于根据最终待推理帧时间点解码图像帧，并将图像帧写入异步推理队列执行检测。

4、本发明实施例提供的技术方案带来的有益效果至少包括：

5、通过在历史录像正式推理前先按片段时长生成连续录像片段，并利用预览帧计算相邻预览帧变化像素占比，能够在较低解码和计算成本下先区分变化片段和平稳片段，避免所有历史录像片段均按照相同抽帧密度进入推理队列，从而减少平稳录像内容产生的低价值待推理帧。

6、通过根据异步推理队列的当前待推理帧数、单位时间已完成推理帧数和允许新增排队时长确定理论可接收帧数，并结合实时任务保护容量得到当前有效可接收帧数，能够使历史录像批量检测任务的提交数量受到推理队列承载状态约束，降低历史录像任务集中提交造成队列积压以及挤占实时检测任务资源的风险。

7、通过使变化片段采用较小抽帧间隔、平稳片段采用较大抽帧间隔，并在预计待推理帧数超过当前有效可接收帧数时优先增大平稳片段抽帧间隔或仅保留平稳片段首尾帧，能够在队列容量受限时优先压缩低变化片段的推理帧数量，尽量保留变化片段的检测密度，从而兼顾推理资源控制和短时事件关键帧保留。

8、通过在变化片段仍然超出当前有效可接收帧数时，对变化片段按照检测任务类型优先级、片段内最大变化像素占比和片段开始时间进行排序，并对短时事件保留时间段内的候选时间点优先提交，能够在历史录像任务无法一次性全部入队时优先处理事件风险较高的片段和时间范围，降低人员越界、车辆停留、烟火出现等短时事件被漏检的概率。

9、通过将推理结果按照摄像头点位、帧时间戳、检测任务类型和任务批次版本进行回填，并在重复任务或多目标结果场景下采用基础回填键、多版本回填键或单结果回填键进行区分，能够减少同一历史录像帧重复检测、重复回填或多目标结果覆盖造成的数据冲突，提高历史检测结果写入和追溯的一致性。

10、通过根据变化片段和平稳片段的实际有效检测结果反馈更新变化像素占比阈值，能够使后续批次的变化片段和平稳片段划分不再完全依赖初始阈值。当变化片段长期低命中时提高阈值以减少无效变化触发，当平稳片段中出现较多有效检测结果时降低阈值以提高低幅度事件变化的保留概率，从而形成预览变化标记与实际检测结果之间的闭环修正。