一种基于商超复杂环境的智能安防监控管理方法及系统与流程

本发明涉及智能安防监控，具体为一种基于商超复杂环境的智能安防监控管理方法及系统。

背景技术：

1、商超内部的安防监控通常依赖视频监控系统，依赖安保人员持续观察或利用运动检测、区域入侵等基础算法发现可疑事件。收银交易记录仅在支付环节独立使用，货架传感器数据多用于库存补货提醒，这些异构数据未以顾客为中心进行关联融合，形成信息孤岛，难以还原顾客从进店、选货到结算的完整行为链条。现有异常行为分析大多基于固定规则或从全体顾客数据中训练出的通用行为模型，忽视了不同顾客购物习惯的显著差异。部分顾客习惯较长的商品停留与反复对比，在通用模型中易被误标为异常，而真正具有安防意义的偏离行为又可能因不符预设模式而被遗漏，导致误报和漏报并存。在可疑行为标记后，安防人员需要手动从海量录像中回查涉事者的面部影像和行动路线，缺乏自动提取目标人脸序列与移动轨迹的机制，更无法预判其下一步移动方向，安防响应被动滞后，难以在复杂的商超环境中实现及时干预。本发明要解决的问题包括：如何将商超内多源异构的监控数据深度融合，为每一位顾客构建同时绑定身份标识与完整购物行为链的时空行为图谱，并基于该图谱实现以顾客自身历史行为基线的个性化偏离量化检测；以及如何在检测到偏离行为后，即时自动提取涉事顾客的人脸图像序列及移动轨迹，并通过轨迹预测其即将前往的区域，生成携带人脸特征与区域编号的预警指令，使安防终端能够进行主动接力跟踪，转变被动回溯的监控模式。

技术实现思路

1、本发明提供一种基于商超复杂环境的智能安防监控管理方法及系统，旨在解决现有商超安防中多源数据融合不足、缺乏基于个体历史行为基线的行为分析以及不能对涉事顾客进行主动轨迹预测与精准预警的问题，从而减少误报，压缩异常响应时延，提升安防管理的精准性与时效性。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种基于商超复杂环境的智能安防监控管理方法，包括：获取商超内部署的多源监控数据，所述多源监控数据包括视频流数据、收银交易记录及货架传感器数据；根据所述多源监控数据，构建关联顾客身份标识与购物行为链的时空行为图谱；基于所述时空行为图谱，通过对比实时行为序列与历史正常行为基线，检测偏离行为事件；根据所述偏离行为事件，从所述视频流数据中提取包含涉事顾客的人脸图像序列及移动轨迹；根据所述人脸图像序列及所述移动轨迹，生成针对所述涉事顾客的安防监控预警指令，并将所述预警指令发送至商超安防终端。通过融合视频、交易与货架传感数据构建时空行为图谱，能够准确还原顾客的完整购物行为链，使得行为异常检测不再依赖单一视角或局部信息，有效降低商超复杂环境下安防误报与漏报。以每位顾客的身份标识为节点，将商品结算清单、商品拿取动作序列及货架位置坐标沿时间轴串联，形成结构化的购物行为链，并能整合所有顾客的行为链为图谱，支撑后续精细化的个体行为比对。

3、作为本发明的一个技术方案，在构建时空行为图谱时，从视频流数据中提取各顾客的人脸特征和人体姿态特征并为每个顾客分配唯一的身份标识，从收银交易记录中提取每个身份标识对应的商品结算清单及结算时间戳，从货架传感器数据中获取每个身份标识对应的商品拿取动作序列及对应的货架位置坐标，以身份标识为节点，以结算时间戳和货架位置坐标为时空锚点，将商品结算清单、商品拿取动作序列及对应的货架位置坐标按照时间顺序连接，形成每个身份标识对应的购物行为链，将所有身份标识及对应的购物行为链进行图结构化整合，得到时空行为图谱。优选的，从货架传感器数据中获取拿取动作序列时，解析货架传感器数据，识别每个货架上的压力变化事件和红外遮挡事件，根据压力变化事件与红外遮挡事件的发生时间进行时间对齐匹配，确定商品拿取动作的起始时刻和结束时刻，并据此提取执行该动作的顾客对应的身份标识，将同一身份标识在预设时间窗口内的所有商品拿取动作按时间顺序排列得到商品拿取动作序列，并将每个商品拿取动作对应的货架编号转换为货架位置坐标。基于压力与红外双重感知的时间匹配，能够准确分割不同顾客的拿取动作，避免因多人同时操作货架造成的身份混淆，提升了商品拿取行为链的构建精度。

4、作为本发明的另一个技术方案，在检测偏离行为事件时，从时空行为图谱中提取当前顾客在当前时间窗内的实时行为序列，该实时行为序列包括当前顾客在各货架位置坐标的驻留时长、商品拿取顺序及拿取频次；根据当前顾客的身份标识，从时空行为图谱的历史记录中调取该顾客的历史行为基线，该历史行为基线包括该顾客在历史相同时段内的平均驻留时长、常规商品拿取顺序及常规拿取频次；计算实时行为序列与历史行为基线之间的行为差异度，该行为差异度通过各货架位置坐标上的驻留时长偏差、商品拿取顺序逆序数及拿取频次偏差加权求和得到；当行为差异度超过预设差异阈值时，将当前顾客的实时行为序列标记为偏离行为事件。如此，基于同一顾客自身的历史行为模式进行纵向对比，能够消除不同顾客间行为习惯差异带来的干扰，异常检测更具个性化，对隐蔽性异常行为的敏感度显著提高。优选的，调取历史行为基线时，根据当前顾客的身份标识从时空行为图谱的历史记录中检索过去三十天内同一小时段的所有历史行为记录，对各货架位置坐标的驻留时长进行平均化处理得到平均驻留时长，对商品拿取顺序进行序列比对并提取出现频率最高的商品拿取顺序作为常规商品拿取顺序，对各商品的拿取频次进行众数统计得到常规拿取频次，将平均驻留时长、常规商品拿取顺序和常规拿取频次组合为历史行为基线。通过限定时间段和统计处理，基线能够反映顾客稳定的周期性购物习惯，增强了偏离判断的可靠性。

5、在提取涉事顾客的影像轨迹数据时，根据偏离行为事件对应的时间窗和当前顾客的身份标识，从视频流数据中定位当前顾客在时间窗内出现的所有视频帧，从中提取包含人脸区域的图像帧并按时间顺序排列形成人脸图像序列，同时追踪当前顾客的人体检测框中心点在商超地图坐标系中的坐标变化生成移动轨迹，再将人脸图像序列与移动轨迹按帧时间戳进行对齐绑定。这种绑定方式实现了人脸图像与空间轨迹的同步关联，为后续精准追溯和预警提供了完整时空证据链。优选的，在生成移动轨迹的过程中，对定位到的每一帧视频帧执行人体检测算法获取人体检测框及其左下角像素坐标，根据人体检测框的宽度和高度计算中心点像素坐标，将中心点像素坐标乘以预先标定的单应性变换矩阵，得到中心点像素坐标在商超地图坐标系中对应的地图坐标，并将每一帧的时间戳与对应的地图坐标按时间顺序连接生成移动轨迹。其中，坐标转换包括获取商超监控摄像头的内参矩阵和畸变系数对中心点像素坐标进行去畸变处理得到归一化坐标，将去畸变后的归一化坐标转换为齐次坐标形式，与单应性变换矩阵进行矩阵乘法运算得到齐次地图坐标，再除以齐次分量得到地图坐标。经过畸变校正和单应性变换，能够将不同摄像头视角下的图像坐标统一映射至商超地图坐标系，消除镜头畸变和透视变化带来的定位误差，使移动轨迹更加平滑、空间位置更精确。

6、在生成安防监控预警指令时，从人脸图像序列中选取置信度最高的人脸图像作为基准人脸图像，根据移动轨迹计算涉事顾客在当前时刻之后的预测移动方向及预测到达区域，以基准人脸图像和预测移动方向为参数，生成包含涉事顾客的人脸特征编码和区域编号的安防监控预警指令，并将其发送至商超安防终端，由商超安防终端根据区域编号调用对应监控摄像头进行跟踪拍摄。优选的，计算预测移动方向和到达区域的过程为：从移动轨迹中提取最近五个轨迹点的地图坐标及对应的时间戳，进行线性拟合得到拟合直线的方向向量作为预测移动方向，并根据拟合直线在商超地图坐标系中的延长线与商超各区域边界的交点确定候选区域，从中选取与当前轨迹点距离最近的一个区域作为预测到达区域。通过轨迹拟合和区域预测，预警指令可提前调度相关区域的摄像头资源，实现对可疑顾客的主动接力跟踪，避免因人员移动出当前摄像头视野而丢失目标。

7、本发明还提供一种基于商超复杂环境的智能安防监控管理系统，包括存储器、处理器以及存储在存储器中并在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述基于商超复杂环境的智能安防监控管理方法的步骤。该系统能够充分利用商超已有监控、交易和货架传感设备，实现数据驱动的自动化异常行为检测与预警，提升安防响应速度和精准度。

8、在上述技术方案中，本发明提供的技术效果和优点：

9、获取商超内部署的视频流数据、收银交易记录和货架传感器数据，从视频流中提取人脸特征与人体姿态特征为每位顾客分配唯一身份标识，将收银交易记录中的商品结算清单与结算时间戳、货架传感器数据中的商品拿取动作序列及货架位置坐标，以身份标识为主线按时间顺序连接，形成每个顾客对应的购物行为链，并对所有顾客的行为链进行图结构化整合，构建时空行为图谱。由此将原本割裂的视觉影像、交易支付与货架触感数据统一为以顾客为中心的连贯购物行为记录，完整呈现顾客从入店到选购再到结算的全链路行为，为后续个性化分析提供一体化的数据结构。

10、进一步，从时空行为图谱中提取当前顾客在当前时间窗内的实时行为序列，该序列包含顾客在各货架位置的驻留时长、商品拿取顺序与拿取频次，同时根据该顾客的身份标识调取其历史记录中过去三十天内同一时段在各货架的平均驻留时长、出现频率最高的常规拿取顺序以及众数统计得到的常规拿取频次，构成该顾客专属的历史行为基线。计算实时行为序列与历史行为基线之间由驻留时长偏差、商品拿取顺序逆序数及拿取频次偏差加权求和得到的行为差异度，当差异度超过预设阈值时标记为偏离行为事件。以顾客自身在相似时段内的惯常行为作为判定标准，能有效过滤因个人选购风格造成的自然行为波动，仅当行为模式显著偏离自身习惯时才触发报警，大幅减少通用模型带来的误报，使异常判定的结果更加贴近实际安防需求。

11、在将实时行为序列标记为偏离行为事件后，根据事件对应的时间窗和当前顾客身份标识，从视频流数据中定位该顾客出现的所有视频帧，提取包含其人脸区域的图像帧按时间顺序生成人脸图像序列，同时追踪人体检测框中心点在商超地图坐标系中的坐标变化，通过去畸变和单应性变换得到地图坐标并生成移动轨迹，将人脸图像序列与移动轨迹按帧时间戳对齐绑定。选取置信度最高的人脸图像作为基准，对移动轨迹中最近多个轨迹点进行线性拟合，将拟合直线的方向向量作为预测移动方向，并根据该方向延长线与商超各区域边界的交点确定预测到达区域，生成包含人脸特征编码和区域编号的安防监控预警指令发送至商超安防终端。该方式在偏离事件被识别的瞬间即自动完成涉事顾客的影像证据提取和移动轨迹计算，同时输出其下一步预计到达的区域，安防终端可根据区域编号直接调用对应摄像头进行接力跟踪拍摄，将传统被动式录像事后查找转换为主动式目标预判追踪，压缩了从发现异常到锁定行为人的响应延迟，使得商超复杂环境下的安防处置更加即时精准。