一种基于视觉意图预测的混合现实出入校管控方法及系统与流程

本发明属于智慧校园安防，具体涉及一种基于视觉意图预测的混合现实出入校管控方法及系统。

背景技术：

1、随着智慧校园建设持续推进，校园出入口已由单一刷卡放行场景演变为融合视频感知、身份核验、告警联动与通行控制的复合安防场景。该类场景具有人流密集、行为切换快、身份类型复杂以及风险前兆持续时间短的特点。仅依赖静态身份核验，难以识别“身份已通过但行为异常”的风险对象；仅依赖门禁开闭结果或越界结果，又难以及时发现尾随、试探、逆向折返及未授权闯入等通行前风险，容易造成门禁误开、处置滞后以及人工复核压力上升。

2、现有方案中，一类方法侧重于出入口事件规则监测与风险分级。例如中国专利cn202610750920.8公开了一种校园内车辆出入的智能监测与预警方法，其主要围绕区域速度、停留时长和风险区间进行分级预警。该类方法更适用于基于区域结果态的监管任务，但对于校园闸机场景中人员接近方向、通行准备动作以及多人近距尾随关系缺乏细粒度建模能力，因而难以在通行动作发生前完成前置干预，进而增加现场误判和漏判风险。

3、另一类方法侧重于视频异常分析与访客行为比对。例如中国专利cn202610365723.4公开了一种基于视频分析的智慧校园安防管控方法及系统，中国专利cn202610052644.8公开了一种融合安防监控与访客管理的校园安全控制系统。该类方法通常基于图像序列、历史轨迹或行为基线对异常进行识别，能够提高事后分析能力，但其风险判断往往建立在异常片段已形成或轨迹偏离已累积的基础上，对于出入口场景中亚秒级的前探、贴靠、回撤和尾随准备等意图形成阶段缺乏直接建模机制，难以将识别结果直接转化为门禁执行前的控制动作。这会导致高峰通行时段中风险对象仍可能在闸机动作已触发后才被发现，从而增加通道误开及安保处置延迟。

4、此外，现有视频安防方案大多在二维图像像素坐标系内完成检测、跟踪和告警，不同固定视角摄像头下同一动作的像素表现差异较大，导致特征分布受安装高度、俯仰角、通道宽度及遮挡程度影响明显，部署时需要频繁调参，增加了工程落地成本。与此同时，传统告警通常通过后台弹窗、值守屏提示或声光提醒承载，值守人员仍需在监控画面与现场人群之间进行二次匹配，难以快速确定具体风险对象和处置位置，进而降低现场联动效率。

技术实现思路

1、本发明的目的在于提供一种基于视觉意图预测的混合现实出入校管控方法及系统，以解决现有技术中缺少对通行前意图形成阶段的连续状态建模、身份核验链路与行为判别链路相互分离以及告警结果难以与闸机实际空间位置直接绑定而导致的前置干预不足、门禁误开和现场处置效率下降的问题。为实现上述目的，本发明提供一种基于视觉意图预测的混合现实出入校管控方法，包括：

2、步骤s1，基于已标定固定视角摄像头采集的连续视频帧，构建闸机对齐的人体通行意图状态张量；

3、步骤s2，基于所述人体通行意图状态张量和身份核验结果，生成融合身份与行为的视觉意图风险分数；

4、步骤s3，基于所述视觉意图风险分数，生成空间绑定的全息预警标签；

5、步骤s4，依据所述视觉意图风险分数和所述全息预警标签，执行门禁动作管控与混合现实联动输出。

6、优选的，构建闸机对齐的人体通行意图状态张量包括：对所述连续视频帧执行人体姿态提取，得到各目标在连续时间窗内的二维骨骼关键点序列，并读取闸机参考端点和闸机物理宽度；基于所述闸机参考端点建立以闸机横向和法向为基向量的闸机对齐归一化坐标系，将所述二维骨骼关键点序列映射到所述闸机对齐归一化坐标系，并结合所述闸机物理宽度转换为米制局部坐标；基于所述米制局部坐标，按照双肩中点、双髋中点和足踝关键点提取人体质心轨迹、推进速度、侧向贴靠速度、躯干朝向一致度、足踝前探量、足踝前探差分和当前质心法向距离，得到单体姿态特征矩阵。

7、优选的，所述构建闸机对齐的人体通行意图状态张量，还包括：基于所述单体姿态特征矩阵中各目标的人体质心轨迹，计算相邻目标之间的法向距离差；基于所述米制局部坐标中各目标肩部关键点和髋部关键点的横向坐标，构建各目标的横向投影区间，并根据所述横向投影区间计算相邻目标之间的横向投影重叠率；基于所述人体质心轨迹计算各目标的推进方向向量，并根据各目标的推进方向向量计算相邻目标之间的推进方向相似度；根据所述法向距离差、横向投影重叠率和推进方向相似度，结合预设距离衰减系数计算尾随耦合强度，并针对每个目标选取耦合强度最高的预设数量邻近目标形成逐帧尾随耦合向量；将所述逐帧尾随耦合向量与所述单体姿态特征矩阵按帧拼接，得到所述人体通行意图状态张量。

8、优选的，生成融合身份与行为的视觉意图风险分数包括：接收读卡器、访客预约平台和教职工库返回的身份核验结果，并将所述身份核验结果编码为静态身份约束向量，所述静态身份约束向量包括证件匹配状态、通行时段匹配状态、授权通道匹配状态和同行校验状态；基于当前目标的身份核验时刻，在前后预设时间窗内检索同一通道闸机前安全区中的相邻目标，并根据所述相邻目标的尾随耦合强度、独立身份核验结果和推进方向相似度确定所述同行校验状态；将所述静态身份约束向量扩展到时间维度后与所述人体通行意图状态张量拼接，得到融合输入张量，并将所述融合输入张量用于生成所述视觉意图风险分数。

9、优选的，所述生成融合身份与行为的视觉意图风险分数，还包括：将所述融合输入张量输入时序特征提取层，提取连续时间窗对应的隐藏状态序列；基于所述隐藏状态序列生成短窗隐藏状态；将所述短窗隐藏状态输入意图映射层，输出意图概率向量，所述意图概率向量对应正常通行、试探徘徊、逆向折返、尾随冲闸和未授权闯入。

10、优选的，所述生成融合身份与行为的视觉意图风险分数，还包括：获取预先存储的正常通行样本隐藏状态中心和预设尺度参数；计算所述短窗隐藏状态与所述正常通行样本隐藏状态中心之间的距离；根据所述距离和所述预设尺度参数执行指数映射，得到结构异常分数。

11、优选的，所述生成融合身份与行为的视觉意图风险分数，具体包括：从所述意图概率向量中提取尾随冲闸意图概率、未授权闯入意图概率和逆向折返意图概率，得到高风险行为项；根据所述静态身份约束向量各分量的匹配情况计算身份失配项；将所述高风险行为项、结构异常分数和身份失配项分别与对应的预设融合权重相乘，并对相乘结果求和，得到所述视觉意图风险分数。

12、优选的，生成空间绑定的全息预警标签包括：基于所述人体质心轨迹、所述推进方向向量和所述当前质心法向距离，结合预设预警外推距离下限、预设预警外推距离上限和预设标签上移距离，计算全息预警标签的空间锚点；根据所述视觉意图风险分数以及所述当前质心法向距离与预设安全距离之间的距离放大关系，结合预设距离放大系数生成预警等级指数，并根据所述预警等级指数确定风险等级；根据所述意图概率向量中的主导风险意图、静态身份约束向量和当前通道编号，生成包含对象身份类型、主导风险意图、风险等级、建议处置动作和通道编号的全息预警标签；将所述空间锚点通过闸机局部坐标系到混合现实终端显示坐标系的变换关系映射到终端显示坐标系，得到空间绑定的全息预警标签。

13、优选的，执行门禁动作管控与混合现实联动输出包括：将所述视觉意图风险分数与预设放行阈值和预设拦截阈值比较，并结合所述身份核验结果生成放行控制指令、延时复核指令或锁定告警指令；当同一通道在同一处理周期内存在多个目标时，依据距离闸机通行线最近且视觉意图风险分数最高的目标优先生成门禁控制决策；向门禁执行接口发送所述放行控制指令、延时复核指令或锁定告警指令并接收门禁回执，当满足以下任一条件时：门禁回执超时；连续未收到回执；接口异常；则维持闸机关闭优先的降级控制状态；将所述全息预警标签的空间锚点、风险等级、标签内容和目标边界框坐标发送至混合现实终端，并在所述混合现实终端未连接时发送至值守屏，完成门禁动作与混合现实预警的同步输出。

14、本发明还提供了一种基于视觉意图预测的混合现实出入校管控系统，包括：

15、状态张量构建模块，用于基于已标定固定视角摄像头采集的连续视频帧，构建闸机对齐的人体通行意图状态张量；风险分数生成模块，用于基于所述人体通行意图状态张量和身份核验结果，生成融合身份与行为的视觉意图风险分数；

16、全息标签生成模块，用于基于所述视觉意图风险分数，生成空间绑定的全息预警标签；

17、联动控制输出模块，用于依据所述视觉意图风险分数和所述全息预警标签，实现如权利要求1至9中任一项所述的一种基于视觉意图预测的混合现实出入校管控方法的步骤。

18、本发明具有以下有益效果：通过构建闸机对齐的人体通行意图状态张量，将人体骨骼关键点、推进速度、侧向贴靠速度、躯干朝向一致度、足踝前探差分以及多人尾随耦合关系统一映射到与闸机物理空间一致的局部坐标体系中，解决了现有技术中仅依赖像素位移、停留时长或结果态规则而难以表达通行前意图形成过程的问题，从而使系统能够在对象尚未穿越闸机前输出风险判断，降低因识别滞后带来的门禁误开和人工追溯成本。

19、通过将证件匹配状态、通行时段匹配状态、授权通道匹配状态和同行校验状态构成静态身份约束向量，并与行为意图预测结果和结构异常分数共同融合为视觉意图风险分数，解决了现有技术中身份核验链路与行为判别链路割裂的问题，从而能够同时覆盖“身份不合法且行为异常”与“身份合法但行为异常”的复合风险场景，降低高风险事件漏判率，提高复杂通道场景下的风险识别稳定性。

20、通过将视觉意图风险分数进一步转化为空间绑定的全息预警标签，并与门禁控制指令同步输出，解决了传统后台弹窗或普通值守屏告警与现场对象分离的问题，从而使值守人员能够在混合现实终端中直接看到风险对象、风险等级和建议处置动作，缩短告警到处置的认知链路，改善出入口高实时性场景下的联动处置效率和系统连续运行能力。