一种面向地铁站台的乘客异常行为定位识别与预警方法
本发明涉及一种轨道交通安全监测技术,特别是一种面向地铁站台的乘客异常行为定位识别与预警方法。
背景技术:
1、地铁站台人员密集、遮挡频繁,监控画面中同时存在候车、行走、上下车、短时弯腰等大量正常行为。摔倒、长时间蹲坐、长时间仰卧、突然奔跑和争执等异常行为出现频率较低,但需要工作人员及时核查。仅依靠人工轮巡多路监控,容易受到画面数量和持续值守时间的限制。
2、现有视频异常检测方法通常先为每帧生成异常分数,再依据阈值确定异常时段。这类方法能够筛出可疑片段,但帧级分数不能直接说明画面中的哪一名乘客导致异常;在多人场景中,如将整幅画面直接送入后续识别模型,背景、其他乘客和广告屏变化会干扰行为判断。
3、目标级视频异常检测方法可对检测框内的外观特征和运动特征进行建模,但仍存在三个需要解决的问题:(1)不同分支的原始分数量纲不同,需要以正常样本进行校准;(2)帧级异常触发与目标级异常乘客定位应保持数据关联,不能把逐帧排名编号当作稳定身份;(3)视觉语言模型需要观察异常前后的连续证据,并将输出限制在业务需要的类别范围内。
技术实现思路
1、本发明的目的在于提供一种面向地铁站台的乘客异常行为定位识别与预警方法,包括:
2、步骤s100,获取地铁站台监控视频并形成按时间顺序排列的待处理视频帧,对相邻视频帧进行配对并建立历史帧缓存;
3、步骤s200,检测待处理视频帧中的乘客目标,对每一乘客目标分别裁剪rgb目标区域和光流目标区域,从rgb目标区域提取外观特征并依据正常样本外观特征集合获得图像异常分数,从光流目标区域提取运动特征并依据正常样本运动特征的概率分布获得运动异常分数,对两个分支的异常分数进行校准与融合,得到各乘客目标的目标级融合异常分数;
4、步骤s300,聚合同一视频帧内的图像异常分数和运动异常分数,形成帧级异常分数并进行时间平滑;依据正常视频的平滑分数确定异常阈值并形成异常片段,在异常片段中确定锚点帧和锚点乘客,通过跨帧目标关联取得锚点乘客在触发时刻之前、触发时刻以及触发时刻之后的目标区域,组成时序证据帧;
5、步骤s400,将时序证据帧和预设异常行为候选集合输入视觉语言模型,约束视觉语言模型输出结构化判断结果;
6、步骤s500,校验结构化判断结果,根据异常行为类别生成预警,根据正常或误报结果解除预警,根据无法确定结果设置待复核状态。
7、进一步地,步骤s200中采用yolov8s网络获得第t帧第i个乘客目标的检测框bi,t;采用farneback稠密光流算法根据第t-1帧和第t帧获得光流场ft;依据同一检测框bi,t从第t帧和光流场ft中分别裁剪rgb目标区域ri,t和光流目标区域oi,t,并使检测框、两个目标区域及后续特征在每帧内保持相同顺序。
8、进一步地,步骤s200中采用clip vit-b/16图像编码器提取rgb目标区域的外观特征fi,t;所述图像异常原始分数按下式计算:
9、,
10、其中,fj为正常样本外观特征集合中的第j个特征,所述距离采用平方欧氏距离,f为从正常行为的训练视频形成正常样本外观特征集合。
11、进一步地,步骤s200中将光流目标区域中像素p的水平分量和垂直分量分别记为up和vp,令运动幅值mp=|up|+|vp|,方向角θp=atan2(vp,up);将方向角划分为k个方向区间,第k个运动特征hi,t按下式计算:
12、,
13、其中,ωi,t为光流目标区域内像素集合,|ωi,t|为像素数量,1[·]为指示函数;
14、所述运动异常原始分数按下式计算:
15、,
16、其中,采用正常行为的训练视频中的运动特征拟合具有多个高斯分量且协方差类型为全协方差的高斯混合模型,πk、μk和σk分别为第k个高斯分量的混合权重、均值和协方差矩阵,k为高斯分量数量。
17、进一步地,步骤s200中,分别使用正常样本的标定下界和标定上界对图像异常原始分数、运动异常原始分数进行线性校准,并按下式得到目标级融合异常分数:
18、,
19、,
20、,
21、其中,sappi,t和smoti,t分别为校准后的图像异常分数和运动异常分数,amin、amax分别取正常外观标定分数的最小值和上界,vmin、vmax分别取正常运动分数的最小值和上界,ε为防止分母为零的正数,α和β为融合权重;α和β均取1时,目标级融合异常分数为两分支校准分数之和。
22、进一步地,步骤s300中第t帧的帧级异常分数由该帧内图像异常分数的最大值与运动异常分数的最大值相加得到,并按下式在同一视频片段范围内采用高斯核进行时间平滑:
23、,
24、其中,gσ(k)为标准差为σ的高斯核。
25、进一步地,步骤s300中依据正常视频的平滑分数确定异常阈值并形成异常片段的具体过程包括:
26、步骤s301,对正常训练视频采用与待测视频相同的帧级聚合和平滑方法,得到正常平滑分数集合s;异常阈值τ取该集合的q分位数:
27、;
28、步骤s302,对待测视频片段的每一帧平滑分数,与计算出的阈值进行比较,生成逐帧的二值触发标记,
29、,
30、若,表示该帧平滑分数大于等于阈值,被标记为阳性帧;
31、步骤s303,顺序扫描逐帧二值序列,将连续取值为1的多个阳性帧组合在一起,提取出若干个连续的初始阳性帧段;检查相邻的两个初始阳性帧段,如果前一帧段的末帧与后一帧段的首帧之间的间隔不超过g帧,则将这两个帧段以及它们中间帧合并为同一个候选异常片段;合并结束后统计每个候选片段中bt=1的帧数,仅保留阳性帧数不少于m的候选片段为异常片段。
32、进一步地,步骤s300中在异常片段中确定锚点帧和锚点乘客,通过跨帧目标关联取得锚点乘客在触发时刻之前、触发时刻以及触发时刻之后的目标区域,组成时序证据帧,该过程具体包括:
33、步骤s311,对于起止帧为ts和te的异常片段,优先选择片段的时间中点作为候选锚点时刻,
34、;
35、步骤s312,若tm帧存在检测框,则直接令锚点帧t0=tm;否则在[ts,te]内选择与tm距离最小且存在检测框的帧作为锚点帧t0;
36、步骤s313,在确定好的锚点帧t0中,计算该帧内所有乘客目标的目标级融合异常分数,选择分数最大的乘客作为锚点乘客,
37、;
38、该乘客检测框bi0,t0即为该异常事件的初始定位位置;
39、步骤s314,以锚点乘客的外观特征fa为固定参照,以当前方向中前一已关联目标的外观特征fp和检测框bp为递推参照,对于相邻帧候选目标j,计算其综合关联得分,
40、,
41、其中,,表示相邻帧中第j个候选乘客的外观特征向量,d为画面对角线长度,bj表示第j个候选乘客的检测框,d(bp,bj)为两检测框中心点的欧氏距离;
42、步骤s315,排除同时满足ca<0.40且iou(bp,bj)<0.05的候选目标,从剩余候选中选择qj最大的目标作为当前帧关联结果;
43、步骤s316,根据视频采样帧率fs和预设相对时间δt,计算对应的帧偏移量,
44、;
45、步骤s317,在轨迹t中选择与t0+δn对应的检测框,裁剪前将检测框宽度w和高度h分别向四周扩展比例ρ,且扩展框边界限制在图像画面坐标系内;从原图中裁剪出扩展后的区域,经过等比例缩放和边缘填充后,统一标准化为固定尺寸;
46、步骤s318,按时间顺序将裁剪出的图像排列,生成事件证据包组成时序证据帧;事件证据包包括赋予唯一的事件标识,保存异常片段起止帧、锚点帧、锚点乘客框、关联轨迹、裁剪图像及对应的相对时间标签。
47、进一步地,步骤s400中视觉语言模型采用千问vl系列模型。
48、本发明与现有技术相比,具有以下优点:(1)通过同一检测框裁剪rgb目标区域和光流目标区域,在每名乘客尺度上形成可解释的双分支异常分数,从而把片段异常追溯到具体乘客目标;(2)帧级触发与目标级定位采用不同但相关的分数:帧级分数用于稳定发现异常片段,目标级融合分数用于选择锚点乘客,减少把画面排名编号误作跨帧身份的情况;(3)利用跨帧目标关联提取同一乘客在触发前后的连续证据,使视觉语言模型获得行为变化过程;通过受限候选集合和结构化输出减少开放式描述带来的接口不确定性;(4)监控界面同步呈现异常发现、乘客定位、行为判断、预警和视频证据,使工作人员能够依据同一事件记录完成核查。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com