面向智慧城市的多源视频AI分析方法及系统与流程

摘要: 本技术涉及视频监控分析,特别是涉及面向智慧城市的多源视频ai分析方法及系统。背景技术:1、智慧城市交通管理中,管理部门在路口部署枪机摄像头,由枪机摄像头拍摄路面...
面向智慧城市的多源视频AI分析方法及系统与流程

本技术涉及视频监控分析,特别是涉及面向智慧城市的多源视频ai分析方法及系统。

背景技术:

1、智慧城市交通管理中,管理部门在路口部署枪机摄像头,由枪机摄像头拍摄路面画面,由视频分析系统通过ai识别画面中每辆车的车辆位置框,再将车辆位置框与投入使用时工作人员在画面上圈定的判定框进行比对,车辆位置框落入判定框圈定的压线位置时,视频分析系统生成压线违章记录并将压线违章记录推送给车主通知环节。上述判定框在投入使用时圈定一次之后长期沿用,圈定过程与后续的维修管理互不关联。

2、枪机摄像头发生故障时,维修人员上门拆装镜头并重新装回,拆装过程中镜头方向与原方向存在偏差时,画面整体发生挪位,画面中的车道位置与路面真实车道位置不再对应,而判定框仍停留在画面原位置,判定框圈定的区域已经不对应路面实线。维修管理系统只登记维修部位与维修完成时刻,视频分析系统只沿用旧判定框逐车判定,维修记录与违章生成之间没有任何数据往来,画面挪位因此长期不被察觉。

3、傍晚车流高峰时段,正常行驶在自身车道内的车辆接连落入旧判定框圈定的压线位置,视频分析系统将正常车辆逐车判定为压线违章并持续生成记录推送,逐条查看违章图片时车辆确实落在旧判定框区域内,单条记录无法暴露问题。同期路口修路,施工吊车的吊臂垂放在枪机摄像头画面前方,画面上部被遮挡,画面中真正的路面标线位置无法识别,通过本路口画面核对判定框是否失效失去依据。

4、现有技术只针对当前车辆是否压线做逐车孤立判定,既不获取维修工单记录,也不将同车道多辆车的行驶轨迹作为整体观察,更不会调取上游与下游卡口摄像头的画面做跨源核对,因此无法区分少数车辆真实压线与全部正常车辆因旧判定框失效被批量误判,错误记录持续生成并推送,存量错误记录也缺乏隔离与追溯手段。

技术实现思路

1、鉴于上述存在的问题,提出了本技术。

2、因此,本技术提供了面向智慧城市的多源视频ai分析方法及系统,能够解决枪机摄像头镜头维修后画面发生挪位时,沿用的旧判定框导致正常行驶车辆被批量误判压线,错误压线记录持续生成并推送的问题。

3、为解决上述技术问题,本技术提供如下技术方案:

4、第一方面,本技术提供了面向智慧城市的多源视频ai分析方法,包括:响应于压线违章的生成触发,获取枪机摄像头的维修工单记录,基于维修工单记录中的维修部位数据与维修完成时刻数据生成挪位嫌疑标识,压线违章由ai识别的车辆位置框与沿用自投入使用时的旧判定框比对得到的压线判定结果触发;

5、对枪机摄像头的连续画面帧进行ai识别,得到由同一车道内多辆车的行驶轨迹聚合成的车辆轨迹带;

6、基于车辆轨迹带与旧判定框的位置关系、以及通过ai识别上游与下游卡口摄像头的画面帧得到的同一车辆的车道位置数据,生成错位标识;

7、响应于错位标识,生成违章生成暂停指令与记录隔离指令,将维修完成时刻以来的压线记录转入隔离队列并暂停推送。

8、作为优选,所述基于维修工单记录中的维修部位数据与维修完成时刻数据生成挪位嫌疑标识,包括:

9、按维修完成时刻数据与当前时刻的时间差由小到大,从维修工单记录中选取维修部位数据为镜头的工单记录,得到第一工单记录;

10、在第一工单记录的维修完成时刻数据与当前时刻的时间差处于预设时长范围内的情况下,生成维修状态标识;

11、向维修人员手持终端发送拆装确认询问,并接收维修人员手持终端返回的按键响应;

12、在按键响应为已拆装且未核对画面、或预设等待时长内未接收到按键响应的情况下,将维修状态标识升级为挪位嫌疑标识;

13、在按键响应为未拆装镜头的情况下,不生成挪位嫌疑标识。

14、作为优选,所述对枪机摄像头的连续画面帧进行ai识别,得到由同一车道内多辆车的行驶轨迹聚合成的车辆轨迹带,包括:

15、通过ai模型识别连续画面帧中每辆车的车辆位置框与轮胎接地点位置,并识别画面中的路面标线位置数据;

16、将连续画面帧中同一辆车的轮胎接地点位置按画面帧先后顺序连接,得到每辆车的行驶轨迹;

17、将同一车道内多辆车的行驶轨迹聚合,得到车辆轨迹带。

18、作为优选,所述基于车辆轨迹带与旧判定框的位置关系、以及通过ai识别上游与下游卡口摄像头的画面帧得到的同一车辆的车道位置数据,生成错位标识,包括:

19、在压线判定结果表征压线的车辆数量占通过车辆总数的比例高于预设比例条件、各车辆轨迹带的延伸方向一致且彼此平行、以及车辆轨迹带与旧判定框圈定的实线区域交叉均成立的情况下,确定旧判定框失效;

20、在同一车辆的车道位置数据显示车辆行驶于自身车道且行驶轨迹连续、而压线判定结果表征压线的情况下,确认画面挪位;

21、在旧判定框失效与画面挪位均成立的情况下,生成错位标识。

22、作为优选,所述在旧判定框失效与画面挪位均成立的情况下,生成错位标识,包括:

23、将车辆轨迹带的位置区域与旧判定框圈定的车道区域进行比对,得到包含挪位方向数据与挪位范围数据的第一比对结果;

24、将路面标线位置数据与旧判定框的框线位置进行比对,得到第二比对结果,在第二比对结果表征位置偏差高于预设偏差条件的情况下,生成挪位确认标识;

25、在旧判定框失效与画面挪位均成立、挪位确认标识已生成、且第一比对结果中的挪位范围数据低于预设范围上限的情况下,生成携带挪位方向数据与挪位范围数据的错位标识。

26、作为优选,所述响应于错位标识,生成违章生成暂停指令与记录隔离指令,将维修完成时刻以来的压线记录转入隔离队列并暂停推送,包括:

27、生成违章生成暂停指令并发送,暂停对压线判定结果生成正式记录;

28、在预设等待时长内未接收到表示暂停已执行的第一执行反馈信号的情况下,重新发送违章生成暂停指令;

29、生成记录隔离指令,将维修完成时刻以来的压线记录转入隔离队列;

30、接收隔离队列返回的表示转入条数的第二执行反馈信号,在第二执行反馈信号表征的转入条数与维修完成时刻以来的压线记录的条数不一致的情况下,重新执行记录隔离指令,隔离队列中的压线记录暂停推送。

31、作为优选,所述方法还包括:

32、响应于错位标识,向维修人员手持终端发送镜头重校请求,镜头重校请求携带维修工单记录的工单编号与路口位置数据;

33、接收维修人员手持终端上传的重校后画面帧,调取枪机摄像头在维修完成时刻之前留存的维修前基准帧;

34、将重校后画面帧与维修前基准帧中路口场景的固定参照物位置进行比对,在位置偏差低于预设偏差条件的情况下生成帧比对通过状态;

35、在帧比对通过状态下,通过ai识别第一批通过车辆与第二批通过车辆的车辆轨迹带,在第一批通过车辆与第二批通过车辆的车辆轨迹带均位于旧判定框圈定的车道区域内且均未触发压线违章的情况下,生成判定框恢复标识,解除违章生成暂停指令与记录隔离指令;

36、在位置偏差不低于预设偏差条件、或第一批通过车辆与第二批通过车辆中任一批车辆的车辆轨迹带与旧判定框圈定的实线区域交叉的情况下,维持违章生成暂停指令与记录隔离指令。

37、作为优选,所述将同一车道内多辆车的行驶轨迹聚合,得到车辆轨迹带,包括:

38、通过ai模型识别连续画面帧中位置与形状保持不变、颜色深于路面、横跨画面上部的长条静止对象,标记为吊臂遮挡区域;

39、将吊臂遮挡区域从识别范围中剔除,得到可用画面区域;

40、在可用画面区域低于预设范围下限的情况下,生成画面核对降级标识,画面核对降级标识表征路面标线位置数据的识别范围不完整,并基于可用画面区域将同一辆车的轮胎接地点位置按画面帧先后顺序连接,得到每辆车的行驶轨迹,将同一车道内多辆车的行驶轨迹聚合,得到车辆轨迹带;

41、在可用画面区域不低于预设范围下限的情况下,基于枪机摄像头的画面帧将同一辆车的轮胎接地点位置按画面帧先后顺序连接,得到每辆车的行驶轨迹,将同一车道内多辆车的行驶轨迹聚合,得到车辆轨迹带。

42、作为优选,所述方法还包括:

43、将维修工单记录、挪位嫌疑标识、错位标识、违章生成暂停指令与记录隔离指令的执行记录按时刻写入关联日志;

44、响应于复核终端发送的隔离记录处置请求,返回隔离队列中压线记录的记录清单;

45、接收复核终端针对记录清单返回的处置选择,按处置选择更新隔离队列中各压线记录的推送状态;

46、向管理平台发送同类排查请求,接收管理平台返回的排查结果,排查结果表征除所述枪机摄像头以外维修部位数据为镜头的枪机摄像头的画面与维修前基准帧的位置偏差高于预设偏差条件;

47、基于排查结果,对排查结果表征的枪机摄像头生成违章生成暂停指令与记录隔离指令。

48、第二方面,本技术还提供了面向智慧城市的多源视频ai分析系统,包括:工单关联模块、轨迹识别模块、错位判定模块与拦截处置模块;

49、所述工单关联模块用于响应于压线违章的生成触发,获取枪机摄像头的维修工单记录,并基于维修工单记录中的维修部位数据与维修完成时刻数据生成挪位嫌疑标识;

50、所述轨迹识别模块用于对枪机摄像头的连续画面帧进行ai识别,得到由同一车道内多辆车的行驶轨迹聚合成的车辆轨迹带;

51、所述错位判定模块用于基于车辆轨迹带与沿用自投入使用时的旧判定框的位置关系、以及通过ai识别上游与下游卡口摄像头的画面帧得到的同一车辆的车道位置数据,生成错位标识;

52、所述拦截处置模块用于响应于错位标识,生成违章生成暂停指令与记录隔离指令,将维修完成时刻以来的压线记录转入隔离队列并暂停推送。

53、实施本技术,具有如下有益效果:

54、本技术提供了面向智慧城市的多源视频ai分析方法及系统,本技术在压线违章生成之前反查维修工单记录,镜头维修与违章生成两条原本互不关联的数据线被打通,画面挪位在批量误判持续扩散前即可被怀疑。本技术将逐车孤立判定改造为车流整体判定,同车道多辆车的行驶轨迹聚合成的车辆轨迹带直接反映车道真实位置,多数车辆同时触发压线而车流轨迹本身正常的状态被识别为旧判定框失效,不再被逐条确凿的假象掩盖。画面上部被吊臂遮挡导致标线不可见时,上游与下游卡口摄像头中同一车辆的车道位置数据承担跨源核对,画面核对降级状态下错位确认仍有依据。错位标识生成后压线违章生成被暂停,维修完成时刻以来的压线记录被转入隔离队列并暂停推送,存量错误记录不再流向车主通知环节,重校后经维修前基准帧比对与两批通过车辆验证才解除拦截,避免了口头确认修好即恢复带来的二次误判。