一种面向交通监控长尾事件识别的时空锚定推理方法及装置
本发明涉及智能交通控制领域,特别是涉及一种面向交通监控长尾事件识别的时空锚定推理方法及装置。
背景技术:
1、随着城市道路监控系统、快速路监控系统及高速公路视频巡检系统的广泛部署,基于交通监控视频的事件检测与识别技术已逐步应用于交通运行监测、异常预警、事故处置辅助和违法行为识别等场景。与普通的车辆检测、车流统计或轨迹提取不同,交通长尾事件识别不仅需要识别动态交通参与体,还需要结合车道区域、停止线、人行横道、导流区、应急车道等静态交通结构,以及不同点位的交通组织规则,对事件进行连续、准确和可解释的判定。
2、在实际应用中,交通监控视频通常具有视角固定、小目标较多、遮挡频繁、光照变化复杂以及场景差异大的特点。对于逆行、异常停留、占用应急车道、违法穿越导流区、异常人车冲突等低频复杂事件,现有技术虽然能够从交通状态异常检测、视觉大语言模型分析或多模态关系理解等角度提供一定支持,但在固定交通监控视角下的长尾事件准确识别方面仍有改进空间。
3、现有技术一的“cn202610234436.x,一种基于时空建模的交通事件自动检测方法及系统”。该技术通过获取道路网络拓扑数据和历史交通状态序列,利用融合时间序列transformer与动态图注意力网络的时空预测模型,对未来交通状态进行预测,并结合预测误差异常分数、边权重偏差异常分数及时间一致性校正机制,实现交通事件自动检测。该技术主要面向城市路网层面的交通状态异常检测,适合识别节点或路段的异常变化,但其事件判定主要建立在交通状态序列和拓扑关联基础上,缺少对监控视频中动态交通参与体与静态交通结构关系的直接表达,因此对于固定交通监控视角下的细粒度长尾事件识别仍存在不足。
4、现有技术二的“cn202610387224.5,基于视觉大语言模型的交通事件智能检测方法及装置”。该技术通过构建多层级分析提示词,并对视频图像数据进行低频率、中频率和高频率的递进式采样,利用视觉大语言模型逐步锁定异常交通事件发生的时间范围和关键时刻,从而获得交通事件检测结果。该技术主要解决视觉大语言模型逐帧分析时延较高的问题,重点在于通过分层采样和提示词策略提高实时性。但其事件识别过程仍主要依赖模型语义判断,缺少对车道区域、停止线、导流区等交通结构约束关系的显式建模,因此在复杂场景下对长尾事件进行稳定、可解释判定时仍有改进空间。
5、现有技术三的“cn202610638337.8,基于关系感知视觉增强的多模态大模型关系幻觉缓解方法及系统”。该技术通过构造动作关系对比样本、筛选关系敏感注意力头、定位关键视觉区域并对注意力得分进行加权调控,以增强多模态大模型对关键视觉关系的关注,从而缓解模型在对象动作关系理解中的幻觉问题。该技术主要面向通用多模态大模型的关系理解优化,能够提升模型对关键视觉区域的关注能力,但其重点在于图像级关系推理增强,并未针对交通监控视频中的静态交通结构约束、连续事件演化过程以及场景规则适配问题建立专门的识别机制,因此难以直接满足交通监控长尾事件识别的应用需求。
技术实现思路
1、本发明的目的是为了克服现有技术中的不足,提供一种面向交通监控长尾事件识别的时空锚定推理方法及装置,适用于城市路口、城市快速路、高速公路、匝道、隧道、收费站等固定交通监控视角下的交通事件分析场景。
2、本发明的目的是通过以下技术方案实现的:
3、一种面向交通监控长尾事件识别的时空锚定推理方法,包括:
4、获取待分析的候选事件视频片段,并对所述候选事件视频片段进行预处理,获得关键帧集合和分析帧集合;
5、从所述关键帧集合中识别静态交通结构,并将识别出的静态交通结构编码为对应的静态交通结构锚点,构建静态交通结构锚点集合;对所述分析帧集合中的分析帧进行动态语义解析,生成动态语义实体及其关系描述,并将所述动态语义实体锚定到所述静态交通结构锚点集合上,构建帧级时空锚定图序列;
6、对所述候选事件视频片段进行全局场景语义分析,并结合局部重点区域精细分析,形成融合全局背景约束与局部关键证据的多层次语义表示;
7、对多个时刻对应的所述帧级时空锚定图序列进行时序聚合形成事件演化表示;
8、结合目标监控点位对应的交通规则库,基于所述事件演化表示对候选事件结果进行校准,并输出结构化交通长尾事件识别结果。
9、进一步的,所述构建静态交通结构锚点集合的具体方式为:从所述关键帧集合中识别静态交通结构,并将识别出的静态交通结构表示为静态交通结构锚点,形成静态交通结构锚点集合,每个静态交通结构锚点至少包含结构类别、空间位置、区域边界和规则属性中的一种或多种;结构类别用于表征静态交通结构锚点对应的静态交通结构类型;空间位置用于表征其在图像坐标系或场景坐标系中的位置;区域边界用于表征其对应的线段边界或区域边界;规则属性用于表征静态交通结构在场景中的管理含义。
10、进一步的,所述静态交通结构是指在固定交通监控视角下稳定、在连续视频片段中不发生位置变化、并能够对交通参与行为形成约束的场景结构;至少包括车道区域、停止线、人行横道、导流区、应急车道、匝道口、隔离带、进口道、出口道和信号控制区域中的一种或多种。
11、进一步的,所述构建帧级时空锚定图序列的步骤包括:提取分析帧中与事件判定相关的动态语义实体集合和关系集合,所述关系集合包括动态语义实体之间的交互关系,以及动态语义实体与静态交通结构锚点之间的空间关联关系;为每一动态语义实体建立与至少一个所述静态交通结构锚点之间的所述空间关联关系,所述空间关联关系至少包括位于、接近、进入、离开、穿越和占用中的一种或多种;
12、动态语义实体包括车辆、行人、非机动车、障碍物以及与候选事件相关的其他行为对象中的一种或多种。
13、进一步的,所述形成融合全局背景约束与局部关键证据的多层次语义表示的具体方式为:提取整体交通场景的全局语义表示,并获取局部重点区域的局部语义表示;将所述全局语义表示注入至所述局部语义表示的分析过程中,基于融合函数输出面向候选事件视频片段的多层次语义表示。
14、进一步的,所述对多个时刻对应的所述帧级时空锚定图序列进行时序聚合时,所基于的聚合因素至少包括:
15、语义实体的连续性,即前后时刻中具有相同或相近语义角色的动态语义实体在候选事件中应保持关联;
16、空间关系的连续性,即动态语义实体与静态交通结构之间的关系变化能够形成可解释的演化链;
17、以及时间邻近性,即相邻时刻的关系变化优先被视为同一候选事件的连续演化组成部分;
18、所述事件演化表示用于表达候选事件从单帧静态关系扩展为跨时刻的连续语义链。
19、进一步的,结合目标监控点位对应的交通规则库,基于所述事件演化表示对候选事件结果进行校准的步骤中引入交通规则校准机制,用于对候选事件结果进行抑制、增强或过滤,具体包括:
20、利用所述交通规则库中起抑制作用的规则对候选事件结果进行抑制,以及利用起增强作用的规则对候选事件结果进行增强;
21、限定事件发生条件、筛除不满足场景约束的候选事件,或者细化同类事件在不同点位下的具体解释,实现对候选事件结果的过滤;
22、所述交通规则库包含区域规则、方向规则、目标类型规则、时段规则和管控规则中的一种或多种。
23、本发明还提供一种面向交通监控长尾事件识别的时空锚定推理装置,包括:
24、预处理模块,用于获取待分析的候选事件视频片段,并对所述候选事件视频片段进行预处理,获得关键帧集合和分析帧集合;
25、静态交通结构锚点构建模块,从所述关键帧集合中识别静态交通结构,并将识别出的静态交通结构编码为对应的静态交通结构锚点,构建静态交通结构锚点集合;
26、时空锚定图构建模块,用于对所述分析帧集合中的分析帧进行动态语义解析,生成动态语义实体及其关系描述,并将所述动态语义实体锚定到所述静态交通结构锚点集合上,构建帧级时空锚定图序列;
27、多层次语义表示模块,用于对所述候选事件视频片段进行全局场景语义分析,并结合局部重点区域精细分析,形成融合全局背景约束与局部关键证据的多层次语义表示;
28、事件演化表示模块,用于对多个时刻对应的所述帧级时空锚定图序列进行时序聚合形成事件演化表示;
29、结果输出模块,用于结合目标监控点位对应的交通规则库,基于所述事件演化表示对候选事件结果进行校准,并输出结构化交通长尾事件识别结果。
30、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述面向交通监控长尾事件识别的时空锚定推理方法的步骤。
31、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述面向交通监控长尾事件识别的时空锚定推理方法的步骤。
32、本发明将交通事件识别过程由传统的“视频片段直接分类”或“目标轨迹阈值判断”转化为“静态交通结构约束下的语义关系推理与时序演化分析”。因此,本发明得到的识别结果不仅包含事件类别,还能够关联事件发生所涉及的关联交通结构、时序变化关系及判定依据,从而提高交通长尾事件识别的准确性、稳定性和可解释性。
33、进一步地,本发明特别适用于固定交通监控视角下的复杂交通场景。在该类场景中,待识别事件通常不仅依赖局部视觉异常,还与道路结构、区域属性和交通规则存在紧密关联。例如,车辆是否进入导流区、是否持续占用应急车道、行人是否进入机动车道等,均需要结合静态交通结构和场景规则才能进行有效判定。本发明通过引入静态交通结构锚定、全局与局部协同推理以及规则校准机制,使得交通监控长尾事件识别结果具备明确的交通语义基础和场景适配能力。
34、与现有技术相比,本发明的技术方案所带来的有益效果是:
35、1.通过静态交通结构锚定,为事件判定提供明确的空间物理依据,降低仅凭局部视觉异常造成的误判。
36、2.通过强制动态语义实体与静态交通结构建立空间关系,提高事件识别结果的交通语义完整性。
37、3.通过全局场景与局部重点区域协同分析,提高小目标、遮挡和复杂背景条件下的识别稳定性。
38、4.通过时序图聚合识别“接近—进入—持续占用”等关系演化过程,降低单帧误判。
39、5.通过点位交通规则库进行抑制、增强和过滤,提高跨路口、跨道路类型的场景适配能力。
40、6.通过输出事件时间、关联结构、行为关系和判定依据,提高结果的可解释性、可审核性和可追溯性。
41、7.通过关键帧和分析帧分工,减少对全部视频帧进行高复杂度分析的计算负担。这个效果只有在实际方案确实采用该机制时才建议保留。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com