一种无人机视角的车辆冲突提前预警方法及系统
本技术涉及智能交通,尤其是涉及一种无人机视角的车辆冲突提前预警方法及系统。
背景技术:
1、道路交通事故具有低频和高损失特征,仅依靠事故记录进行安全评估需要较长观察周期。基于无人机视频的交通冲突分析能够同时观察较大范围内多辆车辆的交互过程,因此可用于道路风险排查、交通组织评估和主动安全管理。现有交通冲突识别通常先检测和跟踪车辆,再利用车辆轨迹计算碰撞时间、后侵入时间或广义碰撞时间等替代安全指标。
2、上述方案高度依赖稳定的多目标跟踪和身份关联。在密集交通、车辆相互遮挡、目标尺寸较小、摄像机轻微抖动或车辆快速换位时,车辆轨迹容易出现碎裂、身份切换和位置抖动。由于碰撞时间类指标需要对相对速度和车辆间距进行微分或外推,较小的位置误差会被放大为显著的速度误差,导致冲突指标失真。提高传统跟踪指标并不必然改善下游冲突判断,因而单纯替换跟踪器难以从根本上解决该问题。
3、另一类方案采用占用热图或概率占用图描述交通参与者可能出现的位置。标量占用表示能够减弱对身份关联的依赖,但通常只保存空间幅值而丢失运动方向,难以区分正在逼近和正在远离的车辆。也有方案直接使用视觉语言模型分析交通画面并输出自然语言描述,但原始图像中的远距离车辆较小,模型缺乏可独立验证的运动学依据,容易形成缺少物理接地的判断。
4、因此,需要一种能够从无人机图像中保留车辆相对运动方向、不依赖周围车辆身份级关联、能够提前识别车辆冲突并输出可核验解释的技术方案。
技术实现思路
1、针对现有无人机交通冲突识别对连续车辆轨迹和身份关联依赖较强、标量占用缺少方向信息、视觉语言模型缺乏物理接地以及冲突输出难以审计的问题,本发明提供无人机视角的车辆冲突提前预警方法及系统,其总体流程包括视频图像获取、高分辨率未来占用预测、占用流估计、候选车辆逐帧重定位、自车视角共动体构建、风险预筛、连续令牌接地语言推理以及预警输出。
2、为实现上述目的,本发明采用如下技术方案:
3、第一方面,本发明提供无人机视角的车辆冲突提前预警方法,包括:
4、s1,获取目标道路区域在当前决策时刻之前的无人机历史视频图像序列;
5、s2,对所述历史视频图像序列进行多尺度特征提取和时序融合,在保持车辆目标空间分辨率的条件下预测当前决策时刻之后多个未来时刻的占用图,并获得车辆中心响应图;
6、s3,将所述占用图输入占用流估计网络,得到各占用网格对应的二维速度向量,形成包含运动方向信息的占用流场;
7、s4,根据所述车辆中心响应图确定候选车辆,并在所述历史视频图像序列的各采样时刻对候选车辆进行局部重定位,获得候选车辆在当前决策时刻的空间位置、航向和自车速度,其中不建立候选车辆与周围车辆之间的身份级连续轨迹关联;
8、s5,针对每一候选车辆,将所述占用图和所述占用流场变换至以该候选车辆为中心且以该候选车辆航向为基准的自车坐标系,构建至少包含占用通道、前向相对速度通道和侧向相对速度通道的自车视角时空共动体;
9、s6,根据所述自车视角时空共动体计算候选车辆风险分数,并基于所述风险分数选取预定数量的候选车辆;
10、s7,将被选取候选车辆的自车视角时空共动体编码成多个连续占用流令牌,将所述连续占用流令牌和任务提示令牌输入经训练的语言模型,由所述语言模型的决策层输出车辆冲突判定,并由以所述车辆冲突判定为条件的解释层输出冲突解释信息;
11、s8,根据所述车辆冲突判定和所述冲突解释信息生成车辆冲突提前预警信息。
12、可选地,所述多尺度特征提取和时序融合包括:对每一采样图像提取至少四个不同下采样倍率的特征;将包括最低下采样倍率特征的多尺度特征统一通道数并上采样至目标占用分辨率;将上采样后的多尺度特征拼接和卷积融合,获得与目标占用网格分辨率一致的鸟瞰特征;将多个历史时刻的鸟瞰特征沿通道维拼接,输入具有下采样路径、跳跃连接和上采样路径的全卷积解码器,并通过对应不同未来时刻的多个输出通道并行输出所述占用图。
13、可选地,所述占用流估计网络为保持时间和空间分辨率的三维卷积网络;所述占用流估计网络以占用网格为掩膜,利用二维速度向量的端点误差进行训练,使每一占用网格输出前向速度分量和侧向速度分量;在线推理阶段,所述占用流估计网络的输入全部由所述占用图构成,无需输入车辆身份或车辆轨迹。
14、可选地,所述确定和重定位候选车辆包括:对所述车辆中心响应图执行局部极大值检测;对局部极大值的位置进行亚网格偏移修正;在相邻采样时刻的预定空间门限内选取与当前候选车辆位置最近的车辆中心,作为该采样时刻的重定位位置;根据多个重定位位置估计候选车辆的航向和自车速度,其中,在当前决策时刻前后的局部时间窗口内,对候选车辆位置序列进行稳健斜率估计,以降低单帧检测位置噪声对所述自车速度的影响。
15、可选地,构建自车视角时空共动体包括:以候选车辆的空间位置为原点平移所述占用图和所述占用流场;根据候选车辆的航向旋转所述占用图和所述占用流场,使候选车辆前进方向对应自车坐标系的预设轴向;从所述占用流场中减去候选车辆的自车速度,得到相对速度场;将所述相对速度场投影至自车坐标系的前向轴和侧向轴;在候选车辆周围的预定空间范围内,按多个时间步堆叠所述占用通道、所述前向相对速度通道和所述侧向相对速度通道;其中,前向相对速度通道和侧向相对速度通道与占用掩膜相乘,并按预定速度尺度归一化和限幅。
16、可选地,所述风险分数由卷积风险打分网络根据所述自车视角时空共动体输出;按风险分数降序选取k个候选车辆输入所述语言模型,未被选取的候选车辆由实时风险筛查层维持监测,并在下一滑动窗口重新排序;其中k根据计算预算和目标事件召回率设定。
17、可选地,将自车视角时空共动体编码成多个连续占用流令牌包括:采用三维卷积编码器提取所述自车视角时空共动体的时空特征;将所述时空特征自适应池化为预定三维网格;将所述三维网格的各网格特征展平为令牌序列;通过投影网络将各网格特征映射至所述语言模型的嵌入维度,并将得到的连续占用流令牌前置于所述任务提示令牌。
18、可选地,所述语言模型包括相互分离的决策层和解释层;所述决策层根据所述连续占用流令牌输出至少包括危险和安全的二分类判定或多级风险判定;所述解释层的输入提示中包含所述决策层输出的车辆冲突判定,并生成至少包括相对方位、冲突类型、闭合速度、预计冲突时间、风险原因、处置建议和置信度中的一种或多种冲突解释信息;训练所述语言模型包括:冻结语言模型的基础参数,训练三维卷积编码器、投影网络和插入语言模型至少一个注意力层或前馈层的低秩适配参数;先采用二分类风险标签训练决策能力,再采用包含多个解释字段的富标签训练解释能力;在训练解释层时以风险标签或决策层输出作为条件,且仅对目标答案部分计算自回归语言损失。
19、可选地,训练占用预测网络、占用流估计网络、风险打分网络或语言模型所使用的冲突监督标签通过以下方式获得:针对目标车辆与周围车辆,根据相对位置向量和相对速度向量计算定向闭合速度;在定向闭合速度为正时,根据扣除车辆尺寸后的间距与定向闭合速度计算广义碰撞时间;在未来预测窗口内对所述广义碰撞时间取最小值,并根据一个或多个阈值形成冲突标签;其中所述冲突监督标签仅用于训练或评测,在线推理阶段的输入全部由所述无人机历史视频图像序列获得;所述车辆冲突提前预警信息包括目标车辆标识、目标车辆在图像或地图中的位置、风险等级、风险分数、相对方位、冲突类型、闭合速度、预计冲突时间、风险原因、处置建议和置信度中的至少一种,并通过监控终端、交通管理平台或数据接口输出。
20、第二方面,本技术还提供一种无人机视角的车辆冲突提前预警系统,包括:
21、图像获取模块,用于获取目标道路区域的无人机历史视频图像序列;
22、占用预测模块,用于从所述历史视频图像序列预测多个未来时刻的占用图和车辆中心响应图,所述占用预测模块包括多尺度图像骨干网络、特征金字塔网络、高分辨率鸟瞰特征融合网络和全卷积未来占用解码器;
23、占用流估计模块,用于仅根据所述占用图得到具有方向信息的占用流场;
24、候选车辆锚定模块,用于根据所述车辆中心响应图确定候选车辆并逐帧重定位,以获得候选车辆的位置、航向和自车速度,而不建立候选车辆与周围车辆之间的身份级连续轨迹关联;
25、共动体构建模块,用于将所述占用图和所述占用流场变换至候选车辆的自车坐标系,形成包含占用、前向相对速度和侧向相对速度的自车视角时空共动体;
26、风险预筛模块,用于根据所述自车视角时空共动体对候选车辆排序和选取;
27、令牌接地推理模块,用于将被选取候选车辆的自车视角时空共动体编码成多个连续占用流令牌,并通过语言模型的决策层和以决策结果为条件的解释层依次生成车辆冲突判定和冲突解释信息,所述令牌接地推理模块包括三维卷积编码器、投影网络、经低秩适配的语言模型决策层和语言模型解释层;
28、预警输出模块,用于生成并输出车辆冲突提前预警信息。
29、与现有技术相比,本发明具有以下显著的有益效果:
30、(1)通过占用流保存逐格速度方向,从场表示中直接读取相对闭合运动,减少周围车辆轨迹碎裂和身份切换对冲突判断的影响;
31、(2)通过包括低下采样倍率特征的高分辨率多尺度融合和全卷积未来占用解码,保持无人机画面中稀疏小车辆的定位信息;
32、(3)通过候选车辆逐帧重定位和局部稳健速度估计,仅对目标车辆进行即时锚定,不需要维护全场多目标长期身份,从结构上降低数据关联脆弱性;
33、(4)通过自车坐标系中的占用、前向相对速度和侧向相对速度三通道表示,使不同道路方向和几何形态下的冲突证据具有统一含义;
34、(5)通过风险预筛将连续卷积筛查和按需语言解释分层执行,兼顾道路全场持续监测效率和逐车可解释报告能力;
35、(6)通过连续令牌直接保留稠密场的空间和方向结构,并采用决策层与条件解释层分离的方式,降低富文本生成对风险判定的干扰,提高决策与解释的一致性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com