一种基于视频-轨迹-文本多模态大模型的交通事件检测方法及系统

摘要: 本发明属于智能交通,涉及一种基于视频-轨迹-文本多模态大模型的交通事件检测方法及系统。背景技术:1、交通事件检测是智能交通系统的核心组成部分,其结果可为交通诱导...
一种基于视频-轨迹-文本多模态大模型的交通事件检测方法及系统

本发明属于智能交通,涉及一种基于视频-轨迹-文本多模态大模型的交通事件检测方法及系统。

背景技术:

1、交通事件检测是智能交通系统的核心组成部分,其结果可为交通诱导、应急救援、事故处置及交通控制提供重要决策依据。通过对交通事件进行实时检测与预警,能够有效缩短事件响应时间,降低交通拥堵及二次事故发生概率,提高道路运行效率与交通安全水平。

2、近年来,随着深度学习技术的发展,基于卷积神经网络、循环神经网络及图神经网络等模型的交通事件检测方法不断涌现,并通过对交通流时空特征进行建模,在一定程度上提升了交通事件识别能力。然而,现有方法大多仅依赖单一模态数据,主要基于视频视觉信息或车辆轨迹结构信息进行独立建模,缺乏对多源异构信息的联合表达能力,导致在复杂交通场景下对交通事件语义的刻画能力不足。此外,现有多模态融合方法通常采用特征拼接或浅层融合策略,难以实现不同模态之间的语义对齐与深层交互建模,尤其缺乏对高层语义信息(如交通场景描述、事件过程语义等)的有效利用,从而限制了模型对复杂交通事件的理解能力与可解释性。

技术实现思路

1、本发明的目的是提供一种基于视频-轨迹-文本多模态大模型的交通事件检测方法及系统,能够有效提升复杂交通场景下多源异构信息的特征表达与协同建模能力,具有检测准确性高、鲁棒性强及语义表达能力好的特点,适用于复杂交通环境下(如高速公路等多车辆密集运行环境)的交通事件检测任务。

2、为解决上述技术问题,本发明是采用下述技术方案实现的。

3、第一方面,本发明提出了一种基于视频-轨迹-文本多模态大模型的交通事件检测方法,包括:

4、步骤1:获取高速公路的视频数据,并对每个视频进行交通事件真实标签人工标注;

5、步骤2:收集高速公路中车辆时序轨迹数据并进行预处理,包括轨迹异常值处理、轨迹缺失值补全与平滑滤波处理,得到预处理后的车辆轨迹数据;

6、步骤3:基于步骤2预处理后的车辆轨迹数据,提取车辆运动学特征,以表征车辆运行状态及轨迹变化特性;

7、步骤4:基于步骤3提取的车辆运动学特征构建多车辆的时空关联图,以表征交通事件影响下车辆间的动态时空交互关系,其中车辆为图节点,车辆间交互关系为边,车辆运动学时序特征为节点特征;

8、步骤5:对经过步骤2预处理后的车辆轨迹数据进行数据增强,采用注入高斯噪声、时序平移增强与随机幅度扰动的方法生成增强后的车辆运动学特征序列,进而生成增强轨迹数据集;

9、步骤6:构建基于时空注意力机制的时空图神经网络模型,将步骤5生成的增强轨迹数据输入时空图神经网络模型进行特征学习与编码,获得图级特征表示;

10、步骤7:对视频数据利用现有的具备视频理解能力的大模型进行语义标注,生成交通场景过程描述文本;

11、步骤8:采用文本编码器对步骤7生成的交通场景过程描述文本进行语义特征提取与向量化表示,获得文本特征表示;

12、步骤9:采用视频编码器对视频数据进行特征提取,生成视频特征表示;

13、步骤10:构建基于跨模态注意力机制的融合模型,对轨迹特征、文本特征及视频特征进行联合建模,生成融合特征表示;

14、步骤11:基于融合特征表示进行交通事件检测与识别,输出交通事件检测结果。

15、结合第一方面,进一步地,所述基于预处理后的车辆轨迹数据,提取车辆运动学特征,包括:

16、车辆运动学特征包括车辆切向速度、车辆切向加速度、车辆法向速度、车辆法向加速度与车辆转向角变化率;

17、车辆切向速度表征车辆沿运动轨迹切线方向的瞬时速率,计算公式如下:

18、;

19、其中,为地球半径,表示车辆的经度变化量,表示车辆所在纬度,表示车辆的纬度变化量,表示时间间隔,表示车辆在东西方向上的位移,表示车辆在南北方向上的位移;

20、车辆切向加速度表征切向速度变化的快慢,计算公式如下:

21、;

22、其中,表示时间步索引,表示第个时间步时车辆切向速度;

23、车辆法向速度表征车辆横向变化,计算公式如下:

24、;

25、其中,表示初始行驶方向角,和表示车辆东西和南北方向的速度分量;

26、车辆法向加速度表征法向速度的变化快慢,计算方式如下:

27、;

28、其中,和表示东西和南北方向的速度分量;

29、车辆转向角变化率表征转向灵敏性,计算方式如下:

30、;

31、其中,表示车辆方向角的变化量,表示时刻车辆在东西方向上的位移分量,表示时刻车辆在南北方向上的位移分量。

32、结合第一方面,进一步地,所述基于提取的车辆运动学特征构建多车辆的时空关联图,包括:

33、多车辆的时空关联图构建过程包括空间特征提取、时间特性建模与多车协同滑窗建模;

34、空间特征提取根据获取的交通视频中的车辆经纬度信息划分空间范围,并剔除事故车辆,仅保留受交通事件影响的周边车辆轨迹作为图节点;基于车辆之间的空间距离构建节点间的链路特征矩阵,即初始空间邻接矩阵,以表征车辆之间的空间关联强度;

35、时间特性建模基于受交通事件影响的车辆集合,对每一车辆提取固定帧的运动学特征序列,并以时间窗口为滑动单位构建时序图;

36、多车协同滑窗建模通过提取多车辆轨迹的公共帧区间实现时间对齐,并按照预设滑动步长对时间窗口进行滑动,在每一时间窗口内根据车辆轨迹及车辆运动学特征计算图边权重,生成多车辆时空关联图序列。

37、结合第一方面,进一步地,所述构建基于时空注意力机制的时空图神经网络模型,将生成的增强轨迹数据输入时空图神经网络模型进行特征学习与编码,获得图级特征表示,包括:

38、时空图神经网络模型包括时序编码器和空间聚合器;

39、时序编码器的输入为车辆节点的车辆运动学时序特征,其中表示车辆数量,表示时间步,表示时间维度,表示实数集;

40、时序编码器通过线性映射对输入的车辆运动学特征进行维度变换,得到初始时序表示:

41、;

42、其中,表示可学习权重矩阵,表示车辆运动学特征嵌入层偏置项;

43、将线性映射后的车辆运动学特征输入多层transformer编码结构进行时序依赖建模,提取车辆的时序行为特征:

44、;

45、其中,表示transformer编码器层数,为编码器层的索引,,表示第层transformer编码器层提取的车辆的时序行为特征;

46、输出最终时序特征表示矩阵,用于表征车辆节点在时间维度上的高层语义特征:

47、;

48、空间聚合器通过双层图卷积网络捕获路网拓扑特征,其输入包括归一化邻接矩阵和时序编码器输出的最终时序特征表示矩阵;

49、首先,基于已构建的初始空间邻接矩阵,其中,

50、;

51、其中,表示车辆、之间的关联权重,表示车辆数,表示车辆在时间窗口末帧的经纬度坐标,表示车辆在时间窗口末帧的经纬度坐标,表示车辆的经纬度坐标,表示车辆的经纬度坐标,为交互距离阈值,控制高斯核衰减速率;

52、对初始空间邻接矩阵进行自连接增强处理得到增强邻接矩阵,以在特征聚合过程中保留车辆自身的运动学特征:

53、;

54、其中,表示对角元素全为1的单位矩阵;

55、对进行归一化处理得到归一化邻接矩阵;

56、空间聚合器的第一层图卷积操作如下所示:

57、;

58、其中,表示第一可学习参数,为非线性激活函数,表示第一层图卷积层输出的节点特征;

59、第二层图卷积如下所示:

60、;

61、其中,表示第二可学习参数,表示第二层图卷积层输出的节点特征;

62、对双层图卷积网络输出的节点特征进行全局均值池化操作,获得图级特征表示:

63、;

64、其中,表示车辆经双层图卷积网络输出的节点特征向量。

65、结合第一方面,进一步地,所述构建基于跨模态注意力机制的融合模型,对轨迹特征、文本特征及视频特征进行联合建模,生成融合特征表示,包括:

66、将图级特征表示、文本特征表示和视频特征表示通过线性映射层对齐到相同特征维度,得到对齐后的轨迹特征、对齐后的文本特征和对齐后的视频特征:

67、,,;

68、其中,、、分别为轨迹、文本和视频特征的可学习矩阵;

69、以对齐后的轨迹特征作为查询向量,以对齐后的文本特征和对齐后的视频特征的拼接作为键向量与值向量,构建跨模态交叉注意力机制:

70、;

71、;

72、;

73、其中,、、分别为对应的查询、键、值矩阵;

74、通过跨模态注意力输出计算跨模态增强特征:

75、;

76、;

77、其中,为特征维度,表示层归一化处理;

78、最后将跨模态增强特征与对齐后的轨迹特征、对齐后的文本特征和对齐后的视频特征进行全局融合,通过多层感知机生成最终的融合特征表示:

79、。

80、结合第一方面,进一步地,所述基于融合特征表示进行交通事件检测与识别,输出交通事件检测结果,包括:

81、将融合特征表示输入到事件分类器中;事件分类器由全连接层与softmax激活函数构成:

82、;

83、其中,为事件分类器的可学习权重矩阵,为事件分类器的偏置项,为各交通事件类别的预测概率分布。

84、结合第一方面,进一步地,所述大模型用于生成道路环境信息、交通参与主体信息以及交通事件演化过程信息。

85、结合第一方面,进一步地,所述文本编码器为基于transformer架构的预训练语言模型。

86、结合第一方面,进一步地,所述视频编码器为基于时空transformer的视频特征提取模型。

87、结合第一方面,进一步地,所述交通事件包括交通事故、异常停车、车辆故障、交通拥堵中的一种或多种。

88、第二方面,本发明提出了一种基于视频-轨迹-文本多模态大模型的交通事件检测系统,用于实现上述的基于视频-轨迹-文本多模态大模型的交通事件检测方法,包括:

89、获取高速公路的视频数据;

90、收集高速公路中车辆时序轨迹数据并进行预处理,得到预处理后的车辆轨迹数据;

91、基于预处理后的车辆轨迹数据,提取车辆运动学特征,以表征车辆运行状态及轨迹变化特性;

92、基于提取的车辆运动学特征构建多车辆的时空关联图,所述时空关联图以车辆为图节点,以车辆间空间关联关系为边,以车辆运动学时序特征为节点特征;

93、对预处理后的车辆轨迹数据进行数据增强,生成增强后的车辆运动学特征序列,进而生成增强轨迹数据集;

94、构建基于时空注意力机制的时空图神经网络模型,将生成的增强轨迹数据输入时空图神经网络模型进行特征学习与编码,获得图级特征表示;

95、对视频数据利用大模型进行语义标注,生成交通场景过程描述文本;

96、对生成的交通场景过程描述文本进行语义特征提取与向量化表示,获得文本特征表示;

97、对视频数据进行特征提取,生成视频特征表示;

98、构建基于跨模态注意力机制的融合模型,对轨迹特征、文本特征及视频特征进行联合建模,生成融合特征表示;

99、基于融合特征表示进行交通事件检测与识别,输出交通事件检测结果。

100、第三方面,本发明提出了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现上述的基于视频-轨迹-文本多模态大模型的交通事件检测方法的步骤。

101、第三方面,本发明提出了一种计算机设备,包括:

102、存储器,用于存储计算机程序;

103、处理器,用于执行所述计算机程序以实现上述的基于视频-轨迹-文本多模态大模型的交通事件检测方法的步骤。

104、第三方面,本发明提出了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的基于视频-轨迹-文本多模态大模型的交通事件检测方法的步骤。

105、与现有技术相比,本发明所达到的有益效果:

106、(1)本发明能够融合视频视觉信息、车辆轨迹结构信息及语义文本信息,并通过跨模态深度交互与协同推理机制,实现复杂交通场景下事件检测、时间定位与语义解释的方法,以提高交通事件识别的准确性、鲁棒性与可解释性。

107、(2)本发明围绕高速公路交通事件检测任务,通过对高速公路视频进行视觉特征提取,对车辆时序轨迹构建图结构并利用图卷积网络进行交互关系建模,同时基于大模型生成交通场景语义描述,并结合视频视觉特征、轨迹时空特征及文本语义特征构建跨模态注意力融合机制实现不同模态间的语义对齐与协同推理,从而显著提升复杂交通场景下交通事件检测的准确性、鲁棒性及可解释性。