基于专用视觉大模型的交通逃逸行为语义检索系统及方法与流程

本发明涉及人工智能，具体为基于专用视觉大模型的交通逃逸行为语义检索系统及方法。

背景技术：

1、在智能交通安防领域，监控视频的快速检索是处理交通事故与违章行为的重要环节。目前的交通视频分析多依赖于目标检测、轨迹跟踪等基础计算机视觉算法，并结合人工设定的数值规则来判断事件的发生。这种基于单一物理属性与硬编码规则的处理方式，在面对交通肇事逃逸这类具有复合行为特征的事件时存在局限。交通逃逸不仅包含瞬时的物理碰撞，还包含事后的驶离动作，具有因果逻辑关联。

2、现有的视觉与语言多模态大模型虽然具备一定的跨模态语义提取能力，但在直接应用于复杂的交通监控场景时，其注意力机制往往分散于全局画面，缺乏对肇事实体空间交互区域的物理约束。同时，在时序特征处理上，常规模型倾向于对连续帧特征进行平滑或池化处理，难以捕捉轻微擦碰瞬间产生的高频时序震动与突变能量。由于缺乏针对微观空间互动与高频时序跳变的专项监督机制，现有系统在区分近距离安全交汇与真实擦碰逃逸等易混淆场景时易产生误判。

技术实现思路

1、针对现有技术的不足，本发明提供了基于专用视觉大模型的交通逃逸行为语义检索系统及方法，解决了现有交通视频检索方法难以建立微观物理特征跳变与宏观因果逻辑的联合监督约束，导致复杂交通逃逸行为的检索准确率受限的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、本发明第一方面提供一种基于专用视觉大模型的交通逃逸行为语义检索系统，所述系统包括：多模态数据解析模块、跨模态编码与融合模块、联合监督优化模块以及语义检索模块。

4、多模态数据解析模块用于接收原始交通视频序列与结构化标注数据，将所述结构化标注数据转化为自然语言文本序列，在检测到所述结构化标注数据具有因果逻辑链完整性时激活状态位标志符。

5、跨模态编码与融合模块用于将所述原始交通视频序列转换为视觉词元序列并将所述自然语言文本序列映射为文本嵌入向量，采用交叉注意力机制进行融合计算，并在监测到所述状态位标志符激活时截取跨模态交叉注意力矩阵与深层视觉特征向量序列。

6、联合监督优化模块用于基于截取的所述跨模态交叉注意力矩阵与所述深层视觉特征向量序列构建三维联合损失函数，计算总体目标优化函数并执行反向传播更新模型参数。

7、语义检索模块用于计算自然语言查询指令的文本语义向量与视频库中预存的提取的视觉关系特征向量的相似度，输出交通逃逸视频检索结果。

8、进一步地，所述多模态数据解析模块解析所述结构化标注数据获取表征交通冲突的主体关系、空间交互距离、物理特征与因果逻辑链，填入预设提示词模板中重构出目标文本序列作为所述自然语言文本序列；所述多模态数据解析模块读取所述结构化标注数据中的因果逻辑链字段并与预设语义标签库进行字符级匹配，在所述因果逻辑链字段中同时包含表征物理接触的前置碰撞类标签与表征主观驶离的后置逃逸类标签时，判定具有从物理碰撞到主观逃避的因果逻辑链完整性。

9、进一步地，所述跨模态编码与融合模块通过线性投影层将所述视觉词元序列与所述文本嵌入向量统一映射至相同的隐层特征维度；所述跨模态编码与融合模块将所述文本嵌入向量作为交叉注意力机制的查询特征，将所述视觉词元序列作为键特征与值特征，计算所述查询特征与所述键特征之间的内积相似度，并除以维度缩放因子，随后经过归一化函数处理完成所述跨模态融合计算。

10、进一步地，所述多模态数据解析模块获取参与交通交互的实体的边界框坐标信息，在与所述原始交通视频序列单帧图像分辨率像素对齐的二维全零矩阵上，将边界框内部区域对应的矩阵元素值置为常数1，将边界框外部区域对应的矩阵元素值置为常数0生成所述掩码矩阵；所述多模态数据解析模块识别交通冲突发生瞬时物理突变的时间起点与时间终点，结合所述原始交通视频序列的帧率参数换算为起始帧索引与终止帧索引，将所述起始帧索引至所述终止帧索引之间的连续帧编号构建为所述关键帧区间索引集。

11、进一步地，在所述状态位标志符激活时，所述跨模态编码与融合模块从多模态融合层的末层网络分支中截取行维度对应文本序列长度且列维度对应视觉词元数量的所述跨模态交叉注意力矩阵；所述跨模态编码与融合模块获取所述关键帧区间索引集，寻址至视觉网络的投影层输出端截取对应时间范围的所述深层视觉特征向量序列，在所述终止帧索引与所述起始帧索引的差值小于2时，沿时间轴向两侧进行等宽填充扩展设定截取的连续帧序列长度不小于3帧。

12、进一步地，所述三维联合损失函数包括基础语义生成损失、空间注意力损失与时序特征波动损失；所述联合监督优化模块采用自回归交叉熵损失函数量化当前视觉特征与前置文本词元条件下正确预测下一个目标词元的条件概率误差，得到所述基础语义生成损失；所述联合监督优化模块计算所述跨模态交叉注意力矩阵与所述掩码矩阵在特征图空间内的重叠度能量占比，在除法运算的分母项中增加预设平滑常数进行平滑处理，得到所述空间注意力损失。

13、进一步地，所述联合监督优化模块计算所述深层视觉特征向量序列中相邻帧特征向量之间的二阶离散差分二范数平方，量化得到能量模长波动幅值，在所述能量模长波动幅值低于设定突变能量常数阈值时经过最大化函数输出正向差值产生惩罚梯度，得到所述时序特征波动损失；所述联合监督优化模块采用基础语义权重、空间监督权重与时序监督权重对所述基础语义生成损失、所述空间注意力损失与所述时序特征波动损失进行线性组合计算，得到所述总体目标优化函数。

14、进一步地，所述语义检索模块对所述视频库中的待检交通视频采用帧间差分法计算连续图像的像素变化率，在所述像素变化率超过设定的运动阈值时定位交通冲突的核心时间窗，执行非均匀抽帧提取关键帧序列；所述语义检索模块将所述关键帧序列转化为词元矩阵并赋予时间位置编码，输出所述视觉关系特征向量。

15、进一步地，所述语义检索模块提取所述自然语言查询指令的文本语义向量，计算所述文本语义向量与所述视觉关系特征向量之间的内积，并除以两者二范数模长的乘积，在分母计算时叠加一预设平滑常数得到相似度数值，依据相似度数值由高到低对关联的交通视频片段进行降序排列，剔除相似度低于相似度过滤阈值的视频片段输出所述交通逃逸视频检索结果。

16、本发明第二方面提供一种基于专用视觉大模型的交通逃逸行为语义检索方法，所述方法包括：

17、接收原始交通视频序列与结构化标注数据，将所述结构化标注数据转化为自然语言文本序列，在检测到所述结构化标注数据具有因果逻辑链完整性时激活状态位标志符；

18、将所述原始交通视频序列转换为视觉词元序列并将所述自然语言文本序列映射为文本嵌入向量，采用交叉注意力机制进行融合计算，并在监测到所述状态位标志符激活时截取跨模态交叉注意力矩阵与深层视觉特征向量序列；

19、基于截取的所述跨模态交叉注意力矩阵与所述深层视觉特征向量序列构建三维联合损失函数，计算总体目标优化函数并执行反向传播更新模型参数；

20、计算自然语言查询指令的文本语义向量与视频库中预存的提取的视觉关系特征向量的相似度，输出交通逃逸视频检索结果。

21、本发明提供了基于专用视觉大模型的交通逃逸行为语义检索系统及方法。具备以下有益效果：

22、1、本发明通过检测结构化数据中因果逻辑链的完整性来激活状态位标志符，并在模型前向传播过程中动态截取跨模态交叉注意力矩阵与深层视觉特征向量序列；避免了将非相关交通场景数据引入特定参数微调环节，确保了模型优化过程仅针对具有真实碰撞与逃逸逻辑的片段进行，提高了特征提取的针对性。

23、2、本发明构建了包含空间注意力损失与时序特征波动损失的三维联合损失函数，通过掩码重叠度占比施加空间物理约束，并利用二阶离散差分量化碰撞瞬间的高频特征跳变；将微观的空间交互位置与时序能量波动引入模型的优化目标中，提升了模型对交通擦碰等瞬时微小动作的感知能力，实现了底层物理特征与上层逃逸动机的对齐。

24、3、本发明在检索阶段计算自然语言指令的文本语义向量与提取的视觉关系特征向量的相似度，并依据相似度过滤阈值进行视频片段输出；区别于依赖人工硬编码规则的方法，该匹配机制基于跨模态特征空间的对齐映射，能够直接处理非结构化的自然语言查询，减少了复杂背景环境造成的误判，提高了交通逃逸事件视频检索的准确率。