基于视觉语言大模型的交通事件自我纠错迭代训练方法及系统

摘要: 本发明涉及人工智能与智能交通系统领域,尤其是涉及基于视觉语言大模型的交通事件自我纠错迭代训练方法及系统。背景技术:1、交通监控视频已成为城市道路、高速公路及路口...
基于视觉语言大模型的交通事件自我纠错迭代训练方法及系统

本发明涉及人工智能与智能交通系统领域,尤其是涉及基于视觉语言大模型的交通事件自我纠错迭代训练方法及系统。

背景技术:

1、交通监控视频已成为城市道路、高速公路及路口等交通场景中常用的信息采集手段。依托监控视频对异常停车、交通拥堵、施工占道、违规通行以及交通事故等事件进行识别和处置,已成为交通管理中的重要技术需求。由于交通事件通常具有突发性、扩散性和较强的时效性,若不能及时发现并作出响应,容易造成通行效率下降,严重时还可能诱发次生事故。因此,如何基于交通监控视频实现交通事件的自动检测,一直是智能交通领域持续关注的技术问题。

2、现有交通事件检测方法大体可分为两类:一类是基于交通流参数的检测方法,另一类是基于视频图像分析的检测方法。前者通常依赖地感线圈、雷达或微波检测器等设备,通过车速、流量、占有率等统计参数识别交通异常。该类方法虽然应用较早、实现路径较为成熟,但通常难以直接给出具体事件类型,也难以反映事件发生的具体过程。后者则直接利用监控视频中的道路环境、交通参与体及其行为信息进行事件识别,常见技术路线包括目标检测、行为识别、时空特征提取以及视频分类等。该类方法在一定程度上提高了交通事件检测能力,但在复杂交通场景下,仍然容易出现误判、漏判以及判定依据不清晰等问题。

3、随着视觉语言大模型的发展,基于视觉语言大模型对视频内容进行理解并输出事件类型判定结果及事件描述内容的实现方式,为交通事件检测提供了新的技术路径。相较于仅输出类别标签的传统方法,基于视觉语言大模型的方法能够在事件识别的同时给出相应的语义描述,从而增强输出结果的可理解性。然而,从现有训练方式看,相关模型通常仍主要依赖交通监控视频训练样本及其对应的标注参考信息进行基础监督学习,对于同一视频输入条件下生成的多个候选输出结果,尚缺少进一步利用机制。特别是,现有技术通常未能将错误候选输出结果转化为纠错监督信号,也未能将多个候选输出结果之间的优劣差异转化为判别监督信号,因而在复杂场景下仍存在输出稳定性不足、候选结果利用不充分以及检测性能受限等问题。

4、公开号为cn119229388a的发明基于无监督预训练和多模态大模型的交通事故识别方法,包括如下步骤:s1、搜集整理交通监控场景中的视频数据,选取无交通事故发生的视频片段为数据样本,提取视频关键帧,进行掩码自编码器的无监督预训练,重建被随机遮挡的视频片段;s2、计算原始视频与重建视频之间的重建误差评估重建质量,筛选出重建质量较差的关键帧视频片段;该发明通过掩码自编码器的无监督训练,即使在标注数据有限的情况下,也能够过滤较多的无交通事故片段,快速筛选出可能存在交通异常事件的视频片段,通过构建多模态交通数据对多模态大模型的微调训练,能够提升交通事故在复杂场景下的识别准确率和效率,提供实时警报和详细分析,及时采取应对措施。但是该方案仅提供基础的无监督训练方法,未能将错误候选输出结果转化为纠错监督信号,缺少在复杂场景下的检测性能稳定性。

5、基于此,有必要提出一种新的基于视觉语言大模型的交通事件自我纠错迭代训练方法,对同一交通监控视频训练样本在相同视频输入条件下生成的多个候选输出结果进行校验判定,并基于校验结果构建纠错训练样本和判别训练样本,与基础训练样本联合进行迭代训练,从而提高交通事件检测模型的准确性、稳定性和候选辨别能力。

技术实现思路

1、本发明旨在解决现有基于视觉语言大模型的交通事件检测模型训练过程中主要依赖基础监督样本、对同一视频输入条件下生成的多个候选输出结果缺少有效利用、错误候选输出结果难以转化为纠错监督信号以及多个候选输出结果之间的可辨别信息难以转化为判别监督信号的问题。为此,本发明提供基于视觉语言大模型的交通事件自我纠错迭代训练方法及系统。该方法通过对同一交通监控视频训练样本生成的多个候选输出结果进行校验判定,构建纠错训练样本和判别训练样本,并与基础训练样本联合进行多轮迭代训练,从而提高基于视觉语言大模型的交通事件检测模型的准确性、稳定性和实际应用适用性。

2、本发明的目的可以通过以下技术方案来实现:

3、基于视觉语言大模型的交通事件自我纠错迭代训练方法,包括:

4、获取交通监控视频数据并进行预处理;将预处理后的数据输入预训练的交通事件检测模型,得到交通事件检测结果;所述交通事件检测模型的训练过程包括:

5、步骤一:获取多个带有标注参考信息的交通监控视频训练样本,并对所述交通事件检测模型进行基础训练,直至训练收敛,得到基础模型;

6、步骤二:将同一交通监控视频训练样本重复输入所述基础模型,得到多个候选输出结果;基于所述标注参考信息,判别所述多个候选输出结果为正确候选输出结果或错误候选输出结果;

7、步骤三:基于预设配对规则,为每一错误候选输出结果匹配一个正确候选输出结果,得到纠错训练样本;基于所述多个候选输出结果和标注参考信息,构建判别训练样本;基于所述交通监控视频训练样本、纠错训练样本和判别训练样本,构建迭代训练集;基于所述迭代训练集对所述基础模型进行训练,直至收敛,得到更新模型;

8、步骤四:基于所述更新模型,重复执行所述步骤二和步骤三,以更新所述更新模型;不断更新当前训练模型,直至达到预设停止条件,得到训练好的交通事件检测模型。

9、进一步的,将同一交通监控视频训练样本重复输入所述更新模型,重复执行所述步骤二和步骤三,以生成新的迭代训练集并更新所述更新模型;

10、所述当前训练模型初始为所述基础模型,且后续训练轮中的当前训练模型为上一轮训练更新后的模型。

11、进一步的,候选输出结果包括交通事件类型判定结果和事件描述内容;

12、所述标注参考信息包括与所述交通监控视频训练样本对应的交通事件类别标签和事件描述文本。

13、进一步的,利用所述交通监控视频训练样本及所述标注参考信息对所述交通事件检测模型进行监督微调,得到所述基础模型。

14、进一步的,基于所述标注参考信息,判别所述多个候选输出结果为正确候选输出结果或错误候选输出结果,对应的判别过程包括:

15、根据候选输出结果中的交通事件类型判定结果与交通事件类别标签之间的对应关系,确定类别一致性判定结果;

16、将所述候选输出结果中的事件描述内容、事件描述文本以及预设校验提示信息输入当前训练模型,以输出语义相似判定结果;基于所述类别一致性判定结果和语义相似判定结果,判别所述多个候选输出结果为正确候选输出结果或错误候选输出结果。

17、进一步的,当所述类别一致性判定结果为一致且所述语义相似判定结果为相似时,将所述候选输出结果确定为正确候选输出结果;当所述类别一致性判定结果为不一致,或者所述语义相似判定结果为不相似时,将所述候选输出结果确定为错误候选输出结果。

18、进一步的,纠错训练样本包括交通监控视频训练样本、一个错误候选输出结果及与其配对的一个正确候选输出结果;所述纠错训练样本用于训练当前训练模型根据相同视频输入对错误候选输出结果进行修正。

19、进一步的,判别训练样本包括交通监控视频训练样本、同一交通监控视频训练样本对应的多个候选输出结果以及标注参考信息;

20、所述判别训练样本用于训练当前训练模型在所述多个候选输出结果中识别目标候选输出结果;所述目标候选输出结果由校验判定为正确的候选输出结果按照预设确定规则所确定。

21、进一步的,预设停止条件包括:训练轮数达到预设训练轮数、交通事件检测性能达到预设阈值或连续多轮训练中新确定的正确候选输出结果数量不再增加。

22、本发明还提供基于视觉语言大模型的交通事件自我纠错迭代训练方法的系统,包括存储器和处理器,所述存储器存储有计算机程序,处理器调用所述计算机程序执行如上任一所述的方法的步骤。

23、与现有技术相比,本发明具有以下优点:

24、(1)本发明通过构建包括纠错训练样本和判别训练样本的迭代训练集,使得模型在每一轮训练中都能从有限的人工标注数据中持续生成新的高质量监督信号,并通过主动学习方式不断进化;纠错训练样本将同一视频对应的错误候选输出与正确候选输出显式配对,能够形成错题本式的训练信号,使模型能够精准对比自身输出的正误差异,针对性修正对易混淆事件和模糊场景的判别偏差;判别训练样本则利用多个候选输出与标注参考信息,使训练模型学会评价、筛选和择优输出;使得交通事件检测模型的准确性、稳定性和工程应用效果得到系统性提升,在面对实际监控视频中复杂、动态、多样的交通场景时,不仅具备高精度的判别能力,还能通过内部的自我校验与择优机制输出最可靠的结果,显著降低漏检率和误检率,真正实现了从能检测到检测得准、检测得稳、检测得聪明的跨越。

25、(2)本发明通过将同一交通监控视频训练样本重复输入基础模型,获取多个候选输出结果,并进一步构建包括纠错训练样本和判别训练样本,使视觉语言大模型在传统基础监督学习之外,能够进一步吸收由自身生成结果所形成的附加监督信息,从而实现监督信息的自我增殖与闭环优化;在初始标注样本数量有限的条件下,本发明能够通过自我迭代机制显著降低对海量精确标注数据的需求,从而节省大量昂贵的人工标注成本和时间开销,尤其适用于交通事件检测这类场景复杂、事件类型多样、专业标注人员稀缺且标注成本高昂的垂直应用领域,使得该方法在数据资源受限的实际项目中仍具有很好的可行性和实用性。

26、(3)本发明通过采用多轮迭代训练策略,即利用每次训练得到的更新模型重新执行候选输出结果生成、校验判定、纠错训练样本与判别训练样本构建以及当前训练模型更新的完整流程,使模型的性能上限远超普通单次训练或简单微调所能达到的水平;模型在反复的自我对比和修正过程中学会了如何自我检查与修正这一元能力,从而在面对新采集的监控视频数据、新出现的交通事件类型或者与训练集分布存在一定差异的场景时,表现出更强的泛化识别能力和自适应调整能力,有效缓解了传统深度学习模型在域外数据上性能急剧下降的问题。