一种融合视频数据的多模态交通事故智能解析方法及装置与流程

摘要: 本发明涉及人工智能与智能交通,更具体地,涉及一种融合视频数据的多模态交通事故智能解析方法及装置。背景技术:1、当前,交通事故的处理与责任认定主要依赖于传统的人工...
一种融合视频数据的多模态交通事故智能解析方法及装置与流程

本发明涉及人工智能与智能交通,更具体地,涉及一种融合视频数据的多模态交通事故智能解析方法及装置。

背景技术:

1、当前,交通事故的处理与责任认定主要依赖于传统的人工方式,例如交通警察到达现场进行勘查、取证并出具认定书。该方式不仅耗时较长,容易造成交通拥堵,而且认定结果在一定程度上依赖于执法人员的个人经验,可能存在主观偏差。随着城市监控系统的普及,出现了一些利用固定摄像头进行事故分析的技术方案,但这类方案依赖于预设的监控网络覆盖,无法处理用户自行持有的、来源多样的视频证据,如行车记录仪产生的视频数据。

2、近年来,人工智能技术尤其是大语言模型(llm)的发展,为交通事故分析领域带来了新的可能性。已有技术尝试利用大语言模型对交通事故的文本记录进行分析,以辅助责任认定。例如,有方案提出通过对输入的事故描述文本进行语义解析、匹配法条知识库并结合模型推理,来生成责任认定建议。

3、然而,上述基于大语言模型的现有技术方案仍存在显著的局限性。首先,其输入数据模态单一,通常仅能处理已经由人工整理好的结构化或半结构化的“交通事故记录文本”。对于仅持有视频数据而缺乏详细文字描述的普遍场景,该类方案无法直接适用,用户必须先手动观看视频并编写文字摘要,使用门槛较高。

4、其次,现有技术缺乏针对视频数据的自动化预处理机制。行车记录仪产生的视频数据通常时长较长、体积较大,远超当前主流多模态分析模型的输入限制。如何将长视频高效、自动地转换为模型能够接收的、包含关键信息的有限数据,是现有技术未能解决的问题。

5、最后,现有方案的交互模式较为初级,通常采用“提交-等待-返回”的同步批处理模式。用户在等待分析结果的过程中无法进行其他操作,也无法实时观察分析进度。此外,对于多案例管理、分析结果的智能整理、以及如何避免因非实质性修改而重复进行高成本分析等高级交互功能,现有技术亦未提供有效的解决方案。

技术实现思路

1、为了解决现有技术仅能处理文本、无法直接分析视频数据,且交互体验和管理效率低下的问题,本发明提供了一种融合视频数据的多模态交通事故智能解析方法及装置。

2、本发明提供的一种融合视频数据的多模态交通事故智能解析方法,包括:接收与待分析事件相关的视频数据;从所述视频数据中提取预设数量的代表性图像帧;对所述代表性图像帧进行数据量缩减处理;获取用户输入的事故文字描述,构建包含经过所述数据量缩减处理的代表性图像帧的编码数据和所述事故文字描述的多模态分析请求;将所述多模态分析请求发送至多模态分析模型,并以流式方式接收所述模型生成的分析文本;从所述分析文本中解析出包含各参与方责任分配信息的预定义结构化数据。该方案实现了从原始视频数据到结构化分析结果的端到端自动化处理,降低了用户的使用门槛。

3、可选地,当从所述视频数据中提取代表性图像帧的操作超时,或所述多模态分析模型返回预设错误时,自动减少所述预设数量并重新执行提取和发送操作。该自适应的降级重试机制能够有效应对网络波动或模型服务不稳定的情况,显著提高了方法整体的鲁棒性和分析成功率。

4、在用户编辑并保存与所述视频数据关联的案例信息时,判断所述视频数据或所述事故文字描述是否发生实质性变更,仅在发生实质性变更时才触发执行所述构建、发送、接收和解析步骤。该选择性重分析机制能够智能识别用户修改的意图,避免了因修改案例名称等非核心信息而触发不必要的、高成本的分析过程,有效节约了计算资源。

5、可选地,该方法还包括:根据所述预定义结构化数据中包含的责任分配信息,生成可视化图形并呈现。通过将抽象的责任分配信息转化为直观的图形,使得分析结果更易于被用户理解和接受。优选地,所述可视化图形为饼图。

6、该方法还包括:从所述分析文本中解析出事故类型标签,若所述事故类型标签与所述视频数据当前所属的分类不一致,则自动更新所述视频数据的分类信息以匹配所述事故类型标签。该分析驱动的自动分类功能,实现了案例的智能化整理和归档,减轻了用户的手动管理负担。

7、该方法还包括:管理多个并行分析会话,其中每个分析会话与一个视频数据相关联,并独立于用户界面的状态在后台执行。该机制允许用户在等待一个分析任务完成的同时,可以切换到其他界面处理另一个案例,显著提高了工作效率。

8、可选地,所述以流式方式接收是通过服务器推送事件协议实现的。该方式允许服务器在生成分析文本的过程中,持续地将数据块推送至客户端,实现了分析进度的实时展示,极大地提升了用户交互体验。

9、所述预定义结构化数据为表格格式的数据。采用标准化的表格格式,便于后续对分析结果进行程序化处理、存储和展示。

10、可选地,构建多模态分析请求的步骤包括:在所述多模态分析请求中注入用于指定分析视角的指令,所述分析视角为行车记录仪的第一人称视角。通过预设分析视角,可以确保模型生成的分析报告在立场和表述上保持一致性,提高了报告的规范性和可读性。

11、从所述视频数据中提取预设数量的代表性图像帧的步骤包括:创建所述视频数据的临时副本,并对所述临时副本执行提取操作。该方式可以有效避免因视频处理工具锁定文件而导致的与其他程序(如文件预览)的冲突,增强了系统在不同操作系统环境下的稳定性和兼容性。

12、本发明的另一目的在于,还提供了一种融合视频数据的多模态交通事故智能解析装置,包括:一接收模块,用于接收与待分析事件相关的视频数据;一提取模块,用于从所述视频数据中提取预设数量的代表性图像帧;一处理模块,用于对所述代表性图像帧进行数据量缩减处理;一构建模块,用于获取用户输入的事故文字描述,构建包含经过所述数据量缩减处理的代表性图像帧的编码数据和所述事故文字描述的多模态分析请求;一通信模块,用于将所述多模态分析请求发送至多模态分析模型,并以流式方式接收所述模型生成的分析文本;一解析模块,用于从所述分析文本中解析出包含各参与方责任分配信息的预定义结构化数据。

13、可选地,所述提取模块和所述通信模块还用于:当从所述视频数据中提取代表性图像帧的操作超时,或所述多模态分析模型返回预设错误时,自动减少所述预设数量并重新执行提取和发送操作。

14、所述装置还配置为:在用户编辑并保存与所述视频数据关联的案例信息时,判断所述视频数据或所述事故文字描述是否发生实质性变更,并仅在发生实质性变更时,才触发所述构建模块、所述通信模块和所述解析模块执行其各自的功能。

15、可选地,所述装置还包括:一生成模块,用于根据所述预定义结构化数据中包含的责任分配信息,生成可视化图形并呈现。优选地,所述可视化图形为饼图。

16、所述解析模块还用于从所述分析文本中解析出事故类型标签;所述装置还配置为:若所述事故类型标签与所述视频数据当前所属的分类不一致,则自动更新所述视频数据的分类信息以匹配所述事故类型标签。

17、所述装置还配置为:管理多个并行分析会话,其中每个分析会话与一个视频数据相关联,并独立于用户界面的状态在后台执行。

18、可选地,所述通信模块通过服务器推送事件协议实现以流式方式接收所述模型生成的分析文本。

19、所述预定义结构化数据为表格格式的数据。

20、可选地,所述构建模块还用于:在所述多模态分析请求中注入用于指定分析视角的指令,所述分析视角为行车记录仪的第一人称视角。

21、所述提取模块还用于:创建所述视频数据的临时副本,并对所述临时副本执行提取操作。

22、本发明提供的一种融合视频数据的多模态交通事故智能解析方法及装置,具有以下有益效果:

23、1)通过自动化的视频预处理流程,包括提取代表性图像帧和数据量缩减处理,成功打通了从用户上传的原始视频数据到多模态分析模型输入的通道,解决了现有技术无法直接处理视频数据的核心痛点,极大地降低了用户的使用门槛。

24、2)通过引入超时或错误的自适应降级重试机制,保证了分析任务在不稳定环境下的高成功率;通过选择性重分析机制,避免了不必要的计算开销;通过分析结果驱动的自动分类功能,实现了案例的智能化归档,减轻了用户的手动管理负担。

25、3)采用基于服务器推送事件的流式接收方式,能够实时向用户展示分析进度,变被动的“等待-返回”模式为主动的实时反馈模式;同时,支持并行分析会话管理,允许用户在不同任务间自由切换,显著提高了使用流畅度和工作效率。

26、通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。