一种基于多模态大语言模型的时序结构化数据生成方法及系统与流程

本技术涉及大模型，具体而言，涉及一种基于多模态大语言模型的时序结构化数据生成方法及系统。

背景技术：

1、无人机技术的成熟使得搭载高清摄像头的无人机在城市交通、安防巡检、应急救援等场景中得到广泛应用。无人机执行任务时会产生大量视频流，同时伴随飞行参数数据，包括高度、姿态角（俯仰、横滚、偏航）、gps坐标、速度和时间戳等信息。目前这类带飞参的视频数据主要靠人工标注或传统视觉算法处理，存在明显不足。人工处理需要专业人员逐帧查看视频，手动记录目标对象、场景信息和事件行为，转化为结构化数据。同时还要手动对齐视频时间戳与飞参数据。这种方式效率极低，面对高帧率、长时长的视频流时成本高昂且难以快速响应。不同标注人员的理解和标准不一致，导致数据质量参差不齐。

2、传统计算机视觉方案采用yolo、faster r-cnn等目标检测算法识别视频帧中的对象，结合ocr提取文字信息，再用规则引擎与飞参关联。这种方案虽然提高了效率，但局限明显：只能识别预定义类别，对开放域复杂场景缺乏语义理解能力；只能处理单帧图像，缺乏时序建模，无法捕捉目标在时间维度上的变化、轨迹和事件演化；飞参与视频的时空对齐通常只用简单的时间戳匹配，未考虑无人机姿态变化引起的视角偏移和gps误差；生成的数据是扁平表格，缺乏层级化组织，难以支持复杂查询。还有一种混合架构方案，结合cnn提取视觉特征和专家规则进行数据结构化。这种方案在特定场景有一定效果，但知识获取存在瓶颈——专家规则需要大量领域知识且难以覆盖所有场景。当场景变化时，需要重新设计特征提取网络和规则，迁移成本很高。

3、总的来说，现有方案在语义理解、时序建模、时空对齐精度、数据层级化和系统扩展性等方面都存在不足，难以满足大规模、高效率、智能化的处理需求。

技术实现思路

1、本技术的目的在于，为了克服现有的技术缺陷，提供了一种基于多模态大语言模型的时序结构化数据生成方法，实现了视频内容与飞参数据的精准时空融合，提升了开放场景下的语义理解能力和时序数据一致性。

2、本技术目的通过下述技术方案来实现：

3、第一方面，本技术提出了一种基于多模态大语言模型的时序结构化数据生成方法，包括：

4、s1、接收带有飞行参数的无人机视频流，对视频流进行解码、拆帧及飞参解析，提取图像帧序列、飞行参数数据流及对应的元数据；

5、s2、基于时间戳对图像帧序列与飞行参数数据流进行线性插值对齐，并基于无人机姿态角、相机内参及共线方程建立图像像素坐标到地理坐标的空间映射，封装形成原始结构化数据单元；

6、s3、将图像帧输入至多模态大语言模型，通过结构化提示词引导模型执行目标检测、场景理解及关系推理，输出单帧结构化语义信息；

7、s4、定义时间窗口，对单帧结构化语义信息进行聚合，构建四层级时序数据结构，并建立时空索引；

8、s5、在视频流持续输入场景下，基于滑动时间窗口维护时序数据队列，通过计算新旧窗口的差异特征进行增量更新，并维护全局对象id映射；

9、s6、对更新后的时序数据进行时间戳单调性校验、逻辑一致性检查及缺失值推断补全，输出最终时序结构化数据。

10、在一种可能的实施方式中，基于时间戳对图像帧序列与飞行参数数据流进行线性插值对齐的步骤，包括：

11、设视频帧时间戳集合为，飞参原始数据时间戳集合为，对于任意视频帧时间戳，通过相邻飞参数据点进行线性插值计算，获得对应的飞参值：，其中和为相邻的两个飞参时间戳。

12、在一种可能的实施方式中，基于无人机姿态角、相机内参及共线方程建立图像像素坐标到地理坐标的空间映射的步骤，包括：

13、通过建立映射关系，其中为相机内参矩阵，为由无人机俯仰角、横滚角、偏航角构成的旋转平移矩阵，为图像像素坐标，为世界地理坐标，为尺度因子。

14、在一种可能的实施方式中，步骤s3的步骤，包括：

15、将图像帧输入至多模态大语言模型的视觉编码器，生成高维视觉特征向量；

16、通过结构化提示词引导多模态大语言模型执行目标检测与识别、场景理解与分类、属性提取及关系推理中的至少一项任务；

17、将多模态大语言模型输出的自然语言结果解析并转化为结构化的单帧语义信息。

18、在一种可能的实施方式中，四层级时序数据结构包括：

19、场景层，用于描述全局环境上下文及天气光照条件；

20、对象层，用于记录目标对象的唯一标识及随时间变化的运动轨迹；

21、属性层，用于记录对象的细粒度特征及时序演变；

22、关系层，用于记录对象间的交互关系及事件序列。

23、在一种可能的实施方式中，步骤s4中建立时空索引的步骤，包括：

24、为四层级时序数据结构建立时间序列索引，支持基于时间范围的条件查询；

25、为四层级时序数据结构建立空间索引，支持基于地理范围的查询；

26、为对象层中的目标对象建立全局对象标识符索引，支持跨时间窗口的对象追踪。

27、在一种可能的实施方式中，s5中通过计算新旧窗口的差异特征进行增量更新的步骤，包括：

28、维护固定长度的滑动时间窗口队列，当新窗口到达时，移除队列中最早进入的旧窗口；

29、计算新窗口与相邻窗口的差异特征，通过更新时序数据，并通过时序一致性检查维护全局对象id映射表。

30、在一种可能的实施方式中，s6的步骤，包括：

31、检查数据集中所有时间戳的单调性和连续性，对检测到的时间戳异常进行标记；

32、基于预设的领域知识规则，验证目标的空间坐标变化是否符合运动速度约束、目标属性变化是否符合常识规则以及对象间关系是否满足传递性和对称性；

33、针对因图像质量下降或模型识别失败导致的语义信息缺失，采用基于时间距离的加权插值或调用多模态大语言模型基于相邻帧上下文进行推理补全；

34、针对视频丢帧导致的数据缺口，基于飞行参数推算运动轨迹或基于视觉内容进行时空预测，生成补全数据。

35、在一种可能的实施方式中，所述方法还包括：

36、将输出的最终时序结构化数据采用json schema进行序列化存储，所述数据包含时间戳字段和地理坐标字段。

37、第二方面，本技术提出了一种基于多模态大语言模型的时序结构化数据生成系统，包括：

38、视频预处理模块，用于接收带有飞行参数的无人机视频流，对视频流进行解码、拆帧及飞参解析，提取图像帧序列、飞行参数数据流及对应的元数据；

39、原始结构化数据构建模块，用于基于时间戳对图像帧序列与飞行参数数据流进行线性插值对齐，并基于无人机姿态角、相机内参及共线方程建立图像像素坐标到地理坐标的空间映射，封装形成原始结构化数据单元；

40、多模态大语言模型视觉识别模块，用于将图像帧输入至多模态大语言模型，通过结构化提示词引导模型执行目标检测、场景理解及关系推理，输出单帧结构化语义信息；

41、时序结构化抽取模块，用于定义时间窗口，对单帧结构化语义信息进行聚合，构建四层级时序数据结构，并建立时空索引；

42、流式增量更新模块，用于在视频流持续输入场景下，基于滑动时间窗口维护时序数据队列，通过计算新旧窗口的差异特征进行增量更新，并维护全局对象id映射；

43、时序一致性校验与推理模块，用于对更新后的时序数据进行时间戳单调性校验、逻辑一致性检查及缺失值推断补全，输出最终时序结构化数据。

44、上述本技术主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本技术可采用并要求保护的方案；且本技术，（各非冲突选择）选择之间以及和其他选择之间也可以自由组合。本领域技术人员在了解本技术方案后根据现有技术和公知常识可明了有多种组合，均为本技术所要保护的技术方案，在此不做穷举。

45、本技术公开了一种基于多模态大语言模型的时序结构化数据生成方法及系统，首先接收带飞行参数的无人机视频流，进行解码拆帧并提取图像帧序列、飞行参数数据流及元数据，之后线性插值对齐，并建立空间映射，封装原始结构化数据单元，图像帧输入多模态大语言模型，通过结构化提示词引导执行目标检测、场景理解及关系推理，输出单帧语义信息；定义时间窗口聚合语义信息，构建四层级时序数据结构并建立时空索引，通过滑动时间窗口进行增量更新并维护对象id映射；最后进行时间戳校验、逻辑一致性检查及缺失值推断补全，输出高质量时序结构化数据。实现了视频内容与飞参数据的精准时空融合，提升了开放场景下的语义理解能力和时序数据一致性。