基于几何大模型适配微调的时空轨迹数据合成方法与系统
本申请涉及人工智能与智能交通系统,特别是涉及一种基于几何大模型适配微调的时空轨迹数据合成方法与系统。
背景技术:
1、当前,时空轨迹数据合成领域的主流技术路线已从传统的马尔可夫链、循环神经网络(recurrent neural network,rnn)逐步演进至基于生成对抗网络(generativeadversarial network,gan)及大语言模型(large language model,llm)的深度生成范式。然而,纵观上述各类方法的本质,其均将路网中的路段视为离散的、无物理意义的文本标签或类别编号进行处理。
2、尤为突出的是,近年来兴起的基于大语言模型的方案虽展现出强大的序列建模能力,但其核心机制决定了其只能捕捉路段基于文本共现的语义统计相关性(statisticalco-occurrence),而难以有效感知路网中固有的连续空间几何属性(如路段曲率、方向角、长度)及非欧几里得的拓扑连通结构(如邻接、平行与相交关系)。
3、这一根本性的离散语义表征与连续几何空间之间的模态鸿沟,导致现有模型既无法建立路段间的空间邻接关系,也无法感知路网的几何物理属性,在生成轨迹时,其底层逻辑实质上是基于概率分布的文本猜词游戏,而非基于物理地图约束的空间路径推演。因此,生成结果普遍存在空间形态失真、路段序列拓扑不连通、行驶时间与距离逻辑相悖等固有问题。究其原因,一方面在于模型训练阶段缺乏对路网几何拓扑的感知能力,另一方面在于生成阶段缺乏对候选路段与已生成路径之间拓扑连通关系的显式约束。上述缺陷严重制约了合成数据在高保真度场景下的实际应用。
技术实现思路
1、本申请的目的是提供一种基于几何大模型适配微调的时空轨迹数据合成方法与系统,用于解决离散语言模型与连续物理空间之间的表征鸿沟,实现将路网几何拓扑结构内化为模型内生成逻辑的底层架构。
2、为实现上述目的,本申请提供了如下方案:
3、第一方面,本申请提供了一种基于几何大模型适配微调的时空轨迹数据合成方法,包括以下步骤:
4、获取路网数据,提取各路段的几何特征以及路段间的空间邻接关系,基于所述几何特征和所述空间邻接关系构建路网图结构;
5、采用图神经网络对所述路网图结构进行编码,生成各路段的几何感知嵌入向量;
6、构建大语言模型,所述大语言模型的词表中包含各路段令牌及各路段令牌对应的原始嵌入向量;在所述大语言模型前向传播的嵌入阶段,将输入序列中路段令牌在所述词表中对应的原始嵌入向量替换为对所述几何感知嵌入向量进行维度投影变换后的嵌入向量;
7、利用历史时空轨迹数据构造训练样本,采用参数高效微调技术对替换嵌入后的所述大语言模型进行微调训练,获得轨迹生成模型;
8、读取待合成的轨迹前缀,将所述轨迹前缀输入所述轨迹生成模型,自回归地生成后续路段序列,每一步生成中对候选路段执行合法性检查:若候选路段与当前轨迹末段在所述路网图结构中无直接边连接,则将该候选路段的生成概率置为负无穷或将其得分置零,直至满足预设停止条件,得到合成的时空轨迹数据。
9、第二方面,本申请提供了一种基于几何大模型适配微调的时空轨迹数据合成系统,包括:
10、几何特征提取模块,用于获取路网数据,提取各路段的几何特征以及路段间的空间邻接关系,基于所述几何特征和所述空间邻接关系构建路网图结构;
11、图神经网络编码模块,用于采用图神经网络对所述路网图结构进行编码,生成各路段的几何感知嵌入向量;
12、嵌入注入模块,用于构建大语言模型,所述大语言模型的词表中包含各路段令牌及各路段令牌对应的原始嵌入向量;在所述大语言模型前向传播的嵌入阶段,将输入序列中路段令牌在所述词表中对应的原始嵌入向量替换为对所述几何感知嵌入向量进行维度投影变换后的嵌入向量;
13、模型生成模块,用于利用历史时空轨迹数据构造训练样本,采用参数高效微调技术对替换嵌入后的所述大语言模型进行微调训练,获得轨迹生成模型;
14、轨迹生成模块,用于读取待合成的轨迹前缀,将所述轨迹前缀输入所述轨迹生成模型,自回归地生成后续路段序列,每一步生成中对候选路段执行合法性检查:若候选路段与当前轨迹末段在所述路网图结构中无直接边连接,则将该候选路段的生成概率置为负无穷或将其得分置零,直至满足预设停止条件,得到合成的时空轨迹数据。
15、第三方面,本申请提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述中任一项所述的基于几何大模型适配微调的时空轨迹数据合成方法的步骤。
16、第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述中任一项所述的基于几何大模型适配微调的时空轨迹数据合成方法的步骤。
17、第五方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述中任一项所述的基于几何大模型适配微调的时空轨迹数据合成方法的步骤。
18、根据本申请提供的具体实施例,本申请公开了以下技术效果:
19、本申请提供了一种基于几何大模型适配微调的时空轨迹数据合成方法与系统,通过采用图神经网络(graph neural network,以下简称gnn))对基于路段几何特征及空间邻接关系构建的路网图结构进行编码,生成几何感知嵌入向量,解决了现有技术将路段视为离散文本标签而无法表征其连续空间几何属性与非欧拓扑结构的问题,实现了路网物理信息的可计算向量化表征;通过在大语言模型前向传播的嵌入阶段将路段令牌的原始嵌入向量替换为经维度投影变换后的几何感知嵌入向量,解决了大语言模型仅能捕捉文本共现统计相关性而完全无法感知路网空间结构的问题,实现了在不改动模型内部transformer结构的前提下将几何拓扑信息无缝注入序列生成过程;通过对几何感知嵌入向量进行维度投影变换,解决了图神经网络输出维度与大语言模型嵌入层维度不匹配的异构融合难题,实现了gnn几何空间与llm语义空间的跨维度桥接;通过历史时空轨迹数据和参数高效微调技术对替换嵌入后的大语言模型进行微调训练,解决了几何先验信息与真实转移模式需对齐适配的问题,实现了路网几何约束与出行行为规律的双重监督下的模型适配;通过读取轨迹前缀并在自回归生成过程中执行合法性检查,对不符合路网拓扑连通关系的候选路段进行概率屏蔽,解决了现有方法无法从任意给定前缀进行可控合成且无法保证拓扑连通性的问题,实现了灵活适配轨迹补全、轨迹扩展及冷启动生成等多种任务的通用合成框架,有效提升了合成轨迹在拓扑连通性、空间形态真实性和行驶时间合理性方面的质量,同时保持了预训练大语言模型的通用序列建模能力与下游任务灵活性。
1.一种基于几何大模型适配微调的时空轨迹数据合成方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于几何大模型适配微调的时空轨迹数据合成方法,其特征在于,所述利用历史时空轨迹数据构造训练样本,具体包括:
3.根据权利要求1所述的基于几何大模型适配微调的时空轨迹数据合成方法,其特征在于,所述将输入序列中路段令牌在所述词表中对应的原始嵌入向量替换为对所述几何感知嵌入向量进行维度投影变换后的嵌入向量,具体包括:
4.根据权利要求1所述的基于几何大模型适配微调的时空轨迹数据合成方法,其特征在于,所述图神经网络为图注意力网络;所述图注意力网络在注意力系数的计算中,将连接两路段的边特征向量与两端节点特征向量沿特征维度进行拼接后参与计算,且若两路段在所述路网图结构中无直接边连接,则两路段之间的注意力系数强制为零。
5.根据权利要求1所述的基于几何大模型适配微调的时空轨迹数据合成方法,其特征在于,所述参数高效微调技术为低秩适配技术;
6.根据权利要求1所述的基于几何大模型适配微调的时空轨迹数据合成方法,其特征在于,所述将输入序列中路段令牌在所述词表中对应的原始嵌入向量替换为对所述几何感知嵌入向量进行维度投影变换后的嵌入向量之前,还包括:
7.一种基于几何大模型适配微调的时空轨迹数据合成系统,其特征在于,包括:
8.一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-6中任一项所述的基于几何大模型适配微调的时空轨迹数据合成方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于几何大模型适配微调的时空轨迹数据合成方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于几何大模型适配微调的时空轨迹数据合成方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com