轻量级时间编码局部图神经网络的多源航迹关联方法和系统
本发明涉及多源传感器航迹融合,具体地,涉及一种轻量级时间编码局部图神经网络的多源航迹关联方法和系统。
背景技术:
1、多源融合系统常由多个传感器对同一物理目标进行观测,各传感器输出的目标轨迹在进入后续融合、行为分析或态势理解之前需要完成航迹关联。海上ais接收机、雷达站和视频跟踪系统均可能产生异步目标轨迹,跨传感器航迹关联属于多源航迹关联的具体场景。由于不同传感器的起始时刻、采样周期、上报频率和观测噪声不同,实际航迹往往具有异步采样、持续时间不一致、长度不等和运动模式含噪的特点,使得同一目标的轨迹难以直接逐点比较。
2、现有技术中,最近邻、顺序最近邻、最大似然和分配类方法透明且计算代价较低,但其效果依赖人工设计的距离、门限和代价矩阵。针对多传感器航迹的学习方法能够利用轨迹或场景特征进行相似性建模,针对异步航迹关联的异构图方法能够避免显式时间配准,针对中断轨迹重连的图表示学习和对比transformer方法能够学习轨迹表示。上述方法推动了学习式航迹关联的发展,但在异步双传感器关联场景中仍存在对时间配准或任务假设依赖较强、全局图推理较重、密集候选集合中无关远距离交互较多以及实时性不足的问题。
技术实现思路
1、本发明的目的是提供一种轻量级时间编码局部图神经网络的多源航迹关联方法和传送设备,以解决相关技术中存在的问题。
2、第一方面,本公开提供一种轻量级时间编码局部图神经网络的多源航迹关联方法,包括:
3、步骤s1,多个传感器对目标进行检测与跟踪,以获得多个目标航迹,从中选取两个传感器对应的异步航迹集合,将该集合中的每个航迹均表示为按时间排序的航迹点序列,所述航迹点序列包括归一化时间戳和归一化运动状态特征;
4、步骤s2,将每个航迹中每个点迹的运动状态特征投影到隐藏特征空间,同时基于所述归一化时间戳生成正弦与余弦绝对时间编码,并将该时间编码叠加到投影后的点特征上,从而得到时间编码点特征;
5、步骤s3,利用长短期记忆网络对所述时间编码点特征进行轨迹编码,然后对所有有效点迹的编码结果求取平均值,最后将该平均值输入残差前馈网络块,得到最终的航迹嵌入;
6、步骤s4,将两个传感器的航迹嵌入拼接,以每个航迹嵌入作为一个节点,构成节点集合,针对每个节点,根据欧氏距离选取k个最近邻节点,从而构建出包含本传感器上下文证据和另一传感器关联证据的有向局部图;
7、步骤s5,在所构建有向局部图上执行图神经网络的gnn消息传递过程,将节点自身的表示与其所选邻居的均值表示进行融合,融合后经前馈网络块处理,得到更新后的航迹特征;
8、步骤s6,根据两个传感器更新后的航迹特征,计算跨传感器的欧氏距离矩阵,对该距离矩阵依次执行匈牙利算法分配和基于验证集选择的阈值筛选,最终输出航迹关联结果。
9、可选地,步骤1中所述异步航迹集合的具体定义:
10、设航迹集合为 ,其中, 为一个关联场景中的航迹数量, 为航迹索引;
11、每个航迹 表示为按时间排序的点序列 ,其中, 为航迹内点索引, 为航迹长度, 为归一化时间戳, 为归一化的逐点运动状态特征;
12、所述归一化运动状态特征 采用mtad数据格式, 包括经度、纬度、速度和航向四个归一化特征,对于跨传感器航迹对 ,标签 表示两者是否属于同一物理目标。
13、可选地,步骤s2包括:
14、将每个航迹点的运动状态特征投影到隐藏特征空间,得到投影点特征 ;
15、根据归一化时间戳 构造正弦时间编码并叠加到投影点特征中,其中,偶数维通道满足 ;奇数维通道满足, 为第 个正弦频率, 为频率通道索引。
16、可选地,步骤s3包括:
17、将得到的时间编码点特征输入lstm轨迹编码器,lstm轨迹编码器输出每个有效航迹点对应的时序表示;
18、对同一航迹内的有效逐点输出求平均,得到航迹级时序表示;
19、再输入残差前馈块形成紧凑的航迹嵌入,残差前馈块包括全连接层、relu激活层和全连接层。
20、可选地,步骤s4包括:设第一传感器的嵌入集合为h(0),第二传感器的嵌入集合为h(1),将h(0)与h(1)拼接得到统一节点集合h,节点集合中的每个航迹嵌入均作为图节点,供后续局部图构建使用。
21、可选地,所述构建出包含本传感器上下文证据和另一传感器关联证据的有向局部图包括:将第一传感器航迹嵌入和第二传感器航迹嵌入合并为同一节点集合,针对每个查询节点计算其与节点集合中其他节点的欧氏距离,选取距离最小的k个节点作为该查询节点的邻居,并以查询节点指向所选邻居节点的有向边形成局部图,当节点集合中除查询节点之外的节点数量小于k时,将节点集合中除查询节点之外的全部节点作为该查询节点的邻居。
22、可选地,构建有向局部图包括:对于节点集合 中的任一查询节点 ,计算其与集合中其他节点 之间的欧氏距离 ,按距离从小到大选取 个最近邻节点作为邻域 ;所构建的局部图记为 ,边集合 ,该候选关系是有向的,即每个航迹嵌入独立选择其最近邻;
23、当除查询节点之外的可用节点数量少于 时,使用全部可用节点,由于节点集合同时包含两个传感器的嵌入,所选邻居既能提供本传感器上下文证据,也能提供另一个传感器关联证据。
24、可选地,所述验证集选择的阈值通过在验证集上进行精度召回扫描并选取 分数最大的阈值得到,所述航迹关联结果为同时满足匈牙利分配关系和欧氏距离小于所述阈值的跨传感器航迹对。
25、可选地,所述图神经网络消息传递采用的消息传递算子为graphconv、gcn-mean、sage-maxmean、sage-max、sage-mean、gin、gated或edgeconv,消息传递算子对查询节点自身表示和所选局部邻居表示进行聚合,并经激活函数和前馈块得到更新航迹特征。
26、第二方面,提供一种轻量级时间编码局部图神经网络的多源航迹关联系统,包括:
27、异步航迹获取模块,用于多个传感器对目标进行检测与跟踪,以获得多个目标航迹,从中选取两个传感器对应的异步航迹集合,将该集合中的每个航迹均表示为按时间排序的航迹点序列,所述航迹点序列包括归一化时间戳和归一化运动状态特征;
28、时间编码点特征模块,用于将每个航迹中每个点迹的运动状态特征投影到隐藏特征空间,同时基于所述归一化时间戳生成正弦与余弦绝对时间编码,并将该时间编码叠加到投影后的点特征上,从而得到时间编码点特征;
29、航迹嵌入模块,用于利用长短期记忆网络对所述时间编码点特征进行轨迹编码,然后对所有有效点迹的编码结果求取平均值,最后将该平均值输入残差前馈网络块,得到最终的航迹嵌入;
30、构建有向局部图模块,用于将两个传感器的航迹嵌入拼接,以每个航迹嵌入作为一个节点,构成节点集合,针对每个节点,根据欧氏距离选取k个最近邻节点,从而构建出包含本传感器上下文证据和另一传感器关联证据的有向局部图;
31、航迹特征更新模块,用于在所构建有向局部图上执行图神经网络的gnn消息传递过程,将节点自身的表示与其所选邻居的均值表示进行融合,融合后经前馈网络块处理,得到更新后的航迹特征;
32、航迹关联结果模块,用于根据两个传感器更新后的航迹特征,计算跨传感器的欧氏距离矩阵,对该距离矩阵依次执行匈牙利算法分配和基于验证集选择的阈值筛选,最终输出航迹关联结果。
33、本公开的实施例提供的技术方案可以包括以下有益效果:
34、方案通过归一化时间戳搭配正余弦时间编码,摆脱对精准时间配准与任务假设的依赖,适配航迹异步特性;采用 k 近邻构建局部有向图替换全局图结构,削减图推理运算量,剔除候选集中无关节点的冗余交互;整体架构运算复杂度可控,显著提升算法实时性能。同时结合时序网络、图神经网络与最优匹配算法完成特征提取与航迹配对,在攻克上述技术痛点的基础上,进一步提升跨传感器航迹关联的准确度与工程实用价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com