基于双注意力长短时记忆网络的多源信息融合方法

摘要: 本发明属于多源信息融合领域,具体涉及一种基于双注意力长短时记忆网络的多源信息融合方法,适用于多传感器异构观测数据条件下的目标状态信息融合与估计。背景技术:1、在...
基于双注意力长短时记忆网络的多源信息融合方法

本发明属于多源信息融合领域,具体涉及一种基于双注意力长短时记忆网络的多源信息融合方法,适用于多传感器异构观测数据条件下的目标状态信息融合与估计。

背景技术:

1、在自动控制、信息处理以及智能感知系统中,对目标状态进行准确估计是实现系统稳定运行与高效决策的重要基础。随着传感器技术的不断发展,现代探测系统通常采用多种异构传感器进行联合观测,通过融合来自不同传感器通道的多维观测信息,提高系统对目标状态的感知能力。然而,由于不同传感器在测量原理、采样频率、测量精度以及环境适应性等方面存在差异,多源观测数据往往具有明显的异构性、非线性以及时间相关性,这使得如何有效融合多源观测信息成为信息处理领域的重要研究问题。

2、多源信息融合理论最早可追溯到20世纪六十年代。20世纪七十年代初期,美国学者y. bar-shalom提出并完善了联合概率数据关联滤波理论,该理论通过对多目标观测数据进行概率关联,有效解决了多目标跟踪过程中观测数据关联的不确定性问题,标志着信息融合理论取得了重要突破。随后,学者们在此基础上提出了多种基于概率统计的融合方法,例如卡尔曼滤波及其扩展形式,包括扩展卡尔曼滤波和无迹卡尔曼滤波等。这类方法通过建立系统状态模型与观测模型,实现对多源观测数据的递推融合,在工程实践中得到了广泛应用。

3、然而,上述方法通常依赖于较为精确的系统数学模型。当系统具有明显的非线性特性或系统模型难以准确建立时,传统基于模型的方法往往难以获得理想的融合效果。此外,在实际应用中,多源观测数据不仅存在非线性特征,还可能受到复杂环境噪声的影响,使得基于概率模型的传统融合方法在处理复杂观测数据时面临一定局限。

4、随着人工智能技术的发展,基于深度学习的多源信息融合方法逐渐受到研究人员的关注。其中,循环神经网络(recurrent neural network,rnn)在处理时间序列数据方面具有一定优势,而长短时记忆网络(long short-term memory,lstm)通过在网络结构中引入门控机制,有效解决了传统rnn在长序列训练过程中容易出现的梯度消失问题,因此在时序数据建模方面表现出良好的性能。近年来,lstm网络被广泛应用于时间序列预测、信号处理以及多源信息融合等领域,并逐渐成为处理复杂时序观测数据的重要工具。

5、尽管基于lstm的融合方法能够有效建模时间序列中的长期依赖关系,但在多源信息融合场景下仍然存在一些不足。首先,不同传感器在不同环境条件下的可靠性存在差异,如果将各传感器通道的数据直接输入神经网络进行处理,容易导致低质量观测数据对融合结果产生不利影响,从而降低系统的整体估计精度。其次,在时间序列数据中,不同时间步的观测信息对最终预测结果的贡献程度也并不相同,传统lstm模型在处理时往往默认各时间步信息的重要性一致,难以突出关键时间信息对预测结果的作用。

6、为解决上述问题,研究人员提出在神经网络模型中引入注意力机制(attentionmechanism)。注意力机制最早应用于自然语言处理领域,其核心思想是通过学习不同特征之间的重要性权重,使模型能够更加关注对任务结果影响较大的信息。在多源信息融合问题中,注意力机制能够用于对不同观测通道或不同时间信息进行加权,从而提高融合模型对关键特征的表达能力。然而现有方法大多仅在单一维度上引入注意力机制,例如仅对时间序列信息进行加权,或仅对传感器通道进行加权,难以同时考虑传感器维度与时间维度对融合结果的综合影响。

7、此外,一些已有方法在模型结构设计上较为复杂,增加了模型训练和应用过程中的计算负担,降低了方法在实际系统中的适用性。因此,如何在多源观测数据融合过程中,同时考虑不同传感器可靠性差异以及时间序列中关键观测信息的重要性,在保证融合精度的同时保持模型结构相对简洁,成为当前多源信息融合领域亟需解决的重要技术问题。

技术实现思路

1、针对多源传感器测量数据具有时序相关性强、非线性明显以及不同传感器测量贡献不一致等问题,本发明在于提出一种基于双注意力长短时记忆网络的多源信息融合方法,以提高多传感器异构观测数据条件下目标状态信息融合的精度与稳定性。

2、实现本发明目的的技术解决方案为:一种基于双注意力长短时记忆网络的多源信息融合方法,通过对多源观测数据进行时间对齐与特征构建,在融合模型中引入传感器注意力机制和时间注意力机制,对不同传感器观测信息以及不同时间步的时序特征进行自适应加权,并利用长短时记忆网络对时序信息进行建模,从而实现对目标距离、方位角和俯仰角等状态信息的高精度融合估计,其步骤如下:

3、步骤1、在飞行器上设有一个静电传感器与一个电磁涡旋传感器,利用电磁涡旋传感器对高超声速目标进行观测,获取涡旋多源观测数据,所述多源观测数据共有3路,包括涡旋距离、涡旋方位角、涡旋俯仰角,分别对应电磁涡旋传感器通道m=1,2,3,利用静电传感器对高超声速目标进行观测,获取距离观测数据和角度观测数据静电方位角和静电俯仰角,分别对应电磁涡旋传感器通道m=4,5,观测的真实值为,m=1,2,3,4,5。

4、步骤2、建立基于双注意力长短时记忆网络模型,包括长短时记忆网络、时间注意力机制、传感器注意力机制和全连接层:

5、步骤s2-1、建立传感器注意力机制,设第k个时间步、第m个通道的观测真实值数据为,k=1,2,…,,对进行萨维茨基-戈雷平滑滤波,得到距离特征;设第k个时间步的角度观测数据为,,采用长度为l的滑动时间窗构造模型第k个时间步的输入样本,,设传感器注意力评分向量为,结合和计算得到传感器注意力权重,经softmax归一化得到传感器权重系数,通过、计算得到加权融合后的角度特征。

6、步骤s2-2、建立长短时记忆网络,包括遗忘门、输入门、候选记忆、输出门、细胞状态、隐状态,将距离特征与加权融合后的角度特征进行拼接得到长短时记忆网络的输入量,设第个时间步的隐状态为,第k个时间步的细胞状态为,、为预设已知常数,通过、计算得到遗忘门、输入门、候选记忆与输出门,通过、与计算得到细胞状态,通过与计算得到隐状态,拼接各时间步的隐状态得到隐藏序列,k表示总的时间步。

7、步骤s2-3、建立时间注意力机制,设第k个时间步的查询向量,选用加性注意力,通过、计算得到时间注意力权重,随后通过softmax函数得到时间权重系数,通过、计算得到上下文向量,包括距离上下文向量、方位角上下文向量和俯仰角上下文向量。

8、步骤s2-4、通过全连接层将输出为预测距离,输出为预测方位角,输出为预测俯仰角,拼接、、形成第k个时间步的输出值。

9、步骤3、采用bptt算法训练长短时记忆网络,采用均方误差,通过长短时记忆网络的输出值与观测的真实值计算出模型损失,设学习率为,通过随机梯度下降算法更新参数,从而逐步收敛模型,使得模型能精确预测目标空间位置。

10、本发明与现有技术相比,其显著优点在于:

11、(1)本发明提出一种基于双注意力长短时记忆网络的多源信息融合方法,通过在网络输入层引入传感器注意力机制,对不同传感器观测数据进行自适应加权,能够根据各传感器在不同工况下的可靠性差异动态调整其贡献权重,从而有效提高多源观测信息融合的准确性。

12、(2)本发明在时序建模过程中引入时间注意力机制,对长短时记忆网络输出的各时间步隐状态进行加权,使模型能够更加关注对预测结果影响较大的关键时间信息,从而提升模型对时序特征的表达能力,提高预测精度与稳定性。

13、(3)本发明通过构建传感器注意力与时间注意力相结合的双注意力融合框架,在充分利用多源观测数据空间特征的同时,能够有效挖掘时间序列中的动态变化规律,从而显著提升多源信息融合效果。

14、(4)本发明所提出的融合方法不依赖复杂的系统数学模型,能够直接利用多源观测数据进行学习与融合,具有良好的适应性和通用性,可应用于多种多传感器信息融合场景。