一种基于贝叶斯-Transformer神经网络模型的目标识别方法

一种基于贝叶斯-transformer神经网络模型的目标识别方法
技术领域
1.本发明涉及目标识别技术，更具体地，本发明涉及一种基于贝叶斯-transformer神经网络模型的目标识别方法，适用于雷达预警探测领域中利用航迹信息进行目标识别的问题。


背景技术：

2.利用航迹信息进行目标识别是根据目标连续时间内产生的点迹进行目标身份识别，并且给出识别的置信度，作为辅助信息提供给决策者。在预警探测领域，对目标身份进行快速准确的识别十分重要。
3.在战场态势感知过程中，当目标距离较远，无法抵近拍照确认目标身份，或者雷达目标极化特征不够显著时，利用目标连续时间内产生的点迹进行目标身份识别，并且给出识别的置信度，为决策者提供辅助信息，具有十分重要的意义。
4.在目标识别研究中，目前主要利用目标图像、雷达回波中的目标极化信息等进行目标识别，在现实应用中面临着诸多挑战，比如受天气因素影响光学卫星无法对目标成像、目标距离较远不方便使用无人机抵近拍照、目标极化特征不明显等。为此，利用目标航迹信息进行目标识别是一种有效的辅助决策手段，而目前对此类问题的讨论还不够广泛，现有的研究多采用手动设计特征的方式，设计过程复杂，受研究者经验影响大，需要研究者对数据进行反复分析。
5.然而航迹蕴含着丰富的运动学信息，隐藏着目标独特的运动特性，受人类认知水平的限制，有些特征难以靠经验进行提取，数据隐藏特征丰富，仅靠手动设计特征容易出现特征遗漏，数据信息丢失的情况，进而影响模型识别效果。深度学习提供了一种自动提取数据特征的学习方式，提取的数据特征不受经验影响。仅需要将数据清洗后输入到网络模型中，就可以通过训练学习到数据的特征，模型利用学习到的特征进行船只类型的识别，摒弃了手动设计特征的过程。采用神经网络提取时间序列特征，然后进行分类任务已成为一种有效的技术方法。一般的神经网络的权值是固定的，分类的结果仅能体现出随机不确定度，而无法衡量模型本身产生的认知不确定度，因此需要提出一个可以体现随机不确定度和认知不确定度的目标识别方法。


技术实现要素：

6.为了克服现有技术中的问题，本发明提供了一种基于贝叶斯-transformer神经网络模型的目标识别方法，利用目标连续产生的一段航迹识别出该目标的身份，并且给出识别的置信度，置信度体现了随机不确定度和认知不确定度，相较于非贝叶斯神经网络具有可靠性更高的优势，同时具有识别准确率更高的优势。该方法无需手动设计特征，实现了网络自动提取航迹特征，进而学习到不同目标类型之间的航迹规律，完成对目标身份的识别。
7.本发明解决上述技术问题的技术方案如下：
8.一种基于贝叶斯-transformer的目标类型识别方法，包括以下步骤：
9.步骤1：将获取的航迹数据进行预处理，提取任务所需的目标航迹数据，并以此构建训练集和测试集；
10.步骤2：构建基于贝叶斯-transformer的神经网络模型，所述神经网络模型包括编码模块和分类模块；所述编码模块的网络结构包括位置编码层、多个transformer网络的encoder层，每个encoder层均包含多头注意力层和前馈网络层，最后一个encoder层输将提取到的特征信息映射到矩阵中，输出的矩阵经过一个贝叶斯全连接神经网络层后接入分类模块的softmax层，输出概率分布；
11.步骤3：利用训练集对所构建的神经网络模型进行训练，得到训练好的神经网络模型；
12.步骤4：对测试集中的验证样本进行目标类型识别，并且计算置信度。
13.进一步地，所述步骤1中对获取的航迹数据进行预处理，具体包括以下步骤：
14.步骤1.1：对每个目标的航迹数据的航迹点按照时间顺序进行排序，使每条航迹数据的航迹点在数据表格中相邻，删除孤立航迹点；
15.步骤1.2：保留与航迹有关的运动信息，包括时间戳、经纬度、速度、航向和目标类型；
16.步骤1.3：对每个航迹点的时间戳、经度、纬度、速度、航向进行规范化处理，将每种类型目标的航迹统一到同一起点。
17.进一步地，所述步骤1.1具体包括以下步骤：
18.对航迹数据中的航迹点进行三级排序，排序等级由高到低依次为目标类型、目标、时间戳；计算每个航迹点与上一航迹点的时间差和与下一航迹点的时间差，当两个差值均大于阈值时，该航迹点为孤立点，即与其他航迹点构不成一条完整航迹，做删除处理，所述阈值视航迹采样频率而定。
19.进一步地，所述步骤1.2具体包括以下步骤：
20.将时间戳、经度、纬度、速度、航向和目标类型作为每个航迹点的信息，删除其他信息，得到每个航迹点具有时间戳、经度、纬度、速度和航向五维信息以及对应的目标类型信息，目标类型信息作为该航迹的标签；设置目标类型查阅表，每种类型对应一个数字，按照查阅表将数据中的目标类型用数字代替。
21.进一步地，所述步骤1.3具体包括以下步骤：
22.将每个航迹点的信息进行归一化处理：
[0023][0024]
其中，xi代表一个航迹点的第i个维度信息，其中，n为数据集中所有船型的航迹点数，对于时间戳和经纬度的归一化，n为各自船型的航迹点数，以实现将每种类型航迹的时间戳和位置统一到同一起点。
[0025]
进一步地，所述步骤2中构建基于贝叶斯-transformer的神经网络模型中，对航迹信息进行位置编码，位置编码采用绝对位置编码的方式，具体采用正余弦函数的编码方式：
[0026]
[0027][0028]
其中，各参数的含义为：pe为位置编码矩阵，pos表示航迹点在航迹中的位置，d
model
表示航迹点向量的维度，i是d
model
/2-1之间的整数值。
[0029]
进一步地，transformer网络的encoder层设置为4层。
[0030]
进一步地，所述步骤2中贝叶斯全连接神经网络层的网络权重参数满足贝叶斯公式：
[0031][0032]
其中，w是模型的权重参数，d是训练集数据；
[0033]
采用变分近似的方法去估计权重的后验分布，利用高斯分布q
λ
(w)去拟合权重的后验分布p(w|d)，用kl散度度量p(w|d)与q
λ
(w)之间的相似程度，并将最小化二者之间的kl散度作为优化目标，损失函数为：
[0034][0035]
进一步地，所述步骤3中利用训练集对所构建的神经网络模型进行训练，具体包括以下步骤：
[0036]
步骤3.1：将训练集中的数据每条航迹作为一个样本，取每个样本第一个点的目标类型作为该样本的标签；
[0037]
训练集表示为{x；y}，其中x是航迹信息，y是标签信息，即每条航迹对应的目标类型；x的维度为batch
×
time_step
×
input_size，其中batch代表每轮训练的样本数量，即航迹数量，time_step代表每条航迹的长度，input_size代表每个航迹点的维度，
[0038]
input_size的格式为：
[0039]
(t
interval
,lat
interval
,lon
interval
,sog,cog)
[0040]
其中，每一项分别代表时间戳、纬度、经度、速率、航向，第i个样本为
[0041]
步骤3.2：进行第一轮训练，将训练集数据分批输入到构建的神经网络模型中，每批样本数量大小为batch；
[0042]
步骤3.3：对每一批次数据计算损失函数的值，并进行反向传播，采用adam算法更新权重分布的均值和方差；
[0043]
步骤3.4：进行完一轮中所有批次的训练后，将测试集数据输入到模型中，得到测试集的准确率；
[0044]
步骤3.5：重复进行步骤3.2至步骤3.4，构建的神经网络模型不断地学习到不同目标类别之间的特征区别，并且作为目标类型识别的依据，直至网络收敛；保存在测试集上准确率最高的一次网络模型参数，总的训练轮次为epoch、调整batch、学习率、epoch超参数，保存最终的最优模型。
[0045]
进一步地，所述步骤4中对测试集中的验证样本进行目标类型识别，并且计算置信度，具体包括以下步骤：
[0046]
步骤4.1：将验证样本中的输入到步骤3
训练好的模型中，得到输出的类别并且取出softmax层输出的类别的置信度
[0047]
步骤4.2：重复进行步骤4.1，第i次的预测类别为置信度为最终预测类别为预测类别次数最多的类别将每次预测类别为置信度相加取平均值为最终预测为的置信度，即：
[0048][0049]
m为预测为的总次数。
[0050]
与现有技术相比，本发明具有如下技术效果：
[0051]
本发明提出的一种基于贝叶斯-transformer神经网络模型的目标识别方法可以利用目标连续产生的一段航迹识别出该目标的身份，并且给出识别结果的置信度；将识别结果作为辅助信息提供给决策人员，实现更早更快更准确地识别出目标的真实身份，提升战场态势感知能力。
附图说明
[0052]
图1是一种基于贝叶斯-transformer的目标类型识别方法流程图。
具体实施方式
[0053]
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0054]
一种基于贝叶斯-transformer的目标类型识别方法，具体包括以下步骤：
[0055]
步骤1：将获取的航迹数据进行预处理，提取任务所需的目标航迹数据，并以此构建训练集和测试集。
[0056]
由于每个目标包含多条航迹，所述航迹包含多个航迹点，即每个目标包含多条航迹数据，将每个目标航迹数据进行预处理，即，对每个目标的航迹数据的航迹点按照时间顺序进行排序，使每条航迹数据的航迹点在数据表格中相邻，删除孤立航迹点；保留与航迹有关的运动信息，包括时间戳、经纬度、速度、航向和目标类型；对每个航迹点的时间戳、经度、纬度、速度、航向进行规范化处理，将每种类型目标的航迹统一到同一起点。把预处理后的航迹数据划分为训练集和测试集，构建训练样本和测试样本输入向量，每条航迹对应的标签即为目标类型。
[0057]
这一步骤中具体包括以下步骤：
[0058]
步骤1.1对每个目标的航迹数据中的航迹点按照时间顺序进行排序，并删除孤立航迹点；
[0059]
对航迹数据中的航迹点进行三级排序，排序等级由高到低依次为目标类型、目标、时间戳；计算每个航迹点与上一航迹点的时间差和与下一航迹点的时间差，当两个差值均大于阈值时，该航迹点为孤立点，即与其他航迹点构不成一条完整航迹，做删除处理，所述阈值视航迹采样频率而定。
[0060]
步骤1.2：保留航迹有关的运动信息，包括时间戳、经纬度、速度、航向和目标类型；
[0061]
将时间戳、经度、纬度、速度、航向和目标类型作为每个航迹点的信息，删除其他信息，得到每个航迹点具有时间戳、经度、纬度、速度和航向五维信息以及对应的目标类型信息，目标类型信息作为该航迹的标签。设置目标类型查阅表，每种类型对应一个数字，按照查阅表将数据中的目标类型用数字代替。
[0062]
步骤1.3：对每个航迹点的时间戳、经度、纬度、速度、航向进行规范化处理，将每种类型目标的航迹统一到同一起点；
[0063]
将每个航迹点的信息进行归一化处理，本发明采用0-1标准化。
[0064][0065]
xi代表一个航迹点的第i个维度信息，其中，n为数据集中所有船型的航迹点数，对于时间戳和经纬度的归一化，n为各自船型的航迹点数，以实现将每种类型航迹的时间戳和位置统一到同一起点。
[0066]
由于时间戳带有航迹产生时刻的信息，经纬度带有航迹产生的位置信息，不具有模型应用的普适性，为了不让模型学习到航迹产生的时间和位置的背景信息，将每种类型航迹的时间戳和位置统一到同一起点，以此生成规范、无量纲的数据集。
[0067]
步骤1.4：利用固定的时间窗截断数据向量作为神经网络的输入向量，对应的目标类型作为航迹的标签值。
[0068]
所述时间窗就是时间长度，截取航迹中一段时间长度为时间窗长度的航迹，截取之后的数据为时间窗长度的航迹数据，即为神经网络的输入向量。
[0069]
步骤2：构建基于贝叶斯-transformer的神经网络模型，所述神经网络模型包括编码模块和分类模块；所述编码模块的网络结构包括位置编码层，多个transformer网络的encoder层，每个encoder层均包含多头注意力层和前馈网络层，最后一个encoder层连接全连接层，实现数据的降维，由分类模块的softmax层输出概率分布。
[0070]
考虑到航迹数据属于明显的时间序列，而通过航迹信息识别出目标的类型，本质上就是有监督的时间序列分类问题。航迹信息具有跨度长、前后联系密切的特点，transformer模型可以更好地关注到序列中距离较远的信息。
[0071]
这一步骤中具体包括以下步骤：
[0072]
步骤2.1：对航迹信息进行位置编码，编码采用绝对位置编码的方式，具体采用正余弦函数的编码方式：
[0073][0074][0075]
其中，各参数的含义为：pe为位置编码矩阵，pos表示航迹点在航迹中的位置，d
model
表示航迹点向量的维度，i是d
model
/2-1之间的整数值。
[0076]
本发明网络结构第一层为位置编码层，航迹信息作为一种规范化的时序序列具有明显的时序特点，需要网络模型捕捉到航迹数据的时序信息，即区分航迹中不同时间发生的航迹点。对输入的原始航迹数据进行位置编码，编码后航迹信息能够使注意力机制捕捉到输入数据的顺序关系。
[0077]
步骤2.2：利用transformer的encoder层提取编码后的航迹信息的特征，将提取到的特征信息映射到矩阵中；
[0078]
由于每个encoder层均包括多头注意力层和前馈网络层，注意力机制可以让网络注意到不同时刻航迹点之间特定的关系，当网络处理每个航迹点时，可以关注到与其他航迹点的联系，从而更好地提取出航迹特征；前馈网络层使数据在不同维度之间变换，提升了模型的表现能力。
[0079]
本实施中encoder层优选设置为4层，将提取到的特征信息映射到矩阵中，即为最后一层encoder层的输出矩阵，此矩阵维度大小与原始网络输入数据的维度大小一致。
[0080]
步骤2.3：将上一步骤输出的矩阵经过一个全连接层后接入softmax层，输出概率分布。
[0081]
transformer中encoder层后的全连接网络全部为贝叶斯神经网络结构，其网络权重参数满足一下贝叶斯公式：
[0082][0083]
其中，w是模型的权重参数，d是训练集数据。实现了transformer与贝叶斯神经网络的结合，选择变分近似的方法估计p(w|d)，损失函数为：
[0084][0085]
其中，w是模型的权重参数，d是训练集。实现了transformer与贝叶斯神经网络的结合，选择变分近似的方法估计p(w|d)。
[0086]
利用全连接神经网络降维是一种基本的降维方式，全连接层的输入包含5个节点，输出包含3个节点，输入与输出之间为线性连接，从而实现数据维度由5维降为3维。
[0087]
步骤2.4：采用变分近似的方法去估计权重的后验分布，利用高斯分布q
λ
(w)去拟合权重的后验分布p(w|d)，用kl散度度量p(w|d)与q
λ
(w)之间的相似程度，并将最小化二者之间的kl散度作为优化目标，具体的损失函数为：
[0088][0089]
选择变分近似的方法估计p(w|d)，利用一个高斯分布q
λ
(w)，去拟合每个权重的后验分布，其中λ＝(μ,σ)，采用kl散度值度量q
λ
(w)与p(w|d)之间的差距，并且将最小化二者之间的kl散度作为优化目标。
[0090]
步骤3：利用训练集对所构建的神经网络模型进行训练，得到训练好的神经网络模型；
[0091]
即将步骤1中的训练集输入到步骤2中构建的网络模型中，进行训练，计算损失函数的值进行反向传播，更新权重的高斯分布q
λ
(w)中的均值和方差，直到模型收敛，保存最优的一次模型参数用来进行识别船只的类型并且给出置信度。
[0092]
这一步骤中具体包括以下步骤：
[0093]
步骤3.1：将训练集中的数据每条航迹作为一个样本，取每个样本第一个点的目标类型作为该样本的标签；
[0094]
由于同一条航迹的航迹点都属于一种目标类型，所以取每个样本第一个点的目标类型作为该样本的标签。训练集可表示为{x；y}，其中x是航迹信息，y是标签信息，即每条航
迹对应的目标类型。x的维度为batch
×
time_step
×
input_size，其中batch代表每轮训练的样本数量，即航迹数量，time_step代表每条航迹的长度，input_size代表每个航迹点的维度，
[0095]
input_size的格式为：
[0096]
(t
interval
,lat
interval
,lon
interval
,sog,cog)
[0097]
其中，每一项分别代表时间戳、纬度、经度、速率、航向。第i个样本为
[0098]
步骤3.2：进行第一轮训练，将训练集数据分批输入到网络结构中，每批样本数量大小为batch，首先将航迹序列进行位置编码，然后输入到编码层中，然后经过softmax层输出概率分布，概率最大的为预测类别。
[0099]
在具体实施中，编码层设置为4个，经过4次编码层后经过一个全连接层降维，然后经过softmax层输出概率分布，概率最大的为预测类别。
[0100]
步骤3.3：对每一批次数据计算损失函数的值，并进行反向传播，采用adam算法更新权重分布的均值和方差。
[0101]
adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。
[0102]
步骤3.4：进行完一轮中所有批次的训练后，将测试集数据输入到模型中，得到测试集的准确率。
[0103]
步骤3.5：重复进行步骤3.2至步骤3.4，网络不断地学习到不同目标类别之间的特征区别，并且作为目标类型识别的依据，直至网络收敛。
[0104]
保存在测试集上准确率最高的一次网络模型参数，总的训练轮次为epoch。调整batch、学习率、epoch等超参数，使得在模型在测试集上表现最优，保存最终的最优模型。
[0105]
步骤4：对测试集中的验证样本进行目标类型识别，并且计算置信度。
[0106]
步骤4.1：将验证样本中的输入到步骤3训练好的模型中，得到输出的类别并且取出softmax层输出的类别的置信度
[0107]
步骤4.2：重复进行步骤4.1，第i次的预测类别为置信度为最终预测类别为预测类别次数最多的类别将每次预测类别为置信度相加取平均值为最终预测为的置信度，即：
[0108][0109]
m为预测为的总次数。
[0110]
本发明提出的一种基于贝叶斯-transformer神经网络模型的目标识别方法，利用目标连续产生的一段航迹识别出该目标的身份，并且给出识别的置信度，置信度体现了随机不确定度和认知不确定度，相较于非贝叶斯神经网络具有可靠性更高的优势，同时具有
识别准确率更高的优势。该方法无需手动设计特征，实现了网络自动提取航迹特征，进而学习到不同目标类型之间的航迹规律，完成对目标身份的识别。
[0111]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。