基于时空交互特征和终点信息的行人轨迹预测方法

1.本发明属于轨迹预测技术领域，涉及基于时空交互特征和终点信息的行人轨迹预测方法。


背景技术：

2.伴随着智能化的潮流，行人的轨迹预测在机器人导航、自动驾驶等领域中将起到重要作用。未来，越来越多的移动服务机器人将会在与人类共享的家庭、工业和城市环境中运行，为了规划安全的运动路径以及创造良好的人机交互体验，机器人需要对周围的人群进行智能感知并合理预测人群的运动。类似的还有自动驾驶车辆，对于自动驾驶车辆而言，预测周围道路使用者的行动是其完成安全驾驶、避免碰撞事故的必要前提。尤其对于行人这一道路弱势群体，他们相比于车辆等道路使用者更容易受到伤害。所以对于自动驾驶车辆来说，准确预测行人将来动向显得尤为迫切。因此，行人轨迹预测技术的研究具有广阔的应用前景。
3.随着深度学习等技术的发展，人群轨迹预测技术从传统的基于规则的预测走向了数据驱动的预测。数据驱动的方法可以捕捉到更复杂的人群交互信息，预测更符合现实场景并且具备人与人微妙交互的人群运动轨迹。同时，人群轨迹预测的难点是多方面的。首先是人与人交互的复杂性，传统方法使用一些规则来模拟交互，比如运动学规则和无碰撞规则，但是这不足以描述所有复杂的人群运动交互，因此，现在的研究中大多会设计特定的神经网络结构从数据中有效学习人群的交互。其次，外部静态场景环境对行人运动倾向也会起到很大影响，传统的研究设计了排斥力模型等基于规则的模型来模拟外部静态场景对于人群运动的影响，但是这些设计也是比较简单直白的，且存在大量参数需要不断调整以适应不同场合，而现在的数据驱动的方法利用卷积神经网络对于图像数据进行有效处理，加上一些高效的模型结构比如注意力机制等，可以深度融合场景图像数据和行人运动信息数据来学习到场景对人群运动的复杂影响，这也被称为人景交互。最后，轨迹本身具有多模态性，相同的历史轨迹对应着多种合理且可能的未来轨迹。传统的基于规则的方法对于确定的历史轨迹和外部场景，预测出的轨迹都基本上会是确定的。而数据驱动的方法中确定性方法—般也只能够预测多样化的未来轨迹中平均化的一条，不过数据驱动的方法中也包含相当多可以进行多模态预测的方法，这些方法一般基于生成对抗网络、变分自编码器和强化学习等来实现。于是本文采用基于深度学习的方法构建轨迹预测模型。
4.行人运动的社会属性在轨迹预测中起着至关重要的作用，往往最终模型预测轨迹精度与模型对场景中行人的社会属性特征提取的准不准确有很强的相关性。其次，行人会对他们要到达的目的地保持一种意向，这种意向决定了他们轨迹的长期趋势，这对行人轨迹预测起着积极的作用。因此设计一种基于时空交互特征和终点信息的行人轨迹预测方法对提高轨迹预测的精度具有重要的意义。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于时空交互特征和终点信息的行人轨迹预测方法。在给定的场景信息中，挖掘出对行人轨迹预测有用的信息来提高模型预测轨迹的准确性。在行人运动的过程中，行人的历史轨迹信息、社会属性信息和行人的目的地信息对预测行人未来轨迹有重要的影响。行人行走轨迹所表现出来的是一个复杂的过程，影响行人未来运动轨迹有行人所处的环境因素和自身内部因素(例如，它的意图和目的地)。人会通过感知内在和外在因素来改变自己的运动，并通过不断调整自己的轨迹来到达自己的目的地。行人会对自身要到达的目的地保持一种意向，这种意向决定了行人运动轨迹的长期趋势。因此在预测行人轨迹时了解行人的目的地，对行人轨迹预测有着积极的意义。但是，在轨迹预测阶段关于历史轨迹的终点信息是未知的，因此需要模型学习已有完整轨迹中历史轨迹与终点信息之间的概率分布，在轨迹预测阶段生成终点信息。条件变分自编码器(cvae)作为一种深度学习中隐空间生成模型，在数据生成任务中受到研究者们的青睐。于是本研究使用cvae来学习生成轨迹中行人的目的地信息特征。
6.在最近的研究中，研究大都采用基于深度学习的模型对行人轨迹进行预测，递归神经网络(rnn)及其结构变体包括有长短期记忆(lstm)在序列预测任务取得了巨大的成功。通过循环的深度学习模型对每个行人的轨迹进行建模，模型的输出通过池化层相互交互，学习行人运动轨迹在空间上的交互特征。但是采用池化机制的聚合层存在以下问题，首先，特征状态的聚集在建模人与人之间的交互中既不直观也不直接。其次，由于聚合机制通常基于集合等启发式方法，它可能无法正确地建模行人之间的交互。行人运动的过程中，行人之间的交互天然就是一种图的结构，所以使用图神经网络技术中的图注意力网络(gat)来解决该问题很合适。此外，许多基于lstm的方法仅考虑在同一时刻的隐藏状态信息，忽略了行人间交互的时间相关性。因此本文使用另外一组lstm提取行人交互特征在时间上的相关性。于是本文提出了时空图注意网络来提取行人运动轨迹之间的交互特征。
7.本文综合考虑场景中影响轨迹预测的因素，提出了一种基于时空交互特征和终点信息的行人轨迹预测方法，该方法首先利用cvae网络训练学习行人历史轨迹和其轨迹中终点信息概率分布，当在进行轨迹预测时首先在训练的隐空间采样可能的潜在未来端点，然后将其与对历史轨迹的编码联合起来输入解码器，来得到对终点信息的预测。然后利用lstm网络学习历史行人轨迹信息，得到每个行人隐藏状态特征表示，利用gat网络学习行人之间在同一时刻的空间交互信息特征，再使用另一组lstm网络提取空间交互信息特征的时间相关性。最后将学习的行人历史轨迹信息特征，轨迹运动之间的时空交互特征和轨迹运动的目标终点信息特征进行拼接，输入解码器中得到最终的轨迹预测结果。本文所提出的模型充分考虑了轨迹数据中行人交互在时间和空间上的联系以及终点信息在轨迹预测中的影响，可以有效提高轨迹预测的精度，通过与经典的深度学习方法和当前最新方法进行对比实验，验证了本文所提出模型的有效性。
8.为了达到上述的目的，本发明提供如下技术方案：
9.一种基于时空交互特征和终点信息的行人轨迹预测方法，该方法包括以下步骤：
10.步骤1)将所用的数据进行预处理；
11.步骤2)采用条件变分自编码器网络生成轨迹终点信息特征。
12.步骤3)采用长短期记忆神经网络提取数据的历史轨迹特征。
13.步骤4)采用时空图注意力网络提取数据中行人间交互特征。
14.步骤5)将融合后的特征通过解码器输出预测轨迹。
15.进一步，所述步骤1)具体为包括以下步骤：
16.步骤11)原始数据集是从真实场景中收集的行人历史运动轨迹点，需要对数据集进行预处理操作，在实验时候我们采用前8帧的轨迹点作为观测历史轨迹，预测后12帧的行人历史轨迹，所以在预处理时，需要将不足20帧和大于20帧的数据过滤掉，只保留20帧的数据。
17.步骤12)为了更好的学习历史轨迹特征，将每个时刻的数据处理为当前时刻相对于前一时刻的相对位置，计算相对位置公式为：
[0018][0019][0020]
式中和为在第i个行人在t时刻的相对横纵坐标位置，和为在第i个行人在t时刻的横纵坐标位置，和为第i个行人在t-1时刻的横纵坐标位置。
[0021]
进一步，所述步骤2)具体为包括以下步骤：
[0022]
步骤21)采用条件变分自编码器网络生成轨迹终点信息特征。条件变分自编码器由一个编码器一个解码器组成，编码器学习历史轨迹和相应轨迹终点的概率分布。在编码器训练的潜空间采样可能潜在的未来端点特征，将其与提取历史轨迹特征拼接在一起，通过解码器进行解码，来得到条件变分自编码网络对于该历史轨迹预测的终点信息。在进行编码器步骤之前，先对第一步预处理后的数据进行特征编码，对历史轨迹中前8帧的数据和终点轨迹信息第20帧的数据通过多层感知机(mlp)进行编码，将得到的历史轨迹特征和轨迹终点信息特征拼接起来输入cvae网络中的编码器中，编码器学习特征潜空间分布并得到参数(μ，σ)，该参数用于产生编码器的潜在变量z＝n(μ，σ)。然后，我们从n(μ，σ)中采样可能的潜在未来端点，将其和历史轨迹特征拼接起来并使用潜在解码器进行解码，可以得到cvae网络生成的终点信息。
[0023]
进一步所述步骤3)具体包括以下步骤：
[0024]
步骤31)在提取到轨迹终点信息特征后，使用lstm提取历史轨迹特征，本文将其定义为h-lstm。由于轨迹数据具有时序性，历史轨迹位置前后有明显的关系，可以捕捉到历史轨迹的特征信息用于模型的学习预测。第i个行人在t时刻的h_lstm输出的隐藏状态可表示为：
[0025][0026][0027]
式中，是一个特征嵌入函数，we是嵌入权重，是第i个行人在t-1时刻h_lstm输出隐藏状态，是第i个行人在t时刻相对位置嵌入向量，wh是h_lstm网络权重。
[0028]
进一步，所述步骤4)具体为包括以下步骤：
[0029]
步骤41)在提取到轨迹历史特征后，使用时空图注意力网络来提取行人空间交互特征。单纯的对每个行人使用lstm网络并不能捕捉人与人之间的交互信息，行人运动的过程中，行人之间的交互天然就是一种图的结构，所以使用图神经网络技术来解决该问题很
合适。每个行人作为图的节点，每个节点的属性是行人通过相应的编码历史轨迹得到的特征向量，通过图注意力机制进行汇聚得到轨迹交互特征。gat网络输入的是各个节点的特征其中n表示节点的数量，f是节点特征的维度，经过图注意力网络得到空间交互特征输出为其中(f
′
与f可能不相等)。由步骤3得到行人历史轨迹特征将其输入到图注意力网络，计算行人间注意力机制的系数用以下公式计算：
[0030][0031]
式中，||表示连接操作，.
t
表示转置，表示节点j关于节点i在t时刻的注意力系数，ni表示在图中相对与节点i的邻居节点集合。w∈rf′
*f
是每个节点的共享线性变化的权重矩阵(f是的维度，f
′
是输出的维度)，a∈r
2f
′
是单层前馈神经网络的权重向量，通过带leakyrelu的softmax函数进行归一化。
[0032]
在获得归一化的注意力机制系数后，在t时刻节点i的图注意力网络输出由以下式给出：
[0033][0034]
式中，σ是一个非线性函数。是通过图注意力网络后，在t时刻第i个行人的聚集隐藏状态，其中包含了来自其他邻居行人的空间影响。
[0035]
步骤42)在考虑场景中每个时刻行人空间交互同时，本文使用另一组的lstm对交互特征之间的时间相关性进行建模，本文将其定义为u_lstm，使用下式表示：
[0036][0037]
式中，是图注意力网络的输出，wu是u_lstm网络的权重。
[0038]
在步骤4中，首先使用了h_lstm和u_lstm分别对行人间空间交互特征提取和交互特征的时间相关性特征提取，然后本文将这两部分特征结合起来，实现了对行人轨迹的时空交互特征提取。
[0039]
进一步所述步骤5)具体包括以下步骤：
[0040]
步骤51)通过上述步骤，本文得到行人轨迹终点信息特征、历史轨迹特征和行人时空交互特征，将这三部分特征拼接融合起来，输入到解码器，本文将其定义为d-lstm，得到模型预测的未来轨迹。在模型的训练阶段，通过计算隐空间与轨迹数据分布的kl散度来学习轨迹数据的概率分布，模型通过解码器输出的预测轨迹与真实的轨迹进行对照，将预测误差损失值实时记录并反馈给模型，通过多轮次的数据迭代训练，不断优化更新模型各部分神经网络的权重，使最终预测的轨迹更加接近真实的轨迹，在完成上述对模型神经网络参数训练后，对测试数据中的轨迹数据进行预测，并评估模型的预测精度。
[0041]
有益效果：
[0042]
1、本发明针对行人运动的终点目标对行人行动轨迹有重要的影响，提出采用条件变分自编码器网络来生成轨迹数据的目标终点特征，该方法相比于没有考虑行人终点信息的轨迹预测方法具有很大的优势。
[0043]
2、本发明提出将图神经网络中的技术图注意机制用于行人交互建模，该方法相比于传统的池化机制能更直观和直接的建模行人空间交互。
[0044]
3、本发明针对行人交互空间交互特征具有的时间相关性，在模型中使用u_lstm来提取轨迹空间交互的时间相关性，从而实现了更丰富的轨迹特征提取。
[0045]
4、本发明分析了场景中影响行人运动因素以及历史轨迹运动的规律，该方法对复杂场景中行人轨迹预测提供了一种参考方法。
附图说明
[0046]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0047]
图1为cvae网络结构示意图；
[0048]
图2为时空图注意网络结构示意图；
[0049]
图3为基于时空交互特征和终点信息的行人轨迹预测模型总体结构图；
具体实施方式
[0050]
以下将结合附图，对本发明的优选实例进行详细的描述。
[0051]
本发明提供一种基于时空交互特征和终点信息的行人轨迹预测方法，如图1所示为条件变分自编码器神经网络，用于生成轨迹的终点信息特征。图2为时空图注意力网络示意图，用于提取轨迹的时空交互信息特征。图3为本文轨迹预测模型的整体框图，该方法实施包含以下步骤：
[0052]
步骤1：原始轨迹数据长度不一，倘若要作为神经网络模型输入数据，需要使用数据预处理模块对原始数据进行数据进行数据预处理工作，首先需要对原始数据进行筛选，保留长度为20帧的数据，然后对数据计算相对位置坐标。
[0053]
步骤2：根据cvae网络结构特点，将预处理处理后的数据分为已知历史轨迹数据和终点信息数据，经过先经过多层感知机对数据进行嵌入编码，得到两个部分的数据特征后进行拼接输入cvae网络的编码器部分，学习历史轨迹数据和终点信息的概率分布，在预测时，先在潜空间采样可能的终点信息数据和历史轨迹数据拼接起来输入cvae的解码器部分，得到生成的轨迹终点信息特征。
[0054]
步骤3：根据时空图注意力网络结构特点，将h_lstm提取的不同行人每个时刻的历史轨迹特征输入图注意力神经网络，会得到每个时刻每个行人间空间交互特征，再将此特征用u_lstm网络学习空间交互特征的时间相关性。
[0055]
步骤4：在模型训练阶段，会对cvae网络的编码器、解码器、时空图注意网络、h_lstm和u_lstm网络进行多轮迭代训练，不断优化更新网络节点和权重参数，在模型测试阶段，会在cvae网络训练的隐空间采用并和历史轨迹特征拼接起来，经过解码器得到预测的终点信息特征，时空图注意力网络会对历史轨迹进行时空交互特征的提取，将两部分的特征拼接起来输入解码器d-lstm网络中，得到要预测步长的未来轨迹。
[0056]
步骤5：对测试数据预测轨迹精度的评估是轨迹预测系统重要的一环，测试数据得到的精度将作为模型评估的结果。
[0057]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较
佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。