一种基于时空图注意力网络的行人轨迹预测方法

1.本发明属于自动驾驶技术领域，涉及一种行人轨迹预测模型建立方法，更加具体来讲，涉及一种基于时空图注意力网络的行人轨迹预测方法。


背景技术：

2.近年来随着人工智能技术的不断发展，自动驾驶领域的研究也在不断地深入。自动驾驶系统主要分为环境感知、决策规划和运动控制三个模块。通过传感器从交通场景中获得道路使用者的位姿信息对其未来运动轨迹进行精准预测，能够提高决策规划系统的合理性和准确性。保证交通场景中道路使用者的自身安全是自动驾驶汽车被普及应用的前提条件，而行人作为弱势道路使用者，通过对目标行人未来运动位置的精准预测，可以减少车辆与行人碰撞事故的发生，提高自动驾驶汽车的行驶安全性。除此之外，根据行人未来的行动轨迹可以帮助自动驾驶系统制定更加合理的行驶策略，解决交通拥堵等问题。因此，研究行人轨迹预测问题对于自动驾驶技术的发展具有重要的现实意义。
3.行人轨迹预测的任务是根据行人过去一段时间的轨迹，预测其未来时刻的运动位置坐标。行人轨迹预测的挑战性在于行人的运动复杂灵活，难以建立合理的动力学模型，且行人的运动会受到外界环境多样性因素的影响。现有的轨迹预测方法根据建模方法主要分为两类：一类是基于模型的方法，这类方法都依赖于手工函数，无法模拟复杂情景的交互作用并且泛化能力差；另一类是近年来发展迅速的基于深度学习的预测方法。得益于神经网络的广泛应用，其完备的知识体系和丰富的网络模型为提高行人轨迹预测的准确度和合理性提供了必要条件。目前大部分的行人轨迹预测方法只考虑空间上的约束和交互作用，而忽略时间连续性，预测精度不够。


技术实现要素：

4.针对现有技术存在的问题，为了提升行人轨迹预测精度，本发明提出了一种基于时空图注意力网络的行人轨迹预测方法。
5.为实现上述目的，本发明是采用如下技术方案实现的：
6.一种基于时空图注意力网络的行人轨迹预测方法，应用于自动驾驶领域，针对行人横穿马路场景进行行人的行为分析和预测，利用自动驾驶汽车感知系统装备的车载摄像机采集行人信息，其特征在于，具体步骤如下：
7.步骤一、采集行人轨迹数据构建数据集：
8.利用自动驾驶汽车感知系统装备的车载摄像机采集车辆行驶过程中前方和两侧的道路视频数据，运用语义分割、图像分类和数据标注与转换技术手段提取行人信息，其中包括道路视频每帧中每个行人在图像坐标系下的坐标值，构建行人轨迹数据集，进一步分为训练数据集和测试数据集；
9.步骤二、数据预处理提取轨迹特征：
10.对行人轨迹训练数据集进行预处理，为了在保证预测精度的前提下减小计算量，
对输入的数据进行合理采样，提取每个行人的历史观测坐标，定义每个行人在历史时刻t的观测坐标为：
[0011][0012]
其中，i表示场景中第i个行人，t表示历史时刻，t
obs
表示观测时域长度，n表示场景中的行人总数量，表示第i个行人在图像坐标系下在历史时刻t沿x轴方向的观测坐标值和沿y轴方向的观测坐标值；
[0013]
定义每个行人在预测时刻t
p
的真实坐标为：
[0014][0015]
其中，i表示场景中第i个行人，t
p
表示预测时刻，t
pre
表示预测时域长度，n表示场景中的行人总数量，表示第i个行人在图像坐标系下在预测时刻t
p
沿x轴方向的真实坐标值和沿y轴方向的真实坐标值；
[0016]
计算每个行人在历史时刻t与上一个历史时刻t-1的历史相对位置
[0017][0018][0019]
其中，表示第i个行人在图像坐标系下在历史时刻t沿x轴方向的历史相对值和沿y轴方向的历史相对值；
[0020]
利用嵌入函数φ(
·
)对历史相对位置进行升维，得到每个行人在历史时刻t的嵌入向量
[0021][0022]
其中，表示第i个行人在历史时刻t的嵌入向量且维数为16，φ(
·
)表示嵌入函数，嵌入函数由全连接层组成，we表示可学习的全连接网络参数，网络的输入特征维数为2，输出特征维数为16，层数为1；
[0023]
接着将每个行人在历史时刻t的嵌入向量输入到长短期记忆网络lstm中，计算得到每个行人在历史时刻t的隐藏状态特征
[0024][0025]
其中，表示第i个行人在历史时刻t的隐藏状态特征且维数为32，lstm(
·
)由长短期记忆网络单元组成，w
en
为可学习得到的长短期记忆网络权重参数，网络的输入特征维数为16，输出特征维数为32，隐藏特征维数为32，层数为1；
[0026]
步骤三、时间注意力机制计算时间状态特征：
[0027]
通过时间注意力机制计算包含时间相关性的时间状态特征
利用时间注意力机制计算每个行人的其他历史时刻r,r∈{1,...,t}隐藏状态特征对历史时刻t隐藏状态特征的时间注意力系数，提取每个行人的历史轨迹的时间相关性，具体过程如下：
[0028]
首先，输入每个行人的隐藏状态特征计算第i个行人在其他历史时刻r的隐藏状态特征对历史时刻t的隐藏状态特征的时间注意力系数计算过程如下：
[0029][0030][0031]
其中，f(
·
)表示余弦相似性函数，用来计算相似性值，表示第i个行人在其他历史时刻r的隐藏状态特征，softmax(
·
)表示归一化指数函数，表示第i个行人在其他历史时刻r的时间注意力系数；
[0032]
接着，利用第i个行人在其他历史时刻r的时间注意力系数计算第i个行人在历史时刻t的时间状态特征计算过程如下：
[0033][0034]
其中，表示第i个行人在历史时刻t的时间状态特征且维数为32；
[0035]
步骤四、空间注意力机制计算时空状态特征：
[0036]
空间注意力机制将每个行人的时间状态特征输入到图注意力网络中，场景中的所有行人对应图结构中的各个节点，行人之间的交互对应图结构中的各个边，基于图注意力网络融合第i个行人在历史时刻t与相邻行人的轨迹交互特征，得到的时空状态特征即包含了时间相关性，也包含了空间交互性，具体过程如下：
[0037]
首先，定义在图结构中，第i个行人的相邻行人集合为ni，将所有行人的时间状态特征输入到图注意力网络中，计算在历史时刻t同一场景中第j个行人对第i个行人的空间注意力系数
[0038][0039]
其中，j∈{1,...,n}且j∈ni，表示在历史时刻t同一场景中第j个行人对第i个行人的空间注意力系数，ni表示第i个行人的相邻行人集合，表示第j个行人在历史时刻t的时间状态特征，表示第i个行人的任一相邻的第m个行人在历史时刻t的时间状态特征，m∈{1,...,n}且m∈ni，leakyrelu(
·
)表示非线性激活函数，a表示可学习的模型参数，w表示可学习的节点特征变换权重参数，||表示拼接操作；
[0040]
其次，在计算得到在历史时刻t第j个行人对第i个行人的空间注意力系数后，利用图注意力网络计算第i个行人在历史时刻t融合相邻行人的空间交互特征的时空状态特征
[0041][0042]
其中，表示第i个行人在历史时刻t的时空状态特征且维数为32，σ(
·
)表示非线性函数；
[0043]
步骤五、预测未来轨迹，训练预测模型:
[0044]
将第i个行人在历史时刻t
obs
的时空状态特征和隐藏状态特征进行拼接，为了模拟真实场景中行人运动的不确定性，加入服从正态分布的噪声向量z，得到第i个行人在历史时刻t
obs
的轨迹解码特征计算过程如下：
[0045][0046]
其中，z表示噪声向量且维数为16，表示第i个行人在历史时刻t
obs
的轨迹解码特征且维数为80，||表示拼接操作；
[0047]
利用由长短期记忆网络组成的解码器decoder来计算得到未来的预测相对位置，将第i个行人在历史时刻t
obs
的轨迹解码特征作为解码器decoder的输入，计算得到第i个行人在预测时刻t
obs
1的轨迹解码特征计算过程如下：
[0048][0049]
其中，表示第i个行人在预测时刻t
obs
1的轨迹解码特征且维数为80，表示第i个行人在历史时刻t
obs
的嵌入向量，wd表示可学习的网络权重参数；
[0050]
将计算得到第i个行人在预测时刻t
obs
1的轨迹解码特征通过全连接层进行降维，得到维数为2的第i个行人在预测时刻t
obs
1的预测相对位置
[0051][0052]
其中，表示第i个行人在预测时刻t
obs
1的预测相对位置且维数为2，δ(
·
)表示全连接层网络，wd表示可学习的网络参数，网络的输入特征维数为80，输出特征维数为2，层数为1；
[0053]
将第i个行人在预测时刻t
obs
1的预测相对位置与历史时刻t
obs
的观测坐标相加即可得到第i个行人在预测时刻t
obs
1的预测坐标计算过程如下：
[0054][0055]
其中，表示第i个行人在预测时刻t
obs
1的预测坐标，第i个行人在图像坐标系下在预测时刻t
obs
1沿x轴方向的预测坐标值和沿y轴方向的预测坐标值；
[0056]
在得到第i个行人在预测时刻t
obs
1的预测坐标之后，下一预测时刻t
obs
2的预测坐标的利用同样的方法计算得到，依次迭代，即可计算得到各个预测时刻的预测坐标
[0057][0058]
在得到每个行人的各个预测时刻的预测坐标后，考虑到生成的合理的行人预测轨迹可能不止一条，结合步骤二中每个行人的预测时刻的真实坐标构造多样损失函数l
variety
，通过采样生成多个轨迹样本，计算其中欧式距离最小的样本作为最佳的预测轨迹，计算方法如下：
[0059][0060]
其中，k是一个初始设定为20的超参数，表示随机抽样生成的样本个数，表示根据第i个行人的预测坐标随机抽样生成的轨迹样本，l
variety
表示多样损失函数；
[0061]
本发明的模型训练是在pytorch深度学习框架下进行的，使用adam优化器进行优化，学习率设置为0.01，批大小设置为64，利用训练数据集对方法中所涉及的各种网络的权重参数和模型参数进行训练，计算多样损失函数l
variety
选出最佳的预测轨迹，保存相应的各种权重参数和模型参数，得到训练好的预测模型，然后用测试数据集执行上述步骤二至步骤五来预测行人未来轨迹。
[0062]
与现有技术相比本发明的有益效果是：
[0063]
本发明公开了一种基于时空图注意力网络的行人轨迹预测方法，对行人交互作用建模同时考虑时间相关性和空间交互性，一方面针对现有的轨迹预测方法往往忽略行人自身的时间相关性的问题，利用时间注意力机制提取每个行人的时间特征，考虑了每个行人自身过去不同的历史时刻信息对当前预测结果的影响，有效提高预测结果的准确性；
[0064]
另一方面空间注意力机制将上一步时间注意力机制提取的场景中所有行人的时间状态特征作为输入，利用图注意力神经网络对每个行人的相邻行人分配合理的注意力系数从而融合相邻行人的特征信息，模拟行人之间包含社交因素的空间交互作用，保证预测结果的合理性；
[0065]
本发明考虑了行人空间交互作用的连续性，实现了时空交互信息的有效融合，可以最大化利用行人轨迹数据中的有效信息，提高行人轨迹预测结果的准确度和合理性。
附图说明
[0066]
图1为本发明所述的一种基于时空图注意力网络的行人轨迹预测方法的流程示意
图；
[0067]
图2为本方法步骤三中的时间注意力机制的原理示意图。
具体实施方式
[0068]
下面结合附图对本发明作详细的描述：
[0069]
本发明提出了一种基于时空图注意力网络的行人轨迹预测方法，如图1所示为本发明的流程示意图，具体的方法步骤如下：
[0070]
步骤一、采集行人轨迹数据构建数据集：
[0071]
利用自动驾驶汽车感知系统装备的车载摄像机采集车辆行驶过程中前方和两侧的道路视频数据，运用语义分割、图像分类和数据标注与转换技术手段提取行人信息，其中包括道路视频每帧中每个行人在图像坐标系下的坐标值，构建行人轨迹数据集，进一步分为训练数据集和测试数据集；
[0072]
步骤二、数据预处理提取轨迹特征：
[0073]
对行人轨迹训练数据集进行预处理，为了在保证预测精度的前提下减小计算量，对输入的数据进行合理采样，提取每个行人的历史观测坐标，定义每个行人在历史时刻t的观测坐标为：
[0074][0075]
其中，i表示场景中第i个行人，t表示历史时刻，t
obs
表示观测时域长度，n表示场景中的行人总数量，表示第i个行人在图像坐标系下在历史时刻t沿x轴方向的观测坐标值和沿y轴方向的观测坐标值；
[0076]
定义每个行人在预测时刻t
p
的真实坐标为：
[0077][0078]
其中，i表示场景中第i个行人，t
p
表示预测时刻，t
pre
表示预测时域长度，n表示场景中的行人总数量，表示第i个行人在图像坐标系下在预测时刻t
p
沿x轴方向的真实坐标值和沿y轴方向的真实坐标值；
[0079]
经过采样后的数据帧频为2.5fps，即每一帧的时长为0.4s，设定观测时域帧数为8帧，预测时域帧数为12帧，即根据历史观测3.2s的轨迹信息来预测未来4.8s的轨迹信息；
[0080]
计算每个行人在历史时刻t与上一个历史时刻t-1的历史相对位置
[0081][0082][0083]
其中，表示第i个行人在图像坐标系下在历史时刻t沿x轴方向的历史相对值和沿y轴方向的历史相对值；
[0084]
利用嵌入函数φ(
·
)对历史相对位置进行升维，得到每个行人在历史
时刻t的嵌入向量
[0085][0086]
其中，表示第i个行人在历史时刻t的嵌入向量且维数为16，φ(
·
)表示嵌入函数，嵌入函数由全连接层组成，we表示可学习的全连接网络参数，网络的输入特征维数为2，输出特征维数为16，层数为1；
[0087]
接着将每个行人在历史时刻t的嵌入向量输入到长短期记忆网络lstm中，计算得到每个行人在历史时刻t的隐藏状态特征
[0088][0089]
其中，表示第i个行人在历史时刻t的隐藏状态特征且维数为32，lstm(
·
)由长短期记忆网络单元组成，w
en
为可学习得到的长短期记忆网络权重参数，网络的输入特征维数为16，输出特征维数为32，隐藏特征维数为32，层数为1；
[0090]
步骤三、时间注意力机制计算时间状态特征：
[0091]
通过时间注意力机制计算包含时间相关性的时间状态特征时间注意力机制的原理示意图如图2所示，利用时间注意力机制计算每个行人的其他历史时刻r,r∈{1,...,t}隐藏状态特征对历史时刻t隐藏状态特征的时间注意力系数，提取每个行人的历史轨迹的时间相关性，具体过程如下：
[0092]
首先，输入每个行人的隐藏状态特征计算第i个行人在其他历史时刻r的隐藏状态特征对历史时刻t的隐藏状态特征的时间注意力系数计算过程如下：
[0093][0094][0095]
其中，f(
·
)表示余弦相似性函数，用来计算相似性值，表示第i个行人在其他历史时刻r的隐藏状态特征，softmax(
·
)表示归一化指数函数，表示第i个行人在其他历史时刻r的时间注意力系数；
[0096]
接着，利用第i个行人在其他历史时刻r的时间注意力系数计算第i个行人在历史时刻t的时间状态特征计算过程如下：
[0097][0098]
其中，表示第i个行人在历史时刻t的时间状态特征且维数为32；
[0099]
步骤四、空间注意力机制计算时空状态特征：
[0100]
空间注意力机制将每个行人的时间状态特征输入到图注意力网络中，场景中的所
有行人对应图结构中的各个节点，行人之间的交互对应图结构中的各个边，基于图注意力网络融合第i个行人在历史时刻t与相邻行人的轨迹交互特征，得到的时空状态特征即包含了时间相关性，也包含了空间交互性，具体过程如下：
[0101]
首先，定义在图结构中，第i个行人的相邻行人集合为ni，将所有行人的时间状态特征输入到图注意力网络中，计算在历史时刻t同一场景中第j个行人对第i个行人的空间注意力系数
[0102][0103]
其中，j∈{1,...,n}且j∈ni，表示在历史时刻t同一场景中第j个行人对第i个行人的空间注意力系数，ni表示第i个行人的相邻行人集合，表示第j个行人在历史时刻t的时间状态特征，表示第i个行人的任一相邻的第m个行人在历史时刻t的时间状态特征，m∈{1,...,n}且m∈ni，leakyrelu(
·
)表示非线性激活函数，a表示可学习的模型参数，w表示可学习的节点特征变换权重参数，||表示拼接操作；
[0104]
其次，在计算得到在历史时刻t第j个行人对第i个行人的空间注意力系数后，利用图注意力网络计算第i个行人在历史时刻t融合相邻行人的空间交互特征的时空状态特征
[0105][0106]
其中，表示第i个行人在历史时刻t的时空状态特征且维数为32，σ(
·
)表示非线性函数；
[0107]
步骤五、预测未来轨迹，训练预测模型:
[0108]
将第i个行人在历史时刻t
obs
的时空状态特征和隐藏状态特征进行拼接，为了模拟真实场景中行人运动的不确定性，加入服从正态分布的噪声向量z，得到第i个行人在历史时刻t
obs
的轨迹解码特征计算过程如下：
[0109][0110]
其中，z表示噪声向量且维数为16，表示第i个行人在历史时刻t
obs
的轨迹解码特征且维数为80，||表示拼接操作；
[0111]
利用由长短期记忆网络组成的解码器decoder来计算得到未来的预测相对位置，将第i个行人在历史时刻t
obs
的轨迹解码特征作为解码器decoder的输入，计算得到第i个行人在预测时刻t
obs
1的轨迹解码特征计算过程如下：
[0112]
[0113]
其中，表示第i个行人在预测时刻t
obs
1的轨迹解码特征且维数为80，表示第i个行人在历史时刻t
obs
的嵌入向量，wd表示可学习的网络权重参数；
[0114]
将计算得到第i个行人在预测时刻t
obs
1的轨迹解码特征通过全连接层进行降维，得到维数为2的第i个行人在预测时刻t
obs
1的预测相对位置
[0115][0116]
其中，表示第i个行人在预测时刻t
obs
1的预测相对位置且维数为2，δ(
·
)表示全连接层网络，wd表示可学习的网络参数，网络的输入特征维数为80，输出特征维数为2，层数为1；
[0117]
将第i个行人在预测时刻t
obs
1的预测相对位置与历史时刻t
obs
的观测坐标相加即可得到第i个行人在预测时刻t
obs
1的预测坐标计算过程如下：
[0118][0119]
其中，表示第i个行人在预测时刻t
obs
1的预测坐标，第i个行人在图像坐标系下在预测时刻t
obs
1沿x轴方向的预测坐标值和沿y轴方向的预测坐标值；
[0120]
在得到第i个行人在预测时刻t
obs
1的预测坐标之后，下一预测时刻t
obs
2的预测坐标的利用同样的方法计算得到，依次迭代，即可计算得到各个预测时刻的预测坐标
[0121][0122]
在得到每个行人的各个预测时刻的预测坐标后，考虑到生成的合理的行人预测轨迹可能不止一条，结合步骤二中每个行人的预测时刻的真实坐标构造多样损失函数l
variety
，通过采样生成多个轨迹样本，计算其中欧式距离最小的样本作为最佳的预测轨迹，计算方法如下：
[0123][0124]
其中，k是一个初始设定为20的超参数，表示随机抽样生成的样本个数，表示根据第i个行人的预测坐标随机抽样生成的轨迹样本，l
variety
表示多样损失函数；
[0125]
本发明的模型训练是在pytorch深度学习框架下进行的，使用adam优化器进行优化，学习率设置为0.01，批大小设置为64，利用训练数据集对方法中所涉及的各种网络的权重参数和模型参数进行训练，计算多样损失函数l
variety
选出最佳的预测轨迹，保存相应的各种权重参数和模型参数，得到训练好的预测模型，然后用测试数据集执行上述步骤二至
步骤五来预测行人未来轨迹。