一种行人轨迹预测方法及其系统

摘要: 本发明涉及人工智能的一种预测方法,尤其涉及一种行人轨迹预测方法,还涉及一种行人轨迹预测系统。背景技术:1、行人轨迹预测是自动驾驶、智能交通和公共安全等领域中智能...
一种行人轨迹预测方法及其系统

本发明涉及人工智能的一种预测方法,尤其涉及一种行人轨迹预测方法,还涉及一种行人轨迹预测系统。

背景技术:

1、行人轨迹预测是自动驾驶、智能交通和公共安全等领域中智能体安全决策的关键支撑技术,其任务是根据行人的历史轨迹预测未来运动路径。行人未来运动同时受到自身运动规律和周围行人交互的影响,在相同历史条件下还可能产生不同的运动结果,因此具有多模态特征。随着深度学习技术的发展,相关研究主要围绕社会交互建模、多模态预测和终点条件引导的轨迹生成展开。在社会交互建模方面,已有方法采用社交池化、时空图卷积或图注意力等方式聚合邻近行人特征;在多模态预测方面,已有方法采用生成对抗网络(gan)、条件变分自编码器等方式生成多条候选轨迹;在终点条件引导的轨迹生成方面,已有方法将终点预测与完整未来轨迹生成分阶段处理,或通过渐进式前置任务学习逐步增强对短期动态和长期依赖的建模能力。

2、尽管上述方法在行人轨迹预测任务中取得了一定进展,但仍存在以下技术问题。第一,社会交互影响强度缺乏自适应调节且对动态运动状态利用不足:部分现有方法难以根据实际交互情形调整社会交互信息的影响强度,依赖静态空间邻近关系的方法对相对速度等动态运动状态利用不足,难以区分不同相对运动状态下邻居影响的差异。第二,多模态候选生成缺乏稳定的模式特征与候选分化机制:部分现有多模态方法通过潜变量采样或噪声扰动生成候选轨迹,候选差异在较大程度上受随机采样过程影响,难以形成稳定的模式特征并实现不同候选轨迹的有效分化。第三,模式相关中间特征跨阶段利用不足及不同未来位置上的条件作用调节不足:部分现有两阶段方法主要传递候选终点坐标等结果级条件,未充分利用终点预测阶段形成的模式相关中间特征;采用统一或相对固定融合方式的方法难以按未来预测位置调整历史运动信息与未来意图相关条件的相对作用强度,可能影响短期预测与历史运动趋势、远期预测与未来意图相关条件之间的一致性。

技术实现思路

1、为解决现有的行人轨迹预测方法存在意图和模式建模不足的问题,本发明提供一种行人轨迹预测方法及其系统。

2、本发明采用以下技术方案实现:一种行人轨迹预测方法,其包括以下步骤:

3、对同一场景内各行人的历史观测轨迹分别进行时序建模,得到对应的时序特征;

4、逐观测时刻确定目标行人的局部近邻,根据所述目标行人与各局部近邻之间的相对位置和速度构造相对交互状态,计算软交互权重,并利用所述软交互权重对局部近邻特征进行加权求和,得到邻域聚合特征;

5、结合所述目标行人自身特征及其与所述邻域聚合特征之间的差值,生成社会交互校正特征并与所述目标行人的时序特征交叉融合,得到社会交互特征;

6、由所述目标行人的时序特征和所述社会交互特征形成个体意图和社会交互意图并融合得到终点意图表示;

7、将所述终点意图表示分别与多个可学习的模式条件嵌入融合,得到多个模式特征并分别预测对应的候选终点,形成多个候选分支;

8、对于各候选分支,根据观测轨迹形成历史条件,将当前候选分支的模式特征作为模式条件,并利用与未来预测位置相关的融合权重对历史条件和模式条件进行加权,构造未来运动先验特征序列;

9、将观测轨迹特征序列、所述未来运动先验特征序列和当前候选分支的候选终点特征组合为输入序列,并将所述输入序列输入时空表征网络进行解码,生成完整未来轨迹。

10、本发明通过门控残差融合机制自适应调节社会交互信息对个体意图的校正强度,利用可学习的模式条件嵌入驱动多个候选分支的差异化生成,并利用与未来预测位置相关的融合权重构造未来运动先验特征序列,从而解决了现有行人轨迹预测方法因社会交互影响强度缺乏自适应调节、多模态候选生成模式特征不稳定以及模式相关特征跨阶段利用不充分而导致的意图和模式建模不足的技术问题。

11、作为上述方案的进一步改进,所述邻域聚合特征的获取方法具体包括以下步骤:

12、在每个观测时刻,根据绝对坐标之间的欧氏距离为目标行人选取预设数量的最近邻,构成局部近邻集合;

13、将所述目标行人与各局部近邻之间的相对位置向量与相对速度向量拼接,得到相对交互状态向量;

14、将所述相对交互状态向量输入权重网络,并在所述局部近邻集合内进行softmax归一化,得到所述软交互权重;

15、以所述软交互权重对所述局部近邻集合内各近邻的特征进行加权求和,得到所述邻域聚合特征。

16、作为上述方案的进一步改进,将所述目标行人自身特征与由所述目标行人自身特征减去所述邻域聚合特征所得到的差值进行拼接,并将拼接结果输入校正网络,得到所述社会交互校正特征;以所述目标行人的时序特征作为查询,以所述社会交互校正特征序列作为键和值,通过交叉注意力计算得到所述社会交互特征。

17、作为上述方案的进一步改进,所述终点意图表示的获取方法具体包括以下步骤:

18、分别对所述目标行人的时序特征和所述社会交互特征进行注意力汇聚,得到个体意图向量和社会交互意图向量;

19、将所述个体意图向量和所述社会交互意图向量拼接后经sigmoid函数生成门控向量;

20、利用所述门控向量对所述社会交互意图向量进行门控调节,并将经预设权重系数缩放的门控调节结果与所述个体意图向量相加,得到所述终点意图表示。

21、作为上述方案的进一步改进,通过将所述终点意图表示分别与各模式条件嵌入向量拼接后,输入共享的模式映射网络,得到多个模式特征向量;将各模式特征向量输入共享的坐标预测网络,得到对应的候选终点坐标。

22、作为上述方案的进一步改进,所述未来运动先验特征序列的构造方法具体包括以下步骤:

23、对于预测时段内除末端时刻外的第个未来时刻,获取该时刻的可学习基础特征向量和时序位置嵌入向量;

24、按下式构造该未来时刻的运动先验特征向量:

25、

26、其中,为第个未来时刻对应的可学习基础特征,为第个未来时刻的时序位置嵌入,为由所述目标行人的时序特征和所述社会交互特征形成的历史条件,为当前候选分支的模式特征向量;和为与未来预测位置相关的融合权重,分别用于调节历史条件和模式条件对第个未来运动先验特征的作用强度。

27、作为上述方案的进一步改进,所述社会交互校正特征的计算公式为:

28、

29、式中,为所述社会交互校正特征,为校正网络;为所述目标行人自身特征;为邻域聚合特征。

30、作为上述方案的进一步改进,所述终点意图表示的计算公式为:

31、

32、式中,为所述终点意图表示,为所述个体意图,为预设权重系数,为所述门控向量,表示逐元素相乘,为所述社会交互意图;

33、所述候选终点的计算公式为:

34、

35、

36、其中,为所述模式特征,为模式映射网络,为第个模式条件嵌入,为所述候选终点,为坐标预测网络,为候选分支。

37、作为上述方案的进一步改进,所述预测方法的网络参数通过分阶段训练过程获得,且所述分阶段训练过程包括:

38、短时预测训练阶段,其以真实轨迹为输入训练时空表征网络建立时序建模能力;

39、终点预测训练阶段,其在所述时空表征网络基础上训练意图融合与模式分支生成部分,并引入抑制模式特征趋同和抑制候选终点过度集中的差异性约束;

40、完整轨迹预测训练阶段,其联合训练终点预测分支与轨迹生成分支。

41、本发明还提供一种行人轨迹预测系统,所述系统用于执行上述任意一种行人轨迹预测方法,所述系统包括:

42、意图生成模块,其用于执行以下处理:对同一场景内各行人的历史观测轨迹分别进行时序建模,得到各行人的时序特征;逐观测时刻确定目标行人的局部近邻,根据所述目标行人与各局部近邻之间的相对位置和相对速度构造相对交互状态,计算软交互权重,并利用所述软交互权重对局部近邻特征进行加权求和,得到邻域聚合特征;结合目标行人自身特征及其与所述邻域聚合特征之间的差值生成社会交互校正特征,并将所述社会交互校正特征与所述目标行人的时序特征交叉融合,得到社会交互特征;由所述目标行人的时序特征和所述社会交互特征形成个体意图和社会交互意图,经门控残差融合得到终点意图表示;

43、模式分支生成模块,其用于将所述终点意图表示分别与多个可学习的模式条件嵌入融合,得到多个模式特征,并由各模式特征分别预测对应的候选终点,形成一一对应的“模式特征—候选终点”候选分支;

44、轨迹解码模块,其用于对各候选分支分别进行以下处理:根据观测轨迹形成历史条件,并将当前候选分支的模式特征作为模式条件;利用与未来预测位置相关的融合权重对所述历史条件和所述模式条件进行加权,构造未来运动先验特征序列;将观测轨迹特征序列、所述未来运动先验特征序列和当前候选分支的候选终点特征组合为输入序列,并将所述输入序列输入时空表征网络进行解码,生成完整未来轨迹。

45、相较于现有的行人轨迹预测方法,本发明的行人轨迹预测方法及其系统具有以下有益效果:

46、1、该行人轨迹预测方法通过门控残差融合机制自适应调节社会交互信息对个体意图的校正强度,利用可学习的模式条件嵌入驱动多个候选分支的差异化生成,并利用与未来预测位置相关的融合权重构造未来运动先验特征序列,从而解决了现有行人轨迹预测方法因社会交互影响强度缺乏自适应调节、多模态候选生成模式特征不稳定以及模式相关特征跨阶段利用不充分而导致的意图和模式建模不足的技术问题。

47、2、该行人轨迹预测方法提高了不同交互情形下终点意图建模的适应能力。该方法在各历史观测时刻动态确定局部近邻,利用相对位置和相对速度计算软交互权重,并通过门控残差融合自适应调节社会交互信息对个体意图的校正强度。与采用固定邻域关系或按固定比例融合社会交互信息的方式相比,该方法能够根据实际交互情形灵活调整社会交互影响的介入程度,减少交互关系判断偏差,使终点意图表示更准确地反映行人在不同交互情形下的真实运动趋势。

48、3、该行人轨迹预测方法提高了模式特征的稳定性和候选终点的可区分性。该方法以多个可学习的模式条件嵌入分别驱动对应模式特征和候选终点的生成,使模式条件嵌入、模式特征和候选终点保持一一对应,不以随机采样或噪声扰动作为候选差异的主要来源。通过模式特征差异性约束抑制模式特征趋同,通过候选终点差异性约束抑制候选终点过度集中,使各候选分支具备稳定的模式表达和明确的运动倾向分化,从而提升候选集合对未来多种运动可能性的覆盖能力。

49、4、该行人轨迹预测方法提高了模式特征在终点预测与轨迹生成之间的传递与利用能力。该方法将候选终点与对应的模式特征共同作为条件传递至轨迹生成阶段,同一模式特征既参与候选终点预测,又参与对应候选分支未来运动先验特征序列的构造,有效减少了终点预测与轨迹生成之间的模式信息损失。同时,通过与未来预测位置相关的融合权重调节历史条件与模式条件的相对作用强度,使靠近观测端的轨迹预测更依赖历史运动趋势、靠近预测末端的轨迹预测更侧重模式条件,兼顾了未来轨迹的运动连续性与模式一致性。

50、5、该行人轨迹预测系统有益效果与上述行人轨迹预测方法的效果相同,在此不再赘述。