融合姿态语义特征与多目标交互的行人轨迹预测方法
本发明属于自动驾驶,尤其涉及一种融合姿态语义特征与多目标交互的行人轨迹预测方法。
背景技术:
1、随着时代的进步,车辆自动驾驶技术为交通系统带来了巨大的变革,在提升安全性、出行效率等方面发挥重要作用。行人轨迹预测作为自动驾驶系统的核心技术之一,它的主要目标是通过对行人的未来运动轨迹进行精准预测,来帮助自动驾驶车辆提前预判风险,做出合理的加减速或避让决策。然而,由于主车视角下普遍存在视觉遮挡与透视变形,且行人运动具有高度非刚性与突发性,仅依赖简单的边界框轨迹难以捕捉其早期变向意图;同时,复杂路况下的多目标交互使得单一对象的运动预测极易失败。因此,目前急需一种能够在主车视角下有效融合行人姿态语义特征,并能适应多目标动态交互的行人轨迹预测方法。
技术实现思路
1、有鉴于此,本发明创造旨在提供一种融合姿态语义特征与多目标交互的行人轨迹预测方法,捕捉行人早期运动线索,引入注意力交互机制以解决复杂场景下的多目标交互问题,设计基于transformer架构的多模态深度融合预测网络实现对行人未来轨迹的精准预判。
2、为达到上述目的,本发明创造的技术方案是这样实现的:
3、一种融合姿态语义特征与多目标交互的行人轨迹预测方法,包括:
4、s1:获取行车所在环境的图像帧序列,并提取出图像帧序列中的所有目标的姿态语义特征;基于姿态语义特征,构建表征每个时间步下对应的目标运动轨迹的时刻状态特征;
5、s2:基于步骤s1得到的时刻状态特征,得到所有目标的运动趋势的历史时空特征序列;对行人目标的历史时空特征序列进行多头注意力处理,得到注意力特征;
6、s3:将步骤s2得到的注意力特征与步骤s1得到的时刻状态特征结合,得到表征行人目标的运动意图与其他目标之间的动态交互影响的上下文特征;
7、s4:以步骤s3得到的上下文特征作为记忆项,利用transformer框架对行人的轨迹坐标向量进行解码,得到行人的预测行为轨迹。
8、进一步的,步骤s1包括:
9、s11:利用车载视觉传感器采集行车所在环境的图像帧序列,并对图像帧序列中的所有目标进行目标识别;
10、s12:利用deepsort算法对步骤s11检测到的目标进行轨迹预测,从得到的目标运动轨迹中选择行人的运动轨迹;
11、s13:针对步骤s12得到的行人目标的运动轨迹,利用人体骨骼点提取算法提取行人目标的关键点信息,并将关键点信息整合为每个时间步下行人目标的姿态语义向量;
12、s14:根据步骤s13得到的行人目标的姿态语义向量,构建每个时间步下行人目标的姿态语义特征,并根据行人目标与非行人目标之间的区别,构建每个时间步下非行人目标的姿态语义特征;
13、s15:将步骤s14得到的两类姿态语义向量进行线性投影,得到对应的时刻状态特征。
14、进一步的,步骤s13包括:利用人体骨骼点提取算法提取行人目标的左右眼、左右耳、左右肩、左右臀以及左右脚踝的关节点;基于关键点确定行人目标在运动过程中的面部朝向、躯干朝向角以及步态张合角;将得到的三个运动信息整合为行人目标的姿态语义向量。
15、进一步的,行人目标的姿态语义特征包括行人目标的相对位置坐标、检测框的尺寸、检测置信度分数、行人目标的姿态语义向量、以及行人目标的类别索引与轨迹身份识别索引;将非行人目标的姿态语义向量设置为0,按照行人目标的姿态语义特征对应得到非行人目标的姿态语义特征。
16、进一步的,步骤s15包括:分别将行人与非行人目标的类别索引与轨迹身份识别索引进行映射,对应得到行人与非行人目标的类别嵌入向量和身份嵌入向量;分别将行人与非行人目标的相对位置坐标、检测框的尺寸、检测置信度分数以及姿态语义向量整合,对应得到行人与非行人目标的数值特征向量;分别将两类数值特征向量、类别嵌入向量和身份嵌入向量进行拼接,再对拼接后的两类特征分别进行线性映射,得到对应的时刻状态特征。
17、进一步的,步骤s2中得到历史时空特征序列的过程包括:将步骤s1得到的时刻状态特征按照时序进行排列,得到状态特征序列;在得到的状态特征序列中添加位置编码,用于保留状态特征序列中的时间顺序信息;将处理后的状态特征序列及其对应的掩码输入堆叠的多层transformer编码器中,再将得到的序列进行线性映射,得到历史时空特征序列。
18、进一步的,步骤s2中得到注意力特征的过程包括:对于每个时间步下每个行人目标的历史时空特征序列,对历史时空特征序列中最有一个有效时间步的历史时空特征进行线性映射,得到查询向量;遍历图像帧序列在该时间步下的帧图像中,与行人目标共存的所有其他目标;对每个其他目标的数值特征向量进行映射编码,再将编码后的特征与其对应的类别嵌入向量和身份嵌入向量拼接后,再进一步编码映射;将所有映射后的特征组成当前行人目标与其他目标之间的交互存储特征集;构建交互存储特征集对应的掩码矩阵,掩码矩阵用于屏蔽交互存储特征集中不存在的其他目标;以交互存储特征集为键向量和值向量,结合掩码矩阵进行下式的注意力计算,得到对应的注意力特征:
19、;
20、其中,attn表示注意力特征,softmax表示softmax函数,q、k和v分别表示查询向量、键向量和值向量,d表示特征维度,mmask表示掩码矩阵。
21、进一步的,步骤s3包括:将得到的注意力特征与查询向量残差融合后,将得到的特征与注意力特征残差连接,再对处理后的结果进行非线性变换,得到上下文特征。
22、进一步的,步骤s4包括:将包括行人目标的相对位置坐标和检测框的尺寸的轨迹坐标向量进行映射,再将映射后的特征向量与位置编码相加,得到解码特征;将上下文特征进行维度调整,得到记忆张量;结合记忆张量,利用堆叠的多层transformer解码器对解码特征进行解码处理,得到解码特征序列;对解码特征序列进行线性映射,得到行人目标的相对位置坐标的变化量,以及相对位置变化后,预测检测框的尺寸。
23、进一步的,对步骤s1~s4中包括的模块和网络进行整体训练。具体的,在一些实施例中,通过以下的加权混合损失函数,对步骤s1~s4中涉及的模块和网络进行整体训练:
24、ltotal=lpos+αlsize;
25、其中,ltotal表示加权混合损失函数,lpos表示位置损失,lsize表示尺寸损失,α表示损失权重。
26、位置损失为:
27、;
28、其中,n表示训练的图像帧序列样本数,t表示图像帧序列的时间步总数,表示对第n个图像帧序列样本进行第t个时间步的轨迹预测时,输出的相对位置坐标,对应的真实相对位置坐标;
29、尺寸损失为:
30、;
31、其中,和分别表示预测检测框的宽度和高度,和分别表示对应的真实检测框的宽度和高度
32、与现有技术相比,本发明创造能够取得如下有益效果:
33、本发明创造所述的融合姿态语义特征与多目标交互的行人轨迹预测方法,创新性的构建了适应主车视角的三维高阶姿态语义特征,利用骨骼关键点提取高阶姿态语义以捕捉行人早期运动线索,通过面部朝向、躯体朝向以及步态张合角,有效克服了仅依赖边界框轨迹存在的意图识别滞后问题,显著提高了对行人突发运动的预判能力;将目标的时空编码与基于注意力机制的多目标交互建模有机结合,能够根据行人目标的周围目标的动态分布自适应地调整预测轨迹,从而更好地应对人车混行等复杂场景下的社会博弈与行人避让,最终实现了主车视角下高精度的行人轨迹预测。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com