车辆的行驶轨迹处理方法、装置以及存储介质与流程

1.本发明涉及车辆领域，具体而言，涉及一种车辆的行驶轨迹处理方法、装置以及存储介质。


背景技术：

2.目前，在学术界和工业界存在大量的视觉里程计算法。传统的视觉里程计算法可以分为基于特征的方法和直接的方法。基于特征的方法通常包括相机校准、特征检测、特征匹配、异常值拒绝、运动估计、尺度估计和优化等步骤。然而，如何检测适当的特征以恢复特定运动仍然是一项极具挑战性的问题，目前通过相机获取到的行驶图像对车辆的行驶轨迹预测的准确度较低。
3.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明实施例提供了一种车辆的行驶轨迹处理方法、装置以及存储介质，以至少解决相关技术中对车辆的行驶轨迹进行预测的准确度较低的技术问题。
5.根据本发明实施例的一个方面，提供了一种车辆的行驶轨迹处理方法，包括：在车辆的行驶过程中，通过车辆上搭载的摄像头采集多个行驶图像，其中，多个行驶图像的采集时间点连续；对多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，其中，第一图像和第二图像为相邻时间点采集到的图像；分别对多个堆叠图像进行识别，得到车辆的行驶轨迹。
6.根据本发明实施例的一个方面，提供了一种车辆的行驶轨迹处理装置，包括：采集模块，用于在车辆的行驶过程中，通过车辆上搭载的摄像头采集多个行驶图像，其中，多个行驶图像的采集时间点连续；堆叠模块，用于对多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，其中，第一图像和第二图像为相邻时间点采集到的图像；识别模块，用于分别对多个堆叠图像进行识别，得到车辆的行驶轨迹。
7.根据本发明实施例的一个方面，提供了一种非易失性存储介质，其特征在于，非易失性存储介质包括存储的程序，其中，在程序运行时控制所在设备的处理器中执行任意实施例中的车辆的行驶轨迹处理方法。
8.在本发明实施例中，在车辆的行驶过程中，通过车辆上搭载的摄像头采集多个行驶图像，其中，多个行驶图像的采集时间点连续；对多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，其中，第一图像和第二图像为相邻时间点采集到的图像；分别对多个堆叠图像进行识别，得到车辆的行驶轨迹，实现了得到准确度较高的车辆的行驶轨迹，通过对采集到的图像进行堆叠，可以在识别的过程中结合多张图像的经验，提高识别的准确度，进而解决了相关技术中对车辆的行驶轨迹进行预测的准确度较低的技术问题。
附图说明
9.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
10.图1是根据本发明实施例的一种车辆的行驶轨迹处理方法的流程图；
11.图2是根据本技术实施例的一种车辆的行驶轨迹处理结构的示意图；
12.图3是根据本技术实施例的一种神经网络结构的示意图；
13.图4是根据本技术实施例2的一种车辆的行驶轨迹处理装置的示意图。
具体实施方式
14.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
15.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
16.视觉里程计(visual odometry，vo)是自动驾驶汽车和移动服务机器人领域一项重要的研究问题。在为不同传感器模式开发的各种视觉里程计方法中(例如单目相机、立体相机、全向相机、激光、激光雷达等)，单目视觉里程计是最具挑战性的之一。目前大多数视觉里程计方法都是基于标准框架开发的，包括特征提取，特征匹配，运动估计，局部优化等模块。尽管其中一些方法已经展现了优越的性能，但通常仍需要精心设计，进行针对性微调才能适应不同的任务和环境需求。而且，单目视觉里程计缺乏失尺度信息，往往需要一些先验知识来恢复绝对尺度估计。最近，基于深度学习的方法为里程计、重定位和语义映射提供了新的解决方案。但是，现有基于深度学习算法的特征表达不够精准，尤其是对于重要的视觉特征的刻画与捕捉能力有限。
17.本技术的目的在于解决相关技术中存在的对关键特征捕捉与表达的问题，通过在网络框架中加入自注意力机制模块，对视频帧的不同通道和处于不同位置的像素赋予不同权重，提升视觉里程计定位的精度和鲁棒性。因此，本技术提出了一种新颖的端到端单目vo的框架。由于其是以端到端的方式进行训练和配置的，因此其可以直接从一系列原始的rgb图像(red、green、blue，红色、绿色、蓝色)，或视频中计算得到姿态，而无需采用任何传统vo框架中的模块。该模型基于visual transformer(vit)网络与双向注意力长短时记忆网络(att-bi-lstm)构建，使其具有两个维度的优势：一方面，可以通过卷积神经网络(convolutional neural network)与多头自注意力机制(multi head self attention)自动学习vo问题的有效特征表示；另一方面，可以通过注意力长短时记忆网络对时序模型(运
动模型)、数据关联模型(图像序列)进行建模。该模型能充分利用序列帧的信息，实现精准、鲁棒的视觉里程计定位。视觉里程计最主要的问题是如何从几个相邻图像中，估计相机的运动。
18.相机在运动过程中连续两帧之间会存在重叠(overlap)，即会同时观测到三维世界中的某些场景以及特征点。而这些场景特征点会投射到2d图片上，通过图片的对齐或者特征的匹配，可以找到前后图片上特征点的对应关系。利用相机的成像几何模型(包括相机参数)以及约束，可以求出两帧之间的运动信息(旋转矩阵r和平移t)。以此，可以得到一系列的相机相对变化矩阵，从而可以推出相机的姿态信息。
19.目前，在学术界和工业界存在大量的视觉里程计算法。传统的视觉里程计算法可以分为基于特征的方法和直接的方法。基于特征的方法通常包括相机校准、特征检测、特征匹配、异常值拒绝、运动估计、尺度估计和优化等步骤。然而，如何检测适当的特征以恢复特定运动仍然是一项极具挑战性的问题。与基于特征的方法不同，直接方法跟踪像素的运动并通过最小化光度误差来预测车辆的姿态。其原理导致该类算法极易受到光线变化的影响。
20.里程计一个很重要的特性是它只关心局部时间上的运动，多数时候是指两个时刻间的运动。当以某种间隔对时间进行采样时，就可估计运动物体在各时间间隔之内的运动。由于这个估计受噪声影响，先前时刻的估计误差，会累加到后面时间的运动之上，这种现象称为漂移(drift)。随着深度学习在计算机视觉的不断发展，其在视觉里程计中的应用也受到业界的广泛关注。深度学习是一种数据驱动的方法，能够从输入的视频(或图像序列)中自动提取深层特征，不再需要手工设计特征提取算法。该类算法对高级先验进行编码，以预测姿态。与传统的视觉里程计相比，基于深度学习的算法具有计算成本低且不需要依赖相机内部参数的优点。研究者已经提出了一些关于深度学习的方法用于相机运动恢复。虽然取得了可喜的性能，但它们没有考虑视觉线索的不同响应以及输入图像中不同方向的像素移动对相机运动的影响，因此可能输出误差较大的轨迹。
21.对于基于神经网络设计的视觉里程计，现有的工作都依赖于特征提取与顺序学习两个模块，来组成基于深度学习的网络模型，因为仅学习单张图像的表征信息会严重限制vo在新场景的泛化能力，对于不同时刻的视频帧，不仅要学习空间信息，还需要学习时间信息。因此，需要卷积神经网络与循环神经网络相互串联使用来满足这一点。
22.本技术设计了一种基于自注意力机制的端到端的视觉里程计。通过深度学习技术，结合基于vit网络结构的特征提取器结果和能够挖掘并利用长轨迹上拍摄的图像之间相关性的att-bi-lstm来进行顺序建模，实现端到端的单目视觉里程计的训练和部署，从而增强视觉里程计的定位精度和鲁棒性。可以解决当前基于cnn的图像特征提取模型依赖卷积运算的局部感受野，只能关注到局部特征无法关注到全局特征，即图像的远程依赖局限性问题，还可以解决当前基于深度学习的方法在图像序列或视频中语义向量无法完全表示整个序列的信息的问题。
23.实施例1
24.根据本发明实施例，提供了一种车辆的行驶轨迹处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行
所示出或描述的步骤。
25.图1是根据本发明实施例的一种车辆的行驶轨迹处理方法的流程图，如图1所示，该方法包括如下步骤：
26.步骤s102，在车辆的行驶过程中，通过车辆上搭载的摄像头采集多个行驶图像。
27.其中，多个行驶图像的采集时间点连续。
28.上述的车辆可以是普通车辆，还可以是自动驾驶车辆，此处不做限定。
29.上述的摄像头可以是车辆上安装的行车记录仪，还可以是车辆上单独设置的摄像头，此处不做限定。
30.上述的多个行驶图像可以是车辆在行驶过程中，采集到的车辆行驶过程中任一方位的环境图像，例如，可以是车辆行驶过程中前方的环境图像，还可以是车辆行驶过程中的后方的环境图像，此处仅作实例说明，并不做限定。
31.上述摄像头采集多个行驶图像的采集时间间隔可以根据实际的需求自行设定，此处不做限定，采集的时间间隔还可以是固定的时间间隔。
32.在一种可选的实施例中，在车辆的行驶过程，可以通过车辆上搭载的摄像头连续采集多个行驶图像。
33.上述多个行驶图像由于是连续采集得到的行驶图像，因此，会存在一定的关联。
34.步骤s104，对多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像。
35.其中，第一图像和第二图像为相邻时间点采集到的图像。
36.上述的多个行驶图像的数量可以大于预设数量，其中，预设数量可以为3。
37.在一种可选的实施例中，可以将多个行驶图像中两两相邻的图像进行堆叠，得到多个堆叠图像，其中，第一图像和第二图像则是两两相邻的图像。
38.在另一种可选的实施例中，多个行驶图像可以包含第一时间点采集到的第一行驶图像、第二时间点采集到的第二行驶图像和第三时间点采集到的第三行驶图像；在对第一行驶图像和第二行驶图像进行堆叠的过程中，可以将第一行驶图像作为第一图像，将第二行驶图像作为第二图像，对第一图像和第二图像进行堆叠，得到第一时间点和第二时间点的堆叠图像；在对第二行驶图像和第三行驶图像进行堆叠的过程中，可以第二行驶图像作为第一图像，可以将第三行驶图像作为第二图像，对第一图像和第二图像进行堆叠，得到第二时间点和第三时间点的堆叠图像。最终可以得到两个堆叠图像。
39.在多个行驶图像包含更多的时间点采集到的行驶图像时，可以采用上述的方式对多个行驶图像进行堆叠，得到多个堆叠图像。
40.在上述堆叠方式的场景中，堆叠图像的数量比行驶图像的数量少，具体的堆叠图像的数量可以为n，行驶图像的数量可以为n-1。
41.在又一种可选的实施例中，第一图像的数量可以大于1，第二图像的数量也可以大于1，也即，可以是两个以上的行驶图像进行堆叠，得到一个堆叠图像。
42.步骤s106，分别对多个堆叠图像进行识别，得到车辆的行驶轨迹。
43.上述的车辆的行驶轨迹可以是多个位姿信息串联得到的，其中，多个位姿信息可以通过对多个堆叠图像进行识别得到。
44.在一种可选的实施例中，由于每个堆叠图像中包含了多个行驶图像，因此，在对每
个堆叠图像进行识别时实际上是结合了多个行驶图像的识别结果，这样可以识别到图像之间的变化，确定出行驶图像中的关键地方，提取到关键特征，从而关注于关键特征的识别，进而可以提高对多个堆叠图像进行识别的准确度，从而可以得到准确度更高的车辆的行驶轨迹。
45.通过上述步骤，在车辆的行驶过程中，通过车辆上搭载的摄像头采集多个行驶图像，其中，多个行驶图像的采集时间点连续；对多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，其中，第一图像和第二图像为相邻时间点采集到的图像；分别对多个堆叠图像进行识别，得到车辆的行驶轨迹，实现了得到准确度较高的车辆的行驶轨迹，通过对采集到的图像进行堆叠，可以在识别的过程中结合多张图像的经验，提高识别的准确度，进而解决了相关技术中对车辆的行驶轨迹进行预测的准确度较低的技术问题。
46.本技术上述实施例中，分别对多个堆叠图像进行识别，得到车辆的行驶轨迹，包括：分别对多个堆叠图像进行识别，得到摄像头的多个目标位姿信息；基于多个目标位姿信息确定车辆的行驶轨迹。
47.上述的位姿信息可以为六个自由度，其中，六个自由度可以为三个自由度的位移和三个自由度的空间旋转。
48.在一种可选的实施例中，可以对每个堆叠图像进行识别，每个堆叠图像的位姿信息，可以根据每个堆叠图像的位姿信息确定车辆的行驶轨迹。
49.本技术上述实施例中，对多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，包括：获取第一图像的第一图像通道和第二图像的第二图像通道；对第一图像通道和第二图像通道进行堆叠，得到目标图像通道；基于目标图像通道生成多个堆叠图像。
50.上述的第一图像的第一图通道可以为第一图像的rgb通道。
51.在一种可选的实施例中，可以获取第一图像的第一图像通道和第二图像的第二图像通道，可以将第二图像通道堆叠在第一图像通道上，得到目标图像通道，可以获取该目标图像通道对应的堆叠图像，可以对多个行驶图像中的任意连续的图像对应的图像通道进行叠加，得到多个堆叠出的目标图像通道，可以根据针对每个堆叠出的目标图像通道生成堆叠图像。
52.本技术上述实施例中，分别对多个堆叠图像进行识别，得到摄像头的多个目标位姿信息，包括：利用第一神经网络对多个堆叠图像进行识别，得到多个堆叠图像的初始特征向量，其中，第一神经网络用于提取初始特征向量；利用第二神经网络对多个堆叠图像的初始特征向量进行处理，得到摄像头的多个目标位姿信息，其中，第二神经网络用于对初始特征向量的权重比例进行调整。
53.上述的第一神经网络可以为卷积神经网络(convolutional neural networks，简称为cnn)。
54.上述的初始特征向量可以是堆叠图像中关键区域的特征向量，其中，该关键区域可以根据该第一神经网络应用的具体场景确定。若是对车辆场景进行提取，其关键区域就可以是车辆场景中的道路区域、提示标志灯，此处不做限定。需要说明的是，第一神经网络还可以应用于其他的场景中。
55.在一种可选的实施例中，可以利用第一神经网络对多个堆叠图像进行识别，提取
每个堆叠图像中关键区域的初始特征向量。其中，该初始特征向量用于表示堆叠图像中位姿信息。
56.在另一种可选的实施例中，可以直接采用经剪裁的单目rgb图像作为序列输入，对于给定图像x∈rh×w×c，其空间分辨率为h
×
w，通道数为c，将输入图像x的平面切割为若干个图像块，图像块的尺寸为p
×
p，n表示图像块的数目(即输入序列的长度)，具体表示如下：
[0057][0058]
模型可以将图像块向量的线性投影x
p
映射在d维的隐状态空间。针对图像的空间信息与位置信息，模型采用了特定的编码嵌入，在学习空间信息的同时，可以保留位置信息，表示图像块嵌入向量，e
pos
∈rn×d表示图像块位置嵌入，具体表示如下：
[0059][0060]
本技术的深度神经网络架构已经在计算机视觉任务中取得了突破性成功。本技术所采用的方法在训练过程中从外观信息和图像上下文信息中学习知识。然而，视觉里程计算法植根于几何特征而非外观特征。本技术针对视觉里程计的空间特征与时序特征，将得到的图像张量作为特征提取网络的输入以产生单目视觉里程计的有效几何特征，然后通过带有注意力机制的双向长短时记忆网络推导出连续图像帧之间的联系，并进行顺序学习。
[0061]
本技术上述实施例中，利用第二神经网络对多个堆叠图像的初始特征向量进行处理，得到摄像头的多个目标位姿信息，包括：获取第一堆叠图像的第一初始特征向量，其中，第一初始特征向量为第一堆叠图像的初始特征向量和第二堆叠图像的第二初始特征向量合并得到，第一堆叠图像和第二堆叠图像为连续的多个堆叠图像中相邻时间点的堆叠图像；利用第二神经网络对第一初始特征向量进行识别，得到第一堆叠图像的第一目标特征向量；基于第一目标特征向量和第二堆叠图像的第二目标特征向量，生成多个目标位姿信息。
[0062]
上述的第二堆叠图像可以是采集时间点靠前的两个行驶图像叠加得到的，第一堆叠图像可以是通过第一堆叠图像中采集时间点靠后的行驶图像采集时间点再靠后的行驶图像叠加得到的。
[0063]
上述多个堆叠图像中相邻时间点可以是根据堆叠图像对应的行驶图像得到，例如，堆叠图像是根据第一时间点采集的行驶图像和第二时间点采集的行驶图像堆叠得到的，那么堆叠图像的时间点可以是第一时间点和第二时间点平均之后得到的时间点，还可以是第一时间点和第二时间点的中间时间点。
[0064]
示例性的，存在依次采集的第一行驶图像、第二行驶图像、第三行驶图像，将第一行驶图像与第二行驶图像进行堆叠，得到第二堆叠图像，将第二行驶图像与第三行驶图像进行堆叠，得到第一堆叠图像。
[0065]
在一种可选的实施例中，可以获取第一堆叠图像的第一初始特征向量，其中，第一初始向量是通过对第一堆叠图像的初始特征向量和第二堆叠图像的第二初始特征向量合并得到的，因此，第一初始特征向量中包含了更多的信息，增强了特征向量的表达能力，此时，通过第二神经网络对第一初始特征向量进行识别，可以提高对堆叠图像的识别结果，是得到的第一堆叠图像的第一目标特征向量准确度更高。在得到第一目标特征向量之后，可以结合相邻时间点的堆叠图像输出的第二目标特征向量得到准确度更高的目标位姿信息，
依次对多个堆叠图像进行处理，可以生成多个目标位姿信息。
[0066]
在利用第二神经网络进行识别的过程中，通过结合多个图像的特征向量可以增强特征向量的表达能力，使得最终输出的结果更加准确。
[0067]
本技术上述实施例中，利用第二神经网络对第一初始特征向量进行识别，得到第一堆叠图像的第一目标特征向量，包括：利用第二神经网络对第一初始特征向量的权重进行调整，得到第一堆叠图像的第一目标特征。
[0068]
在一种可选的实施例中，第二神经网络可以赋予特征向量不同的权重，结合对之前堆叠图像的处理情况，可以确定出关联度较强的特征向量，以便提高关联度较强的第一初始特征向量的权重，从而提高关联度较强的第一初始特征向量的表达能力，从而得到第一堆叠图像准确度更高的第一目标特征。
[0069]
本技术上述实施例中，该方法还包括：获取车辆场景任务的训练集，其中，训练集包括：样本图像和样本图像中目标区域的标注信息，目标区域为样本图像与车辆场景任务关联的区域；基于训练集对初始神经网络进行训练，得到第一神经网络。
[0070]
上述的车辆场景任务可以是获取车辆的行驶轨迹，还可以是获取车辆的当前位姿。
[0071]
上述的样本图像可以是车辆行驶过程中采集到的行驶图像，上述的标注信息可以是行驶图像中关键区域的标注信息，其中，标注信息可以是标注框、标注文字等，此处不做限定。
[0072]
上述的目标区域可以是车辆场景中着重关注的区域，例如可以是车辆场景中的其他车辆、道路情况等。
[0073]
在一种可选的实施例中，可以获取车辆场景任务的训练集，利用训练集对初始神经网络进行训练，得到能够识别行驶图像中关键区域的第一神经网络。
[0074]
本技术上述实施例中，基于多个目标位姿信息确定车辆的行驶轨迹，包括：获取多个行驶图像的采集时间点；基于多个行驶图像的采集时间点确定多个堆叠图像的时间顺序；基于时间顺序对多个目标位姿信息进行串联，得到车辆的行驶轨迹。
[0075]
上述的多个行驶图像的采集时间点可以通过摄像头的采集日志获取。
[0076]
上述的时间顺序用于表示多个行驶图像的采集顺序。
[0077]
在一种可选的实施例中，可以获取多个行驶图像的采集时间点，可以根据多个行驶图像的采集时间点确定多个堆叠图像的时间顺序，以便按照时间顺序对多个目标位姿信息进行串联，得到车辆的行驶轨迹，并显示车辆的行驶轨迹。
[0078]
进一步的，可以通过预设方式对车辆的行驶轨迹进行显示。
[0079]
图2是根据本技术实施例的一种车辆的行驶轨迹处理结构的示意图，如图2所示，可以将t时刻采集到的行驶图像和t 1时刻以及t 2时刻采集到的行驶图像进行堆叠，得到图2所示的两组堆叠图像，可以分别将两组堆叠图像输入到处理模块中，利用第一神经网络对处理模块的输出结果进行处理，得到处理结果，利用后续的多个处理模块和分类模块进行处理，得到初始特征向量，可以将初始特征向量和相邻堆叠图像的第二初始特征向量进行合并，得到第一初始特征向量，利用第二神经网络对第一初始特征向量进行识别，得到第一堆叠图像的第一目标特征向量，基于第一目标特征向量和第二堆叠图像的第二目标特征向量，生成多个目标位姿信息，如图2所示最右边的黑色模块。其中，第一神经网络中包括归
一化层(layer norm)和多头自注意力层(multi head self attention)以及多层感知机(multilayer perceptron)。
[0080]
图3是根据本技术实施例的一种神经网络结构的示意图，x1、x2、x3、x4表示的是神经网络输出的特征向量为使网络能够捕捉到更丰富的特征信息，在自注意的基础上衍生出了多头自注意力机制，并应用在机器视觉任务中，其中，模型参数(query，key，value)首先经过线性变换，输入到放缩点积注意层(attention)中运行h次，得到图3中的z1、z2、z3、z4，每次q，k，v进行线性变换的参数矩阵不同。然后将h次的放缩点积注意层的结果进行拼接，将拼接后的到的z1、z2、z3、z4输入到全连接层进行线性变换，得到最终多头自注意力机制的结果。可以通过如下公式表示转化过程：
[0081][0082][0083]
其中，q为查询向量序列，k为键向量序列，v为值向量序列，表示向量的维度dk。在词嵌入中加入位置编码信息可以弥补模型忽略单词顺序的特点。多头自注意力机制的优势在于，可以从大量信息中筛选出少量重要信息，忽略大多不重要的信息。权重越大越聚焦于其对应的value值上，能够优化传统网络结构并行力差和长距离依赖问题。
[0084]
本技术将卷积神经网络与特征提取模块(transformer)相结合，首先使用cnn用作原始图像特征提取，为输入生成特征映射。再将提取到的隐向量嵌入到多头自注意力模块，最后输出提取到的图像特征信息。
[0085]
在编码-解码(encoder-decoder)框架中，所有的信息全部压缩在一个向量里，这种做法随着encoder端的长度变长而变得越发不合理。针对这一现象，相关技术在原有模型基础上引入注意力机制，直接将所有单元的输出全部保留，来规避信息丢失的问题。可以通过如下公式进行表示：
[0086]st
＝f(s
t-1
，y
t-1
，c
t
)；
[0087][0088][0089]
其中，h为输入的隐向量，f为激活函数；ct为注意力分布，可以解释为给定相关查询q时，第t个信息受关注的程度；α
tj
为每个输入获取的注意力。在引入注意力机制后，表示模型能够更好地对全局进行观测，其中打分函数一般由加性模型、点积模型、缩放点积模型或双线性模型构成，具体如下所示：
[0090]
s(xi，q)＝v
t
tan h(w xi uq)；
[0091][0092][0093]
[0094]
其中，w，u，v
t
为可学习的网络参数，d为输入信息的维度。加性模型和点积模型的复杂度近似，但点积模型可利用矩阵乘积，计算效率更高。当输入信息的维度d比较高时，点积模型值得方差也更大，导致分类函数(softmax)的梯度会变小，所以此时采用缩放点积更为合理，双线性模型在计算相似度时，引入了非对称性，是最为泛化的点积模型。
[0095]
因为卷积神经网络难以学习到不同时刻的图像序列信息，因此需要串行的rnn循环网络学习不同时刻下，视频帧之间的联系与信息，以柔性注意力机制的方式，将左右时刻的信息连接在一起，能够防止梯度消失，以及图像时间序列远程依赖减弱的问题。
[0096]
其中，w，u，vt为可学习的网络参数，d为输入信息的维度。加性模型和点积模型的复杂度近似，但点积模型可利用矩阵乘积，计算效率更高。当输入信息的维度d比较高时，点积模型值得方差也更大，导致softmax函数的梯度会变小，所以此时采用缩放点积更为合理，双线性模型在计算相似度时，引入了非对称性，是最为泛化的点积模型。
[0097]
因为卷积神经网络难以学习到不同时刻的图像序列信息，因此需要串行的循环网络学习不同时刻下，图像帧之间的联系与信息，以柔性注意力机制的方式，将左右时刻的信息连接在一起，能够防止梯度消失，以及图像时间序列远程依赖减弱的问题。
[0098]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0099]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
[0100]
实施例2
[0101]
根据本技术实施例，还提供了一种用于实施上述车辆的行驶轨迹处理方法的车辆的行驶轨迹处理装置，图4是根据本技术实施例2的一种车辆的行驶轨迹处理装置的示意图，如图4所示，该装置400包括：采集模块402、堆叠模块404、识别模块406。
[0102]
其中，采集模块，用于在车辆的行驶过程中，通过车辆上搭载的摄像头采集多个行驶图像，其中，多个行驶图像的采集时间点连续；堆叠模块，用于对多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，其中，第一图像和第二图像为相邻时间点采集到的图像；识别模块，用于分别对多个堆叠图像进行识别，得到车辆的行驶轨迹。
[0103]
此处需要说明的是，上述采集模块402、堆叠模块404、识别模块406对应于实施例1的步骤s202至步骤s206，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。
[0104]
本技术上述实施例中，识别模块还用于分别对多个堆叠图像进行识别，得到摄像头的多个目标位姿信息，基于多个目标位姿信息确定车辆的行驶轨迹。
[0105]
本技术上述实施例中，堆叠模块还用于获取第一图像的第一图像通道和第二图像
的第二图像通道；堆叠模块还用于对第一图像通道和第二图像通道进行堆叠，得到目标图像通道；堆叠模块还用于基于目标图像通道生成多个堆叠图像。
[0106]
本技术上述实施例中，识别模块还用于利用第一神经网络对多个堆叠图像进行识别，得到多个堆叠图像的初始特征向量，其中，第一神经网络用于提取初始特征向量；识别模块还用于利用第二神经网络对多个堆叠图像的初始特征向量进行处理，得到摄像头的多个目标位姿信息，其中，第二神经网络用于对初始特征向量的权重比例进行调整。
[0107]
本技术上述实施例中，识别模块还用于获取第一堆叠图像的第一初始特征向量，其中，第一初始特征向量为第一堆叠图像的初始特征向量和第二堆叠图像的第二初始特征向量合并得到，第一堆叠图像和第二堆叠图像为连续的多个堆叠图像中相邻时间点的堆叠图像；识别模块还用于利用第二神经网络对第一初始特征向量进行识别，得到第一堆叠图像的第一目标特征向量；识别模块还用于基于第一目标特征向量和第二堆叠图像的第二目标特征向量，生成多个目标位姿信息。
[0108]
本技术上述实施例中，识别模块还用于利用第二神经网络对第一初始特征向量的权重进行调整，得到第一堆叠图像的第一目标特征。
[0109]
本技术上述实施例中，该装置还用于获取车辆场景任务的训练集，其中，训练集包括：样本图像和样本图像中目标区域的标注信息，目标区域为样本图像与车辆场景任务关联的区域；该装置还用于基于训练集对初始神经网络进行训练，得到第一神经网络。
[0110]
本技术上述实施例中，识别模块还用于获取多个行驶图像的采集时间点；本技术上述实施例中，识别模块还用于基于多个行驶图像的采集时间点确定多个堆叠图像的时间顺序；本技术上述实施例中，识别模块还用于基于时间顺序对多个目标位姿信息进行串联，得到车辆的行驶轨迹。
[0111]
实施例3
[0112]
根据本技术实施例，提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制所在设备的处理器中执行上述实施例中的车辆的行驶轨迹处理方法。
[0113]
需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
[0114]
上述发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0115]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0116]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0117]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0118]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0119]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0120]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。