一种结合驾驶员换道意图的远程驾驶车辆轨迹预测方法与流程

程驾驶车辆的轨迹。
10.进一步地，所述步骤(1)中，交通流栅格图包含六个区域，分别为：
11.lb：预测车辆所在车道的左车道后方的区域；
12.la：预测车辆所在车道的左车道前方的区域；
13.db：预测车辆所在车道后方的区域；
14.da：预测车辆所在车道前方的区域；
15.rb：预测车辆所在车道的右车道后方的区域；
16.ra：预测车辆所在车道的右车道前方的区域；
17.所述区域的宽度为车道的宽度，所述区域的长度d与预测车辆的速度vx有关。
18.进一步地，所述步骤(1)中表征车辆的空间相互关系具体为：每个区域中的车辆 的中心点与预测车辆中心点之间的纵向位移表征车辆之间的空间位置关系，各区域定 义如下：
19.dg
lb
：lb表格中车辆到预测车辆之间的纵向位移；
20.dg
la
：la表格中车辆到预测车辆之间的纵向位移；
21.dg
db
：db表格中车辆到预测车辆之间的纵向位移；
22.dg
da
：da表格中车辆到预测车辆之间的纵向位移；
23.dg
rb
：rb表格中车辆到预测车辆之间的纵向位移；
24.dg
ra
：ra表格中车辆到预测车辆之间的纵向位移。
25.进一步地，所述步骤(2)驾驶员具体的换道行为定义为车道保持行为、向左换道 行为以及向右换道行为。
26.进一步地，所述换道行为具体为：车辆轨迹与左道路虚线的交点为左换道点，并 计算所述左换道点的航向角为θ
i
，沿着所述左换道点的逆时间方向计算各个点的航向 角，如果有连续a个点的航向角均小于阈值θ
th
，则定义为左换道起点；沿所述左换道 起点的顺时间方向计算各个点的航向角，如果有连续a个点的航向角均小于阈值θ
th
， 则定义为左换道的终点；轨迹序列中包含换道左换道片段定义为一次向左换道行为； 基于同样的方法获得右换道点、右换道起点以及右换道终点；轨迹序列中包含换道右 换道片段定义为一次向右换道行为；如果连续b个点的航向角均小于θ
th
且b个点的横 向位移y的绝对值均小于c，则轨迹片段为一次车道保持行为。
27.进一步地，所述步骤(3)具体为，通过驾驶员换道意图预测网络lstm
‑
cnn， 对输入的多变量多步长时间序列进行分类。
28.进一步地，向所述驾驶员换道意图预测网络lstm
‑
cnn中输入序列 input1＝[dg
lb
，dg
la
，dg
db
，dg
da
，dg
rb
，dg
ra
，v
x
，δ，y]，输出驾驶员的换道意图s。
[0029]
进一步地，还包括轨迹预测网络模型ar
‑
lstm；向所述轨迹预测网络模型 ar
‑
lstm输入input1加换道意图标签s拼接组成的状态变量input2＝[dg
lb
，dg
la
， dg
db
，dg
da
，dg
rb
，dg
ra
，v
x
，δ，y，s]，每个时间步的输入量u
i
＝input2(i)，i＝1，2，...，t； 每步输出则是远程驾驶车辆的横纵向坐标s
j
＝[x
i
，y
j
]，x
i
和y
i
分别为预测车辆的纵横向 坐标。
[0030]
进一步地，本发明还提供了一种结合驾驶员换道意图的远程驾驶车辆轨迹预测系 统，包括远程驾驶控制器和被控车辆；所述远程驾驶控制器传递转角信号、刹车信号、 油门信号信息至所述被控车辆；所述被控车辆包含轨迹预测模块，所述轨迹预测模块 根据交通
流信息、驾驶员意图信息和远程驾驶车辆的状态信息预测远程驾驶车辆轨迹， 并将所述远程驾驶车辆轨迹和交通流信息传递至所述远程驾驶控制器。
[0031]
进一步地，所述远程驾驶控制器和所述被控车辆之间的信息传递通过5g网络传 输。
[0032]
与现有技术相比，本发明至少具有如下有益技术效果：
[0033]
1、本发明提出一种融合lstm网络和cnn网路的复合网络，综合考虑远程驾驶 车辆的状态信息以及被控车辆的交通流信息，利用各自网络的优势实现对于驾驶员换 道意图的准确预测。
[0034]
2、本发明通过结合驾驶员的换道意图信息，远程驾驶车辆的状态信息以及远程驾 驶车辆的周围交通信息，利用ar
‑
lstm网络实现对于预测远程驾驶车辆的轨迹。该 网络克服了传统lstm网络的劣势，通过融合正则化策略以及注意力机制，可以提高 远程驾驶车辆轨迹预测精度以及降低轨迹预测精度的衰减率。
[0035]
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以 充分地了解本发明的目的、特征和效果。
附图说明
[0036]
图1是本发明的步骤流程示意图；
[0037]
图2是本发明的远程驾驶车辆轨迹预测系统框图；
[0038]
图3是本发明的交通流占用栅格图；
[0039]
图4是本发明的车辆换道行为图；
[0040]
图5是本发明的驾驶员换道意图预测网络lstm
‑
cnn示意图；
[0041]
图6是本发明的远程驾驶车辆的轨迹预测示意图；
[0042]
图7是本发明的远程驾驶车辆的轨迹预测网络ar
‑
lstm示意图。
具体实施方式
[0043]
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便 于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非 仅限于文中提到的实施例。
[0044]
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以 相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有 限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的 厚度。
[0045]
如图1
‑
2所示，本发明针对远程驾驶车辆的轨迹预测技术方案设计框架，主要包 括两部分：远程驾驶员和远程被控车辆，其中远程驾驶控制器与被控车辆之间信息的 传递通过5g网络传输。由远程驾驶控制器到被控车辆的传递的信息包括：转角信号， 刹车信号，油门信号等；由被控车辆传递给远程控制器的为被控车辆的预测轨迹以及 交通流信息，远程驾驶控制器根据这些信息判断是否存在碰撞风险，从而进行安全警 告等。驾驶意图模块需要获取交通流信息以及来自于远程驾驶车辆的状态信息预测出 驾驶员的换道意图，而轨迹预测模块需要综合交通流信息、驾驶员意图信息和远程驾 驶车辆的状态信息预测出远程驾驶车辆的轨迹。
[0046]
具体而言，本发明优选实施例的方案如图1所示，包括：
[0047]
1、远程驾驶车辆的交通流场景定义
[0048]
为了表征远程驾驶车辆周围的交通流信息，本方案定义一个占用栅格图，分别包 含六个区域，参考图3所示。
[0049]
lb：预测车辆所在车道的左车道后方的区域；
[0050]
la：预测车辆所在车道的左车道前方的区域；
[0051]
db：预测车辆所在车道后方的区域
[0052]
da：预测车辆所在车道前方的区域
[0053]
rb：预测车辆所在车道的右车道后方的区域
[0054]
ra：预测车辆所在车道的右车道前方的区域
[0055]
每个区域的宽度为车道的宽度，区域的长度d与预测车辆的速度v
x
有关，表示为 d＝2.5*v
x
10。
[0056]
每个区域中的车辆的中心点与预测车辆中心点之间的纵向位移表征车辆之间的空 间位置关系，各区域定义如下：
[0057]
dg
lb
：lb表格中车辆到预测车辆之间的纵向位移；
[0058]
dg
la
：la表格中车辆到预测车辆之间的纵向位移；
[0059]
dg
db
：db表格中车辆到预测车辆之间的纵向位移；
[0060]
dg
da
：da表格中车辆到预测车辆之间的纵向位移；
[0061]
dg
rb
：rb表格中车辆到预测车辆之间的纵向位移；
[0062]
dg
ra
：ra表格中车辆到预测车辆之间的纵向位移；
[0063]
考虑到预测车辆在道路上行驶时，所在车道的左边或右边不存在车道或者其车 道上没有其他车辆。基于以上两种情况，本方案作此假设：
[0064]
当预测车辆所在车道的左侧或右侧没有车道时，此时其dg值设定为0m；
[0065]
b、当预测车辆所在车道的左侧或右侧没有车辆时，即车道定义的区域内没有车辆， 此时其dg值设定为120m。
[0066]
2、换道行为定义
[0067]
车辆由当前车道通过转向操作连续运动到当前车道的左或右车道，并在目标车道 保持一段时间的车道保持行为，此即为一次完整的换道行为。在建立深度学习网络学 习之前，驾驶员的换道预测是一个多分类问题，输入特征数据的选择显得尤为重要。 本方案输入数据为车辆的交通流信息input1包括六个量：dg
lb
，dg
la
，dg
db
，dg
da
，dg
rb
和dg
ra
，此外还包含预测车辆的自身状态信息包括三个量：车辆的纵向车速v
x
，车辆转 向角度δ以及车辆的横向位移y。考虑到一次完整的换道时间在5秒左右，且数据的采 集频率为10hz，因此输入序列的长度选择为50。结合以上，输入序列为一个10*50的 多变量序列。输出为一个量，即驾驶员的换道意图s，表示为车道保持(标签为0)， 向左换道(标签为1)和向右换道(标签为2)。
[0068]
基于以上定义，需要大量的训练数据，以下定义一种自动提取换道和车道保持行 为的数据分割采集算法。
[0069]
参考图4，车辆轨迹与左道路虚线的交点为左换道点，并计算该点的航向角为
沿着该点的逆时间方向计算各个点的航向角，如果有连续10个 点的航向角均小于θ
th
，则这十个点的最前面的点定义为左换道起点；同样，沿着该点 的顺时间方向计算各个点的航向角，如果有连续10个点的航向角均小于θ
th
，则这十 个点的最后面的点定义为左换道的终点。同样可以获得右换道点，右换道起点以及右 换道终点。轨迹序列中包含换道左换道片段的定义为一次左换道行为，轨迹序列中包 含换道右换道片段的定义为一次右换道行为。如果连续100个点的航向角均小于θ
th
且 100个点的横向位移y的绝对值均小于0.5m，上述的轨迹片段为一次车道保持行为。
[0070]
3、驾驶员换道意图预测模型
[0071]
参考图5，为本发明的驾驶员换道意图预测网络lstm
‑
cnn，即实现对于输入的 多变量多步长的时间序列进行分类，共分为3类包括车道保持行为、向左换道行为以 及向右换道行为。驾驶员意图预测模块的输入序列input1＝[dg
lb
，dg
la
， dg
db
，dg
da
，dg
rb
，dg
ra
，v
x
，δ，y]，输出则是驾驶员的换道意图s。
[0072]
图5中sequencefolding layer(seq
‑
fold)为序列折叠层，即将多变量序列折叠层图像 序列，使得输入数据能被卷积网络层convolutional layer(conv)处理，之后进行网络归 一化层batch normalization layer(bn)处理，随后引入激活函数层relu layer(relu)，引 入非线性因素，减少参数之间的相互依存关系。数据通过relu层后与序列折叠层的结 果进行拼接，然后通过序列展开层sequenceunfolding layer(seq
‑
unfold)层的处理，将数 据整理回多变量数据序列，再输入给长短时神经网络long short term memory layer (lstm)层，lstm网络可以提取到序列之间的深层网络信息，接着数据通过全连接层 full connected layer(fc)映射到3个标签数据，最后通过softmax layer(softmax)层即 分类层依据3个标签的概率值确定当前输入序列最终的标签为3个标签中概率最大的 数对应的标签。
[0073]
其中图5中lstm fc softmax三层组成了一个完整的long short term memounetwork(lstm)网络，图中conv bn relu三层组成了一个完整的convolutional neuralnetwork(cnn)网络。
[0074]
本发明区别于单一网络预测模型，融合了lstm与cnn网络，结合lstm网络 对序列之间数据的强特征提取能力以及cnn网络对于多变量序列之前的特征提取能 力，使得本方案所提网络lstm
‑
cnn的训练结果优于单一网络的预测能力。
[0075]
4、远程驾驶车辆的轨迹预测模型
[0076]
如图6所示，轨迹预测模块的输入为驾驶员换道意图预测网络的输入input1加换 道意图标签s拼接组成的状态变量input2＝[dg
lb
，dg
la
，dg
db
，dg
da
，dg
rb
， dg
ra
，v
x
，δ，y，s]。其中每个时间步的输入量u
i
＝input2(i)，i＝1，2，...，t。其中t＝50。每 步输出则是远程驾驶车辆的横纵向坐标s
i
＝[x
i
，y
i
]，x
i
和y
i
分别为预测车辆的纵横向坐 标，j＝1，2，...，m，其中m＝50。
[0077]
参考图7，轨迹预测网络模型lstm based on attention mechanism and regularizationstrategy(ar
‑
lstm)的基础依然是lstm网络，为了提高预测的精度以及降低预测精 度的衰减率，本方案融合注意力机制以及正则化策略。
[0078]
注意力机制为提高网络的输入特征信息。传统的lstm网络仅考虑上层lstm网 络
输出的上下文向量c
t
，而结合注意力机制的lstm网络包含各lstm单元的隐含信息 {h1，h2，...，h
t
}。具体各隐含信息有多少传递到下层网络由注意力系数α
i
分配：
[0079][0080]
其中：e
i
＝softmax(s(c
t i
，h
i
)，s(x，y)＝x
t
y。
[0081]
s函数为注意力打分函数，c
t i
为输出第t i步的信息。
[0082]
因此基于以上注意力机制的实现，可以获得更新之后的上下文向量为c
t
：
[0083][0084]
因此，基于以上的设计，可以使得通过lstm网络层之后的特征信息不仅包括经 过多个隐含节点之后的隐含信息c
t
，还包括所有隐含节点的隐含信息h
i
，并按照一定 的注意力分配系数α
i
提取总的特征信息。
[0085]
正则化策略广泛用于降低深度学习网络的过拟合，包括l1正则化以及l2正则化。 这两个正则化项是通过为损失函数添加惩罚项实现对于权限因子的处理，稀疏权重矩 阵，降低网络的过拟合情况。
[0086]
因此我们将l1和l2正则化项添加到本方案所设计的ar
‑
lstm网络的损失函数 中去：
[0087][0088]
其中：j(w，x，y)表示原始的损失函数，j
′
(w，x，y)表示更新之后的损失函数，β和α表 示正则化的系数。w表示权重矩阵。
[0089]
图7为ar
‑
lstm网络即融合注意力机制和正则化策略的lstm网络，input laver (input)为输入层，output layer(output)为数据输出层，flatten layer(flatten为)序列数 据折叠层。dropout layer(dropout)层为丢失层，即丢失一部分节点的信息，可以提高 网络的泛化能力，dense layer(dense)层为密集层，实现特征数据降维输入预测信息。 图中reg即表示正则化项，att表示注意力项。最后轨迹预测网络的输出序列为 [s1，s2，...，s
m
]。
[0090]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创 造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术 人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得 到的技术方案，皆应在由权利要求书所确定的保护范围内。