一种基于对抗生成网络的智能汽车测试场景库构建方法

技术特征：
1.一种基于对抗生成网络的智能汽车测试场景库构建方法，其特征在于：包括如下步骤：车辆轨迹数据采集：通过无人机悬停的方式获取车辆在实际行驶环境中的图像信息，在整个图像中建立绝对坐标系，将车辆的最外端边缘抽象成相同的长方形，并将每一个时间戳的车辆位置图片信息进行记录；车辆轨迹信息包括车辆在图像中的位置(x，y)、横向速度v
x
、纵向速度v
y
、横向加速度a
x
、纵向加速度a
y
和横摆角车辆轨迹特征提取：车辆轨迹信息的提取方法取初始时间戳t＝0、车辆所在位置(x
1-0
，y
1-0
)和第一个时间戳t＝1、车辆所在位置(x
1-1
，y
1-1
)；通过图像信息获得初始时间戳处的横摆角即车辆轴线和绝对坐标系x轴方向的夹角，利用较短时间间隔内的平均速度代替前一时间戳的瞬时速度作为轨迹信息，获得该时刻沿着x轴方向的速度s
x1-0
和沿着γ轴方向的速度s
y1-0
，进而通过车辆的横摆角计算车辆的横向速度v
x1-0
和纵向速度v
y1-0
，以及横向加速度a
x1-0
和纵向加速度a
y1-0
，因此通过几何关系求得从初始位置时：，因此通过几何关系求得从初始位置时：，因此通过几何关系求得从初始位置时：，因此通过几何关系求得从初始位置时：，因此通过几何关系求得从初始位置时：，因此通过几何关系求得从初始位置时：δv
x1-0
：代表t＝0时间戳与下一时间戳之间的横向速度变化量；δv
y1-0
：代表以t＝0为时间戳与下一时间戳之间的纵向速度变化量；δt为图像采样时间；通过上式依次计算出不同车辆所有的轨迹信息；采集到的图像场景中共有n台车辆，每台车辆在一个时间戳范围内可采集大小为7的轨迹数据，则每一个时间戳会记录一个长度为7*n的列向量代表车辆轨迹信息，以及对应的时间戳数据共采集d个等时间间隔的车辆轨迹信息如下所示：
数据预处理：对上一步骤获得的车辆轨迹信息进行补充缺失值、数据清洗、验证集随机抽取处理和归一化处理，以保证车辆轨迹矩阵的完整性，准确性和生成数据的真实性，并将所有的数据变化到固定的0与1之间；建立轨迹特征数学模型：基于门控循环单元网络gru提取车辆轨迹特征：gru网络的输入有一个当前的输入x
t
，和上一个节点传递下来的隐状态h
t-1
，这个隐状态包含了之前节点的相关信息，结合x
t
和h
t-1
，gru网络会得到当前隐藏节点的输出y
t
和传递给下一个节点的隐状态h
t
；通过上一个节点传输下来的隐状态h
t-1
和当前节点的输入x
t
来获取两个门控状态，其中r
t
是控制重置的门控，简称重置门，z
t
是控制更新的门控，简称更新门：r
t
＝σ(x
t
w
xr
h
t-1
w
hr
b
r
)z
t
＝σ(x
t
w
xz
h
t-1
w
hz
b
z
)w
xr
、w
hr
：分别代表重置门中对于当前时间戳输入x
t
和上一时间戳隐状态h
t-1
的可训练权重参数；b
r
：代表重置门中可训练的偏置参数；w
xz
、w
hz
：分别代表更新门中对于当前时间戳输入x
t
和上一时间戳隐状态h
t-1
的可训练权重参数；b
z
：代表更新门中可训练的偏置参数；σ()：代表sigmoid函数，通过这个函数将数据变换到0-1范围内的数值，从而来充当门控信号；得到门控信号后，先使用重置门r
t
来得到“重置”之后的数据h
t-1
′
＝h
t-1
⊙
r
t
，再将h
t-1
′
与x
t
进行拼接，并通过激活函数tanh将数据放缩到-1～1之间；
⊙
代表矩阵中的对应元素相乘，该计算只针对两个同型矩阵运算；输出结果为候选隐变量状态其中，具体表达式为：w
xh
、w
hh
：分别代表候选隐变量状态中对于当前时间戳输入x
t
和上一时间戳隐状态h
t-1
进行重置后的可训练权重参数；b
h
：代表候选隐变量状态中可训练的偏置参数；最后使用z
t
进行“更新记忆”阶段，输出当前时刻的隐空间变量h
t
：
重置门r
t
是一个0和1之间的数字，当重置门r
t
接近0时代表候选隐藏层变量输出忘记上一个时间戳h
t-1
的车辆轨迹信息特征，而当重置门r
t
接近1时，说明此时完全将上一个时间戳的特征信息传给下一个时间戳，等价于原始的rnn计算隐藏状态；同理更新门z
t
也是一个0和1之间的数字，当更新门z
t
为1时，完全没有更新状态直接将上一个时间戳的车辆特征信息传给下一层作为输入即h
t
＝h
t-1
，而当更新门z
t
为0时，输出的h
t
完全取决于候选隐藏状态y
t
＝σ(w
t
h
t
)w
t
：代表候输出对于当前时间戳的隐空间变量h
t
的可训练权重参数；利用自回归分解简化gru网络学习目标：p(x
1：t
)＝∏
t
p(x
t
|x
1：t-1
)令x
1：t
代表整个时序数据，而p代表其遵循的分布，代表通过x
1：t
学习到的分布；对抗生成网络的学习目标变为学习一个分布以近似任意一个t时间点的p(x
t
|x
1：t-1
)；包括两个目标函数，分别限制网络学习时间序列整体的和局部的特征：局部的特征：其中，distance()是某一种衡量两种分布距离的方式，包括js散度、kl散度或w距离；整体网络包括四部分网络结构：编码结构e、解码结构r、时间序列生成结构g和时间序列鉴别结构d；对抗生成网络训练：整个网络的训练过程通过编码和解码过程的训练，并伴随着对抗网络结构在隐空间上的生成进行的，该过程伴随着特征编码、表达生成以及随着时间进行循环进行；编码结构提供了隐空间，而生成对抗网络会在隐空间进行训练与生成；编码结构和解码结构提供了时序特征和隐空间之间的映射关系，这允许对抗网络通过低维度时间序列数据之间的联系的特性表征学习进而学习高维度的时序数据特征；令h
1：t
代表动态特征的隐空间变量，x
1：t
代表原始分布，则通过编码结构e得到对应隐空间变量：h
1：t
＝e(x
1：t
)相反，解码结构r将隐空间的动态特征解码回到对应的特征表达空间：编码结构e和解码结构r，均选用gru网络进行映射；对于时间序列生成结构g和时间序列鉴别结构d都是针对隐空间变量进行生成和鉴别；其中z
t
均是随机噪声输入，是生成器g通过随机噪声z
t
和前一时间戳的生成器输出
通过gru网络生成的隐空间变量，对于鉴别器而言，同样也作用于隐空间表达：和分别代表向前和向后传播隐空间部分是输出对应输入变量是真实数据的概率，例如在训练过程中h
1：t
作为输入时，d结构输出值为1，最理想的状态是鉴别器无法分辨输入变量的真实性即和h
1：t
输入后，d结构输出都为0.5；关于网络的损失函数：首先第一个损失函数l
r
为了保证解码和编码之间的映射准确性，即需要保证原始分布x
1：t
经过对应的隐空间表达h
1：t
重构后得到的和原始分布接近，因此l
r
表达式为：其次，生成器会在训练的过程中受到两个因素的影响，在纯开环模式下，在t时刻接收到生成器之前的生成隐空间变量以生成下一时刻的合成向量梯度会计算在无监督损失l
u
中：y
t
：代表真实数据x
1：t
作为鉴别结构d输入时，输出的结果；代表生成数据作为鉴别结构d输入时，输出的结果；此外，单独依靠鉴别器的二分类的结果进行反向传播是无法使生成器捕捉到局部数据的时序条件分布特征，因此，引入第三个监督损失函数l
s
以捕捉分布p(h
t
|h
1：t-1
)和因此监督损失函数l
s
表达式为：综上所述，在每次训练过程中，都会获得真实的通过编码结构获得的下一时刻隐空间变量h
t
和生成器合成的下一时刻隐空间变量g(h
t-1
，z
t
)之间的距离；定义θ
e
，θ
r
，θ
g
，θ
d
分别代表编码、解码、生成器和鉴别器网络的参数，θ
e
，θ
r
通过重构损失l
r
和监督损失l
s
进行更新迭代学习：其中λ是一个用来平衡两个损失的且大于等于0的超参数，另一个损失函数是生成对抗网络的损失函数：其中η是一个用来平衡两个损失的且大于等于0的超参数，其中生成器参数不仅要保证零和博弈中获得最小的损失，同时还要满足保证学习到时间内部序列之间内在关系；
利用训练好的生成器生成全新的测试场景用于智能汽车测试试验。2.根据权利要求1所述的一种基于对抗生成网络的智能汽车测试场景库构建方法，其特征在于：车辆轨迹数据采集过程中，为了提取无人机所拍摄的图像中物体距离与像素之间的对应关系并作为建立三维坐标系为后续计算速度、加速度物理量提供支撑，通过在无人机拍摄视野中摆放一个已知大小的正方体作为像素距离转化参考物，其边长为h；在无人机拍摄的图片数据中，该正方形边长所占像素个数作为距离和像素间的转化度量，通过每一个时间戳拍摄的图像与下一时间戳拍摄的图像像素变化计算得到车辆的轨迹信息。3.根据权利要求1所述的一种基于对抗生成网络的智能汽车测试场景库构建方法，其特征在于：数据预处理程中，所述的补充缺失值：由于在有限的无人机摄像头视野范围内出现的车辆轨迹总长度各不相同，用0进行填充不完整的车辆轨迹以保证车辆轨迹矩阵的完整性，进而满足后期生成算法输出的轨迹信息真实度要求；所述的数据清洗：删除前后相邻时间戳所有车辆轨迹信息相同的数据，单一车辆轨迹数据的前后两个时间戳轨迹数据相同代表车辆处于静止状态，但如果无人机获取的所有车辆轨迹数据都保持不变则选择删去相同的数据；所述的验证集随机抽取处理：为了验证本方法的准确性和生成数据的真实性，随机抽取所有获得的十字交叉路口交通流轨迹的20％作为最后的验证集，通过计算生成网络生成的数据集和预留的验证集中横向速度v
x
、纵向速度v
y
、横向加速度a
x
、纵向加速度a
y
，等距采样获得直方图；最后通过计算数据集和测试数据集的轨迹特征的距离来验证本方法的可靠性；所述的归一化处理：利用数据的归一化解决生成对抗网络由于梯度消失而导致无法训练即参数不更新的问题，同时归一化的过程要关于后续网络框架使用的激活函数，sigmoid激活函数的输出范围为(0，1)之间，数据归一化需要对应该范围，数据归一化过程会将输入的数据归一化到[0，1]之间，反归一化是指将输出的数据映射回原始数据，归一化和反归一化公式分别为：y＝y
norm
*(y
nax-y
min
) y
min
x：代表输入变量，在本专利中指代位置信息、横向速度、纵向速度等；x
min
：代表输入变量中的最小值；x
max
：代表输入变量中的最大值；x
norm
：代表归一化后的变量；y
norm
：代表需要进行反归一化的变量，本专利指代隐空间参数变量；y
max
：代表反归一化后的数据上限；y
min
：代表反归一化后的数据下限；将每辆车的位置信息(x，y)、横向速度v
x
、纵向速度v
y
、横向加速度a
x
、纵向加速度a
y
和横摆角φ分别进行归一化；归一化会将所有的数据变化到固定的0与1之间。

技术总结
本发明涉及一种基于对抗生成网络的智能汽车测试场景库构建方法，包括车辆轨迹数据采集、车辆轨迹特征提取、数据预处理、建立轨迹特征数学模型和对抗生成网络训练等步骤，本发明利用对抗生成网络进行智能汽车测试场景生成，在隐空间进行变量的生成学习弱化了生成网络训练难度，削减网络较长的时序记忆能力以便生成更加真实的车辆轨迹测试场景库。本发明方法为解决实际动态交通流中车辆运动轨迹场景数量较少无法满足智能汽车测试需求的难题提出创新的解决方案。本发明适用复杂多变的十字路口、交叉路口等道路交通环境，同样适用于快速路、高速公路等其他路段轨迹生成。高速公路等其他路段轨迹生成。高速公路等其他路段轨迹生成。


技术研发人员：朱冰 黄殷梓 赵健 张培兴 孙宇航 高质桐 孙一 李响
受保护的技术使用者：吉林大学
技术研发日：2022.10.31
技术公布日：2023/2/3