基于行为风格的自动驾驶车辆避让的演化博弈决策方法

本发明属于智能驾驶决策，具体涉及基于行为风格的自动驾驶车辆避让的演化博弈决策方法。

背景技术：

1、随着自动驾驶技术的快速发展，具备部分自动驾驶（l2级）或有条件自动驾驶（l3级）水平的车辆日益增多，自动驾驶测试车辆更是达到了有条件自动驾驶（l3级）乃至高度自动驾驶（l4级）水平。在此背景下，自动驾驶车辆通过无信号人行横道时避让过街行人，成为智能驾驶决策的典型场景之一。针对这一场景，现有研究主要采用规则驱动、机器学习和博弈驱动三类方法，其中，规则驱动方法架构逻辑清晰、算法易于实现、可解释性强；机器学习方法复杂场景适配性强、感知决策精度高、迭代泛化能力强；博弈驱动方法能够合理刻画决策主体间的交互行为，复杂场景通行效率高、泛化适配能力强。

2、然而，上述现有研究各自存在一定的不足，规则驱动方法策略适配性差、泛化能力弱、全局性能受限；机器学习方法极端场景稳定性不足、训练数据依赖度高、可解释性不足；博弈驱动方法建模复杂度高、效用函数设计难度大、极端博弈场景易失效。其中，博弈驱动方法既能克服规则驱动方法泛化能力弱的缺点，又能克服机器学习方法可解释性不足的缺点，因而成为人车交互决策研究的重要方向。博弈驱动方法又分为经典博弈驱动和演化博弈驱动两种，前者假设决策主体完全理性，与人车博弈的真实情况不符；后者假设决策主体有限理性，与人车博弈的真实情况更为相符。

3、但无论采用何种技术路线，现有人车博弈的自动驾驶决策技术仍存在两方面的共性缺陷，一方面，对决策主体的效用类型考量不充分，未能全面刻画自动驾驶车辆的安全、效率、舒适、节能效用以及过街行人的安全、效率、舒适、疲劳、从众效用；另一方面，对决策主体的行为风格考量不充分，忽视了不同车辆和行人在各分项效用上的偏好差异，导致决策策略缺乏针对性，无法满足自动驾驶车辆智能驾驶决策的个性化设计需求。

技术实现思路

1、根据以上现有研究中的不足，本发明的目的在于提供基于行为风格的自动驾驶车辆避让的演化博弈决策方法，将决策主体的安全、效率、舒适、节能、疲劳、从众等多维效用与其行为风格（分项效用权重）深度融合于有限理性的演化博弈框架中，使自动驾驶车辆在无信号人行横道避让场景下既能真实刻画人车交互、又能输出贴合不同驾驶风格的个性化决策。

2、为达到以上目的，本发明提供了基于行为风格的自动驾驶车辆避让的演化博弈决策方法，包括以下步骤：

3、s1、在自动驾驶车辆通过无信号人行横道的过程中，通过传感器实时采集自动驾驶车辆和过街行人的运动信息，预判自动驾驶车辆需要避让的过街行人，确定自动驾驶车辆避让过街行人的博弈场景；

4、s2、定义自动驾驶车辆与过街行人为决策主体，确定自动驾驶车辆与过街行人的策略集及两者博弈的策略组合；

5、s3、确定自动驾驶车辆与过街行人的分项效用函数，引入表征决策主体行为风格的分项效用权重，得到决策主体的总效用函数；

6、s4、根据自动驾驶车辆和过街行人的历史运动信息，使用极大似然法标定决策主体每个个体的分项效用权重；

7、s5、根据决策主体所有个体的分项效用权重，使用k-means++算法标定决策主体每类行为风格的分项效用典型权重；

8、s6、确定自动驾驶车辆与过街行人的效用矩阵，建立自动驾驶车辆与过街行人互动决策的演化博弈模型；

9、s7、构建自动驾驶车辆与过街行人演化博弈的复制动态方程，得到演化博弈均衡点和演化稳定策略，模拟自动驾驶车辆与过街行人的策略选择行为及过程；

10、s8、为自动驾驶车辆制定不同行为风格的决策策略，使自动驾驶车辆执行个性化决策。

11、作为本发明的优选方案，所述的s1中，自动驾驶车辆和过街行人的运动信息包括横纵向的坐标、速度和加速度；

12、当过街行人到达或越过其前进方向上人行横道的起始断面时，自动驾驶车辆需要避让过街行人；对于自动驾驶车辆已占据人行横道或过街行人未到达冲突区这两类场景，自动驾驶车辆与过街行人均不发生博弈；当过街行人到达冲突区而自动驾驶车辆未占据人行横道时，自动驾驶车辆与过街行人发生博弈；其中，冲突区为过街行人临近的道路边缘线或道路中心线所在断面至与其冲突的自动驾驶车辆所在车道右侧边界之间的人行横道区域；

13、将自动驾驶车辆和过街行人分别记为avs和cps，将两者的博弈场景记为avs-cps。

14、作为本发明的优选方案，所述的s2中，确定自动驾驶车辆与过街行人的策略集及两者博弈的策略组合的过程为：

15、自动驾驶车辆和过街行人博弈过程中，决策主体为n∈{avs,cps}；

16、定义i为自动驾驶车辆的决策索引，j为过街行人的决策索引，自动驾驶车辆的策略集为={通行,让行}，过街行人的策略集为={等待,通过}，则决策主体博弈的策略组合为={(通行,等待),(通行,通过),(让行,等待),(让行,通过)}。

17、作为本发明的优选方案，所述的s3中，确定自动驾驶车辆与过街行人的分项效用函数的过程为：

18、avs的效用包括节能效用、安全效用、效率效用和舒适效用，cps的效用包括疲劳效用、从众效用、安全效用、效率效用和舒适效用；

19、使用决策主体前进方向上与另一决策主体的碰撞时间代表决策主体的安全效用s，使用决策主体在前进方向上速度恢复至期望速度所需时间代表决策主体的效率效用e，使用决策主体在前进方向上加速度变化比率代表决策主体的舒适效用c，使用自动驾驶车辆执行节能策略而伴随的能耗代表自动驾驶车辆的节能效用es，使用过街行人在单位时间内的步行能耗代表过街行人的疲劳效用f，使用过街行人受从众心理影响的期望速度代表过街行人的从众效用cp，则决策主体的效用为；

20、策略组合为时，决策主体n的安全效用、效率效用、舒适效用、节能效用、疲劳效用和从众效用的分项效用函数分别为：

21、；

22、；

23、；

24、；

25、；

26、；

27、式中，dn为决策主体n在前进方向上与另一决策主体的间距；、vn、an、和分别为决策主体n在前进方向上的期望速度、速度、加速度、最大加速度和最大减速度；为阻尼项；为决策主体n在前进方向上在时间间隔nf内的加速度变化；n为帧数，即传感器采集运动信息的数据帧数量；f为每帧持续时间；g为重力加速度；为空气密度；cr和cd分别为滚动阻力系数和空气阻力系数；mn和an分别为决策主体n的质量和迎风面积；wn和bn分别为决策主体n的体重和负重；为路面状况系数；为从众系数；cn为决策主体n的邻居数，cn为决策主体n的邻居索引；为决策主体n第cn个邻居的速度。

28、作为本发明的优选方案，所述的s3中，得到决策主体的总效用函数的过程为：

29、对各个效用进行最小-最大归一化处理，得到策略组合为时决策主体n效用g的归一化值；

30、考虑决策主体的行为风格，决策主体n的总效用的函数为：

31、；

32、式中，、、和分别为avs基于行为风格的安全效用、效率效用、舒适效用和节能效用的权重；、、、和分别为cps基于行为风格的安全效用、效率效用、舒适效用、疲劳效用和从众效用的权重；、、、、和分别为策略组合为时决策主体n的安全效用、效率效用、舒适效用、节能效用、疲劳效用和从众效用的归一化值。

33、作为本发明的优选方案，所述的s4中，标定决策主体每个个体的分项效用权重的过程为：

34、记和分别表示avs和cps基于行为风格的分项效用权重；

35、记决策主体n的第m个个体在第t个时间间隔内所选策略的实际值和策略组合的实际发生状态变量分别为和，即：

36、；

37、；

38、式中，和分别为决策主体n的第m个个体在第t个时间间隔内的横向和纵向位移；为avs选择通行策略时在单位时间间隔内的最小横向位移；为cps选择通过策略时在单位时间间隔内的最小纵向位移；、分别表示avs、cps的第m个个体在第t个时间间隔内所选策略的实际值；

39、记决策主体n的第m个个体在第t个时间间隔内实际策略选择的向量为，、分别表示决策主体n的第m个个体在第t个时间间隔内实际选择策略1和策略2的值，选择对应策略时，其值为1，否则为0；若，且；若，且；若，且；若，且；

40、记决策主体n的第m个个体在第t个时间间隔内策略组合为时所得分项效用归一化值的向量为：

41、；

42、式中，上标t表示转置；为决策主体n的第m个个体在第t个时间间隔内策略组合为时所得第o项效用的归一化值，on为决策主体n计算总效用时考虑的分项效用的数量；

43、记决策主体n的第m个个体基于行为风格的分项效用权重为：

44、；

45、式中，为avs的第m个个体对第o项效用使用的权重，为cps的第m个个体对第o项效用使用的权重；

46、基于gumbel分布，结合softmax函数，决策主体n的第m个个体在第t个时间间隔内选择策略vi或pj的概率或为：

47、；

48、；

49、式中，和分别为avs和cps的第m个个体基于行为风格的分项效用权重；i和j分别为avs和cps的策略数；

50、求解avs和cps基于行为风格的分项效用权重的目标函数为：

51、；

52、式中，为确定的似然函数；为决策主体n的第m个个体参与博弈的时间间隔的数量；若，目标函数需满足的约束条件为；若，目标函数需满足的约束条件为；

53、使用极大似然法求解上述满足约束条件的目标函数，得到决策主体n的第m个个体的基于行为风格的分项效用权重：

54、；

55、式中，和分别为决策主体avs和cps的第m个个体的基于行为风格的分项效用权重。

56、作为本发明的优选方案，所述的s5中，标定决策主体每类行为风格的分项效用典型权重的过程为：

57、根据决策主体n各个个体的基于行为风格的分项效用权重，得到决策主体n的分项效用权重的样本集，其样本量为决策主体n的个体数量，记为m；

58、将决策主体n所有样本的分项效用权重拼接成决策主体n的效用权重矩阵wn：

59、；

60、设定决策主体n的行为风格为zn类，使用k-means++算法，根据权重矩阵wn将其行为风格聚为zn类，得到决策主体n的第类行为风格的分项效用典型权重：

61、；

62、式中，、分别表示决策主体n为avs和cps时第zn类行为风格的分项效用典型权重。

63、作为本发明的优选方案，所述的s6中，建立自动驾驶车辆与过街行人互动决策的演化博弈模型的过程为：

64、策略组合为时，记自动驾驶车辆和过街行人的总效用分别为和；avs-cps博弈场景中，决策主体的效用矩阵具体如下：

65、当avs选择通行且cps选择等待时，效用为；当avs选择通行且cps选择通过时，效用为；当avs选择让行且cps选择等待时，效用为；当avs选择让行且cps选择通过时，效用为；

66、自动驾驶车辆选择通行策略和让行策略的比例分别记为p∈[0,1]和1-p，过街行人选择等待策略和通过策略的比例分别记为q∈[0,1]和1-q；

67、当自动驾驶车辆选择通行策略的比例和过街行人选择等待策略的比例随时间的变化率均为0时，自动驾驶车辆与过街行人博弈的系统达到均衡，所得通行策略比例和等待策略比例对应的点即为演化博弈均衡点；

68、自动驾驶车辆与过街行人互动决策的演化博弈模型为：

69、；

70、式中，和分别为自动驾驶车辆选择通行策略和过街行人选择等待策略的比例随时间的变化率。

71、作为本发明的优选方案，所述的s7中，得到演化博弈均衡点和演化稳定策略的过程为：

72、自动驾驶车辆选择通行策略和过街行人选择等待策略的复制动态方程分别为：

73、；

74、；

75、当过街行人选择等待策略或通过策略，自动驾驶车辆选择通行策略与让行策略的效用差记为；

76、当自动驾驶车辆选择通行策略或让行策略，过街行人选择等待策略与通过策略的效用差记为；

77、自动驾驶车辆与过街行人博弈的复制动态方程组成的微分方程组为：

78、；

79、自动驾驶车辆与过街行人博弈的演化博弈均衡点为(0,0)、(0,1)、(1,0)、(1,1)和：

80、；

81、式中，、分别表示演化博弈均衡点对应的自动驾驶车辆选择通行策略的概率和过街行人选择等待策略的概率；

82、演化博弈均衡点的jacobian矩阵的行列式det(j)和迹tr(j)分别为：

83、；

84、；

85、自动驾驶车辆与过街行人博弈的演化博弈均衡点的类型取决于、、和的正负确定的det(j)和tr(j)的正负；博弈场景avs-cps中，恒为负，、和的正负不确定；根据、和的正负，博弈场景avs-cps的演化博弈均衡点的稳定性存在如下8种情形：

86、情形1：当时，均衡点(0,0)、(0,1)、(1,0)、(1,1)和分别为鞍点、鞍点、不稳定点、稳定点和不确定；

87、情形2：当时，均衡点(0,0)、(0,1)、(1,0)、(1,1)和分别为稳定点、不稳定点、不稳定点、稳定点和鞍点；

88、情形3：当时，均衡点(0,0)、(0,1)、(1,0)、(1,1)和分别为鞍点、鞍点、鞍点、鞍点和中心点；

89、情形4：当时，均衡点(0,0)、(0,1)、(1,0)、(1,1)和分别为稳定点、不稳定点、鞍点、鞍点和不确定；

90、情形5：当时，均衡点(0,0)、(0,1)、(1,0)、(1,1)和分别为鞍点、稳定点、不稳定点、鞍点和不确定；

91、情形6：当时，均衡点(0,0)、(0,1)、(1,0)、(1,1)和分别为稳定点、鞍点、不稳定点、鞍点和不确定；

92、情形7：当时，均衡点(0,0)、(0,1)、(1,0)、(1,1)和分别为鞍点、稳定点、鞍点、不稳定点和不确定；

93、情形8：当时，均衡点(0,0)、(0,1)、(1,0)、(1,1)和分别为稳定点、鞍点、鞍点、不稳定点和不确定；

94、当演化博弈均衡点为稳定点时，对应的策略为演化稳定策略，自动驾驶车辆和过街行人选择相应的演化稳定策略。

95、作为本发明的优选方案，所述的s8中，自动驾驶车辆执行个性化决策的过程为：

96、为自动驾驶车辆设计zavs类行为风格，假设过街行人有zcps类行为风格，其中任意一类行为风格分别记为和；

97、设定自动驾驶车辆选择第zavs类行为风格，则自动驾驶车辆与过街行人博弈有zcps种场景，其中任意一种博弈场景为第zavs类自动驾驶车辆与第zcps类过街行人博弈；

98、基于第zavs类自动驾驶车辆与zcps类过街行人博弈的zcps个复制动态方程，识别出第zavs类自动驾驶车辆的演化稳定策略；如果只有一个演化稳定策略，记该策略为最佳决策策略；如果存在多个演化稳定策略，进一步识别出其中自动驾驶车辆总效用最大的策略，记该策略为最佳决策策略；

99、根据自动驾驶车辆所选行为风格及其当前运动状态，判断当前所选策略是否为最佳决策策略；若是，维持当前所选策略；若否，选择最佳决策策略。

100、本发明所具有的有益效果是：

101、本发明将自动驾驶车辆和过街行人的安全、效率、舒适、节能、疲劳和从众等多效用的刻画，激进、正常、保守多行为风格表征，及有限理性演化博弈，整合为基于行为风格的自动驾驶车辆避让的演化博弈决策方法，能够为自动驾驶车辆智能驾驶决策策略设计提供个性化方案，进而满足出行者的个性化需求。

102、本发明通过考虑节能效用有助于自动驾驶车辆选择能耗少、排放少的策略，助力交通可持续发展及自然环境保护；通过考虑疲劳和从众效用有助于通过关注过街行人的多方面需求来优化自动驾驶车辆的决策策略；通过考虑行为风格有助于通过细化决策主体的行为特征来优化自动驾驶车辆的决策策略。这样的自动驾驶车辆和过街行人的分项效用的全面刻画及其行为风格的深刻表征能够为自动驾驶车辆提供个性化的智能驾驶决策策略，进一步能够提高自动驾驶车辆的复杂场景适配性和决策迭代泛化能力。