车辆交互决策模型的训练方法、车辆交互决策方法及设备与流程

本技术涉及自动驾驶与智能车辆控制领域，尤其涉及一种车辆交互决策模型的训练方法、车辆交互决策方法及设备。

背景技术：

1、在复杂交通场景中，车辆需与周围障碍物（如行人、其他车辆）进行实时动态交互，以确保行驶安全与效率。

2、现有技术中，自动驾驶车辆通常依靠规则控制或传统机器学习方法完成与周围障碍物的交互决策。多针对避障或跟车等单一场景建模，状态信息表征较为有限，难以准确反映动态交通参与者行为。同时其目标设计往往偏重安全或效率中的单一维度，导致复杂场景下决策适应性不足，训练稳定性与泛化能力也较难兼顾。

3、因此，如何在复杂交通交互场景下提高车辆决策的场景适配性、策略多样性及模型稳定性，成为需要解决的技术问题。

技术实现思路

1、本技术提供一种车辆交互决策模型的训练方法、车辆交互决策方法及设备，以解决上述技术问题。该方案面向车辆与障碍物的复杂交通交互场景，围绕车辆交互决策模型的训练过程进行设计，通过构建能够表征复杂交互关系的训练环境与决策学习机制，使模型在训练过程中综合考虑车辆状态演化、交互行为选择以及决策目标之间的关联，从而提升车辆在多样化场景中的交互决策能力、场景适配性以及模型训练的稳定性与泛化能力。

2、第一方面，本技术提供一种车辆交互决策模型的训练方法，该方法包括：

3、获取车辆与障碍物交互的仿真环境，并在仿真环境的内存空间中生成多维状态空间与交互动作空间；

4、根据初始交互决策网络，构建初始交互智能体，并根据多维状态空间和交互动作空间，通过初始交互智能体，获取当前状态、当前交互动作和下一状态；

5、基于预设的多维度融合奖励函数，并根据当前交互动作、下一状态和当前状态计算融合奖励值，生成包含融合奖励值的初始经验样本；

6、利用初始经验样本，对初始交互决策网络的参数进行训练，得到训练后的交互决策网络，并重新根据训练后的交互决策网络，构建更新的交互智能体，以获取更新后的经验样本对训练后的交互决策网络的参数进行训练，直至满足预设的训练结束条件，得到训练完成的车辆交互决策模型。

7、在一种可能的实施方式中，根据多维状态空间和交互动作空间，通过初始交互智能体，获取当前状态、当前交互动作和下一状态，包括：

8、根据多维状态空间和交互动作空间，通过初始交互智能体，从多维状态空间中获取当前状态；

9、利用初始交互智能体中的探索策略，从交互动作空间中选择当前交互动作，并在仿真环境中执行当前交互动作以得到下一状态。

10、在一种可能的实施方式中，初始交互智能体包含经验回放缓冲区，该方法还包括：

11、将包含融合奖励值的初始经验样本存储至经验回放缓冲区。

12、在一种可能的实施方式中，利用初始交互智能体中的探索策略，从交互动作空间中选择当前交互动作，包括：

13、生成随机数并获取当前的探索率；

14、在随机数小于或等于探索率时，从交互动作空间中随机选择一个动作作为当前交互动作。

15、在一种可能的实施方式中，该方法还包括：

16、在随机数大于探索率时，基于初始交互决策网络输出的动作价值，选择动作价值最大的动作作为当前交互动作。

17、在一种可能的实施方式中，多维度融合奖励函数包含安全性奖励、通行效率奖励及行驶舒适性奖励。

18、在一种可能的实施方式中，该方法还包括：

19、当经验回放缓冲区中的经验样本数量达到预设批次大小时，随机采样批次样本；并利用批次样本，通过梯度下降算法更新交互决策网络的参数；

20、或者，通过初始交互决策网络计算当前动作价值，并通过训练后的交互决策网络计算训练后的动作价值；根据当前动作价值与训练后的动作价值计算损失，并根据损失，更新交互决策网络的参数。

21、在一种可能的实施方式中，根据损失，更新交互决策网络的参数，包括：

22、根据损失，通过反向传播算法计算交互决策网络中各参数的梯度幅值；

23、在梯度幅值超出预设梯度阈值时进行截断处理，以更新交互决策网络的参数。

24、第二方面，本技术提供一种车辆交互决策模型的训练方法，该方法包括：

25、获取目标车辆及目标障碍物的实时状态数据；

26、将实时状态数据输入训练完成的车辆交互决策模型中，车辆交互决策模型是基于上述训练方法训练得到的；

27、获取车辆交互决策模型输出的目标交互动作；

28、根据目标交互动作，生成车辆控制指令，以控制目标车辆执行目标交互动作。

29、第三方面，本技术实施例提供一种车辆交互决策模型的训练装置，该装置包括：

30、第一获取模块，用于获取车辆与障碍物交互的仿真环境，并在仿真环境的内存空间中生成多维状态空间与交互动作空间；

31、交互模块，用于根据初始交互决策网络，构建初始交互智能体，并根据多维状态空间和交互动作空间，通过初始交互智能体，获取当前状态、当前交互动作和下一状态；

32、生成模块，用于基于预设的多维度融合奖励函数，并根据当前交互动作、下一状态和当前状态计算融合奖励值，生成包含融合奖励值的初始经验样本；

33、训练模块，用于利用初始经验样本，对初始交互决策网络的参数进行训练，得到训练后的交互决策网络，并重新根据训练后的交互决策网络，构建更新的交互智能体，以获取更新后的经验样本对训练后的交互决策网络的参数进行训练，直至满足预设的训练结束条件，得到训练完成的车辆交互决策模型。

34、在一种可能的实施方式中，交互模块，具体用于：

35、根据多维状态空间和交互动作空间，通过初始交互智能体，从多维状态空间中获取当前状态；

36、利用初始交互智能体中的探索策略，从交互动作空间中选择当前交互动作，并在仿真环境中执行当前交互动作以得到下一状态。

37、在一种可能的实施方式中，初始交互智能体包含经验回放缓冲区，该装置还包括存储模块；

38、存储模块，用于将包含融合奖励值的初始经验样本存储至经验回放缓冲区。

39、在一种可能的实施方式中，交互模块，还用于：

40、生成随机数并获取当前的探索率；

41、在随机数小于或等于探索率时，从交互动作空间中随机选择一个动作作为当前交互动作。

42、在一种可能的实施方式中，交互模块，还用于：

43、在随机数大于探索率时，基于初始交互决策网络输出的动作价值，选择动作价值最大的动作作为当前交互动作。

44、在一种可能的实施方式中，生成模块中，多维度融合奖励函数包含安全性奖励、通行效率奖励及行驶舒适性奖励。

45、在一种可能的实施方式中，训练模块，具体用于：

46、当经验回放缓冲区中的经验样本数量达到预设批次大小时，随机采样批次样本；并利用批次样本，通过梯度下降算法更新交互决策网络的参数；

47、或者，通过初始交互决策网络计算当前动作价值，并通过训练后的交互决策网络计算训练后的动作价值；根据当前动作价值与训练后的动作价值计算损失，并根据损失，更新交互决策网络的参数。

48、在一种可能的实施方式中，训练模块，还用于：

49、根据损失，通过反向传播算法计算交互决策网络中各参数的梯度幅值；

50、在梯度幅值超出预设梯度阈值时进行截断处理，以更新交互决策网络的参数。

51、第四方面，本技术提供一种车辆交互决策装置，该装置包括：

52、第二获取模块，用于获取目标车辆及目标障碍物的实时状态数据；

53、输入模块，用于将实时状态数据输入训练完成的车辆交互决策模型中，车辆交互决策模型是基于上述训练方法训练得到的；

54、第三获取模块，用于获取车辆交互决策模型输出的目标交互动作；

55、执行模块，用于根据目标交互动作，生成车辆控制指令，以控制目标车辆执行目标交互动作。

56、第五方面，本技术实施例提供一种电子设备，包括：处理器和存储器；

57、存储器存储计算机执行指令；

58、处理器执行存储器存储的计算机执行指令，使得处理器执行上述第一方面 技术实现要素： 提供的方法，或者执行上述第二方面发明内容提供的方法。

59、第六方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时，用于实现第一方面发明内容的一种车辆交互决策模型的训练方法或第二方面发明内容的一种车辆交互决策方法。

60、第七方面，本技术提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时，用于实现第一方面发明内容的一种车辆交互决策模型的训练方法或第二方面发明内容的一种车辆交互决策方法。

61、本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

62、本技术提供的一种车辆交互决策模型的训练方法、车辆交互决策方法及设备，通过获取车辆与障碍物交互的仿真环境，并在仿真环境的内存空间中生成多维状态空间与交互动作空间，结合初始交互决策网络构建交互智能体以获取当前状态、当前交互动作和下一状态，再基于预设的多维度融合奖励函数生成包含融合奖励值的经验样本，并利用经验样本对交互决策网络的参数进行迭代训练，能够使车辆交互决策模型在训练过程中同时学习复杂交通场景下的状态变化特征、交互行为模式以及多维目标之间的平衡关系，进而可以提高车辆决策对复杂交通交互场景的适配性、策略多样性以及模型训练的稳定性和泛化能力。