一种自动驾驶仿真测试方法与流程

1.本发明涉及自动驾驶仿真测试技术领域，特别是涉及一种基于深度强化学习的单智能体行为模型应用在多智能体交通流中进行自动驾驶仿真测试的方法。


背景技术：

2.在自动驾驶仿真测试过程中，会使用很多的仿真场景进行算法的测试和验证，仿真场景的丰富度是算法验证全面性和覆盖性的关键，其中比较重要的一环就是仿真场景内主车会遇到的交通流，交通流也是由多个单体（比如卡车/轿车/自行车/行人等要素）要素组成的，每个单体的不同行为决定了整体交通流的不同程度，所以我们需要通过一些方法生成交通流的单体，来生成整体交通流，并且使生成的交通流具备多样性和复杂性等特点。
3.现有技术中，仿真检测方法基本都是采用非智能体的障碍物，需要先定义不同单体的策略，指定该单体障碍物的类型和移动轨迹，无论外界环境如何变化，它还是按照预置的轨迹进行行驶，单体障碍物无法与仿真检测的主车形成交互行为，因而，该仿真检测方法无法形成合理的符合现实的交通流策略。现有技术的缺点在于，交通流中的单体只能按指令移动，单体的行为与人类驾驶行为相差较大，无法形成合理的符合现实的交通流策略，从而对自动驾驶算法策略进行验证的效果有限。因为是预先设置指令，所以无法大量生成有效的交通流，仍需要大量的人工成本进行指令集的设置和组合。


技术实现要素：

4.本发明的目的在于针对背景技术中所述的现有技术中，交通流中的单体，只能按指令移动，单体的行为与人类驾驶行为相差较大，无法形成合理的符合现实的交通流策略，仍需要大量的人工进行指令集的设置和组合等问题，提供一种基于深度强化学习的自动驾驶仿真测试方法。
5.为实现以上目的，本发明通过以下技术方案予以实现：一种自动驾驶仿真测试方法，其包括以下步骤：s1、积累训练深度强化学习模型所需要的交通流样本数据；s2、分别搭建用于不同单体的深度强化学习模型，并进行模型训练和优化；s3、将训练好的深度强化学习模型在对应的单体行为中进行应用，从而形成单智能体；s4、将多种单智能体进行排列组合，加入到仿真场景中，形成多智能体交通流；s5、将多智能体交通流应用在仿真场景中，根据主车行为和位置进行智能体的触发，从而形成多智能体和主车的交互行为，进行有效的算法验证。
6.作为上述方案的进一步改进，步骤s1中，所述的训练深度强化学习模型所需要的交通流样本数据为运营车辆收集的数据、交通管理部门的数据或路测设备公司的合作数据。采用运营车辆收集的数据、交通管理部门的数据或路测设备公司的合作数据作为训练深度强化学习模型的交通流样本数据，能用大量的、真实的交通流数据对深度强化学习模
型进行训练，使深度强化学习模型的用于单智能体后，能使单智能体形成更符合现实的交通流策略，使得对主车的自动驾驶仿真测试结果更加准确可靠。
7.作为上述方案的进一步改进，步骤s2中，所述的单体包括行人、自行车、轿车、卡车中的若干种，深度强化学习模型包括与所述单体相对应的若干种深度强化学习模型。为了使多智能体交通流更加符合现实，单体的种类可以是自动驾驶时可能遇到的各种障碍单体。
8.作为上述方案的进一步改进，步骤s2中，所述的深度强化学习模型是现有的开源的模型或是根据单体类型新开发的模型，模型训练和优化的方法是通过向模型输入交通流样本数据，使模型输出的数据更准确。对于汽车/货车等常规类型的障碍物可以使用开源的模型，而对于渣土车等长尾类型障碍物可以重新研发新的模型，模型训练和优化的具体方法就是将运营车辆收集的数据、交通管理部门的数据或路测设备公司的合作数据等数据输入到模型中，对模型进行优化训练，使模型输出的数据更准确。
9.作为上述方案的进一步改进，步骤s4中，利用仿真场景中的场景编辑器将多种单智能体进行排列组合，或是按照预置的策略对单智能体进行排列组合，形成多智能体交通流。通过场景编辑器对多种单智能体进行排列组合，能使生成的多智能体交通流中具有各种可能的单智能体组合方案，使组合方案更加完整，而按照预置的策略来对单智能体进行排列组合，能使生成的多智能体交通流更符合现实，使得对自动驾驶仿真测试的结果更准确和可靠。
10.作为上述方案的进一步改进，步骤s5中，所述的各个单智能体能够根据主车的行为和位置，自动形成单智能体与主车之间的交互行为，使主车的算法测试仿真环境更接近真实的交通流策略。
11.上述的深度强化学习是指在交互中学习，单体在与环境的交互中根据获得的奖励或惩罚不断学习知识，使其更加适应环境。例如，对于轿车为单体的单智能体，需要搭建与轿车对应的深度强化学习模型，并利用交通流样本数据，进行模型的训练和优化，训练好的深度强化学习模型用于轿车，即可形成轿车的单智能体。
12.本发明具有积极的效果：1）本发明的自动驾驶仿真测试方法，利用了深度强化学习模型，并利用了大量的真实的交通流样本数据对深度强化学习模型进行训练和优化，得到多种单智能体，单智能体能够通过持续的单体交通行为学习，形成基于深度强化学习模型的单智能体，驾驶或移动行为更符合人类的驾驶或移动方式，并可以与其他单智能体或主车交互，提高其智能；2）本发明将多种单智能体排列组合形成多智能体交通流，来对主车进行自动驾驶的仿真测试，在测试时，各个单智能体能够根据主车的行为和位置，与主车产生交互行为，使各个单智能体能根据交通流策略，自主的形成活动轨迹，与现有的仿真测试方法中提前设定障碍物的活动轨迹的方案相比，本发明的测试方法中，各个单智能体的活动轨迹更符合现实情况，因而，对主车的自动驾驶的仿真测试更准确可靠；3）本发明的自动驾驶仿真测试方法，因为是采用深度强化学习模型来对单智能体进行优化训练，能够避免人工对单智能体设置指令集，节省大量的人工操作，且能提高工作效率。
具体实施方式
13.下面通过实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施
例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
14.一种自动驾驶仿真测试方法，其包括以下步骤：s1、积累训练深度强化学习模型所需要的交通流样本数据，交通流样本数据越多，对后续的深度强化学习模型的训练和优化效果越好，因而，本发明可以采用运营车辆收集的数据、交通管理部门的数据或路测设备公司的合作数据，当然还可以收集其他可能收集到的交通流样本数据。
15.s2、分别搭建用于不同单体的深度强化学习模型，并进行模型训练和优化。所述的单体包括行人、自行车、轿车、卡车中的若干种，当然还可以包括交通流中常见的其他单体。深度强化学习模型包括与所述单体相对应的若干种深度强化学习模型。即每种单体都要搭建与之对应的深度强化学习模型，深度强化学习模型可以是现有的开源的模型，也可以是根据单体类型新开发的模型，例如，对于汽车/货车等常规类型的障碍物可以使用开源的模型，而对于渣土车等长尾类型障碍物可以重新研发新的模型，模型训练和优化的具体方法就是将运营车辆收集的数据、交通管理部门的数据或路测设备公司的合作数据等交通流数据输入到模型中，对模型进行优化训练，使模型输出的数据更准确。
16.s3、将训练好的深度强化学习模型在对应的单体行为中进行应用，从而形成单智能体。训练好的深度强化学习模型应用到对应的单体中，即可形成该单体的单智能体。
17.上述的深度强化学习是指在交互中学习，单体在与环境的交互中根据获得的奖励或惩罚不断学习知识，使其更加适应环境。例如，对于轿车为单体的单智能体，需要搭建与轿车对应的深度强化学习模型，并利用交通流样本数据，进行模型的训练和优化，训练好的深度强化学习模型用于轿车，即可形成轿车的单智能体。
18.s4、将多种单智能体进行排列组合，加入到仿真场景中，形成多智能体交通流。可以利用仿真场景中的场景编辑器将多种单智能体进行排列组合，也可以按照预置的策略对单智能体进行排列组合，形成多智能体交通流。通过场景编辑器对多种单智能体进行排列组合，能使生成的多智能体交通流中具有各种可能的单智能体组合方案，使组合方案更加完整，而按照预置的策略来对单智能体进行排列组合，能使生成的多智能体交通流更符合现实，使得对自动驾驶仿真测试的结果更准确和可靠。
19.s5、将多智能体交通流应用在仿真场景中，根据主车行为和位置进行智能体的触发，从而形成多智能体和主车的交互行为，进行有效的算法验证。将多智能体交通流应用在仿真场景中，其中的各个单智能体能够根据主车的行为和位置，自动形成单智能体与主车之间的交互行为，使主车的算法测试仿真环境更接近真实的交通流策略。
20.本发明的自动驾驶仿真测试方法，利用了深度强化学习模型，并利用了大量的真实的交通流样本数据对深度强化学习模型进行训练和优化，得到多种单智能体，单智能体能够通过持续的单体交通行为学习，形成基于深度强化学习模型的单智能体，驾驶或移动行为更符合人类的驾驶或移动方式，并可以与其他单智能体或主车交互，提高其智能。本发明将多种单智能体排列组合形成多智能体交通流，来对主车进行自动驾驶的仿真测试，在测试时，各个单智能体能够根据主车的行为和位置，与主车产生交互行为，使各个单智能体能根据交通流策略，自主的形成活动轨迹，与现有的仿真测试方法中提前设定障碍物的活
动轨迹的方案相比，本发明的测试方法中，各个单智能体的活动轨迹更符合现实情况，因而，对主车的自动驾驶的仿真测试更准确可靠。本发明的自动驾驶仿真测试方法，因为是采用深度强化学习模型来对单智能体进行优化训练，能够避免人工对单智能体设置指令集，节省大量的人工操作，且能提高工作效率。
21.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。