数据生成方法和装置与流程

本技术涉及神经网络模型训练领域，更具体地，涉及一种数据生成方法和装置。

背景技术：

1、随着车辆的智能化发展，开发了越来越多的辅助驾驶的智能驾驶技术，以减轻驾驶员在行车过程中的压力。前述智能驾驶技术的可靠性一般依赖于相关智能驾驶算法的可靠性，为了提高智能驾驶算法的可靠性，一般会使用海量实际驾驶中会遇到的场景数据对智能驾驶算法进行训练。

2、然而，前述海量场景数据中，包含较少发生概率极低的驾驶场景数据，使得车辆的智能驾驶算法在面对这类场景时的应对能力不足，从而影响车辆的行车安全。

3、鉴于此，一种能够提高车辆对长尾场景的应对能力的数据生成方案亟待开发。

技术实现思路

1、本技术提供了一种数据生成方法和装置，能够生成实际驾驶场景中发生概率较低的驾驶场景数据，以使得基于这类场景数据对车辆的智能驾驶算法模型进行训练，有助于提高车辆在自动驾驶过程中应对长尾问题的能力，从而提高车辆的行车安全。

2、第一方面，提供了一种数据生成方法，该方法可以应用于计算机中，例如可以由用于计算机的芯片或电路执行。

3、该方法包括：获取运动物体控制信息，运动物体控制信息至少指示第一运动物体的第一运动属性，以及虚拟车辆的第二运动属性，第一运动物体为与虚拟车辆存在第一交互关系的物体；根据运动物体控制信息，生成至少一组轨迹点，至少一组轨迹点中每组轨迹点包括多对轨迹点，多对轨迹点中的每对轨迹点分别指示第一运动物体和虚拟车辆在一个时刻的位置。

4、一般而言，实际驾驶场景中发生概率较低的数据关联的场景较为危险，可能会导致车辆损坏，甚至威胁车辆内驾乘人员的人身安全，因此，实际驾驶场景中发生概率较低的数据的获取成本较高。通过上述技术方案，能够基于运动物体控制信息，生成在实际驾驶场景中发生概率较低的驾驶场景数据，解决真实数据获取成本高的问题。进而，基于前述生成的数据对车辆的智能驾驶算法模型进行训练，有助于提升智能驾驶算法模型对罕见场景的泛化能力，从而提升车辆在自动驾驶过程中应对发生概率较低的事件的能力，进而提高车辆的行车安全。

5、结合第一方面，在第一方面的某些实现方式中，该方法还包括：获取静态要素信息，静态要素信息至少指示第一道路的道路边界；根据运动物体控制信息，生成至少一组轨迹点，包括：根据运动物体控制信息和静态要素信息，生成至少一组轨迹点；每对轨迹点还分别指示第一运动物体和虚拟车辆在一个时刻在第一道路中的位置。

6、在一些实现方式中，静态要素信息还指示如下至少一项：第一道路中的车道线的位置和类型(如颜色和线型)、第一道路关联的路口边界，第一道路与其他道路之间的拓扑关系，或者道路中静态障碍物的位置。

7、在上述技术方案中，基于道路的静态要素，限制车辆的可行驶区域的边界，从而提高生成的轨迹点的可达性，以及轨迹点和道路约束的兼容性。

8、结合第一方面，在第一方面的某些实现方式中，该方法还包括：对第一运动属性进行第一处理，得到n组运动参数，n组运动参数指示第一运动物体的n组轨迹点；对第二运动属性进行第一处理，得到m组运动参数，m组运动参数指示虚拟车辆的m组轨迹点；根据n组运动轨迹和m组运动轨迹，得到p组轨迹点，p组轨迹点包括至少一组轨迹点；其中，m和n均为正整数，且p为n和m的积。

9、示例性地，第一处理可以为增广处理，例如，基于不同的随机噪声对运动物体控制信息进行初始化，得到多组处理后的运动物体控制信息。

10、在上述技术方案中，能够基于一组运动物体控制信息生成多组轨迹点，从而覆盖不同驾驶风格和交互策略，能够避免单一决策的局限性。此外，基于生成的多组轨迹点对车辆进行训练，能够使得车辆应对更加复杂的动态场景，并且有助于筛选出虚拟车辆应对第一运动物体的最优行驶路径。

11、结合第一方面，在第一方面的某些实现方式中，n组运动参数和m组运动参数为剔除不合法运动参数后得到的参数。

12、其中，不合法运动参数包括但不限于：不符合车辆运动学和动力学规律的参数，与道路的静态要素不兼容(如轨迹点超出道路边界)的参数，安全性不符合要求的参数，或者使得车辆的行为与人类驾驶员控制下运行的特点相差过大的参数。

13、在上述技术方案中，筛选出安全、类人、合理的驾驶数据，以使得基于此类驾驶数据训练出的智能驾驶算法模型更加安全、决策和行为更加类人。

14、结合第一方面，在第一方面的某些实现方式中，运动物体控制信息包括语言文本，语言文本指示第一运动物体和虚拟车辆的运动特征；第一运动属性和第二运动属性为根据语言文本确定的。

15、在上述技术方案中，基于语言文本确定运动物体控制信息，能够提高输入的运动物体控制信息的灵活度，降低构建运动物体控制信息的复杂度，从而减少生成驾驶场景数据过程中的工作量。

16、结合第一方面，在第一方面的某些实现方式中，运动物体控制信息指示第一运动物体和虚拟车辆的起始位置和终止位置，以及第一运动物体和虚拟车辆在中间时刻如下至少一项：位置、速度，或者，朝向角。

17、在一些实现方式中，运动物体控制信息还指示：第一运动物体和虚拟车辆分别在起始位置、终止位置的速度和/或朝向角。

18、其中，运动物体控制信息对第一运动物体和虚拟车辆的起始位置和终止位置的指示，可以为直接指示的，或者也可以为间接指示(或称隐式指示)的。例如，在运动物体控制信息为数组形式的信息时，通过运动物体控制信息通过指示第一运动物体的从起始位置至终止位置需途经的某位置的坐标以及车辆在此处的朝向角，来间接指示第一运动物体的可能的起始位置和终止位置。

19、在一些实现方式中，运动物体控制信息所指示的第一运动物体和虚拟车辆的运动属性，与第一交互关系相匹配。

20、结合第一方面，在第一方面的某些实现方式中，运动物体控制信息还指示第一运动物体和/或虚拟车辆的类型。

21、其中，第一运动物体的类型可以包括如下任一项：机动车、非机动车、行人。在第一运动物体为机动车的情况下，第一运动物体的类型还可以指示第一运动物体的车型(如为客车、货车或摩托车)和/或大小。此外，虚拟车辆的类型也可以指示虚拟车辆的车型和/或大小。

22、在上述技术方案中，通过运动物体控制信息指示第一运动物体的类型和/或虚拟车辆的类型，能够覆盖更多驾驶场景，以使得基于此类驾驶数据训练出的智能驾驶算法模型的泛化能力更强。

23、结合第一方面，在第一方面的某些实现方式中，运动物体控制信息还指示第一运动物体和/或虚拟车辆与第一道路中的静态道路元素之间的交互关系。

24、其中，第一运动物体和/或虚拟车辆与静态道路元素之间的交互关系包括但不限于：第一运动物体和/或虚拟车辆压车道实线、逆行，或者不按规定车道行驶。

25、在上述技术方案中，通过运动物体控制信息指示第一运动物体和/或虚拟车辆与静态道路元素之间的交互关系，能够覆盖更多驾驶场景，以使得基于此类驾驶数据训练出的智能驾驶算法模型的泛化能力更强。

26、结合第一方面，在第一方面的某些实现方式中，第一交互关系包括如下任一项：第一运动物体切入虚拟车辆前方；第一运动物体位于虚拟车辆前方，且虚拟车辆切出第一运动物体所处车道；或者，第一运动物体和虚拟车辆处于同一车道，且虚拟车辆和第一运动物体之间存在碰撞风险。

27、结合第一方面，在第一方面的某些实现方式中，该方法还包括：根据第一组轨迹点，生成第一组图像，第一组图像用于训练第一算法模型，第一算法模型用于为第一车辆规划行驶路径；其中，至少一组轨迹点包括第一组轨迹点，第一组图像包括多帧图像，多帧图像中的每帧图像指示一个时刻第一运动物体和虚拟车辆在第一道路中的位置，第一车辆和虚拟车辆相关联。

28、在一些实现方式中，第一算法模型为端到端(end to end)神经网络模型。

29、一般而言，车辆的智能驾驶算法模型基于图像和/或点云数据，进行路径规划和车辆控制，在上述技术方案中，基于第一组轨迹点生成相关图像，有助于提升部署此智能驾驶算法模型的车辆对相关图像指示的驾驶场景的应对能力。

30、结合第一方面，在第一方面的某些实现方式中，该方法还包括：获取环境信息，环境信息指示第一道路的天气情况和/或光照条件；根据第一组轨迹点，生成第一组图像，包括：根据第一组轨迹点和环境信息，生成第一组图像。

31、在上述技术方案中，生成的图像中考虑不同天气(如雨雪、雾霾)以及光照条件(如逆光、夜间)的影响，有助于使得此类数据训练出的智能驾驶算法模型在不同天气及光照条件下，为车辆规划出更为合理、合规的行驶路径。

32、第二方面，提供了一种数据生成装置，该装置包括获取单元和处理单元，其中，获取单元用于：获取运动物体控制信息，运动物体控制信息至少指示第一运动物体的第一运动属性，以及虚拟车辆的第二运动属性，第一运动物体为与虚拟车辆存在第一交互关系的物体；处理单元用于：根据运动物体控制信息，生成至少一组轨迹点，至少一组轨迹点中每组轨迹点包括多对轨迹点，多对轨迹点中的每对轨迹点分别指示第一运动物体和虚拟车辆在一个时刻的位置。

33、结合第二方面，在第二方面的某些实现方式中，获取单元还用于：获取静态要素信息，静态要素信息至少指示第一道路的道路边界；处理单元用于，包括：根据运动物体控制信息和静态要素信息，生成至少一组轨迹点；每对轨迹点还分别指示第一运动物体和虚拟车辆在一个时刻在第一道路中的位置。

34、结合第二方面，在第二方面的某些实现方式中，处理单元还用于：对第一运动属性进行第一处理，得到n组运动参数，n组运动参数指示第一运动物体的n组轨迹点；对第二运动属性进行第一处理，得到m组运动参数，m组运动参数指示虚拟车辆的m组轨迹点；根据n组运动轨迹和m组运动轨迹，得到p组轨迹点，p组轨迹点包括至少一组轨迹点；其中，m和n均为正整数，且p为n和m的积。

35、结合第二方面，在第二方面的某些实现方式中，n组运动参数和m组运动参数为剔除不合法运动参数后得到的参数。

36、结合第二方面，在第二方面的某些实现方式中，运动物体控制信息包括语言文本，语言文本指示第一运动物体和虚拟车辆的运动特征；第一运动属性和第二运动属性为根据语言文本确定的。

37、结合第二方面，在第二方面的某些实现方式中，运动物体控制信息指示第一运动物体和虚拟车辆的起始位置和终止位置，以及第一运动物体和虚拟车辆在中间时刻如下至少一项：位置、速度，或者，朝向角。

38、结合第二方面，在第二方面的某些实现方式中，运动物体控制信息还指示第一运动物体和/或虚拟车辆的类型。

39、结合第二方面，在第二方面的某些实现方式中，运动物体控制信息还指示第一运动物体和/或虚拟车辆与第一道路中的静态道路元素之间的交互关系。

40、结合第二方面，在第二方面的某些实现方式中，第一交互关系包括如下任一项：第一运动物体切入虚拟车辆前方；第一运动物体位于虚拟车辆前方，且虚拟车辆切出第一运动物体所处车道；或者，第一运动物体和虚拟车辆处于同一车道，且虚拟车辆和第一运动物体之间存在碰撞风险。

41、结合第二方面，在第二方面的某些实现方式中，处理单元还用于：根据第一组轨迹点，生成第一组图像，第一组图像用于训练第一算法模型，第一算法模型用于为第一车辆规划行驶路径；其中至少一组轨迹点包括第一组轨迹点，第一组图像包括多帧图像，多帧图像中的每帧图像指示一个时刻第一运动物体和虚拟车辆在第一道路中的位置，第一车辆和虚拟车辆相关联。

42、结合第二方面，在第二方面的某些实现方式中，获取单元还用于：获取环境信息，环境信息指示第一道路的天气情况和/或光照条件；处理单元还用于：根据第一组轨迹点和环境信息，生成第一组图像。

43、第三方面，提供了一种数据生成装置，该装置包括：处理器，用于执行该存储器中存储的计算机程序，以使得该装置执行上述第一方面任一种可能实现方式中的方法。

44、结合第三方面，在第三方面的某些实现方式中，该装置还包括存储器。

45、第四方面，提供了一种计算机程序产品，上述计算机程序产品包括：计算机程序代码，当上述计算机程序代码在计算机或处理器上运行时，使得计算机或处理器执行上述第一方面任一种可能实现方式中的方法。

46、需要说明的是，上述计算机程序代码可以全部或部分存储在存储介质上，其中存储介质可以与处理器封装在一起的，也可以与处理器单独封装。

47、第五方面，提供了一种计算机可读存储介质，上述计算机可读介质存储有指令，当上述指令被处理器执行时，使得处理器实现上述第一方面中任一种可能实现方式中的方法。

48、第六方面，提供了一种芯片，该芯片包括电路，该电路用于执行上述第一方面中任一种可能实现方式中的方法。

49、第二方面至第六方面中未详尽描述的有益效果，可以参考第一方面中的描述，在此不再赘述。