虚拟驾驶视频教学方法、系统、存储介质及设备与流程

1.本发明涉及车辆智能教学领域，特别涉及一种虚拟驾驶视频教学方法、系统、存储介质及设备。


背景技术：

2.随着汽车行业的飞速发展，汽车作为常用的代步工具，越来越普及，新手司机越来越多，怎样提高自身的驾驶技术，是很多新手司机所关心的问题，汽车电子的高速发展和车联网技术的应用，为其提供更智能和有效的选择。
3.传统的汽车，驾驶员只能依据自己的驾驶经验，或学习其他驾驶员的驾车技术，来提升自己的驾驶技术，这样不仅效率比较低，针对性不强，且效果比较差，导致有些驾驶员开了很久的车，驾驶技术得不到提升。
4.基于此，如何基于驾驶员实际驾驶场景数据生成一套定制化的虚拟仿真教学，并带给用户更好的体验和更有效的学习方案，是亟待解决的技术问题。


技术实现要素：

5.本发明的提供一种虚拟驾驶视频教学方法、系统、存储介质及设备，能基于驾驶员实际驾驶场景数据生成一套定制化的虚拟仿真教学，并带给用户更好的体验和更有效的学习方案。
6.第一方面，提供一种虚拟驾驶视频教学方法，包括以下步骤：
7.获取车辆的实时场景信息，对比所述实时场景信息与预设场景信息库，获取场景信息比对结果；
8.根据所述场景信息比对结果调用与所述实时场景信息对应的虚拟驾驶视频，将所述虚拟驾驶视频通过ota无线升级发送至车载娱乐系统；
9.获取用户操作指令，并根据所述用户操作指令控制车载娱乐系统播放虚拟驾驶视频。
10.根据第一方面，在第一方面的第一种可能的实现方式中，所述“获取车辆的实时场景信息，对比所述实时场景信息与预设场景信息库，获取场景信息比对结果”步骤，具体包括以下步骤：
11.获取车辆的实时场景信息，通过c3d神经网络提取所述实时场景信息的场景特征信息，基于本地训练模型将所述场景特征信息转换成实时场景分类结果；
12.预设场景信息库包括多种不同类型的预设场景分类结果；
13.对比所述实时场景分类结果与所述预设场景分类结果，获取与所述实时场景分类结果对应的同类型预设场景分类结果。
14.根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述“获取车辆的实时场景信息，通过c3d神经网络提取所述实时场景信息的场景特征信息”步骤之后，具体包括以下步骤：
15.将所述场景特征信息生成道路场景opendrive文件及动态交通流openscenario文件，并通过仿真软件将道路场景opendrive文件及动态交通流openscenario文件构建成交通道路地图仿真视频；
16.将所述交通道路地图仿真视频上传至预设场景信息库，并基于本地训练模型对所述预设场景信息库进行更新，获取更新后的预设场景信息库。
17.根据第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述“获取用户操作指令，并根据所述用户操作指令控制车载娱乐系统播放虚拟驾驶视频”步骤，具体包括以下步骤：
18.所述车载娱乐系统包括车载全液晶屏中控及车载全液晶屏仪表；
19.获取用户操作指令，并根据所述用户操作指令控制车载全液晶屏中控播放虚拟驾驶视频；或者，
20.获取用户操作指令，并根据所述用户操作指令控制车车载全液晶屏仪表播放虚拟驾驶视频。
21.根据第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述“获取车辆的实时场景信息”步骤之后，具体包括以下步骤：
22.当检测到所述实时场景信息处于交通繁忙路段时，暂停启动场景信息比对；
23.当检测到所述实时场景信息未处于交通繁忙路段时，在预设时间内控制车载娱乐系统播放虚拟驾驶视频。
24.第二方面，提供一种虚拟驾驶视频教学系统，包括：
25.实时场景信息获取模块，用于获取车辆的实时场景信息，对比所述实时场景信息与预设场景信息库，获取场景信息比对结果；
26.虚拟驾驶视频获取发送模块，与所述实时场景信息获取模块通信连接，用于根据所述场景信息比对结果调用与所述实时场景信息对应的虚拟驾驶视频，将所述虚拟驾驶视频通过ota无线升级发送至车载娱乐系统；
27.操作虚拟驾驶视频模块，与所述虚拟驾驶视频获取发送模块通信连接，用于获取用户操作指令，并根据所述用户操作指令操作控制车载娱乐系统播放虚拟驾驶视频。
28.根据第二方面，在第二方面的第一种可能的实现方式中，所述实时场景信息获取模块用于获取车辆的实时场景信息，通过c3d神经网络提取所述实时场景信息的场景特征信息，基于本地训练模型将所述场景特征信息转换成实时场景分类结果；预设场景信息库包括不同类型的预设场景分类结果；对比所述实时场景分类结果与所述预设场景分类结果，获取与所述实时场景分类结果对应的同类型预设场景分类结果
29.根据第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，还包括预设场景信息库更新模块，与所述实时场景信息获取模块通信连接，用于将所述场景特征信息生成道路场景opendrive文件及动态交通流openscenario文件，并通过仿真软件将道路场景opendrive文件及动态交通流openscenario文件构建成交通道路地图仿真视频；将所述交通道路地图仿真视频上传至预设场景信息库，并对所述预设场景信息库进行更新，获取更新后的预设场景信息库。
30.第三方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的所述的虚拟驾驶视频教学方法。
31.第四方面，提供一种电子设备，包括存储介质、处理器以及存储在所述存储介质中并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现如上述所述的虚拟驾驶视频教学方法。
32.与现有技术相比，本发明的优点如下：首先获取车辆的实时场景信息，具体为利用车辆全景摄像头，然后对比所述实时场景信息与预设场景信息库，获取场景信息比对结果；再根据所述场景信息比对结果调用与所述实时场景信息对应的虚拟驾驶视频，将所述虚拟驾驶视频通过ota无线升级发送至车载娱乐系统；再获取用户操作指令，并根据所述用户操作指令控制车载娱乐系统播放虚拟驾驶视频；本发明基于驾驶员实时驾驶场景信息调用与实时场景信息对应的虚拟驾驶视频，即自动生成一套定制化的虚拟仿真教学视频，对比以往的驾驶技术学习，创建一个全新的驾驶技术学习方案，让以前生硬枯燥的学习方法，变得生动有趣，提高驾驶技术学习的乐趣和效率。
附图说明
33.图1是本发明虚拟驾驶视频教学方法的流程示意图；
34.图2是本发明虚拟驾驶视频教学系统的结构示意图。
35.附图说明：
36.100、虚拟驾驶视频教学系统；110、实时场景信息获取模块；120、虚拟驾驶视频获取发送模块；130、操作虚拟驾驶视频模块；140、预设场景信息库更新模块。
具体实施方式
37.现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。
38.为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
39.注意：接下来要介绍的示例仅是一个具体的例子，而不作为限制本发明的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。
40.参见图1所示，本发明实施例提供一种虚拟驾驶视频教学方法，包括以下步骤：
41.s100，获取车辆的实时场景信息，对比所述实时场景信息与预设场景信息库，获取场景信息比对结果；
42.s200，根据所述场景信息比对结果调用与所述实时场景信息对应的虚拟驾驶视频，将所述虚拟驾驶视频通过ota无线升级发送至车载娱乐系统；
43.s300，获取用户操作指令，并根据所述用户操作指令控制车载娱乐系统播放虚拟驾驶视频。
44.具体地，本实施例中，参见图1所示，首先获取车辆的实时场景信息，具体为利用车辆全景摄像头，采集车辆行驶数据，比如倒车入库场景，利用全景摄像头，采集车辆入库的
视频信息；然后对比所述实时场景信息与预设场景信息库，获取场景信息比对结果；再根据所述场景信息比对结果调用与所述实时场景信息对应的虚拟驾驶视频，将所述虚拟驾驶视频通过ota无线升级发送至车载娱乐系统；再获取用户操作指令，并根据所述用户操作指令控制车载娱乐系统播放虚拟驾驶视频；本发明基于驾驶员实时驾驶场景信息调用与实时场景信息对应的虚拟驾驶视频，即自动生成一套定制化的虚拟仿真教学视频，对比以往的驾驶技术学习，创建一个全新的驾驶技术学习方案，让以前生硬枯燥的学习方法，变得生动有趣，提高驾驶技术学习的乐趣和效率。
45.需要说明的是ota(over the air technology)无线升级就是空间下载技术，通俗点来说我们手机升级系统用的就是ota技术，通过无线网络或者4g网络下载的系统更新包，直接进行升级就是ota升级技术了；汽车ota升级就像智能手机一样，可以支持汽车电脑的在线升级，通过升级汽车的行车电脑系统来提升车辆的性能，同时通过移动通信的空中接口实现对移动终端设备及sim卡数据进行远程管理的技术。
46.优选地，在本技术另外的实施例中，所述“s100，获取车辆的实时场景信息，对比所述实时场景信息与预设场景信息库，获取场景信息比对结果”步骤，具体包括以下步骤：
47.s110，获取车辆的实时场景信息，通过c3d神经网络提取所述实时场景信息的场景特征信息，基于本地训练模型将所述场景特征信息转换成实时场景分类结果；
48.s120，预设场景信息库包括多种不同类型的预设场景分类结果；
49.s130，对比所述实时场景分类结果与所述预设场景分类结果，获取与所述实时场景分类结果对应的同类型预设场景分类结果。
50.具体地，本实施例中，c3d(generic features for video analysis)神经网络是用于视频特征提取的3维卷积网络，c3d在行为识别、动作相似度标注、场景与物体识别这三个方向的数据库上均有较好的特征识别测试结果。同样的，预设场景信息库也是预先通过对预设的场景信息通过c3d神经网络提取场景特征信息，然后基于本地训练模型将场景特征信息转换成多种不同类型的预设场景分类结果。
51.优选地，在本技术另外的实施例中，所述“s100，获取车辆的实时场景信息，通过c3d神经网络提取所述实时场景信息的场景特征信息”步骤之后，具体包括以下步骤：
52.s140，将所述场景特征信息生成道路场景opendrive文件及动态交通流openscenario文件，并通过仿真软件将道路场景opendrive文件及动态交通流openscenario文件构建成交通道路地图仿真视频；
53.s150，将所述交通道路地图仿真视频上传至预设场景信息库，并基于本地训练模型对所述预设场景信息库进行更新，获取更新后的预设场景信息库。
54.具体地，本实施例中，由于预设场景信息库中的预设场景信息也是有限的，所以把每一次获取到的实时场景特征信息都转换成交通道路地图仿真视频，再基于本地训练模型对所述预设场景信息库进行更新，更新后的预设场景信息库包括了在原来的预设场景分类结果上更多不同种类的预设场景分类结果，因此可以更多不同种类的预设场景分类结果来实时应对各种不同的实时场景信息。
55.同时，智能驾驶复杂交通场景仿真工具软件可以对道路和动态交通流进行仿真，其中道路部分由opendrive文件构成，动态交通流部分由openscenario文件构成。
56.优选地，在本技术另外的实施例中，所述“s300，获取用户操作指令，并根据所述用
户操作指令控制车载娱乐系统播放虚拟驾驶视频”步骤，具体包括以下步骤：
57.所述车载娱乐系统包括车载全液晶屏中控及车载全液晶屏仪表；
58.s310，获取用户操作指令，并根据所述用户指令操作控制车载全液晶屏中控播放虚拟驾驶视频；或者，
59.s320，获取用户操作指令，并根据所述用户操作指令控制车车载全液晶屏仪表播放虚拟驾驶视频。
60.优选地，在本技术另外的实施例中，所述“获取车辆的实时场景信息”步骤之后，具体包括以下步骤：
61.当检测到所述实时场景信息处于交通繁忙路段时，暂停启动场景信息比对；
62.当检测到所述实时场景信息未处于交通繁忙路段时，在预设时间内控制车载娱乐系统播放虚拟驾驶视频。
63.具体地，本实施例中，由于检测到实时场景信息处于交通繁忙路段时，说明车辆此时所处的路边较为繁忙，驾驶员根本不可能也没有时间去观看虚拟驾驶视频，因此会暂停启动场景信息比对；当检测到所述实时场景信息未处于交通繁忙路段时，也不可能划掉过多的时间去在道路上观看虚拟驾驶视频，不然会影响交通，因此在预设时间内控制车载娱乐系统播放虚拟驾驶视频。
64.同时参见图2所示，本发明实施例还提供了一种虚拟驾驶视频教学系统100，包括：
65.实时场景信息获取模块110，用于获取车辆的实时场景信息，对比所述实时场景信息与预设场景信息库，获取场景信息比对结果；
66.虚拟驾驶视频获取发送模块120，与所述实时场景信息获取模块110通信连接，用于根据所述场景信息比对结果调用与所述实时场景信息对应的虚拟驾驶视频，将所述虚拟驾驶视频通过ota无线升级发送至车载娱乐系统；
67.操作虚拟驾驶视频模块130，与所述虚拟驾驶视频获取发送模块120通信连接，用于获取用户操作指令，并根据所述用户操作指令操作控制车载娱乐系统播放虚拟驾驶视频。
68.所述实时场景信息获取模块110，获取车辆的实时场景信息，通过c3d神经网络提取所述实时场景信息的场景特征信息，基于本地训练模型将所述场景特征信息转换成实时场景分类结果；预设场景信息库包括不同类型的预设场景分类结果；对比所述实时场景分类结果与所述预设场景分类结果，获取与所述实时场景分类结果对应的同类型预设场景分类结果。
69.还包括预设场景信息库更新模块140，与所述实时场景信息获取模块110通信连接，用于将所述场景特征信息生成道路场景opendrive文件及动态交通流openscenario文件，并通过仿真软件将道路场景opendrive文件及动态交通流openscenario文件构建成交通道路地图仿真视频；将所述交通道路地图仿真视频上传至预设场景信息库，并对所述预设场景信息库进行更新，获取更新后的预设场景信息库。
70.因此，本虚拟驾驶视频教学系统首先获取车辆的实时场景信息，具体为利用车辆全景摄像头，然后对比所述实时场景信息与预设场景信息库，获取场景信息比对结果；再根据所述场景信息比对结果调用与所述实时场景信息对应的虚拟驾驶视频，将所述虚拟驾驶视频通过ota无线升级发送至车载娱乐系统；再获取用户操作指令，并根据所述用户操作指
令控制车载娱乐系统播放虚拟驾驶视频；本发明基于驾驶员实时驾驶场景信息调用与实时场景信息对应的虚拟驾驶视频，即自动生成一套定制化的虚拟仿真教学视频，对比以往的驾驶技术学习，创建一个全新的驾驶技术学习方案，让以前生硬枯燥的学习方法，变得生动有趣，提高驾驶技术学习的乐趣和效率。
71.具体的，本实施例与上述方法实施例一一对应，各个模块的功能在相应的方法实施例中已经进行详细说明，因此不再一一赘述。
72.基于同一发明构思，本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的所有方法步骤或部分方法步骤。
73.本发明实现上述方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
74.基于同一发明构思，本技术实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法中的所有方法步骤或部分方法步骤。
75.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
76.存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如声音播放功能、图像播放功能等)；存储数据区可存储根据手机的使用所创建的数据(例如音频数据、视频数据等)。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
77.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的
计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
78.本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
79.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
80.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
81.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。