车端场景的生成方法、装置、车端和存储介质与流程

1.本技术涉及车联网技术，尤其涉及一种车端场景的生成方法、装置、车端和存储介质。


背景技术：

2.目前车辆大多为用户提供代步服务、多媒体服务和导航服务，服务形式比较单一。然而随着车辆的逐渐普及，用户期望车辆可以提供多样化的服务。


技术实现要素：

3.本技术实施例提供一种车端场景的生成方法、装置、车端和存储介质，以解决相关技术存在的问题。
4.第一方面，本技术实施例提供了一种车端场景的生成方法，包括：
5.识别用户的动作图像，以得到目标场景生成命令；
6.根据目标场景生成命令，触发目标车端多媒体组件获取多媒体资源；
7.获取与多媒体资源对应的ai作品；
8.触发车端场景执行组件展示ai作品。
9.第二方面，本技术实施例提供了一种车端场景的生成装置，包括：
10.动作图像识别模块，用于识别用户的动作图像，以得到目标场景生成命令；
11.多媒体资源获取触发模块，用于根据目标场景生成命令，触发目标车端多媒体组件获取多媒体资源；
12.ai作品获取模块，用于获取与多媒体资源对应的ai作品；
13.ai作品展示触发模块，用于触发车端场景执行组件展示ai作品。
14.第三方面，本技术实施例提供了一种车端，包括：
15.至少一个处理器；以及
16.与至少一个处理器通信连接的存储器；其中，
17.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本技术任意实施例提供的车端场景的生成方法。
18.第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机指令，计算机指令被处理器执行时实现本技术任意实施例提供的车端场景的生成方法。
19.上述技术方案中的优点或有益效果至少包括：根据本实施例的方法，用户可以在车辆静止时，通过手势或姿势等来遥控车辆拍照和摄像，进而基于车辆拍照或摄像的多媒体资源自动创作ai作品，再通过车端场景执行组件，如车灯展示出来，从而可以提高车辆的娱乐性和与用户的互动乐趣。
20.上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本技术进一步的
方面、实施方式和特征将会是容易明白的。
附图说明
21.在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本技术公开的一些实施方式，而不应将其视为是对本技术范围的限制。
22.图1为根据本技术实施例的车端场景的生成方法的示意图；
23.图2为根据本技术实施例的车端场景的生成方法的应用示例图；
24.图3为根据本技术实施例的投影灯的投影效果的示意图；
25.图4-1为根据本技术实施例的车辆前端的isd灯的显示效果的示意图；
26.图4-2为根据本技术实施例的车辆后端的isd灯的显示效果的示意图；
27.图5为根据本技术实施例的车灯的应用示意图；
28.图6-1为根据本技术实施例的车辆前端的isd屏幕的显示效果的示意图；
29.图6-2为根据本技术实施例的车辆后端的isd屏幕的显示效果的示意图；
30.图7为根据本技术实施例的车端场景的生成装置的示意图；
31.图8为根据本技术实施例的车端场景的生成装置的示意图；
32.图9为可以实现本技术实施例的车端的框图。
具体实施方式
33.在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本技术的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
34.图1示出根据本技术实施例的车端场景的生成方法的流程图。该车端场景的生成方法可以应用于车端，即可以由车端实现。
35.如图1所示，该车端场景的生成方法可以包括：
36.步骤s101、识别用户的动作图像，以得到目标场景生成命令。
37.其中，动作图像中包括用户的动作，如手势、身体姿势、面部动作等，通过对该动作图像进行图像识别，可以得到与该动作图像对应的目标场景生成命令。
38.在一个示例中，可以先对用户进行身份识别，如利用该用户所携带的钥匙确认该用户为车端认证的用户，或者对该用户进行人脸识别，进而确认该用户为车端认证的用户。在确认该用户为车端认证的用户后，识别该用户的动作图像，进而得到与该用户的身份标识相对应的目标场景生成命令。
39.在一种实施方式中，在步骤s101之前可以包括：预设多个动作图像与多个场景生成命令指令之间的匹配关系。
40.车辆上设置有一个或多个多媒体组件，即车端多媒体组件，如扬声器组件、麦克风组件、摄像头组件、显示组件等，进而可以获取对应的音频、图像或视频等多媒体资源。摄像头组件包括但不限于数字视频录像机(digital video recorder，dvr)、设备管理网络监控(internet equipment management，iem)、左右电子后视镜(流媒体后视镜)、车内前排和二排摄像头等。显示组件包括但不限于显示屏和车灯等。
41.从而，场景生成命令可以包括需要触发的车端多媒体组件，以及该车端多媒体组件的工作模式，如拍照、摄像、拍摄角度、录制时长等。其中，需要触发的车端多媒体组件可以为一个，也可以为多个，本实施例不作限定。
42.在一个示例中，用户可以通过手机端或车端应用(application，app)，预先设置某一动作图像所匹配的场景生成命令。例如：如图2所示，通过车端app的拍摄方式管理与车辆交互设定模块，用户可以设定挥手的手势动作图像对应的场景生成命令包括dvr和流媒体后视镜，且dvr和流媒体后视镜的工作模式为摄像。
43.从而，在步骤s101中，根据对用户的动作图像的图像识别结果，可以得到对应的目标场景生成命令。如用户的动作图像为挥手，目标场景生成命令则包括dvr和流媒体后视镜，且dvr和流媒体后视镜的工作模式为摄像。
44.另外，还可以预先设置用户与场景生成命令的匹配关系，例如，将该用户设置的场景生成命令与该用户的身份标识相关联。从而，可以根据不同用户需求，生成个性化的场景。
45.继续参阅图1，本实施例的车端场景的生成方法还包括：步骤s102、根据目标场景生成命令，触发目标车端多媒体组件获取多媒体资源。
46.例如：车端可以对目标场景生成命令进行解析，从而触发对应的目标车端多媒体组件工作。
47.在一个示例中，在步骤s102中可以包括：根据目标场景生成命令，从多个预设车端多媒体组件中确定出目标车端多媒体组件；根据目标场景生成命令，确定目标车端多媒体组件的工作模式。例如：目标场景生成命令则包括dvr和流媒体后视镜，且dvr和流媒体后视镜的工作模式为摄像，从而在对目标场景生成命令进行解析后，车端将触发dvr和流媒体后视镜进行摄像。
48.继续参阅图1，本实施例的车端场景的生成方法还包括：步骤s103、获取与多媒体资源对应的ai作品。
49.其中，ai作品可以由车端创作生成，也可以由云端根据多媒体资源创造生成并返回给车端。
50.在一个示例中，如图2所示，车端可以根据云端分配的统一资源定位系统(uniform resource locator，url)地址，将多媒体资源上传到云端的存储模块，如联机商用系统(on-line business systems，obs)。obs可以将多媒体资源同步到云端的内容分发网络(content delivery network，cdn)，从而使云端的作品创作模块调用多媒体资源，并根据该多媒体资源创作对应的人工智能(artificial intelligence，ai)作品，如主题音乐合成(ai音乐作品)、高光时刻图片(ai图片作品)、视频合成(ai视频作品)、作诗合成(ai诗歌作品)等。云端创作生成的ai作品可以存储在obs中，并由osb分配该ai作品对应的url地址。云端的消息推送中心可以将ai作品的url地址推送给车端，由车端下载该ai作品。
51.其中，作品创作模块可以包括ai创作模型，该ai创作模型可以通过大量的样本数据训练深度学习神经网络而得到。ai创作模型可以为多个，如ai诗歌创作模型、ai绘画创作模型、ai音乐创作模型、ai视频剪辑模型等，进而云端可以根据创作信息的不同选择对应的模型，创作对应的ai创作作品。
52.需要说明的是，旅行创作作品可以为一个，也可以是多个。例如：基于多媒体资源
利用ai音乐创作模型可以创作对应的音乐旅行创作作品，基于多媒体资源利用ai视频剪辑模型可以创作对应的视频剪辑旅行创作作品。
53.另外，需要说明的是，利用ai视频剪辑模型可以对多个视频多媒体资源分别抽取关键帧(如高光时刻)，并对抽取到的关键帧进行后期处理，如添加音乐配诗或者生成绘画涂鸦等，添加镜头语言、添加滤镜、镜头纠偏、光线优化、图像调色等，然后按照时间轴合并处理后的关键帧，得到最终的视频剪辑旅行创作作品。
54.其中，后期处理也可以是添加ai创作作品，例如添加的音乐、配的诗歌、添加的绘画涂鸦等，可分别基于ai音乐创作模型、ai诗歌创作模型和ai绘画创作模型得到。也就是说，其中一个ai创作模型输出的创作作品可以作为素材输入另一个ai创作模型中，进而使最终生成旅行创作作品的形式更多样化，更能体现创作高度和人工智能优势。
55.继续参阅图1，本实施例的车端场景的生成方法还包括：步骤s104、触发车端场景执行组件展示ai作品。
56.车端在下载ai作品可以通过中控统一调度对应的车端场景执行组件，展示ai作品。车端场景执行组件可以车端多媒体组件，也可以为车灯。
57.在一种实施方式中，在步骤s104中可以包括：根据预设的车端场景执行策略，触发对应的车端场景执行组件展示所述ai作品。
58.在一个示例中，可以预设多个场景生成命令与多个车端场景执行策略之间的匹配关系；进而可以根据目标场景生成命令确定目标车端场景执行策略；根据目标车端场景执行策略触发对应的车端场景执行组件展示ai作品。
59.例如，用户可以通过手机端或车端app，预先设置某一场景生成命令所匹配的车端场景执行策略。如图2所示，通过车端app的拍摄方式管理与车辆交互设定模块，用户可以为不同的场景生成命令设置有不同的车端场景执行策略。从而车端可以根据目标场景生成命令确定目标车端场景执行策略，进而根据目标车端场景执行策略触发对应的车端场景执行组件展示ai作品。
60.在一个示例中，车端或移动终端下载旅行创作作品后，可以在车端或移动终端进行二次编辑。例如：根据用户的编辑指令从素材库(表情包库、段子库、旁白文本库等)获取对应的编辑素材(表情包、段子、旁白文本等)，并根据这些编辑素材编辑旅行创作作品，二次编辑后的旅行创作作品将发送给车端，由车端根据预设的车端场景执行策略，触发对应的车端场景执行组件展示。在一种实施方式中，车端场景执行策略包括车灯展示模板，车端场景执行组件包括车灯。例如：每个场景生成命令可以匹配有车灯展示模板，从而可以触发车灯按照对应的车灯展示模板展示ai作品。
61.在一种实施方式中，车端场景执行组件包括车灯，如投影灯，在步骤s104中可以包括：触发投影灯投影ai作品。在一种实施方式中，车端场景执行组件包括车灯，如互动信号显示(interactive signal display，isd)灯，在步骤s104中可以包括：触发isd灯显示ai作品。ai作品的投影或显示可以和车端的绘画旅行创作作品、音乐创作作品等组成一套氛围沉浸模式。
62.在一个示例中，投影灯51可以设置在车身前端，用来投影ai诗歌、ai绘画、ai音乐、ai视频等ai作品，还可以用作车辆的近远光灯。投影灯51可以选用数字光(digital light processing，dlp)投影灯，如图3所示为投影灯51的投影效果的示意图。
63.isd灯52可以设置在车身前端和/或后端，用来显示ai图形或ai动画等旅行创作作品。图4-1和图4-2分别示出了车辆前端的isd灯和车辆后端的isd灯的显示效果的示意图。如图5所示，isd灯52可以包括常规灯521(如日行灯、位置灯、转向灯、制动灯、倒车灯、logo灯、前后贯穿灯等)以及isd屏幕522，例如：通过常规灯521的动态显示实现相应的灯关效果。其中，isd屏幕522可以为由多个发光二极管(light emitting diode，led)灯形成的矩阵式屏幕，从而显示旅行创作作品。图6-1和图6-2示出了isd屏幕的显示效果的示意图。
64.在一个示例中，车灯展示模板可以包括投影模板，投影模板可以包括投影素材、投影方式(如投地/投墙)、投影位置等，从而触发投影灯按照投影模板投影ai作品。
65.在一个示例中，车灯展示模板可以包括isd灯显示模板，isd灯显示模板可以包括显示方式、显示逻辑、显示位置、显示信息等，从而触发isd灯按照isd灯显示模板显示ai作品。
66.下面结合图2介绍本实施例的车端场景的生成方法的一个应用示例。
67.如图2所示，车辆根据用户手势或姿势的动作图像，进行图像识别，得到场景生成命令，进而开启或停止dvr、流媒体后视镜拍摄，并将图片或视频素材等多媒体资源上传到云端。云端根据上传的视频素材，进行ai作品创作，即主题音乐合成、作诗合成、图片及视频合成，完成影像文件(ai作品)制作。云端将制作好的影像文件(ai作品)推送至车端，车主可以通过相册管理与收藏影像文件(ai作品)，并通过云端分享影像文件(ai作品)。进一步地，车端将接收到的影像文件(ai作品)通过以太网传送给车端dlp灯，触发dlp灯投影/显示影像文件(ai作品)。
68.根据本实施例的方法，用户可以在车辆静止时，通过手势或姿势等来遥控车辆拍照和摄像，进而基于车辆拍照或摄像的多媒体资源自动创作ai作品，再通过车端场景执行组件，如车灯展示出来。进一步地，拍照或摄像时，车端通过车灯的灯光与用户交互，完成拍照或摄像，从而可以提高车辆的娱乐性和与用户的互动乐趣。
69.图7示出本技术实施例的车端场景的生成装置700的示意图。如图7所示，该车端场景的生成装置700包括：
70.动作图像识别模块710，用于识别用户的动作图像，以得到目标场景生成命令；
71.多媒体资源获取触发模块720，用于根据目标场景生成命令，触发目标车端多媒体组件获取多媒体资源；
72.ai作品获取模块730，用于获取与多媒体资源对应的ai作品；
73.ai作品展示触发模块740，用于触发车端场景执行组件展示ai作品。
74.在一种实施方式中，如图8所示，多媒体资源获取触发模块720包括：
75.目标车端多媒体组件确定子模块721，用于根据目标场景生成命令，从多个预设车端多媒体组件中确定出目标车端多媒体组件；
76.工作模式确定子模块722，用于根据目标场景生成命令，确定目标车端多媒体组件的工作模式；
77.标识信号发送子模块723，用于触发车灯工作，以向用户发送与目标车端多媒体组件以及工作模式对应的标识信号；
78.触发子模块724，用于在收到用户根据标识信号反馈的确认命令的情况下，触发目标车端多媒体组件获取多媒体资源。
79.在一种实施方式中，动作图像识别模块710包括：匹配关系预设子模块711，用于预设多个动作图像与多个场景生成命令指令之间的匹配关系。
80.在一种实施方式中，ai作品展示触发模块740用于：根据预设的车端场景执行策略，触发对应的车端场景执行组件展示ai作品，车端场景执行策略包括车灯展示模板，车端场景执行组件包括车灯。
81.在一种实施方式中，车端场景执行组件包括投影灯，ai作品展示触发模块740用于：触发投影灯投影ai作品。
82.在一种实施方式中，车端场景执行组件包括互动信号显示灯，ai作品展示触发模块740用于：触发互动信号显示灯显示ai作品。
83.图9示出根据本技术实施例的车机端或移动终端的结构框图。如图9所示，该车机端或移动终端包括：存储器901和处理器902，存储器901内存储有可在处理器902上运行的指令。处理器902执行该指令时实现上述实施例中的任一种作品生成方法。存储器901和处理器902的数量可以为一个或多个。该终端或服务器旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。终端或服务器还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本技术的实现。
84.该车机端或移动终端还可以包括通信接口903，用于与外界设备进行通信，进行数据交互传输。各个设备利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器902可以对在终端或服务器内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个终端或服务器，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
85.可选的，在具体实现上，如果存储器901、处理器902及通信接口903集成在一块芯片上，则存储器901、处理器902及通信接口903可以通过内部接口完成相互间的通信。
86.应理解的是，上述处理器可以是中央处理器(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital sigtal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(advanced risc machines，arm)架构的处理器。
87.本技术实施例提供了一种计算机可读存储介质(如上述的存储器901)，其存储有计算机指令，该程序被处理器执行时实现本技术实施例中提供的方法。
88.可选的，存储器901可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据终端或服务器的使用
所创建的数据等。此外，存储器901可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器901可选包括相对于处理器902远程设置的存储器，这些远程存储器可以通过网络连接至终端或服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
89.其中，处理器902可以为第一处理器或第二处理器；存储器901可以为第一存储器或第二存储器。
90.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本技术的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
91.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
92.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个(两个或两个以上)用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
93.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
94.应理解的是，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
95.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。
96.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到其各种变化或替换，
这些都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。