虚拟化车载系统的影像显示方法、装置、设备及存储介质与流程

1.本发明属于车载显示系统技术领域，特别是涉及一种虚拟化车载系统的影像显示方法、装置、设备及存储介质。


背景技术：

2.车载信息娱乐系统，是采用车载专用中央处理器，基于车身总线系统和互联网服务，形成的车载综合信息处理系统。车载信息娱乐系统能够实现包括三维导航、实时路况、iptv、辅助驾驶、故障检测、车辆信息、车身控制、移动办公、无线通讯、基于在线的娱乐功能及tsp服务等一系列应用，极大的提升了车辆电子化、网络化和智能化水平。
3.现有的影像显示主要针对影像类功能的显示链路进行分析，如物理链路，摄像头和中央控制单元的连接等，缺少针对影像数据传递过来后的内部处理逻辑及各个模块的显示策略的分析。


技术实现要素：

4.本发明的目的在于提供一种虚拟化车载系统的影像显示方法、装置、设备及存储介质，解决了现有的车载信息娱乐系统缺少针对影像数据传递过来后的内部处理逻辑及各个模块的显示策略的分析技术问题。
5.为达上述目的，本发明是通过以下技术方案实现的：
6.一种虚拟化车载系统的影像显示方法，包括：
7.通过影像显示模块进行rvc标定、avm界面视图切换、雷达信息显示及adv自动泊入、泊出；
8.rvc标定包括手动标定和自动标定，其中手动标定包括如下步骤：
9.1)、rvc启动后，通过ivs或者ivp提供的消息，进入标定模式或者正常显示引导线模式，rvc进入标定模式后，点击手动标定按钮，进行功能的切换；
10.2)、当前功能是手动标定时，点击保存，发送命令给camplayback，调用启明提供的库保存标定结果，并将结果返回；
11.3)、当切换自动标定时会自动发送命令给camplayback，调用启明提供的库保存标定结果，并将结果返回，并得到返回结果；
12.avm界面视图切换功能具体包括如下步骤：
13.1)、进入avm功能后，点击界面上切换视图功能，通过ivs发送命令给mcu，mcu将命令发送给avm控制器，avm控制器根据相应的命令，进行视图的切换；
14.2)、切换完成后，avm控制器返回当前的状态，mcu通过ivs反馈给应用，应用接收到数据后，根据最终进入的视图，切换相应页面。
15.可选的，雷达信息显示功能具体包括如下步骤：
16.1)、控制器将报警信息发送给mcu，mcu收到报警信息后，通过ivs发送给应用，应用接收到ivs的callback后，根据相应的报警信息进行显示，并发出相应的雷达提示音；
17.2)、控制器将故障信息发送给mcu，mcu收到故障信息后，通过ivs发送给应用，应用接收到ivs的callback后，根据相应的故障信息显示相应的popup或者提示。
18.可选的，adv自动泊入、泊出功能具体包括如下步骤：
19.1)、控制器发送泊入或泊出信号，通过mcu发送给ivs server，ivs再转发给应用，应用接收到泊入或泊出信号，切换到相应的界面；
20.2)、点击界面出车方式垂直出车，通过ivs发送命令给mcu，mcu再发送给控制器，点击出车按钮，同样通过ivs发送开始出车命令给mcu，mcu转给控制器，控制器返回确认数据，hmi收到后完成界面切换，弹出提示消息，等待泊车完成；
21.3)、完成泊车后，控制器发送相关数据，hmi收到指令后，退出泊车。
22.可选的，影像显示模块开始影像播放包括以下步骤：
23.1).当外界条件触发影像的播放时，camplayback线程调用cameraici接口播放视频；
24.2).cameraici开始影像的播放，首先进行相关的变量的初始化，打开相关设备，并进行数据采集，关闭相关的设备；
25.3).采集到的数据调用opengl egl相关的函数提交给weston绘制，weston绘制完一帧画面后通知camere，继续绘制下一帧；
26.4).播放影像后，创建诊断线程，在播放过程中，持续监测摄像头lock状态，并将结果反馈给hmi，hmi收到信号异常后，显示相应的popup。
27.可选的，影像显示模块在进行摄像头设备进程启动和初始化时具体包括如下步骤：
28.1).kanzi应用随即启动后，首先进入createapplication，首先创建ivslistener线程和camplayback线程；
29.2).ivslistener线程启动后，初始化ivs client，注册ivs message callback，主动获取eol配置，判断是rvc还是avm(adv)；
30.3).camplayback线程启动后，等待eol配置获取到，进行相关摄像头设备的初始化，配置pipleline参数。
31.可选的，当触发影像暂停及影像恢复播放时具体包括以下步骤：
32.其中触发影像暂停时操作如下：
33.1).ivslistener接收到相应的hardwire端子被拉低，通知hmi退出显示相应的ui界面，停止播放雷达音，同时通知camplayback线程停止播放影像；
34.2).detect线程收到端子被拉低的通知，停止检测lock状态；
35.其中触发影像暂停时操作如下：
36.1).ivslistener接收到相应的hardwire端子变化，通知hmi显示相应的ui界面，同时通知camplayback线程播放影像；
37.2).ivslistener同时接受雷达或者avm控制器发送的雷达数据，发送给hmi，hmi接受后显示相应的界面，并播报雷达音；
38.3).camplayback线程播放影像的通知，进行摄像头lock状态的检测，并将检测结果反馈给hmi，hmi收到异常的lock状态，显示相应的popup；
39.4).camplayback线程通过调用cameraici模块提供的接口，进行影像的播放。
40.可选的，影像显示模块包括有以下代码模块：
41.hmi代码模块，hmi代码模块用于切换视图，显示雷达报警信息，监测车辆周围情况；
42.common代码模块，common代码模块为共同的公共代码；
43.cameraici代码模块，cameraici代码模块包括graph、stream、pipeline三个进程，其中：
44.graph进程用于调用wayland、egl、khr相关的接口，进行视频流画面的描画，包括创建surface、销毁surface；
45.stream进程用于通过调用ici相关的接口，从ipu抓取数据，调用graph接口描画；
46.pipeline进程用于配置ipucsi通道、视频格式、分辨率参数；
47.threader代码模块，threader代码模块用于创建除hmi代码模块外的其他线程。
48.可选的，hmi代码模块包括rvc代码模块、avm代码模块、adv代码模块三部分；
49.其中rvc代码模块、avm代码模块、adv代码模块的判断方式为：
50.通过不同的硬件端子或者eol配置，判断当前是avm(adv)还是rvc，如果是avm或者adv，还需要通过hardwire端子判断是avm还是adv(启动才能判断)。
51.可选的，threader代码模块用于创建ivslistener、camplayback、detect、ivplistener线程。
52.可选的，其中ivslistener线程用于接收ivs发送的消息，并将消息转发给hmi等代码模块，同时负责封装向ivs发送数据的接口，ivslistener也负责hardwire端子变化的通知，端子变化后通知camplayback线程播放或者暂停视频；
53.detect线程用于检测摄像头连接状态并将数据发送给hmi代码模块，hmi代码模块接收到数据显示相应的popup；
54.camplayback线程用于调用cameraici代码模块，对影像的播放暂停进行控制。
55.可选的，当camplayback线程对影像的播放暂停进行控制时，当前设备如果是rvc，则还需要对引导线进行控制：通过hmi代码模块点击相应的按钮调用相应的接口。
56.一种虚拟化车载系统的影像显示装置，该装置具有所述的一种虚拟化车载系统的影像显示方法；
57.其中，影像显示模块还用于实现全景影像、自动泊车和倒车影像功能；
58.影像显示模块包括：hmi模块、ivs模块、ivp模块、sound模块、video模块、hardwire模块、diagnose模块；
59.hmi模块用于全景影像、自动泊车和倒车影像界面的绘制，并且通过不同的信号进行相关界面的切换；
60.ivs模块用于调用ivs提供的接口和mcu进行通信，其中包括接收全景影像控制器数据、向全景影像控制器下发指令；
61.ivp模块用于调用ivp提供的接口和android进行通信，实现倒车影像引导线功能；
62.sound模块用于通过ivs发送过来的雷达数据，播放相关声音；
63.video模块用于倒车影像和全景影像的播放；
64.hardwire模块用于接收gpio端子变化的通知，触发影像的进入，且hardwire接口由ivs模块提供；
65.diagnose模块用于诊断摄像头。
66.一种虚拟化车载系统的影像显示设备，该设备包括：
67.存储器，存储至少一个指令；
68.处理器，执行所述存储器中存储的指令以实现所述的一种虚拟化车载系统的影像显示方法。
69.一种虚拟化车载系统的影像显示存储介质，该存储介质包括存储有至少一个指令，所述至少一个指令被软件健康管理设备中的处理器执行以实现所述的一种虚拟化车载系统的影像显示方法。
70.本发明的实施例具有以下有益效果：
71.本方案主要建立了一套完整的影像显示系统，可同时兼容一种车型的多种全景影像(avm)、自动泊车(adv)、倒车影像(rvc)和雷达的相关功能切换，以及倒车轨迹线的手动、自动标定策略，在满足车型多功能需求的同时，也满足用户快速倒车需求。
72.当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
73.构成本技术的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
74.图1为本发明一实施例的影像显示模块结构框图；
75.图2为本发明一实施例的影像显示模块的代码模块结构框图；
76.图3为本发明一实施例的hmi代码模块结构框图；
77.图4为本发明一实施例的threader代码模块结构框图；
78.图5为本发明一实施例的cameraici代码模块结构框图；
79.图6为本发明一实施例的影像播放流程图；
80.图7为本发明一实施例的影像进程启动时的初始化流程图；
81.图8为本发明一实施例的影像恢复播放流程图；
82.图9为本发明一实施例的影像暂停播放流程图；
83.图10为本发明一实施例的倒车影像手动标定流程图；
84.图11为本发明一实施例的倒车影像自动标定流程图；
85.图12为本发明一实施例的全景影像界面视图切换的流程图；
86.图13为本发明一实施例的雷达信息显示流程图；
87.图14为本发明一实施例的adv自动泊入流程图；
88.图15为本发明一实施例的adv自动泊出流程图。
具体实施方式
89.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
90.为了保持本发明实施例的以下说明清楚且简明，本发明省略了已知功能和已知部
件的详细说明。
91.实施例1：
92.请参阅图1-15所示，在本实施例中提供了一种虚拟化车载系统的影像显示方法，包括：通过影像显示模块进行rvc标定、avm界面视图切换、雷达信息显示及adv自动泊入、泊出；
93.rvc标定包括手动标定和自动标定，其中手动标定包括如下步骤：
94.1)、rvc启动后，通过ivs或者ivp提供的消息，进入标定模式或者正常显示引导线模式，rvc进入标定模式后，点击手动标定按钮，进行功能的切换；
95.2)、当前功能是手动标定时，点击保存，发送命令给camplayback，调用启明提供的库保存标定结果，并将结果返回；
96.3)、当切换自动标定时会自动发送命令给camplayback，调用启明提供的库保存标定结果，并将结果返回，并得到返回结果；
97.avm界面视图切换功能具体包括如下步骤：
98.1)、进入avm功能后，点击界面上切换视图功能，通过ivs发送命令给mcu，mcu将命令发送给avm控制器，avm控制器根据相应的命令，进行视图的切换；
99.2)、切换完成后，avm控制器返回当前的状态，mcu通过ivs反馈给应用，应用接收到数据后，根据最终进入的视图，切换相应页面。
100.如图13所示，雷达信息显示功能具体包括如下步骤：
101.1)、控制器将报警信息发送给mcu，mcu收到报警信息后，通过ivs发送给应用，应用接收到ivs的callback后，根据相应的报警信息进行显示，并发出相应的雷达提示音；
102.2)、控制器将故障信息发送给mcu，mcu收到故障信息后，通过ivs发送给应用，应用接收到ivs的callback后，根据相应的故障信息显示相应的popup或者提示。
103.如图14-15所示，adv自动泊入、泊出功能具体包括如下步骤：
104.1)、控制器发送泊入或泊出信号，通过mcu发送给ivs server，ivs再转发给应用，应用接收到泊入或泊出信号，切换到相应的界面；
105.2)、点击界面出车方式垂直出车，通过ivs发送命令给mcu，mcu再发送给控制器，点击出车按钮，同样通过ivs发送开始出车命令给mcu，mcu转给控制器，控制器返回确认数据，hmi收到后完成界面切换，弹出提示消息，等待泊车完成；
106.3)、完成泊车后，控制器发送相关数据，hmi收到指令后，退出泊车。
107.如图6所示，影像显示模块开始影像播放包括以下步骤：
108.1).当外界条件触发影像的播放时，camplayback线程调用cameraici接口播放视频；
109.2).cameraici开始影像的播放，首先进行相关的变量的初始化，打开相关设备，并进行数据采集，关闭相关的设备；
110.3).采集到的数据调用opengl egl相关的函数提交给weston绘制，weston绘制完一帧画面后通知camere，继续绘制下一帧；
111.4).播放影像后，创建诊断线程，在播放过程中，持续监测摄像头lock状态，并将结果反馈给hmi，hmi收到信号异常后，显示相应的popup。
112.如图7所示，影像显示模块在进行摄像头设备进程启动和初始化时具体包括如下
步骤：
113.1).kanzi应用随即启动后，首先进入createapplication，首先创建ivslistener线程和camplayback线程；
114.2).ivslistener线程启动后，初始化ivs client，注册ivs message callback，主动获取eol配置，判断是rvc还是avm(adv)；
115.3).camplayback线程启动后，等待eol配置获取到，进行相关摄像头设备的初始化，配置pipleline参数。
116.如图8-9所示，当触发影像暂停及影像恢复播放时具体包括以下步骤：
117.其中触发影像暂停时操作如下：
118.1).ivslistener接收到相应的hardwire端子被拉低，通知hmi退出显示相应的ui界面，停止播放雷达音，同时通知camplayback线程停止播放影像；
119.2).detect线程收到端子被拉低的通知，停止检测lock状态；
120.其中触发影像暂停时操作如下：
121.1).ivslistener接收到相应的hardwire端子变化，通知hmi显示相应的ui界面，同时通知camplayback线程播放影像；
122.2).ivslistener同时接受雷达或者avm控制器发送的雷达数据，发送给hmi，hmi接受后显示相应的界面，并播报雷达音；
123.3).camplayback线程播放影像的通知，进行摄像头lock状态的检测，并将检测结果反馈给hmi，hmi收到异常的lock状态，显示相应的popup；
124.4).camplayback线程通过调用cameraici模块提供的接口，进行影像的播放。
125.如图2所示，影像显示模块包括有以下代码模块：
126.hmi代码模块，hmi代码模块用于切换视图，显示雷达报警信息，监测车辆周围情况；
127.common代码模块，common代码模块为共同的公共代码；
128.cameraici代码模块，cameraici代码模块包括graph、stream、pipeline三个进程，其中：
129.graph进程用于调用wayland、egl、khr相关的接口，进行视频流画面的描画，包括创建surface、销毁surface；
130.stream进程用于通过调用ici相关的接口，从ipu抓取数据，调用graph接口描画；
131.pipeline进程用于配置ipucsi通道、视频格式、分辨率参数；
132.threader代码模块，threader代码模块用于创建除hmi代码模块外的其他线程。
133.如图3所示，hmi代码模块包括rvc代码模块、avm代码模块、adv代码模块三部分；
134.其中rvc代码模块、avm代码模块、adv代码模块的判断方式为：
135.通过不同的硬件端子或者eol配置，判断当前是avm(adv)还是rvc，如果是avm或者adv，还需要通过hardwire端子判断是avm还是adv(启动才能判断)。
136.如果当前是avm，需要接收touch，并通过ivs发送给avm控制器。
137.如果当前是rvc，启动后需要判断ivp发送的数据，进入正常模式或者标定页面。(标定功能待定，也可以android不通过ivp发送给camera，而是直接通过rpc发送给mcu，mcu再通过ivs转发给camera)
138.hmi接收detect线程发送的摄像头连接状态和ivs发送的摄像头异常错误，弹出相应的popup。
139.如果当前是rvc，并且进入了标定模式，点击界面相关按钮，需要调用camplayback封装的引导线接口，设置引导线模式、自动标定、手动标定等。
140.如图4所示，threader代码模块用于创建ivslistener、camplayback、detect、ivplistener线程。
141.其中ivslistener线程用于接收ivs发送的消息，并将消息转发给hmi等代码模块，同时负责封装向ivs发送数据的接口，ivslistener也负责hardwire端子变化的通知，端子变化后通知camplayback线程播放或者暂停视频；
142.detect线程用于检测摄像头连接状态并将数据发送给hmi代码模块，hmi代码模块接收到数据显示相应的popup；
143.camplayback线程用于调用cameraici代码模块，对影像的播放暂停进行控制。
144.当camplayback线程对影像的播放暂停进行控制时，当前设备如果是rvc，则还需要对引导线进行控制：通过hmi代码模块点击相应的按钮调用相应的接口。
145.实施例2：
146.如图1所示，一种虚拟化车载系统的影像显示装置，该装置具有所述的一种虚拟化车载系统的影像显示方法；
147.其中，影像显示模块还用于实现全景影像、自动泊车和倒车影像功能；
148.影像显示模块包括：hmi模块、ivs模块、ivp模块、sound模块、video模块、hardwire模块、diagnose模块；
149.hmi模块用于全景影像、自动泊车和倒车影像界面的绘制，并且通过不同的信号进行相关界面的切换；
150.ivs模块用于调用ivs提供的接口和mcu进行通信，其中包括接收全景影像控制器数据、向全景影像控制器下发指令；
151.ivp模块用于调用ivp提供的接口和android进行通信，实现倒车影像引导线功能；
152.sound模块用于通过ivs发送过来的雷达数据，播放相关声音；
153.video模块用于倒车影像和全景影像的播放；
154.hardwire模块用于接收gpio端子变化的通知，触发影像的进入，且hardwire接口由ivs模块提供；
155.diagnose模块用于诊断摄像头。
156.实施例3：
157.一种虚拟化车载系统的影像显示设备，该设备包括：
158.存储器，存储至少一个指令；
159.所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据等)等。此外，存储器可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
160.处理器，执行所述存储器中存储的指令以实现所述的一种虚拟化车载系统的影像显示方法。
161.所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
162.实施例4：
163.一种虚拟化车载系统的影像显示存储介质，该存储介质包括存储有至少一个指令，所述至少一个指令被软件健康管理设备中的处理器执行以实现所述的一种虚拟化车载系统的影像显示方法。
164.由以上技术方案可以看出，本发明通过配置文件配置进程的启动顺序、依赖关系和资源分配，通过一个高度可复原的管理进程(镜像对)和健康管理服务建立一套高可用的软件健康管理方法，并且可通过配置文件的方式做到线程级监控及时间阈值可配置，保证整个系统软件减少停工时间，保持其服务的高度可用性，使得用户基本感受不到软件故障，提高用户体验。
165.设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
166.在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
167.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
168.另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
169.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
170.因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
171.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本技术的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
172.在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。