一种嵌入式设备的双系统界面融合显示系统及方法与流程

1.本发明属于嵌入式设备技术领域，具体涉及一种嵌入式设备的双系统界面融合显示系统及方法。


背景技术：

2.现有的嵌入式双系统设备，通常由于显示设备驱动的独占性，在同一时刻只能显示一个系统的界面。如果要显示另外一个系统的界面需要将显示画面完全切换到另外一个系统的输出，这对嵌入式双系统的使用造成了很大的局限性。


技术实现要素：

3.为解决嵌入式设备双系统界面显示问题的问题，在本发明的第一方面提供了一种嵌入式设备的双系统界面融合显示系统，其中服务端运行在子系统，客户端运行在主系统，包括：服务端，用于响应于待融合应用的请求，将待融合应用的界面图像绘制到缓冲区，并将缓冲区的物理内存地址传送给主系统；以及接收点击事件，并根据所述点击事件在相应的待融合应用中进行消费；客户端，用于根据缓冲区的物理内存地址，将待融合应用的界面图像显示到主系统的预设区域；以及采集本地主系统界面的点击事件，并判断是否将其发送给子系统。
4.在本发明的一些实施例中，所述服务端包括：申请模块，用于响应于待融合应用的请求，确定待绘制的界面图像的大小，并向子系统申请对应的缓存区队列；绘制模块，用于将所述缓存区队列封装，并根据其绘制多帧连续的界面图像；传送模块，用于将所述多帧连续的界面图像对应的物理内存地址传送给主系统。
5.进一步的，所述绘制模块包括包括：封装单元，将所述缓存区队列封装为可用于绘制界面的图层；绘制单元，将所述图层包装在可投射组件中，利用所述可投射组件中的标准接口绘制多帧连续的界面图像。
6.在本发明的一些实施例中，所述客户端包括：显示模块，用于根据缓冲区的物理内存地址，将待融合应用的界面图像显示到主系统的预设区域；判断模块，用于判断本地主系统界面的点击事件是否发生在客户端的显示区域；传输模块，用于对发生在客户端的显示区域的点击事件进行回调，并将其发送给子系统。
7.进一步的，所述传输模块通过注册于窗口管理系统中的点击事件回调，接受到来自用户的对子系统应用界面的点击事件，通过与虚拟屏幕的本地ipc连接，将此点击事件下发至运行于子系统。
8.在上述的实施例中，所述主系统与子系统通过ipc方式进行数据交互。
9.本发明的第二方面，提供了一种嵌入式设备的双系统界面融合显示方法，其中服务端运行在子系统，客户端运行在主系统，包括：服务端响应于待融合应用的请求，将待融合应用的界面图像绘制到缓冲区，并将缓冲区的物理内存地址传送给主系统；客户端根据缓冲区的物理内存地址，将待融合应用的界面图像显示到主系统的预设区域；客户端采集
本地主系统界面的点击事件，并判断是否将其发送给子系统；服务端接收点击事件，并根据所述点击事件在相应的待融合应用中进行消费。
10.进一步的，所述服务端响应于待融合应用的请求，将待融合应用的界面图像绘制到缓冲区，并将缓冲区的物理内存地址传送给主系统包括：响应于待融合应用的请求，确定待绘制的界面图像的大小，并向子系统申请对应的缓存区队列；将所述缓存区队列封装，并根据其绘制多帧连续的界面图像；将所述多帧连续的界面图像对应的物理内存地址传送给主系统。
11.本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第二方面提供的嵌入式设备的双系统界面融合显示方法。
12.本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第二方面提供的嵌入式设备的双系统界面融合显示方法。
13.本发明的有益效果是：
14.本发明提出一种双系统界面的融合显示方案，将两个系统的应用窗口界面融合显示，以拓展嵌入式双系统的使用场景；主系统中可以抓取对应从系统显示窗口的点击事件以及坐标，通过ipc的方式发送至从系统，从而实现融合显示时对从系统窗口中的点击事件下发；从系统应用在标准的界面图层中完成绘制，降低应用开发难度。
附图说明
15.图1为本发明的一些实施例中的嵌入式设备的双系统界面融合显示系统的基本结构示意图；
16.图2为本发明的一些实施例中的嵌入式设备的双系统界面融合显示系统的基本工作原理示意图；
17.图3为本发明的一些实施例中的嵌入式设备的双系统界面融合方法的流程示意图；
18.图4为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
19.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
20.参考图1或图2，在本发明的第一方面，提供了在本发明的第一方面提供了一种嵌入式设备的双系统界面融合显示系统，其中服务端运行在子系统，客户端运行在主系统，包括：服务端，用于响应于待融合应用的请求，将待融合应用的界面图像绘制到缓冲区，并将缓冲区的物理内存地址传送给主系统；以及接收点击事件，并根据所述点击事件在相应的待融合应用中进行消费；客户端，用于根据缓冲区的物理内存地址，将待融合应用的界面图像显示到主系统的预设区域；以及采集本地主系统界面的点击事件，并判断是否将其发送给子系统。
21.具体地，运行于子系统的虚拟屏幕服务端，具有申请界面绘制缓冲区，请求视频编
码库编码缓冲区中的图像，向应用程序下发点击事件的能力；运行于主系统中的虚拟屏幕客户端，具有播放标准流媒体，采集主系统界面上的点击事件的能力。此客户端和服务端通过本地ipc方案，如本地socket连接的方式进行数据交互。
22.可以理解，通常将运行于同一嵌入式设备的两个系统根据是否实际控制显示设备，区分为主系统和从系统。通过将从系统中想要展示在主系统中的应用窗口进行抓取，然后通过软件或者硬件的方式编码为视频数据流，再通过本地ipc方案传递至主系统后解码，作为视频流在主系统的视频播放窗口显示。同时，主系统中可以抓取对应视频播放窗口的点击事件以及坐标，通过ipc的方式发送至从系统，从而实现融合显示时对从系统窗口中的点击事件下发。
23.在本发明的一些实施例中，所述服务端包括：申请模块，用于响应于待融合应用的请求，确定待绘制的界面图像的大小，并向子系统申请对应的缓存区队列；绘制模块，用于将所述缓存区队列封装，并根据其绘制多帧连续的界面图像；传送模块，用于将所述多帧连续的界面图像对应的物理内存地址传送给主系统。
24.进一步的，所述绘制模块包括包括：封装单元，将所述缓存区队列封装为可用于绘制界面的图层；绘制单元，将所述图层包装在可投射组件中，利用所述可投射组件中的标准接口绘制多帧连续的界面图像。
25.具体地，参考图2，子系统中的待融合应用根据实际需要绘制的窗口大小，向虚拟屏幕服务申请指定屏幕大小的缓存区队列，并将其封装为可用于绘制界面的surface；子系统中的应用将此surface包装在用于投射的presentation组件中，此组件实现标准的dialog接口，在此组件中注册的view在界面绘制时通过虚拟屏幕缓存区的输入接口绘制到虚拟屏幕缓冲区，此时缓冲区内就是连续的被绘制界面图像。虚拟屏幕服务端中，调用子系统标准的视频编码接口，如mediacodec或bsp提供的硬件编码库接口，通过请求虚拟屏幕界面缓冲区的输出接口，将已绘制的界面图像按顺序取出，并送入视频编码模块编码，编码格式可选标准的h.264或者h.265编码。虚拟屏幕服务端再从视频编码模块取出编码好的界面视频流，通过本地ipc的方式，将界面视频流传输至主系统。同时告知虚拟屏幕客户端此界面的显示位置及显示大小。运行于主系统中的虚拟屏幕客户端调用主系统标准的流媒体播放器，将子系统中虚拟屏幕服务端传输过来的界面视频流，在主系统中以指定大小在指定位置播放。从而实现了双系统的界面显示融合。
26.不失一般性，在子系统中待融合显示的应用终止时，虚拟屏幕服务端捕获到应用终止信号，先将界面缓冲区中未编码界面全部送编码，然后主动销毁界面缓冲区，并向虚拟屏幕客户端发送界面已销毁信号。虚拟屏幕客户端检测到此界面已销毁信号时，停止流媒体播放，即实现了子系统融合界面的应用关闭资源释放流程。
27.在本发明的一些实施例中，所述客户端包括：判断模块，用于判断本地主系统界面的点击事件是否发生在客户端的显示区域；传输模块，用于对发生在客户端的显示区域的点击事件进行回调，并将其发送给子系统。
28.进一步的，所述传输模块通过注册于窗口管理系统中的点击事件回调，接受到来自用户的对子系统应用界面的点击事件，通过与虚拟屏幕的本地ipc连接，将此点击事件下发至运行于子系统。
29.具体地，当子系统中的虚拟屏幕客户端接收到子系统中虚拟屏幕客户端中的融合
显示请求时，同时获取到了子系统的界面预期的显示位置及大小。则虚拟屏幕客户端在融合显示的开始时，向主系统的窗口管理系统注册点击事件回调，注册的监听范围为子系统请求的显示位置及显示大小。主系统收到点击时间后，由主系统的窗口管理系统判断此点击事件是否发生在虚拟屏幕客户端的显示区域，如果否，则根据标准点击事件下发流程下发给其他注册了点击事件的主系统应用。如果是，则将此点击事件发送给虚拟屏幕客户端注册的点击事件回调。运行于主系统中的虚拟屏幕客户端通过注册于窗口管理系统中的点击事件回调，接受到来自用户的对子系统应用界面的点击事件，通过与虚拟屏幕的本地ipc连接，将此点击事件下发至运行于子系统的虚拟屏幕服务端。虚拟屏幕服务端接受到此点击事件后，将此点击事件通过标准的点击事件分发接口注入到融合显示中的子系统应用界面，子系统应用对此点击事件进行消费。在子系统中待融合显示的应用终止时，虚拟屏幕服务端向虚拟屏幕客户端发送界面已销毁信号。虚拟屏幕客户端检测到此界面已销毁信号时，反注册窗口管理器中的界面点击事件回调，此后点击事件不再向子系统下发。
30.在本发明的一个实施例中，子系统应用界面显示至主系统部分包括如下步骤：
31.1.子系统中新增虚拟屏幕服务端程序，通过实现标准的界面绘制缓冲区申请接口，绘制缓冲区输入、输出接口，提供不直接绘制到硬件屏幕上的虚拟屏幕区域。并返回申请到的界面绘制缓冲区的实际物理内存地址；
32.2.子系统中的待融合应用根据实际需要绘制的窗口大小，向虚拟屏幕服务申请指定屏幕大小的缓存区队列，并将其封装为可用于绘制界面的surface；
33.3.子系统中的应用将此surface包装在用于投射的presentation组件中，此组件实现标准的dialog接口，在此组件中注册的view在界面绘制时通过虚拟屏幕缓存区的输入接口绘制到虚拟屏幕缓冲区，此时缓冲区内就是连续的被绘制界面图像；
34.4.虚拟屏幕服务端中，接受到界面绘制请求并完成绘制后，返回当前完成了绘制的缓冲区物理内存地址，通过socket或其他本地ipc的方式发送至虚拟屏幕客户端，同时告知虚拟屏幕客户端此界面的显示位置及显示大小；
35.5.运行于主系统中的虚拟屏幕客户端获取到界面绘制缓冲区的实际物理地址后，通过mmap的方法将实际界面缓冲区获取到，并通过bsp提供的标准界面叠加接口或者通过标准framebuffer抽象接口，将子系统中绘制的界面图像在主系统中以指定大小在指定位置显示。并在显示完成后，通过本地ipc告知子系统该缓冲区已经被显示，可以被回收用于下一帧图像数据绘制；
36.6.在子系统中待融合显示的应用终止时，虚拟屏幕服务端捕获到应用终止信号，主动销毁界面缓冲区，并向虚拟屏幕客户端发送界面已销毁信号。虚拟屏幕客户端检测到此界面已销毁信号时，清除融合显示区域的残余显示数据，即实现了子系统融合界面的应用关闭资源释放流程。
37.在本发明的一个实施例中，主系统为linux系统，子系统为安卓系统。期望将安卓系统的导航界面融合至linux系统展示并接受点击事件。安卓系统中，自定义实现一个虚拟屏幕后台服务，实现对bufferqueue(即界面绘制缓冲区)的申请，并将其封装成标准的surface(绘制界面)接口，并且能通过此后台服务获取到其中封装的缓冲区的物理内存地址。通过安卓系统的窗口管理器，将从定义虚拟屏幕服务申请到的surface封装成virtualdisplay虚拟屏幕，并通过presentation接口进一步将其封装成presentation界
面。安卓系统中的导航应用，并不通过标准的activity绘制到主界面，而是绘制界面到presentation界面上，其本质是可获取到真实物理地址的虚拟屏幕缓存层。绘制到此虚拟屏幕中的应用界面数据，可以通过其绘制结束时返回的缓冲帧物理内存地址获取到，将此界面的物理内存地址通过本地socket的方式传递到主系统。主系统获取到此物理内存地址后，即可通过bsp的标准显示叠加接口将数据叠加在主系统的指定位置，从而实现了导航界面在主系统中的融合显示。
38.在本发明的又一个实施例中，主系统为linux系统，子系统为安卓系统。期望将安卓系统的导航界面融合至linux系统展示并接受点击事件。安卓系统中的导航应用，并不直接绘制画面到屏幕上，而是绘制界面到presentation界面上，其本质是一个可被编码的虚拟屏幕缓存层。通过调用安卓mediacodec相关api，最终调用硬件编码器，将此虚拟屏幕进行视频流编码。编码后的视频流数据通过本地socket的方式传递到主系统。主系统中调用视频播放器应用，在特定位置播放此视频流数据，则实现了安卓导航界面在主系统中的融合展示。
39.同时，对主系统中的视频播放窗口中的点击事件进行监听，并通过本地socket的方式发送至安卓系统的导航应用，再下发至虚拟屏幕界面，从而实现了在融合显示界面时的融合交互。
40.实施例2
41.参考图3，本发明的第二方面，提供了一种嵌入式设备的双系统界面融合显示方法，其中服务端运行在子系统，客户端运行在主系统，包括：s100.服务端响应于待融合应用的请求，将待融合应用的界面图像绘制到缓冲区，并将缓冲区的物理内存地址传送给主系统；客户端根据缓冲区的物理内存地址，将待融合应用的界面图像显示到主系统的预设区域；s200.客户端采集本地主系统界面的点击事件，并判断是否将其发送给子系统；服务端接收点击事件，并根据所述点击事件在相应的待融合应用中进行消费。
42.进一步的，在步骤s100中，所述服务端响应于待融合应用的请求，将待融合应用的界面图像绘制到缓冲区，并将缓冲区的物理内存地址传送给主系统包括：响应于待融合应用的请求，确定待绘制的界面图像的大小，并向子系统申请对应的缓存区队列；将所述缓存区队列封装，并根据其绘制多帧连续的界面图像；将所述多帧连续的界面图像对应的物理内存地址传送给主系统。
43.实施例3
44.参考图4，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的方法。
45.电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
46.通常以下装置可以连接至i/o接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(lcd)、扬声器、振动
器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图4中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
47.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom 502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd－rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
48.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
49.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c 、python，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
50.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用
于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。需要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
51.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。