图层处理方法及装置、电子设备及存储介质与流程

1.本发明涉及计算机技术领域，特别涉及一种图层处理方法及装置、电子设备及存储介质。


背景技术：

2.目前，随着可穿戴设备的数量逐渐增多，对于显示功能的要求也逐渐增高，几乎比肩智能手机。市面上大部分的智能手机都采用android系统，该系统较庞大，且存在开发周期长、功耗高、占用存储空间多的特点，无法满足可穿戴设备对于低功耗、小空间的要求。


技术实现要素：

3.本发明要解决的技术问题是为了克服现有技术中的上述缺陷，提供一种适用于rtos(real time operating system，实时操作系统)的图层处理方法及装置、电子设备及存储介质。
4.本发明是通过下述技术方案来解决上述技术问题：
5.本发明的第一方面提供一种图层处理方法，包括以下步骤：
6.获取待处理的图层；
7.根据所述待处理的图层的属性信息确定所述待处理的图层的目标处理方式；
8.若确定底层硬件支持对图层进行所述目标处理方式的处理，则将所述待处理的图层发送至所述底层硬件进行所述目标处理方式的处理。
9.可选地，所述图层处理方法还包括：
10.若确定底层硬件不支持对图层进行所述目标处理方式的处理，则对所述待处理的图层进行所述目标处理方式的处理，并将处理后的图层转换为所述底层硬件可处理的图层，以及将转换后的图层发送至所述底层硬件进行合成处理。
11.可选地，所述底层硬件包括图形处理单元；
12.若确定所述待处理的图层需要进行合成，则所述若确定底层硬件支持对图层进行所述目标处理方式的处理，则将所述待处理的图层发送至所述底层硬件进行所述目标处理方式的处理的步骤具体包括：
13.若所述图形处理单元支持对图层进行所述目标处理方式的处理，则将所述待处理的图层发送至所述图形处理单元进行所述目标处理方式的处理以及合成处理。
14.可选地，所述若确定底层硬件支持对图层进行所述目标处理方式的处理，则将所述待处理的图层发送至所述底层硬件进行所述目标处理方式的处理的步骤之后还包括：
15.输出所述图形处理单元合成处理得到的图层。
16.可选地，所述底层硬件还包括显示处理单元；
17.若确定所述待处理的图层还需要进行显示，则所述若确定底层硬件支持对图层进行所述目标处理方式的处理，则将所述待处理的图层发送至所述底层硬件进行所述目标处理方式的处理的步骤还包括：
18.将所述图形处理单元合成处理得到的图层转换为所述显示处理单元可处理的图层，并将转换后的图层发送至所述显示处理单元进行显示处理。
19.可选地，所述底层硬件包括图形处理单元和显示处理单元；
20.若确定所述待处理的图层需要进行显示，则所述若确定底层硬件支持对图层进行所述目标处理方式的处理，则将所述待处理的图层发送至所述底层硬件进行所述目标处理方式的处理的步骤具体包括：
21.若所述显示处理单元支持对图层进行所述目标处理方式的处理，则将所述待处理的图层发送至所述显示处理单元进行所述目标处理方式的处理以及显示处理；
22.若所述显示处理单元不支持对图层进行所述目标处理方式的处理，且所述图形处理单元支持对图层进行所述目标处理方式的处理，则将所述待处理的图层发送至所述图形处理单元进行所述目标处理方式的处理，并将所述图形处理单元处理后的图层转换为所述显示处理单元可处理的图层，以及将转换后的图层发送至所述显示处理单元进行显示处理。
23.可选地，所述目标处理方式包括以下中的至少一种：格式转换、旋转、缩放、镜像。
24.本发明的第二方面提供一种图层处理装置，包括：
25.获取模块，用于获取待处理的图层；
26.确定模块，用于根据所述待处理的图层的属性信息确定所述待处理的图层的目标处理方式；
27.发送模块，用于在确定底层硬件支持对图层进行所述目标处理方式的处理的情况下，将所述待处理的图层发送至所述底层硬件进行所述目标处理方式的处理。
28.本发明的第三方面提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的图层处理方法。
29.本发明的第四方面提供一种芯片，应用于电子设备，所述芯片用于执行如第一方面所述的图层处理方法。
30.本发明的第五方面提供一种芯片模组，应用于电子设备，包括收发组件和芯片，所述芯片，用于执行如第一方面所述的图层处理方法。
31.本发明的第六方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图层处理方法。
32.本发明的积极进步效果在于：若底层硬件支持对图层进行所述目标处理方式的处理，则由底层硬件对待处理的图层进行所述目标处理方式的处理，可以节省主控芯片例如cpu的资源。本发明适用于rtos系统，开发周期较短、功耗较低，占用存储空间较少，可以满足可穿戴设备对于低功耗、小空间的要求。
附图说明
33.图1为本发明实施例1提供的一种图层处理方法的流程图。
34.图2为本发明实施例1提供的另一种图层处理方法的流程图。
35.图3为本发明实施例1提供的一种lcd(liquid crystal display，液晶显示器)的硬件抽象层hal的框架示意图。
36.图4为本发明实施例1提供的一种对待处理的图层进行处理的示意图。
37.图5为本发明实施例1提供的另一种对待处理的图层进行处理的示意图。
38.图6为本发明实施例1提供的一种图层处理装置的结构框图。
39.图7为本发明实施例2提供的一种电子设备的结构示意图。
具体实施方式
40.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
41.实施例1
42.图1为本实施例提供的一种图层处理方法的流程示意图，该图层处理方法可以由图层处理装置执行，该图层处理装置可以通过软件和/或硬件的方式实现。其中，本实施例中的电子设备可以为智能手表、智能眼镜等可穿戴设备，所述电子设备的操作系统可以为rtos系统，也可以为能够满足可穿戴设备对于低功耗、小空间要求的其它系统。
43.下面以电子设备为执行主体介绍本实施例提供的图层处理方法。如图1所示，本实施例提供的图层处理方法可以包括以下步骤s11～s13：
44.步骤s11、获取待处理的图层。
45.具体地，可以从上层应用程序获取待处理的图层，待处理的图层的数量可以为一个，也可以为多个。待处理的图层可以为视频图层video_layer，即带img标志的图层，也可以为非视频图层app_layer，例如带osd(on-screen display，屏幕菜单式调节方式)标志的图层。
46.步骤s12、根据所述待处理的图层的属性信息确定所述待处理的图层的目标处理方式。
47.在具体实施中，所述目标处理方式可以包括格式转换format、旋转rotation、缩放scale、镜像mirror等。其中，所述目标处理方式可以包括一种处理方式，也可以包括多种处理方式。
48.步骤s13、若确定底层硬件支持对图层进行所述目标处理方式的处理，则将所述待处理的图层发送至所述底层硬件进行所述目标处理方式的处理。
49.在具体实施中，由底层硬件对待处理的图层进行所述目标处理方式的处理，可以节省电子设备中主控芯片例如cpu的资源。
50.本实施例还提供一种图层处理方法，如图2所示，包括以下步骤s21～s25：
51.步骤s21、获取待处理的图层。
52.步骤s22、根据所述待处理的图层的属性信息确定所述待处理的图层的目标处理方式。
53.其中，步骤s21可参考上述步骤s11，步骤s22可参考上述步骤s12。
54.步骤s23、判断底层硬件是否支持对图层进行所述目标处理方式的处理，若是，则执行步骤s24，若否，则执行步骤s25。
55.在具体实施中，可以根据底层硬件的设计文档判断底层硬件是否支持对图层进行所述目标处理方式的处理。
56.步骤s24、将所述待处理的图层发送至所述底层硬件进行所述目标处理方式的处
理。
57.步骤s25、对所述待处理的图层进行所述目标处理方式的处理，并将处理后的图层转换为所述底层硬件可处理的图层，以及将转换后的图层发送至所述底层硬件进行合成处理。
58.本实施例中，若底层硬件支持对图层进行所述目标处理方式的处理，则由底层硬件对待处理的图层进行相应的处理，也即进行硬处理；若底层硬件不支持对图层进行所述目标处理方式的处理，则利用软件例如cpu对待处理的图层进行相应的处理，也即进行软处理。
59.在可选的一种实施方式中，所述底层硬件包括图形处理单元和显示处理单元。在一个具体的例子中，图形处理单元为gsp(graphic signal processor，图形信号处理器)，显示处理单元为dpu(display processing unit，显示处理单元)。其中，图形处理单元不限于上述gsp，显示处理单元也不限于上述dpu。
60.在一个具体的例子中，若根据待处理的图层的属性信息确定所述待处理的图层需要进行合成，则执行以下步骤s31～s33：
61.步骤s31、判断所述图形处理单元是否支持对图层进行所述目标处理方式的处理，若是，则执行步骤s32，若否，则执行步骤s33。
62.在具体实施中，可以根据图形处理单元的设计文档判断图形处理单元是否支持对图层进行所述目标处理方式的处理。
63.步骤s32、将所述待处理的图层发送至所述图形处理单元进行所述目标处理方式的处理以及合成处理。
64.步骤s33、对所述待处理的图层进行所述目标处理方式的处理，并将处理后的图层转换为所述图形处理单元可处理的图层，以及将转换后的图层发送至所述图形处理单元进行合成处理。
65.在待处理的图层需要进行合成的例子中，优先判断图形处理单元是否支持对图层进行所述目标处理方式的处理，若图形处理单元支持对图层进行所述目标处理方式的处理，则由图形处理单元对待处理的图层进行相应的处理，也即进行硬处理；若图形处理单元不支持对图层进行所述目标处理方式的处理，则利用软件例如cpu对待处理的图层进行相应的处理，也即进行软处理。
66.在具体实施中，还可以输出所述图形处理单元合成处理得到的图层。其中，上层应用程序可以通过接口调用所述图形处理单元合成处理得到的图层。
67.在另一个具体的例子中，若根据待处理的图层的属性信息确定所述待处理的图层需要进行显示，则执行以下步骤s41～s45：
68.步骤s41、判断所述显示处理单元是否支持对图层进行所述目标处理方式的处理，若是，则执行步骤s42，若否，则执行步骤s43。
69.在具体实施中，可以根据显示处理单元的设计文档判断显示处理单元是否支持对图层进行所述目标处理方式的处理。
70.步骤s42、将所述待处理的图层发送至所述显示处理单元进行所述目标处理方式的处理以及显示处理。
71.步骤s43、判断所述图形处理单元是否支持对图层进行所述目标处理方式的处理，
若是，则执行步骤s44，若否，则执行步骤s45。
72.在具体实施中，可以根据图形处理单元的设计文档判断图形处理单元是否支持对图层进行所述目标处理方式的处理。
73.步骤s44、将所述待处理的图层发送至所述图形处理单元进行所述目标处理方式的处理，并将所述图形处理单元处理后的图层转换为所述显示处理单元可处理的图层，以及将转换后的图层发送至所述显示处理单元进行显示处理。
74.步骤s45、对所述待处理的图层进行所述目标处理方式的处理，并将处理后的图层转换为所述显示处理单元可处理的图层，以及将转换后的图层发送至所述显示处理单元进行显示处理。
75.在待处理的图层需要进行显示的例子中，优先判断显示处理单元是否支持对图层进行所述目标处理方式的处理，若显示处理单元支持对图层进行所述目标处理方式的处理，则由显示处理单元对待处理的图层进行相应的处理，也即进行硬处理，若显示处理单元不支持对图层进行所述目标处理方式的处理，则判断图形处理单元是否支持对图层进行所述目标处理方式的处理，若显示处理单元和图形处理单元均不支持对图层进行所述目标处理方式的处理，则利用软件例如cpu对待处理的图层进行相应的处理，也即进行软处理。
76.在又一个具体的例子中，若根据待处理的图层的属性信息确定所述待处理的图层需要进行合成和显示，则执行以下步骤s51～s54：
77.步骤s51、判断所述图形处理单元是否支持对图层进行所述目标处理方式的处理，若是，则执行步骤s52，若否，则执行步骤s53。
78.步骤s52、将所述待处理的图层发送至所述图形处理单元进行所述目标处理方式的处理以及合成处理。
79.步骤s53、对所述待处理的图层进行所述目标处理方式的处理，并将处理后的图层转换为所述图形处理单元可处理的图层，以及将转换后的图层发送至所述图形处理单元进行合成处理。
80.步骤s54、将所述图形处理单元合成处理得到的图层转换为所述显示处理单元可处理的图层，并将转换后的图层发送至所述显示处理单元进行显示处理。
81.在待处理的图层需要进行合成和显示的例子中，优先判断图形处理单元是否支持对图层进行所述目标处理方式的处理，若图形处理单元支持对图层进行所述目标处理方式的处理，则由图形处理单元对待处理的图层进行相应的处理，也即进行硬处理；若图形处理单元不支持对图层进行所述目标处理方式的处理，则利用软件例如cpu对待处理的图层进行相应的处理，也即进行软处理。在进行硬处理或者软处理之后，由图形处理单元对图层进行合成处理，最后，将合成处理得到的图层转换后发送至显示处理单元进行显示处理。
82.显示处理单元在刷屏时，一个图层通常需要三个缓冲器buffer，显示处理单元和上层应用程序分别使用一个buffer，保留一个buffer待用。与对图层先进行显示处理再进行合成处理相比，本例子通过对图层先进行合成处理再进行显示处理，可以节省缓冲器的使用，从而节省内存。
83.图3用于示出一种lcd的硬件抽象层hal的框架示意图。其中，lcd的硬件抽象层hal可以对外提供addlayer、commitlayer、mode、oninvalidate四个接口，在rtos上的实现框架如图3所示，底层硬件包括dpu和gsp。
84.在确定待处理的图层需要进行合成的例子中，可以利用addlayer接口，并选择blend参数，将待处理的图层添加到硬件抽象层hal的待处理图层队列layer_blend_list中。然后利用commitlayer接口，并选择blend参数，将layer_blend_list提交至lcd_hal的结构体lcd_hal_struct中，并驱动任务lcd_hal_task进行图层合成。具体地，遍历layer_blend_list中的所有图层，根据先底层硬件后软件的处理方式，为每个图层设置标签blend_flag。在如图4所示的例子中，gsp支持对图层进行旋转和处理缩放处理，因此将待处理的图层1和2的标签blend_flag均设置为gsp，由gsp对待处理的图层1进行旋转处理，以及对待处理的图层2进行缩放处理。gsp不支持对图层进行镜像处理，因此将待处理的图层3的标签blend_flag设置为soft，采用软件的方式对待处理的图层3进行镜像处理，处理之后转换为gsp可处理的图层，最后由gsp将所有的图层一次性合成，输出最终图层。上层应用程序可以通过最终图层所在位置的地址获取合成后的图层。
85.在确定待处理的图层需要进行显示的例子中，可以利用addlayer接口，并选择invalidate参数，将待处理的图层添加到硬件抽象层hal的待处理图层队列layer_invalidate_list中。然后利用commitlayer接口，并选择invalidate参数，将layer_invalidate_list提交至lcd_hal的结构体lcd_hal_struct中，并驱动任务lcd_hal_task进行上屏显示。具体地，遍历layer_invalidate_list中的所有图层，根据配置的刷屏模式mode和图层的上屏方式oninvalidate，将待处理的图层4、5、6分别转换为lcd_layer1、lcd_layer2、lcd_layer3，然后选择性上屏显示。遍历所有转换后的图层，根据先底层硬件后软件的处理方式，为每个图层设置标签blend_flag。在如图5所示的例子中，dpu支持对图层进行旋转处理，因此将lcd_layer1的标签blend_flag设置为dpu，由dpu对lcd_layer1进行旋转处理。dpu不支持对图层进行格式转换处理，且gsp支持对图层进行格式转换处理，因此将lcd_layer2的标签blend_flag设置为gsp，由gsp对lcd_layer2进行格式转换处理，并将格式转换处理后的图层转换为dpu可处理的图层，以及向dpu发送转换后的图层。dpu和gsp均不支持对图层进行镜像处理，因此将lcd_layer3的标签blend_flag设置为soft，采用软件的方式对lcd_layer3进行镜像处理，并将镜像处理之后的图层转换为dpu可处理的图层。由dpu对所有可处理的图层进行显示处理，具体地，将所有可处理的图层均转换为寄存器信息，填入dpu的各个层中进行合成，输出屏幕能够支持的格式例如rgb565或者rgb888等，并上屏显示。
86.其中，刷屏模式mode包括normal_mode和video_mode两种模式。在normal_mode模式下，每一次刷新之后，所有lcd_layer的使能标记layer_en全部清除，即所有的lcd_layer均不显示。在video_mode模式下，每一次刷新之后，所有lcd_layer的使能标记layer_en保留原来状态，不清除，也即所有的lcd_layer均正常显示。video_mode模式一般应用于相机预览或者视频播放的场景下，图层数量稳定，视频图层不断更新，非视频图层则更新一帧之后保持不变。
87.图层的上屏方式oninvalidate有on和off两种方式。当oninvalidate为on时，所有图层在提交commit时，均可上屏显示。当oninvalidate为off时，在图层提交commit时，将视频图层video_layer即带img标志的图层直接上屏显示，将非视频图层app_layer例如带osd标志的图层的图层信息送给lcd_layer后直接返回，等待下一次视频图层video_layer提交时，合并所有非视频图层一起上屏显示。
88.在确定待处理的图层需要进行合成和显示的例子中，可以利用addlayer接口，并选择blend参数，将待处理的图层添加到硬件抽象层hal的待处理图层队列layer_blend_list中。然后利用commitlayer接口，并选择blend参数，将layer_blend_list提交至lcd_hal的结构体lcd_hal_struct中，并驱动任务lcd_hal_task进行图层合成。利用addlayer接口，并选择invalidate参数，将合成后输出的最终图层添加到硬件抽象层hal的待处理图层队列layer_invalidate_list中。然后利用commitlayer接口，并选择invalidate参数，将layer_invalidate_list提交至lcd_hal的结构体lcd_hal_struct中，并驱动任务lcd_hal_task进行上屏显示。本例子中，通过先对图层进行合成处理再进行显示处理，可以减少invalidate的输入图层数量，从而节省内存。
89.本实施例还提供一种图层处理装置60，如图6所示，包括获取模块61、确定模块62以及发送模块63。获取模块用于获取待处理的图层。确定模块用于根据所述待处理的图层的属性信息确定所述待处理的图层的目标处理方式。发送模块用于在确定底层硬件支持对图层进行所述目标处理方式的处理的情况下，将所述待处理的图层发送至所述底层硬件进行所述目标处理方式的处理。
90.在可选的一种实施方式中，所述图层处理装置还包括处理模块，用于在确定底层硬件不支持对图层进行所述目标处理方式的处理的情况下，对所述待处理的图层进行所述目标处理方式的处理，并将处理后的图层转换为所述底层硬件可处理的图层，以及将转换后的图层发送至所述底层硬件进行合成处理。
91.在可选的一种实施方式中，所述底层硬件包括图形处理单元。若确定所述待处理的图层需要进行合成，则所述发送模块具体用于在所述图形处理单元支持对图层进行所述目标处理方式的处理的情况下，将所述待处理的图层发送至所述图形处理单元进行所述目标处理方式的处理以及合成处理。
92.在可选的一种实施方式中，所述发送模块还用于输出所述图形处理单元合成处理得到的图层。
93.在可选的一种实施方式中，所述底层硬件还包括显示处理单元。若确定所述待处理的图层还需要进行显示，则所述发送模块还用于将所述图形处理单元合成处理得到的图层转换为所述显示处理单元可处理的图层，并将转换后的图层发送至所述显示处理单元进行显示处理。
94.在可选的一种实施方式中，所述底层硬件包括图形处理单元和显示处理单元。若确定所述待处理的图层需要进行显示，则所述发送模块具体用于在所述显示处理单元支持对图层进行所述目标处理方式的处理的情况下，将所述待处理的图层发送至所述显示处理单元进行所述目标处理方式的处理以及显示处理；以及在所述显示处理单元不支持对图层进行所述目标处理方式的处理，且所述图形处理单元支持对图层进行所述目标处理方式的处理的情况下，将所述待处理的图层发送至所述图形处理单元进行所述目标处理方式的处理，并将所述图形处理单元处理后的图层转换为所述显示处理单元可处理的图层，以及将转换后的图层发送至所述显示处理单元进行显示处理。
95.在可选的一种实施方式中，所述目标处理方式包括以下中的至少一种：格式转换、旋转、缩放、镜像。
96.关于本实施例提供的图层处理装置具体可以是单独的芯片、芯片模组或电子设
备，也可以是集成于电子设备内的芯片或者芯片模组。
97.关于本实施例中描述的图层处理装置包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。
98.实施例2
99.图7为本实施例提供的一种电子设备的结构示意图。所述电子设备包括至少一个处理器以及与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器运行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行实施例1的图层处理方法。本实施例提供的电子设备可以为智能手表、智能眼镜等可穿戴设备。图7显示的电子设备3仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
100.电子设备3的组件可以包括但不限于：上述至少一个处理器4、上述至少一个存储器5、连接不同系统组件(包括存储器5和处理器4)的总线6。
101.总线6包括数据总线、地址总线和控制总线。
102.存储器5可以包括易失性存储器，例如随机存取存储器(ram)51和/或高速缓存存储器52，还可以进一步包括只读存储器(rom)53。
103.存储器5还可以包括具有一组(至少一个)程序模块54的程序/实用工具55，这样的程序模块54包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
104.处理器4也可以称为主控芯片，例如cpu等，通过运行存储在存储器5中的计算机程序，从而执行各种功能应用以及数据处理，例如上述实施例1的图层处理方法。
105.电子设备3也可以与一个或多个外部设备7(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口8进行。并且，电子设备3还可以通过网络适配器9与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图7所示，网络适配器9通过总线6与电子设备3的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备3使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
106.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
107.实施例3
108.本实施例提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现实施例1的图层处理方法。
109.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
110.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行实现实施例1的图层处理方法。
111.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在电子设备上执行、部分地在电子设备上执行、作为一个独立的软件包执行、部分在电子设备上部分在远程设备上执行或完全在远程设备上执行。
112.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。