一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种噪声的监测方法、电子设备及芯片系统与流程

2021-12-17 19:39:00 来源:中国专利 TAG:


1.本技术实施例涉及环境光传感器领域,尤其涉及一种电子设备的控制方法、电子设备及芯片系统。


背景技术:

2.随着电子设备的发展,电子设备的显示屏的占比越来越高。为追求极致的屏占比,可以将电子设备上的环境光传感器设置在电子设备的oled(organic light

emitting diode)屏下方。oled屏本身会发光,这就导致置于oled屏下方的环境光传感器采集的环境光中包含了oled屏本身发出的光,导致基于环境光传感器采集的环境光不精确。
3.目前,为了精确的测量环境光,可以获得环境光传感器采集的环境光以及电子设备的显示屏产生的的噪声。然后,基于环境光传感器采集的环境光和电子设备的显示屏产生的噪声获得真实的环境光。该方法中,电子设备的显示屏产生的噪声与电子设备的显示屏显示的图像相关,因此,需要获取电子设备的显示屏显示的图像,然而,电子设备获取电子设备的显示屏产生的图像以及对应的噪声时功耗过大。


技术实现要素:

4.本技术实施例提供一种电子设备的控制方法、电子设备及芯片系统,解决电子设备获取噪声时功耗过大的问题。
5.为达到上述目的,本技术采用如下技术方案:
6.第一方面,本技术实施例提供一种噪声的监测方法,应用于电子设备,所述电子设备包括:hwc模块、显示子系统和噪声算法库,所述方法包括:
7.响应于接收第一信息,所述hwc模块设置回写标记为第一标记;
8.响应于接收第一图像,所述hwc模块查询所述回写标记为第一标记;
9.所述hwc模块基于所述第一标记向所述显示子系统发送所述第一图像;
10.所述显示子系统停止向所述电子设备的回写内存存储所述第一图像上包含第一目标图像的第二图像,所述第一目标图像为第一区域内的图像;
11.响应于到达第一时刻,所述hwc模块设置所述回写标记为第二标记;
12.所述hwc模块获取第三图像;
13.所述hwc模块查询所述回写标记为所述第二标记;
14.所述hwc模块基于所述第二标记向所述显示子系统发送所述第三图像和第二信息,所述第二信息用于指示所述显示子系统将所述第三图像上包含第二目标图像的第四图像存储在所述电子设备的回写内存中;
15.响应于接收所述第三图像和所述第二信息,所述显示子系统向所述电子设备的回写内存存储所述第三图像上包含第二目标图像的第四图像,所述第二目标图像为所述第一区域内的图像;
16.所述hwc模块从所述回写内存获取所述第二目标图像;
17.所述hwc模块向噪声算法库发送所述第二目标图像;
18.所述噪声算法库基于所述第二目标图像计算获得第一图像噪声。
19.本技术实施例中,在环境光传感器每次采集环境光结束之后,可以通过scp处理器向ap处理器发送第一信息,ap处理器一侧,hwc模块设置回写标记为第一标记,内存回写功能停止,若电子设备刷新图像,则不再获取本次刷新图像的目标图像,也不再计算获得该目标图像的图像噪声。在环境光传感器下次采集环境光之前,例如第一时刻,hwc模块可以设置回写标记为第二标记,还可以强制刷新图像,例如第三图像。在回写标记为第二标记的情况下,内存回写功能启动,若刷新图像,可以获得刷新图像的目标图像,即第三图像上的目标图像,hwc将根据第三图像得到的目标图像发送至噪声算法库,噪声算法库可以计算获得图像噪声。通过该方式可以控制在环境光传感器采集环境光期间存在刷新图像时hwc才获得当前刷新的图像的目标图像,在环境光传感器采集环境光期间以外的时间,存在刷新图像时,hwc不再获取当前刷新的图像的目标图像。实际应用中,通过回写标记设置hwc是否从当前刷新的图像抠图获得目标图像。本技术实施例通过循环控制内存回写功能启动和停止的方式降低功耗。在第一方面的一种可能的实现方式中,所述第一信息包括第一时长,所述第一时长为所述显示子系统停止向所述回写内存存储图像的时长;所述第一时刻为:所述回写标记被设置为所述第一标记的时刻后经过第一时长的时刻;
20.或者,所述第一信息包括第一时长、第一值和第二时间,所述第一时长为所述显示子系统停止向所述回写内存存储图像的时长,所述第二时间为所述电子设备的环境光传感器采集所述第一值时的结束时刻;所述第一时刻为所述回写标记被设置为所述第一标记的时刻后经过第二时长的时刻,所述第二时长为所述第一时长减去延时的时长,所述延时的时长为所述hwc模块接收到所述第一信息的时刻减去所述第二时间的时长。
21.在第一方面的一种可能的实现方式中,所述hwc模块获取第三图像包括:
22.所述hwc模块向所述电子设备的surface flinger发送第一信号;
23.响应于接收所述第一信号,所述surface flinger获取缓存的第一显示参数,并向所述hwc模块发送所述第一显示参数,所述第一显示参数为所述surface flinger缓存的显示参数中最晚缓存的显示参数;
24.所述hwc模块基于所述第一显示参数得到所述第三图像。
25.在第一方面的一种可能的实现方式中,所述hwc模块设置所述回写标记为第二标记之后,所述hwc模块获取第三图像之前,还包括:
26.所述hwc模块获取所述电子设备上一次刷新图像的时刻;
27.若所述电子设备上一次刷新图像的时刻满足第一预设条件,则所述hwc模块获取所述第三图像。
28.在第一方面的一种可能的实现方式中,所述hwc模块获取所述电子设备上一次刷新图像的时刻之后,还包括:
29.若所述电子设备上一次刷新图像的时刻不满足第一预设条件,则所述hwc模块等待所述电子设备的surface flinger模块发送第二显示参数。
30.在第一方面的一种可能的实现方式中,若所述电子设备上一次刷新图像的时刻满足第一预设条件,则所述hwc模块获取所述第一图像,包括:
31.若所述电子设备上一次刷新图像的时刻满足第一预设条件,所述hwc模块等待第
二时长;
32.若所述第二时长内所述hwc模块未接收到surface flinger发送第三显示参数,则所述hwc模块获取所述第一图像。
33.在第一方面的一种可能的实现方式中,所述方法还包括:
34.若所述第二时长内所述hwc模块接收到surface flinger发送的第四显示参数,则所述hwc模块基于所述第四显示参数获取第五图像;
35.所述hwc模块查询所述回写标记为所述第二标记;
36.所述hwc模块基于所述第二标记向所述显示子系统发送所述第五图像和第三信息;
37.响应于接收所述第五图像和所述第三信息,所述显示子系统将所述第五图像上包含第三目标图像的第六图像存储在所述电子设备的回写内存中,第三目标图像为所述第一区域内的图像;
38.所述hwc模块从所述回写内存获取所述第三目标图像;
39.所述hwc模块向噪声算法库发送所述第三目标图像;
40.所述噪声算法库基于所述第三目标图像计算获得第二图像噪声。
41.在第一方面的一种可能的实现方式中,所述第一信息包括第一值和第二时间,所述第二时间为所述电子设备的环境光传感器采集所述第一值时的结束时刻;
42.所述电子设备上一次刷新图像的时刻满足第一预设条件包括:
43.所述电子设备上一次刷新图像的时刻晚于所述第二时间;
44.所述电子设备上一次刷新图像的时刻不满足第一预设条件包括:
45.所述电子设备上一次刷新图像的时刻早于或等于所述第二时间。
46.在第一方面的一种可能的实现方式中,所述第一信息还包括第一值和第二时间,所述第二时间为所述电子设备的环境光传感器采集所述第一值时的结束时刻,所述电子设备上一次刷新图像的时刻满足第一预设条件包括:
47.所述电子设备上一次刷新图像的时刻与当前时刻的第一差值小于所述第二时间与当前时刻的第二差值;
48.所述电子设备上一次刷新图像的时刻不满足第一预设条件包括:
49.所述电子设备上一次刷新图像的时刻与当前时刻的第一差值大于或等于第二时间与当前时刻的第二差值。
50.在第一方面的一种可能的实现方式中,所述电子设备上一次刷新图像的时刻满足第一预设条件包括:
51.所述电子设备上一次刷新图像的时刻和所述hwc模块上一次获得目标图像的时刻小于第一阈值;所述目标图像为显示在所述显示屏中位于所述电子设备的环境光传感器上方区域的图像;
52.所述电子设备上一次刷新图像的时刻不满足第一预设条件包括:
53.所述电子设备上一次刷新图像的时刻和所述hwc模块上一次获得目标图像的时刻大于或等于所述第一阈值。
54.在第一方面的一种可能的实现方式中,所述方法还包括:
55.在所述hwc模块设置回写标记为第一标记之后;所述hwc模块监测所述电子设备的
内核节点中的数据是否发生变化,所述内核节点存储亮度值;
56.响应于监听到所述电子设备的内核节点中的数据发生变化,所述hwc模块从所述内核节点获取第一亮度值;
57.在所述hwc模块从所述内核节点获取第一亮度值后,响应于监听到所述电子设备的内核节点中的数据发生变化,所述hwc模块从所述内核节点获取第二亮度值;
58.响应于到达第一时刻,所述hwc模块将所述第二亮度值发送到所述噪声算法库。
59.在第一方面的一种可能的实现方式中,所述方法还包括:
60.在所述hwc模块设置回写标记为第二标记之后,所述hwc模块监测所述电子设备的内核节点中的数据是否发生变化,所述内核节点存储亮度值;
61.响应于监听到所述电子设备的内核节点中的数据发生变化,所述hwc模块从所述内核节点获取第三亮度值;
62.所述hwc模块将所述第三亮度值发送到所述噪声算法库;
63.在所述hwc模块将所述第三亮度值发送到所述噪声算法库之后,响应于监听到所述电子设备的内核节点中的数据发生变化,所述hwc模块从所述内核节点获取第四亮度值;
64.所述hwc模块将所述第四亮度值发送到所述噪声算法库。
65.在第一方面的一种可能的实现方式中,所述噪声算法库基于所述第二目标图像计算获得第一图像噪声包括:
66.所述噪声算法库基于所述第二目标图像和所述第二亮度值计算获得第一图像噪声。
67.在第一方面的一种可能的实现方式中,所述hwc模块接收第一图像包括:
68.所述hwc模块接收所述电子设备的surface flinger模块发送的第五显示参数;
69.所述hwc模块基于所述第五显示参数得到所述第一图像。
70.在第一方面的一种可能的实现方式中,所述第一区域为所述电子设备的显示屏上位于所述电子设备的环境光传感器上方的区域。
71.在第一方面的一种可能的实现方式中,所述hwc模块获取所述电子设备上一次刷新图像的时刻之前,包括:
72.所述hwc模块接接收到所述电子设备的surface flinger模块发送的第六显示参数;
73.所述hwc模块存储所述hwc模块接收到所述第六显示参数的时刻;
74.所述hwc模块获取所述电子设备上一次刷新图像的时刻,包括:
75.所述hwc模块获取存储的所述接收到第六显示参数的时刻,所述接收到第六显示参数的时刻为所述hwc模块在获取所述电子设备上一次刷新图像的时刻之前最新存储的接收显示参数的时刻。
76.在第一方面的一种可能的实现方式中,所述第一显示参数包括:合成所述第三图像的界面在所述电子设备的显示屏上的位置、大小、颜色、存储地址。
77.第二方面,本技术实施例提供一种噪声的监测方法,应用于电子设备,所述电子设备包括:第一处理器,所述方法包括:
78.所述第一处理器接收第一信息;
79.在所述第一处理器接收到所述第一信息后,响应于接收第一图像,所述第一处理
器停止从所述第一图像上获取第一目标图像,所述第一目标图像为第一区域内的图像;
80.到达第一时刻之后,所述第一处理器获取第三图像;
81.所述第一处理器从所述第三图像获取第二目标图像,所述第二目标图像为所述第一区域内的图像。
82.本技术实施例中,电子设备的环境光传感器以采集周期采集环境光,在环境光传感器每次采集环境光之前,启动内存回写功能,以获得刷新的图像的目标图像,从而获得采集环境光期间的图像噪声;在环境光传感器每次采集环境光结束之后,停止内存回写功能,以避免电子设备计算采集环境光期间以外的图像噪声;通过循环控制内存回写功能启动和停止的方式降低功耗。由于干扰环境光的噪声可能与采集环境光的开始时刻显示屏显示的图像相关,因此,可以在内存回写功能启动后,强制刷新图像,即第三图像以获取到显示屏当前显示的图像,从而得到干扰环境光的噪声。
83.在第二方面的一种可能的实现方式中,所述方法还包括:
84.响应于接收第一信息,所述第一处理器通过所述电子设备的hwc模块设置回写标记为第一标记;
85.所述响应于接收第一图像,所述第一处理器停止从所述第一图像上获取第一目标图像包括:
86.响应于接收第一图像,所述第一处理器通过所述hwc模块查询所述回写标记为第一标记;
87.所述第一处理器通过所述hwc模块基于所述第一标记向所述电子设备的显示子系统发送所述第一图像;
88.所述第一处理器通过所述显示子系统停止向所述电子设备的回写内存存储所述第一图像上包含第一目标图像的第二图像,所述第一目标图像为第一区域内的图像;
89.所述方法还包括:
90.响应于到达第一时刻,所述第一处理器通过所述hwc模块设置所述回写标记为第二标记;
91.所述第一处理器获取第三图像,所述第一处理器从所述第三图像获取第二目标图像,所述第二目标图像为所述第一区域内的图像,包括:
92.所述第一处理器通过所述hwc模块获取第三图像;
93.所述第一处理器通过所述hwc模块查询所述回写标记为所述第二标记;
94.所述第一处理器通过所述hwc模块基于所述第二标记向所述显示子系统发送所述第三图像和第二信息,所述第二信息用于指示所述显示子系统将所述第三图像上包含第二目标图像的第四图像存储在所述电子设备的回写内存中;
95.响应于接收所述第三图像和所述第二信息,所述第一处理器通过所述显示子系统向所述电子设备的回写内存存储所述第三图像上包含第二目标图像的第四图像,所述第二目标图像为所述第一区域内的图像;
96.所述第一处理器通过所述hwc模块从所述回写内存获取所述第二目标图像;
97.所述方法还包括:
98.所述第一处理器通过所述hwc模块向噪声算法库发送所述第二目标图像;
99.所述第一处理器通过所述噪声算法库基于所述第二目标图像计算获得第一图像
噪声。
100.在第二方面的一种可能的实现方式中,所述第一信息包括第一时长,所述第一时长为所述显示子系统停止向所述回写内存存储图像的时长;所述第一时刻为:所述回写标记被设置为所述第一标记的时刻后经过第一时长的时刻;
101.或者,所述第一信息包括第一时长、第一值和第二时间,所述第一时长为所述显示子系统停止向所述回写内存存储图像的时长,所述第二时间为所述电子设备的环境光传感器采集所述第一值时的结束时刻;所述第一时刻为所述回写标记被设置为所述第一标记的时刻后经过第二时长的时刻,所述第二时长为所述第一时长减去延时的时长,所述延时的时长为所述hwc模块接收到所述第一信息的时刻减去所述第二时间的时长。
102.在第二方面的一种可能的实现方式中,所述第一处理器通过所述hwc模块获取第一图像包括:
103.所述第一处理器通过所述hwc模块向所述电子设备的surface flinger发送第一信号;
104.响应于接收所述第一信号,所述surface flinger获取缓存的第一显示参数,并向所述hwc模块发送所述第一显示参数,所述第一显示参数为所述surface flinger缓存的显示参数中最晚缓存的显示参数;
105.所述hwc模块基于所述第一显示参数得到所述第三图像。
106.在第二方面的一种可能的实现方式中,所述第一处理器通过所述hwc模块设置所述回写标记为第二标记之后,所述第一处理器通过所述hwc模块获取第三图像之前,还包括:
107.所述第一处理器通过所述hwc模块获取所述电子设备上一次刷新图像的时刻;
108.若所述电子设备上一次刷新图像的时刻满足第一预设条件,则所述第一处理器通过所述hwc模块获取所述第三图像。
109.在第二方面的一种可能的实现方式中,所述第一处理器通过所述hwc模块获取所述电子设备上一次刷新图像的时刻之后,还包括:
110.若所述电子设备上一次刷新图像的时刻不满足第一预设条件,则所述第一处理器通过所述hwc模块等待所述电子设备的surface flinger模块发送第二显示参数。
111.在第二方面的一种可能的实现方式中,若所述电子设备上一次刷新图像的时刻满足第一预设条件,则所述第一处理器通过所述hwc模块获取所述第一图像,包括:
112.若所述电子设备上一次刷新图像的时刻满足第一预设条件,所述第一处理器通过所述hwc模块等待第二时长;
113.若所述第二时长内所述hwc模块未接收到surface flinger发送第三显示参数,则所述第一处理器通过所述hwc模块获取所述第一图像。
114.在第二方面的一种可能的实现方式中,所述方法还包括:
115.若所述第二时长内所述hwc模块接收到surface flinger发送的第四显示参数,则所述第一处理器通过所述hwc模块基于所述第四显示参数获取第五图像;
116.所述第一处理器通过所述hwc模块查询所述回写标记为所述第二标记;
117.所述第一处理器通过所述hwc模块基于所述第二标记向所述显示子系统发送所述第五图像和第三信息;
118.响应于接收所述第五图像和所述第三信息,所述第一处理器通过所述显示子系统将所述第五图像上包含第三目标图像的第六图像存储在所述电子设备的回写内存中,第三目标图像为所述第一区域内的图像;
119.所述第一处理器通过所述hwc模块从所述回写内存获取所述第三目标图像;
120.所述第一处理器通过所述hwc模块向所述电子设备的噪声算法库发送所述第三目标图像;
121.所述第一处理器通过所述噪声算法库基于所述第三目标图像计算获得第二图像噪声。
122.在第二方面的一种可能的实现方式中,所述第一信息包括第一值和第二时间,所述第二时间为所述电子设备的环境光传感器采集所述第一值时的结束时刻;
123.所述电子设备上一次刷新图像的时刻满足第一预设条件包括:
124.所述电子设备上一次刷新图像的时刻晚于所述第二时间;
125.所述电子设备上一次刷新图像的时刻不满足第一预设条件包括:
126.所述电子设备上一次刷新图像的时刻早于或等于所述第二时间;
127.或者,所述电子设备上一次刷新图像的时刻满足第一预设条件包括:
128.所述电子设备上一次刷新图像的时刻与当前时刻的第一差值小于所述第二时间与当前时刻的第二差值;
129.所述电子设备上一次刷新图像的时刻不满足第一预设条件包括:
130.所述电子设备上一次刷新图像的时刻与当前时刻的第一差值大于或等于第二时间与当前时刻的第二差值;
131.或者,
132.所述电子设备上一次刷新图像的时刻满足第一预设条件包括:
133.所述电子设备上一次刷新图像的时刻和所述hwc模块上一次获得目标图像的时刻小于第一阈值;所述目标图像为显示在所述显示屏中位于所述电子设备的环境光传感器上方区域的图像;
134.所述电子设备上一次刷新图像的时刻不满足第一预设条件包括:
135.所述电子设备上一次刷新图像的时刻和所述hwc模块上一次获得目标图像的时刻大于或等于所述第一阈值。
136.在第二方面的一种可能的实现方式中,所述方法还包括:
137.在所述第一处理器通过所述hwc模块设置回写标记为第一标记之后;所述第一处理器通过所述hwc模块监测所述电子设备的内核节点中的数据是否发生变化,所述内核节点存储亮度值;
138.响应于监听到所述电子设备的内核节点中的数据发生变化,所述第一处理器通过所述hwc模块从所述内核节点获取第一亮度值;
139.在所述第一处理器通过所述hwc模块从所述内核节点获取第一亮度值后,响应于监听到所述电子设备的内核节点中的数据发生变化,所述第一处理器通过所述hwc模块从所述内核节点获取第二亮度值;
140.响应于到达第一时刻,所述第一处理器通过所述hwc模块将所述第二亮度值发送到所述噪声算法库。
141.在第二方面的一种可能的实现方式中,所述方法还包括:
142.在所述第一处理器通过所述hwc模块设置回写标记为第二标记之后,所述第一处理器通过所述hwc模块监测所述电子设备的内核节点中的数据是否发生变化,所述内核节点存储亮度值;
143.响应于监听到所述电子设备的内核节点中的数据发生变化,所述第一处理器通过所述hwc模块从所述内核节点获取第三亮度值;
144.所述第一处理器通过所述hwc模块将所述第三亮度值发送到所述噪声算法库;
145.在所述第一处理器通过所述hwc模块将所述第三亮度值发送到所述噪声算法库之后,响应于监听到所述电子设备的内核节点中的数据发生变化,所述第一处理器通过所述hwc模块从所述内核节点获取第四亮度值;
146.所述第一处理器通过所述hwc模块将所述第四亮度值发送到所述噪声算法库。
147.在第二方面的一种可能的实现方式中,所述第一处理器通过所述噪声算法库基于所述第二目标图像计算获得第一图像噪声包括:
148.所述第一处理器通过所述噪声算法库基于所述第二目标图像和所述第二亮度值计算获得第一图像噪声。
149.在第二方面的一种可能的实现方式中,所述第一处理器通过所述hwc模块接收第一图像包括:
150.所述第一处理器通过所述hwc模块接收所述电子设备的surface flinger模块发送的第五显示参数;
151.所述第一处理器通过所述hwc模块基于所述第五显示参数得到所述第一图像。
152.在第二方面的一种可能的实现方式中,所述第一区域为所述电子设备的显示屏上位于所述电子设备的环境光传感器上方的区域。
153.在第二方面的一种可能的实现方式中,所述第一处理器通过所述hwc模块获取所述电子设备上一次刷新图像的时刻之前,包括:
154.所述第一处理器通过所述hwc模块接接收到所述电子设备的surface flinger模块发送的第六显示参数;
155.所述第一处理器通过所述hwc模块存储所述hwc模块接收到所述第六显示参数的时刻;
156.所述第一处理器通过所述hwc模块获取所述电子设备上一次刷新图像的时刻,包括:
157.所述第一处理器通过所述hwc模块获取存储的所述接收到第六显示参数的时刻,所述接收到第六显示参数的时刻为所述hwc模块在获取所述电子设备上一次刷新图像的时刻之前最新存储的接收显示参数的时刻。
158.在第二方面的一种可能的实现方式中,所述第一显示参数包括:合成所述第三图像的界面在所述电子设备的显示屏上的位置、大小、颜色、存储地址。
159.第三方面,提供一种电子设备,包括处理器,处理器用于运行存储器中存储的计算机程序,实现本技术第一方面任一项的方法或第二方面任一项的方法。
160.第四方面,提供一种芯片系统,包括处理器,处理器与存储器耦合,处理器执行存储器中存储的计算机程序,以实现本技术第二方面任一项的方法。
161.第五方面,提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被一个或多个处理器执行时实现本技术第一方面任一项或第二方面任一项的方法。
162.第六方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在设备上运行时,使得设备执行本技术第一方面任一项的方法或第二方面任一项的方法。
163.可以理解的是,上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
164.图1为本技术实施例提供的一种电子设备的硬件结构示意图;
165.图2为本技术实施例提供的电子设备中环境光传感器和显示屏的一种位置关系图;
166.图3为本技术实施例提供的电子设备中环境光传感器和显示屏的另一种位置关系图;
167.图4为本技术实施例提供的电子设备中环境光传感器和显示屏的另一种位置关系图;
168.图5为本技术实施例提供的显示屏上目标区域的位置关系图;
169.图6为本技术实施例提供的显示屏上环境光传感器和目标区域的一种位置关系图;
170.图7为本技术实施例提供的环境光的检测方法依赖的一种技术架构图;
171.图8为本技术实施例提供的环境光传感器采集环境光的采集周期示意图;
172.图9为图8所示实施例中一个采集周期内进行图像刷新和背光调节的各时间节点示意图;
173.图10为基于图7所示技术架构实现的环境光的检测方法的一种时序流程图;
174.图11为图10所示实施例中本技术实施例提供的ap处理器中的各个模块之间的时序流程图;
175.图12为本技术实施例提供的环境光的检测方法依赖的另一种技术架构图;
176.图13为基于图12所示技术架构实现的环境光的检测方法的另一种时序流程图;
177.图14为基于图9所示实施例提供的各时间节点的图像噪声和背光噪声计算积分噪声的示意图;
178.图15为本技术实施例提供的一个采集周期内的时间轴向上进行图像刷新和背光调节的各时间节点示意图;
179.图16为基于图15所示实施例提供的各时间节点的图像噪声和背光噪声计算积分噪声的示意图;
180.图17为本技术实施例提供的一种cwb回写功能的启停方案示意图;
181.图18为本技术实施例提供的scp处理器向ap处理器传输第一信息的流程示意图;
182.图19为本技术实施例提供的强制刷新图像的cwb回写功能的启停方案示意图;
183.图20为采用图19所示实施提供的一种cwb回写功能的启停方案各时刻的事件示意图;
184.图21为采用图19和图20所示实施例提供的cwb回写功能的启停方案获得积分噪声的示意图;
185.图22为本技术实施例提供的显示屏的刷新状态和空闲状态的示意图;
186.图23为本技术实施例提供的显示屏长时间处于空闲状态下强制刷新图像的cwb回写功能的启停方案;
187.图24为本技术实施例提供的采用图23所示的强制刷新图像的cwb回写功能的启停方案;
188.图25为本技术实施例提供的采用图17所示的cwb回写功能的启停方案;
189.图26为本技术实施例提供的另一种cwb回写功能的启停方案的示意图流程图;
190.图27为图26所示实施例中判断是否强制刷新图像的判断方式示意图;
191.图28为本技术实施例提供的一种采用图26所示的启停方案获得积分噪声的示意图;
192.图29为本技术实施例提供的另一种采用图26所示的启停方案获得积分噪声的示意图;
193.图30为本技术实施例提供的另一种采用图26所示的启停方案获得积分噪声的示意图。
具体实施方式
194.以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本技术实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本技术。
195.应当理解,当在本技术说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
196.还应当理解,在本技术实施例中,“一个或多个”是指一个、两个或两个以上;“和/或”,描述关联对象的关联关系,表示可以存在三种关系;例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
197.另外,在本技术说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
198.在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
199.本技术实施例提供的一种噪声的监测方法可以适用于设有oled屏的电子设备中。电子设备可以为平板电脑、可穿戴设备、笔记本电脑、超级移动个人计算机(ultra

mobile personal computer,umpc)、上网本、个人数字助理(personal digital assistant,pda)等
电子设备。本技术实施例对电子设备的具体类型不作限定。
200.图1示出了一种电子设备的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,sim)卡接口195等。其中传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,触摸传感器180k,环境光传感器180l等。
201.可以理解的是,本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
202.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural

network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。例如,处理器110用于执行本技术实施例中的噪声的监测方法。
203.其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
204.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
205.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter

integrated circuit,i2c)接口,集成电路内置音频(inter

integrated circuit sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general

purpose input/output,gpio)接口,用户标识模块(subscriber identity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口等。
206.usb接口130是符合usb标准规范的接口,具体可以是mini usb接口,micro usb接口,usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。
207.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
208.内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序。存储数据区可存储电子设备100使用过程中所创建的数据。
209.此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。
210.充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
211.电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。
212.在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
213.电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
214.天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
215.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
216.在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
217.调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a,受话器170b等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
218.无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi

fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
219.在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,gsm),通用分组无线服务(general packet radio service,gprs),码分多址接入(code division multiple access,cdma),宽带码分多址(wideband code division multiple access,wcdma),时分码分多址(time

division code division multiple access,td

scdma),长期演进(long term evolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。gnss可以包括全球卫星定位系统(global positioning system,gps),全球导航卫星系统(global navigation satellite system,glonass),北斗卫星导航系统(beidou navigation satellite system,bds),准天顶卫星系统(quasi

zenith satellite system,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
220.电子设备100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。
221.音频模块170用于将数字音频信号转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
222.扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐,或收听免提通话。
223.受话器170b,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。
224.麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中,电子设备100可以设置两个麦克风170c,除了监听语音信息,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。例如,麦克风170c可以用于采集本技术实施例涉及到的语音信息。
225.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,
ctia)标准接口。
226.压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180a检测触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。
227.在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
228.陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180b检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180b还可以用于导航,体感游戏场景。
229.磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
230.加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
231.距离传感器180f,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180f测距以实现快速对焦。
232.接近光传感器180g可以包括例如发光二极管(led)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式,口袋模式自动解锁与锁屏。
233.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
234.触摸传感器180k,也称“触控面板”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触
摸传感器180k也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
235.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合,检测电子设备100是否在口袋里,以防误触。
236.按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
237.马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
238.指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
239.电子设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
240.显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用有机发光二极管(organic light

emitting diode,oled)。在一些实施例中,电子设备100可以包括1个或n个显示屏194,n为大于1的正整数。
241.电子设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
242.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal

oxide

semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,电子设备100可以包括1个或n个摄像头193,n为大于1的正整数。
243.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
244.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nano sim卡,micro sim卡,sim卡等。同一个sim卡接口195可以同时插入多张卡。多张卡的类型可以相同,也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用esim,即:嵌入式sim卡。esim卡可以嵌在电子设备100中,不能和电子设备100分离。
245.本技术实施例并未特别限定一种噪声的监测的执行主体的具体结构,只要可以通
过运行记录有本技术实施例的一种噪声的监测方法的程序,以根据本技术实施例提供的一种噪声的监测方法进行处理即可。例如,本技术实施例提供的一种噪声的监测方法的执行主体可以是电子设备中能够调用程序并执行程序的功能模块,或者为应用于电子设备中的通信装置,例如,芯片。
246.图2为本技术实施例提供的电子设备中显示屏和环境光传感器的正面位置关系图。
247.如图2所示,环境光传感器在电子设备的显示屏上的投影位于电子设备的显示屏的上半部分。当用户手持电子设备时,位于电子设备上半部分的环境光传感器能够检测电子设备正面(显示屏在电子设备中的朝向)环境的光强和色温,该光强和色温用于调节电子设备的显示屏的亮度和色温,这样就可以达到较好的视觉效果。例如,在暗环境中显示屏不会太亮导致刺眼,在亮环境中显示屏不会太暗导致看不清。
248.如图3所示,为电子设备中显示屏和环境光传感器的侧面位置关系图。电子设备的显示屏自上而下包括:玻璃盖板(透光)、显示模组和保护贴膜,其中,此处的上和下均用于表示电子设备的显示屏向上放置时的方位关系。由于环境光传感器需要采集电子设备的显示屏的上方的环境光,因此,可以将显示屏中的显示模组挖去一部分,该部分放置环境光传感器,相当于环境光传感器置于显示屏中的玻璃盖板的下方,和显示模组位于同一层。需要说明,环境光传感器的探测方向和显示屏在电子设备中的朝向(图3中显示屏在电子设备中的朝向为上方)一致。显然,这种环境光传感器的设置方式牺牲了一部分显示区域。在追求高屏占比时,这种环境光传感器的设置方式将不再适用。
249.如图4所示,为本技术实施例提供的另一种环境光传感器的设置方式。将环境光传感器从玻璃盖板的下方转移到显示模组的下方。例如,环境光传感器位于oled屏显示模组中的操作(active area,aa)区的下方,而aa区为显示模组中可显示图像内容的区域。这种环境光传感器的设置方式不会牺牲显示区域。然而,oled屏是自发光的显示屏,oled屏显示图像时,用户从显示屏上方可以看到图像,同样,位于oled屏下方的环境光传感器也能采集到的oled屏显示的图像对应的光。因此,环境光传感器采集到的环境光包括显示屏发出的光和外界真实的环境光。若要精确的获得外界真实的环境光,除了要获得环境光传感器采集的环境光,还需要获得显示屏发出的光。
250.通过图4可以理解,由于环境光传感器位于aa区的下方,因此,环境光传感器的设置不会牺牲显示模组中的aa区。所以,环境光传感器在显示屏上的投影可以位于显示屏的正面任意区域,而并非局限于以下设置:环境光传感器在显示屏上的投影位于显示屏的正面顶部的位置。
251.无论环境光传感器位于aa区下方的哪个区域,环境光传感器在显示屏上的投影面积相比于显示屏本身的面积要小的多。因此,并不是整个显示屏发出的光均会对环境光传感器采集的环境光造成干扰。而是显示屏中环境光传感器上方的显示区域发出的光以及环境光传感器周围一定范围的上方的显示区域发出的光才会对环境光传感器采集的环境光造成干扰。
252.作为示例,环境光传感器的感光区存在感光角度,环境光传感器可以接收到在感光角度内的光线,接收不到在感光角度外的光线。图5中位于环境光传感器上方的a点发出的光(位于感光角度内)和位于环境光传感器周围一定范围的上方的b点发出的光(位于感
光角度内)均会对环境光传感器采集的环境光造成干扰。而图5中距离环境光传感器较远的c点发出的光(位于感光角度外)则不会对环境光传感器采集的环境光造成干扰。为了便于描述,可以将显示屏中对环境光传感器采集的环境光造成干扰的显示区域记为目标区域(该目标区域可以记为第一区域)。目标区域在显示屏中的位置由环境光传感器在aa区下方的具体位置确定。作为示例,目标区域可以是以环境光传感器的中心点为中心,边长为一定长度(例如,80微米、90微米、100微米)的正方形区域。当然,该目标区域还可以是通过测量获得的对环境光传感器采集的光造成干扰的其他形状的区域。
253.作为另一示例,图6为本技术实施例提供的电子设备的oled屏的正面示意图,如图6所示,电子设备包括外壳,电子设备的oled屏显示界面,该显示界面在显示屏中对应的区域为aa区,环境光传感器位于aa区的后方。目标区域的中心点和环境光传感器的中心点重合。
254.需要说明,环境光传感器作为一个器件,厂商不同,外观的形状可能也不同。本技术实施例中的环境光传感器的中心点为环境光传感器采集环境光的感光区的中心点。另外,图6所示的目标区域大于环境光传感器在所述oled屏上的投影区域。实际应用中。目标区域也可能小于或等于环境光传感器在所述oled屏上的投影区域。然而,目标区域通常大于环境光传感器的感光区。如前所述,外界真实的环境光等于环境光传感器采集的环境光减去显示屏发出的光。而显示屏发出的光已经确定为目标区域发出的光。目标区域的发出的光是目标区域的显示内容产生的光。而显示内容对环境光传感器采集的环境光的干扰来自两部分:显示图像的rgb像素信息和显示图像的亮度。通过上述分析可以理解,对环境光传感器采集的环境光的干扰分别为:目标区域显示的图像的rgb像素信息和目标区域的亮度信息。作为示例,若像素点的像素值为(r,g,b),亮度为l,则该像素点的归一化亮度为:l
×
(r/255)
2.2
,l
×
(g/255)
2.2
,l
×
(b/255)
2.2

255.为了便于描述,可以将目标区域对应的图像记为目标图像,可以将目标图像的rgb像素信息和亮度信息一起对环境光传感器采集的环境光的干扰记为融合噪声。环境光传感器采集的环境光可以记为初始环境光,外界真实的环境光可以记为目标环境光。
256.通过上述描述可以得到:目标环境光等于初始环境光减去采集初始环境光的时间段中的每个时刻的融合噪声。本技术实施例将根据rgb像素信息和亮度信息一起计算融合噪声的过程记为噪声融合过程。
257.显示屏在显示状态时,目标区域显示的图像的rgb像素信息可能会变化,显示的图像的亮度信息也可能会变化。无论目标区域显示的图像的rgb像素信息发生变化,还是显示的图像的亮度信息发生变化,可能都会导致融合噪声发生变化。因此,均需要根据变化后的信息(rgb像素信息或亮度信息)计算此后的融合噪声。若目标区域的图像长时间不变,则只需要在显示屏亮度发生变化时,计算融合噪声。因此,为了降低计算融合噪声的频率,目标区域可以是显示屏显示的图像变化频率较低的区域。例如,电子设备正面顶部的状态栏区域。环境光传感器在显示屏上的投影位于显示屏的状态栏区域中偏右的位置。当然,也可以在状态栏区域中偏左的位置,或者在状态栏区域中中间的位置,本技术实施例对环境光传感器的具体位置不作限制。
258.下面将通过图7描述本技术实施例提供的通过初始环境光、显示屏显示的内容获得目标环境光的方法对应的技术架构。
259.如图7所示,电子设备中的处理器为多核处理器,该多核处理器至少包括:ap(application processor)处理器和scp(sensor coprocessor)处理器。其中,ap处理器为电子设备中的应用处理器,操作系统、用户界面和应用程序都在ap处理器上运行。scp处理器为协处理器,可以协助ap处理器进行与图像、传感器(例如,环境光传感器)等相关的事项。
260.图7中仅示出了ap处理器和scp处理器。实际应用中,多核处理器还可以包括其他处理器。例如,电子设备为手机时,多核处理器还可以包括运行手机射频通讯控制软件、负责发送和接收数据的基带(baseband,bp)处理器。
261.图7中的ap处理器仅示出了与本技术实施例相关的内容,本技术实施例的实施需要依赖ap处理器中的:应用层(application)、java框架层(framework java)、原生框架层(framework native)、硬件抽象层(hardware abstraction layer,hal)、内核层(kernel)和硬件层(hardware)。
262.图7中的scp处理器可以理解为一种传感器控制中心(sensor hub),可以对传感器进行控制,还可以将传感器的相关数据进行处理。本技术实施例的实施需要依赖scp处理器中的:协应用层(hub apk)、协框架层(hub fwk)、协驱动层(hub drv)、协硬件层(hub hardware)。
263.ap处理器的应用层存在各种应用,图7中示出了应用a和应用b。以应用a为例,用户在启动应用a之后,显示屏将显示应用a的界面。具体的,应用a将应用a待显示的界面的显示参数(例如,待显示的界面的内存地址、颜色等)发送给显示引擎服务。
264.ap处理器中的显示引擎服务将接收到的待显示的界面的显示参数发送给ap处理器原生框架层(framework native)的surfaceflinger。
265.ap处理器的原生框架层(framework native)中的surfaceflinger负责控制界面(surface)的融合。作为示例,计算重叠的至少两个界面的重叠区域。这里的界面可能是状态栏、系统栏、应用本身(应用a待显示的界面)、壁纸、背景等呈现的界面。因此,surfaceflinger不仅可以获取到应用a待显示的界面的显示参数,还可以得到其他界面的显示参数。
266.ap处理器的硬件抽象层存在hwc(hardware composer hal),hwc为系统中进行界面合成和显示的模块,为surfaceflinger服务提供硬件支持。步骤a1为surfaceflinger通过接口(例如,setlayerbuffer、setlayercolor、)将各个界面的显示参数(例如,内存地址、颜色等)发送给hwc进行界面融合。实际应用中,显示参数可以包括:合成图像的界面在所述电子设备的显示屏上的位置、大小、颜色、存储地址等。
267.通常,图像的合成(例如,电子设备显示图像时,需要将状态栏、系统栏、应用本身和壁纸背景合成)中,hwc通过hwc底层的硬件(例如,硬件合成器)根据各个界面的显示参数获得合成后图像。ap处理器的硬件抽象层中的hwc将底层的硬件合成后的图像发送至oled驱动,参见步骤a2。
268.实际应用中,hwc模块可以采用任何方式基于surfaceflinger发送的显示参数得到合成后的图像。
269.ap处理器的内核层的oled驱动将合成后的图像给到ap处理器的硬件层的显示子系统(display subsystem,dss),参见步骤a3。ap处理器的硬件层中的显示子系统(dss)可
以对合成后的图像进行二次处理(例如,用于增强画质的hdr10处理等),二次处理后就可以将二次处理后的图像送显。实际应用中,也可以不进行二次处理。以不进行二次处理为例,ap处理器硬件层的显示子系统将合成后的图像送到oled屏进行显示。
270.若以应用a的启动为例,oled屏显示的合成后的图像为应用a待显示的界面和状态栏对应的界面合成后的界面。
271.按照上述方式oled屏可以完成一次图像刷新和显示。
272.本技术实施例可以控制显示子系统(dss)在将二次处理后的图像(或合成后的图像)送显示之前,将整帧图像(也可以是整帧图像中大于目标区域的图像,还可以是整帧图像中目标区域对应的图像)存储在ap处理器的内核层的内存中,由于该过程属于并发的回写图像帧数据,因此可以将该内存记为回写(concurrent write back,cwb)内存,参见步骤a4。
273.本技术实施例以显示子系统将整帧图像存储在ap处理器的cwb内存为例,显示子系统成功将整帧图像存储在cwb内存中之后,显示子系统可以发送存储成功的信号至hwc。显示子系统存储在cwb内存中的图像对应的整帧图像可以记为待刷新的图像(待刷新的图像也可以理解为本次刷新后的图像)。
274.ap处理器中还可以设置允许hwc访问cwb内存。hwc可以在接收到显示子系统发送的存储成功的信号后,从cwb内存获得目标图像,参见步骤a5。
275.需要说明,无论cwb内存中存储是整帧图像,还是整帧图像中的部分区域的图像,hwc均可以从cwb内存中获得目标图像。可以将hwc从cwb内存获得目标图像的过程记为hwc从cwb内存抠图。
276.目标图像的范围可以理解为目标图像的长和宽限定的范围大小,待刷新的图像的范围为整帧图像的范围,也可以采用长和宽限定范围大小。
277.作为示例,待刷新的图像的尺寸为x1(个像素点)
×
y1(个像素点),目标图像的尺寸的为x2(个像素点)
×
y2(个像素点),存储在cwb内存的图像的尺寸的为x3(个像素点)
×
y3(个像素点)。x3满足x1≥x3≥x2,且,y3满足y1≥y3≥y2。
278.当然,x3=x1且y3=y1时,存储在cwb内存的图像为整帧图像。x3=x2且y3=y2时,存储在cwb内存的图像为目标图像。
279.继续以应用a为例,应用a由于切换界面导致有亮度调节需求时,应用a将待调节的亮度发送给显示引擎服务。
280.ap处理器中的显示引擎服务将待调节的亮度发送到ap处理器内核层中的内核节点中,以备相关硬件根据内核节点中存储的待调节的亮度调节oled屏的亮度。
281.按照上述方式,oled屏可以完成一次亮度调节。
282.本技术实施例还可以设置hwc能够从内核节点获取待调节的亮度,待调节的亮度也可以记为本次调节后的亮度,具体参见步骤a5’。
283.在具体实现时,hwc可以基于uevent机制监听内核节点存储的数据是否发生变化,在监听到内核节点中的数据变化后,从内核节点获取当前存储的数据,即待调节的亮度值(该待调节的亮度值用于调节显示屏的亮度,因此,也可以记为显示屏的亮度值)。hwc获得目标图像或待调节的亮度信息后,可以将目标图像或待调节的亮度信息发送到ap处理器的硬件抽象层的噪声算法库。参见步骤a6。噪声算法库可以在每次获得目标图像后,计算获得
该目标图像刷新时刻的融合噪声。在每次获得亮度后,计算获得该亮度调节时刻的融合噪声。噪声算法库将计算获得的融合噪声存储在噪声算法库的噪声存储器中。
284.在实际应用中,hwc获取目标图像后,hwc可以存储该目标图像,hwc可以将该目标图像的存储地址发送至噪声算法库,该噪声算法库可以以记录地址的方式缓存最新时刻的一帧目标图像。hwc在获取待调节的亮度后,hwc可以将待调节的亮度发送至噪声算法库,该噪声算法库可以缓存最新时刻的一个亮度。为了便于描述,本技术后续实施例均以hwc向噪声算法库发送目标图像进行描述,在实际应用中,可以表示hwc获得目标图像后存储,将目标图像的存储地址发送至噪声算法库。
285.作为示例,噪声算法库接收到的第一帧目标图像的存储地址后,缓存第一帧目标图像的存储地址。后续每接收到一个新的目标图像的存储地址,该新的目标图像的存储地址作为缓存的最新的目标图像的存储地址。相应的,噪声算法库在接收到的第一个亮度后,缓存第一个亮度,后续每接收到一个新的亮度,新的亮度作为缓存的最新的亮度。本技术实施例中噪声算法库缓存获取到的目标图像和亮度值至数据存储库中。数据存储库中存储的目标图像和亮度值均可以记为屏幕数据,即数据存储库中存储的屏幕数据包括:目标图像和亮度值。
286.另外,为了描述目标图像、待调节的亮度等参数之间的传递关系,本技术实施例以hwc向噪声算法库发送目标图像、待调节的亮度等参数为例进行描述。实际应用中,hwc和噪声算法库之间的关系为hwc调用噪声算法库。在hwc调用噪声算法库时,hwc将目标图像(目标图像的存储地址)、待调节的亮度等参数作为噪声算法库中的计算模型的自变量输入给噪声算法库。其他参数将不再一一举例。
287.由于亮度调节和图像刷新是两个完全独立的过程,可能在某个时刻图像进行了刷新,而亮度保持不变,则计算此时刻的融合噪声时采用刷新后的图像对应的目标图像和当前的亮度(噪声算法库存储的亮度值中在该目标图像的时间戳表示的时刻之前最新存储的亮度值)。为了便于描述,可以将由于图像刷新计算的图像刷新时刻的融合噪声记为图像刷新时刻的图像噪声。同理,若在某个时刻图像未进行刷新,而亮度进行了调节,则计算此时刻的融合噪声时采用调节后的亮度和当前的目标图像(噪声算法库存储的目标图像中在该亮度值的时间戳表示的时刻之前最新存储的目标图像)。为了便于描述,可以将由于亮度调节计算的亮度调节时刻的融合噪声记为亮度调节时刻的背光噪声。
288.hwc发送给噪声算法库的目标图像和亮度均带有时间戳,相应的,噪声算法库计算获得的图像噪声和背光噪声也均带有时间戳。所述图像噪声的时间戳和所述目标图像的时间戳相同,所述背光噪声和所述待调节的亮度的时间戳相同。图像噪声的时间戳严格意义上应该是图像刷新时刻。实际应用中,也可以采用与图像刷新时刻接近的其他时间节点作为图像刷新时刻,例如采用hwc执行从cwb内存中抠图获得目标图像的开始时刻(或结束时刻,或者开始时刻至结束时刻中间的任一时刻)作为图像刷新时刻。背光噪声的时间戳严格意义上应该是背光调节时刻。实际应用中,也可以采用与背光调节时刻接近的其他时间节点作为背光调节时刻,例如,hwc执行从内核节点获取待调节的亮度的开始时刻(或者结束时刻,或者开始时刻至结束时刻中间的任一时刻)作为亮度调节时刻。图像噪声的时间戳和背光噪声的时间戳便于后续和环境光传感器采集的初始环境光在时间跨度上进行去噪获得目标环境光。所述噪声算法库会将图像噪声和背光噪声存储在噪声存储器中,噪声算法
库存储图像噪声时也会存储图像噪声的时间戳,噪声算法库存储背光噪声时也会存储背光噪声的时间戳。
289.在scp处理器的协硬件层中的环境光传感器(als)在启动(通常,电子设备开机后,环境光传感器随之启动)后以一定的采集周期采集初始环境光。scp处理器的环境光传感器将初始环境光信息传输至scp处理器的协驱动层(hub drv)层的环境光传感器驱动(als drv)中,参见步骤e2。
290.scp处理器向ap处理器传输的初始环境光信息包括第一值、第一时间和第二时间、其中,第一值可以理解为初始环境光的raw值,第一时间为环境光传感器采集所述第一值的积分开始时间,第二时间为环境光传感器采集所述第一值的积分结束时间。
291.在scp处理器的协驱动(hub drv)层,环境光传感器驱动(als drv)对初始环境光信息进行预处理,得到rgbc四通道上的raw值。scp处理器的协驱动层将rgbc四通道上的raw值传输至scp处理器的协应用层的环境光传感器应用,参见步骤e3。
292.scp处理器的协应用层的环境光传感器将rgbc四通道上的raw值以及其他相关数据(例如,环境光传感器每次采集初始环境光的开始时间和结束时间)通过第一核间通信(scp处理器的环境光传感器应用和ap处理器的hwc之间的通信)发送至ap处理器的hwc中,参见步骤e4。
293.ap处理器中的hwc获取scp处理器上报的初始环境光的数据之后,ap处理器中的hwc可以将初始环境光的数据发送到噪声算法库。参见步骤a6。
294.如前所述,噪声算法库可以计算获得图像刷新时刻的图像噪声和亮度调节时刻的背光噪声,并将计算获得的图像噪声和背光噪声存储在噪声算法库中的噪声存储器中。实际应用中,噪声算法库不仅可以计算获得图像刷新时刻的图像噪声和亮度调节时刻的背光噪声。还可以在获得初始环境光的采集开始时间和采集结束时间之后,根据噪声存储器中存储的图像噪声和背光噪声获得初始环境光的采集开始时间至采集结束时间之间的积分噪声。噪声算法库从初始环境光中扣除初始环境光的采集开始时间至采集结束时间之间的积分噪声就可以得到目标环境光。
295.通过上述噪声算法库的描述可以理解,噪声计算库包含了多种计算模型,例如,第一算法模型,用于根据目标图像和亮度计算获得融合噪声。第二算法模型,用于根据各个时刻的融合噪声获得初始环境光的采集开始时间至采集结束时间之间的积分噪声。第三算法模型,用于根据初始环境光和积分噪声获得目标环境光。实际应用中,噪声算法库还可以包括其他计算模型,例如,在基于目标图像、亮度、初始环境光获得目标环境光的过程中,若对初始环境光的四通道上的raw值进行滤波,则存在对初始环境光的四通道上的raw值进行滤波的模型,本技术实施例对其他模型不再一一举例。
296.噪声算法库的输入包括:hwc在各个时刻获取的目标图像和亮度,hwc从scp处理器获取的初始环境光的相关数据。噪声算法库的输出为:目标环境光的raw值,该目标环境光的raw值可以记为第二值。本技术实施例将hwc向噪声算法库发送目标图像、亮度和初始环境光的过程均记为步骤a6。
297.噪声计算库获得目标环境光后还需要将目标数据返回至hwc,该过程记为步骤a7。实际应用中,噪声算法库的输出为目标环境光的四通道上的raw值。
298.ap处理器中的hwc将噪声算法库返回的目标环境光的四通道上的raw值通过第一
核间通信发送给scp处理器的协应用层中的环境光传感器应用,参见步骤a8。
299.scp处理器的协驱动层的环境光传感器应用在获得目标环境光四通道上的raw值之后,将目标环境光四通道上的raw值存储在协驱动层的环境光存储器中。参见步骤e5。
300.scp处理器的协驱动层设有计算模块,该计算模型从存储器获得目标环境光四通道上的raw值,参见步骤e6。环境光传感器在每次积分结束时,产生积分中断信号,环境光传感器将积分中断信号发送至环境光传感器驱动,环境光传感器驱动调用计算模块,触发计算模型从存储器获得目标环境光四通道上的raw值。
301.由于环境光传感器驱动在本次积分结束后才会触发计算模块获取目标环境光的raw值,所以,此时获取的为上一个积分周期的目标环境光的raw值。
302.以图8所示实施例为例,在t1时刻积分结束后,环境光传感器获得t0时刻至t1时刻的初始环境光,scp处理器将t0时刻至t1时刻的初始环境光发送至ap处理器,ap处理器经过计算获得t0时刻至t1时刻的目标环境光的raw值。ap处理器将t0时刻至t1时刻的目标环境光的raw值发送至scp处理器。scp处理器会存储t0时刻至t1时刻的目标环境光的raw值至scp处理器的存储器中。
303.在t3时刻积分结束后,环境光传感器获得t2时刻至t3时刻的初始环境光,scp处理器将t2时刻至t3时刻的初始环境光发送至ap处理器。每次环境光传感器积分结束后会产生积分中断信号,环境光传感器将积分中断信号发送至环境光传感器驱动,环境光传感器驱动调用计算模块,触发计算模型从存储器获得当前存储的t0时刻至t1时刻的目标环境光的raw值。由于此时为t3时刻之后,因此,计算模块在t3时刻之后根据获得的t0时刻至t1时刻的目标环境光的raw值计算获得目标环境光的lux值。即scp处理器在t2周期内计算获得的目标环境光的lux值为t1周期内的真实环境光的lux值。
304.如前所述,scp处理器中的环境光传感器会在积分结束(t3时刻)后产生积分中断信号(该积分中断信号给到环境光传感器驱动),并在t3时刻之后将t2周期的初始环境光发送至ap处理器,在ap处理器计算获得目标环境光后才会将目标环境光发送至scp处理器,scp处理器会将t2周期的目标环境光存储在存储器中。若scp处理器采用t2周期的目标环境光的raw值计算获得lux值,则需要从环境光传感器驱动接收到积分中断信号开始,就开始等待,一直等到ap处理器传送目标环境光至scp处理器的存储器中。scp处理器中的环境光传感器驱动才能调用计算模块,从存储器获取t2周期的目标环境光的raw值。等到的时间至少包括:scp处理器向ap处理器发送初始环境光的过程,ap处理器基于初始环境光以及其他相关数据计算获得目标环境光的过程和ap处理器向scp处理器发送目标环境光至scp处理器中的存储器的过程分别对应的时间决定,而这个时间相对比较长且不固定。因此,可以设置scp处理器中的环境光传感器驱动在接收到第二个采集周器的积分中断信号后,调用计算模块从存储器取出上一个周期的目标环境光的raw值,从而根据上一周期的目标环境光的raw值计算lux值。其中,目标环境光的lux值可以记为第三值,第三值和第二值为同一目标环境光的lux值和raw值。
305.以图8所示采集周期为例,若采集周期t1采集的初始环境光的raw值为第一值。则根据采集周期t1采集的初始环境光的raw值得到的采集周期t1对应的目标环境光的raw值为第二值。根据采集周期t1对应的目标环境光的raw值得到的采集周期t1对应的目标环境光的lux值为第三值。在采集周期t2采集的初始环境光的raw值可以记为第四值。第四值为
第一值对应的采集周期(也可以是第二值对应的采集周期,还可以是第三值对应的采集周期)之后的一个采集周期采集到的初始环境光。
306.scp处理器的协驱动层中的计算模块根据目标环境光四通道上的raw值获得目标环境光的lux值。scp处理器中的计算模块将计算获得的目标环境光的lux值通过协框架层的接口发送至协应用层的环境光传感器应用,参见步骤e7和e8。
307.scp处理器中协应用层的环境光传感器应用通过第二核间通信(scp处理器至ap处理器的光服务的通信)将目标环境光的lux值传输至ap处理器中原生框架层的光服务(lightservice)中,参见步骤e9。
308.光服务(lightservice)可以将目标环境光的lux值发送至显示引擎服务。显示引擎服务可以将目标环境光的lux值向上层发送,以便于应用层中的应用确定是否调节亮度。显示引擎服务还可以将目标环境光的lux值发送至内核节点,以备相关硬件根据内核节点存储的目标环境光的lux值调节显示屏的亮度。
309.在描述获得目标环境光的方法依赖的技术架构后,将从环境光传感器的采集周期的角度描述根据目标图像、亮度和环境光传感器采集的初始环境光得到目标环境光的过程。
310.通过上述示例可以理解,目标图像和待调节的亮度均由hwc获取,因此,hwc获取目标图像和获取待调节的亮度的过程存在先后顺序。hwc获取到目标图像或待调节的亮度后,会将目标图像或待调节的亮度给到噪声算法库,hwc发送目标图像或待调节的亮度至噪声算法库的过程也存在先后顺序。相应的,所述噪声算法库接收到所述目标图像和待调节的亮度的时间也存在先后顺序。然而,即使噪声算法库接收到所述目标图像和待调节的亮度的时间也存在先后顺序,由于hwc获取目标图像和待调节的亮度时可能处于同一时间度量级别内,因此,目标图像和待调节的亮度的时间戳可能相同。作为示例,在同一毫秒(第5毫秒)内,hwc先执行获取待调节的亮度,再执行获取目标图像。虽然,hwc执行时存在先后顺序,然而,目标图像和待调节的亮度的时间戳均为第5毫秒。
311.参见图8,环境光传感器采集环境光是以一定的时间周期t采集的,环境光传感器从t0到t2(采集周期t1)、从t2到t4(采集周期t2)、从t4到t6(采集周期t3)均为一个采集周期。在t1这个采集周期内,环境光传感器真正进行采集的时间为从t0到t1,从t1到t2这个时间段环境光传感器可以处于休眠状态。本技术实施例以环境光的采集周期固(即t1、t2和t3的值相同)定、积分时间段的时长固定为例进行描述。
312.作为示例,可以以350ms(t2‑
t0)作为一个采集周期。在一个采集周期内,环境光传感器真正进行采集的时间为50ms(t1‑
t0),那么在一个采集周期内,环境光传感器将有300ms(t2‑
t1)处于休眠状态。上述示例中的350ms、50ms和300ms仅用于举例,并不用于限定。
313.为了便于描述,可以将环境光传感器真正采集的时间段(例如,t0到t1)记为积分时间段,将环境传感器未启动采集的时间段(例如,t1到t2)记为非积分时间段。
314.电子设备的显示屏显示的图像是以一定频率进行刷新的。以60hz为例,相当于每秒钟电子设备的显示屏刷新60次,或者每间隔16.7ms刷新一次图像。所以在电子设备的显示屏显示图像时,环境光传感器的采集周期内会出现图像刷新。当显示屏显示的图像进行刷新时,ap处理器执行图7所示的技术架构中的步骤a1至步骤a6(发送目标图像)。ap处理器中的hwc从t0时刻开始,控制cwb一直回写,即只要存在图像刷新,就一直重复执行上述步
骤。
315.需要说明,本技术实施例以60hz的刷新率为例。实际应用中,还可以是120hz的刷新率或者是其他的刷新率。本技术实施例以每刷新一帧就需要重复执行上述步骤a1至步骤a6(发送目标图像)为例,实际应用中,还可以每间隔一帧(或者两帧等)重复执行上述步骤a1至步骤a6(发送目标图像)。
316.而亮度调节并未存在固定的周期性,所以,在环境光传感器的采集周期内也可能出现亮度调节。当亮度调节时,hwc同样执行图7所示的技术架构中的步骤a5’至步骤a6(发送待调节的亮度)。
317.环境光传感器每次积分结束后(即在t1之后,t3之后,t5之后
……
),由scp处理器上报本次积分过程采集的初始环境光的数据(例如,初始环境光的四通道上的raw值和本次积分过程的积分开始时刻和积分结束时刻)给ap处理器的hwc,ap处理器的hwc将初始环境光的相关数据发送至噪声算法库,通过噪声算法库计算获得目标环境光。
318.参见图9,以一个采集周期作为示例,在t
01
时刻(和t0时刻为同一时刻)、t
03
时刻、t
04
时刻和t
11
时刻均为图像刷新时刻,在t
02
时刻和t
12
时刻为亮度调节时刻。因此,ap处理器可以实时计算获得t
01
时刻的图像噪声、t
02
时刻的背光噪声、t
03
时刻的图像噪声、t
04
时刻的图像噪声、t
11
时刻的图像噪声和t
12
时刻的背光噪声。在本次积分结束(t1时刻)后,ap处理器的噪声存储器中存储了:t
01
时刻的图像噪声、t
02
时刻的背光噪声、t
03
时刻的图像噪声和t
04
时刻的图像噪声。
319.在本次积分结束(t1时刻)后,环境光传感器获得本次积分的初始环境光以及本次积分时间段。scp处理器将初始环境光的数据上报给ap处理器,ap处理器中的噪声计算模块根据本次积分时间段的开始时间和结束时间从噪声存储器中获得t
01
时刻的图像噪声、t
02
时刻的背光噪声、t
03
时刻的图像噪声、t
04
时刻的图像噪声。噪声计算库根据积分时间段采集的初始环境光和影响本次积分时间段的图像噪声和背光噪声计算获得目标环境光。
320.在非积分时间段内(t1到t2),由于hwc一直控制cwb回写,所以,hwc对t
11
时刻的刷新图像也进行了抠图获得了目标图像,噪声算法库也计算了t
11
时刻的图像噪声。非积分时间段t
12
时刻亮度发生变化,噪声算法库也计算了t
12
时刻的背光噪声。然而,计算获得目标环境光时,需要的融合噪声是对本次积分时间段获得的初始环境光造成干扰的融合噪声,因此,不需要t
11
时刻的图像噪声和t
12
时刻的背光噪声也可以获得本次积分时间段的目标环境光。实际应用中,噪声算法库计算机获得t
11
时刻的图像噪声和t
12
时刻的背光噪声之后,也需要将t
11
时刻的图像噪声和t
12
时刻的背光噪声存储在噪声存储器中。
321.上述示例分别基于图7从技术架构的角度、基于图9从环境光传感器的采集周期的角度描述获取目标环境光的过程。下面将结合图7所示的技术架构和图9所示的环境光传感器的一个采集周期描述图10所示实施例提供的获取目标环境光的时序过程图。
322.通过上述描述可以理解,图像刷新触发ap处理器计算图像噪声过程、亮度调节触发ap处理器计算背光噪声的过程、scp处理器控制底层硬件环境光传感器采集初始环境光的过程是独立进行的,不存在时序上的先后顺序。ap处理器的噪声计算库将上述三个独立进行的过程获得的目标图像、亮度和初始环境光进行处理得到目标环境光。
323.图10所示实施例中的步骤标号和图7所示技术架构中的步骤标号相同的表示进行的是相同的步骤。为了避免重复描述,在图7所示实施例中详细描述的内容在图10所示实施
例中将简略描述。
324.结合图9,从t0时刻开始,图像进行刷新。同时,环境光传感器进入一个积分时间段,开始采集初始环境光。
325.相应的,在图10中,步骤e1、scp处理器的协硬件层中的环境光传感器进入一个积分时间段,从t0(t
01
)时刻开始采集初始环境光。
326.步骤a1,图像t0(t
01
)时刻进行刷新,ap处理器的原生框架层中的surfaceflinger向ap处理器的硬件抽象层中的hwc发送界面的显示参数。hwc可以将接收到的surfaceflinger发送的各层界面的显示参数发送到hwc底层的硬件,由hwc底层的硬件根据各层界面的显示参数获得各层界面合成的图像。hwc底层的硬件将合成的图像返回给hwc。
327.步骤a2,ap处理器的硬件抽象层中的hwc将将合成的图像发送给ap处理器内核层中的oled驱动。步骤a3,ap处理器的内核层中的oled驱动将合成后的图像发送给ap处理器的硬件层的显示子系统。
328.步骤a4,ap处理器的硬件层中的显示子系统将送显前的图像存储在ap处理器内核层中的cwb内存中。
329.在本技术实施例中,hwc在将合成后的图像发送给oled驱动之后,hwc将等待显示子系统发送的存储成功的信号。
330.显示子系统将送显前的图像成功存储在cwb内存后,将向hwc发送存储成功的信号。hwc在接收到显示子系统存储成功的信号后,从内核层中的cwb内存存储的送显前的图像中抠图获得目标图像。
331.步骤a5,ap处理器的硬件抽象层中的hwc从内核层中的cwb内存存储的送显前的图像中抠图获得目标图像。
332.步骤a6,ap处理器的硬件抽象层中的hwc获得目标图像后,将目标图像发送至本层的噪声算法库,噪声算法库接收到目标图像后,根据目标图像和缓存的当前的亮度信息计算t
01
时刻的图像噪声。步骤a1至步骤a6的执行过程中,scp处理器的协硬件层中的环境光传感器一直处于一个采集周期内的积分过程。
333.结合图9,在t
02
时刻,环境光传感器仍然处于该积分时间段,正在采集初始环境光。在t
02
时刻,显示屏的亮度发生变化,触发执行图10中的步骤b1。
334.在图10中,步骤b1(图7所示架构中的步骤a5’),ap处理器的硬件抽象层的hwc从ap处理器的内核层中的内核节点获取t
02
时刻的亮度信息。
335.步骤b2(步骤a6),ap处理器的硬件抽象层的hwc将t
02
时刻的亮度信息发送到噪声算法库,噪声算法库根据t
02
时刻的亮度信息和缓存的当前显示的目标图像计算获得t
02
时刻的背光噪声。
336.步骤b1至步骤b2的执行过程中,scp处理器的协硬件层中的环境光传感器一直处于一个采集周期内的积分过程。
337.在步骤b2之后,噪声算法库的噪声存储器中存储了t
01
时刻的图像噪声和t
02
时刻的背光噪声。
338.结合图9,在t
03
时刻,环境光传感器仍然处于该积分时间段,正在采集初始环境光。在t
03
时刻,图像进行一次刷新。
339.在图10中,由于图像进行了刷新,则继续执行步骤c1至步骤c6,步骤c1至c6可参照
a1至a6中的描述,在此不再赘述。
340.步骤c1至步骤c6的执行过程中,scp处理器的协硬件层中的环境光传感器仍然处于一个采集周期内的积分过程。
341.在步骤c6之后,噪声算法库的噪声存储器中存储了t
01
时刻的图像噪声、t
02
时刻的背光噪声和t
03
时刻的图像噪声。
342.参见图9,在t
04
时刻,环境光传感器仍然处于该积分时间段,正在采集初始环境光。在t
04
时刻,图像进行一次刷新。
343.在图10中,由于图像进行了刷新,则继续执行步骤d1至步骤d6,步骤d1至d6可参照a1至a6中的描述,在此不再赘述。
344.步骤d1至步骤d6的执行过程中,scp处理器的协硬件层中的环境光传感器仍然处于一个采集周期内的积分过程。
345.在步骤d6之后,噪声算法库的噪声存储器中存储了t
01
时刻的图像噪声、t
02
时刻的背光噪声、t
03
时刻的图像噪声和t
04
时刻的图像噪声。
346.结合图9,在t1时刻,环境光传感器本次积分结束,在环境光传感器积分结束(t1时刻)后,环境光传感器获得初始环境光,在图10中,scp处理器开始执行步骤e2、步骤e3、步骤e4,将初始环境光的相关数据(rgbc四通道上的raw值、积分开始时刻、积分结束时刻)发送至ap处理器的硬件抽象层的hwc中。
347.结合图9,在非积分时间段,图像也可能刷新(例如,t
11
时刻图像刷新),亮度也可能发生变化(例如,t
12
时刻亮度发生变化)。因此,在非积分时间段,图10中仍然存在步骤f1至步骤f6(图10中的步骤f1至步骤f5省略,具体可参照步骤a1至步骤a5),使得t
11
时刻的图像噪声存储在噪声算法库的噪声存储器中。在非积分时间段,仍然存在步骤g1至步骤g2(图9中的步骤g1省略,具体可参照步骤b1),使得t
12
时刻的背光噪声存储在噪声算法库的噪声存储器中。
348.步骤a6’,ap处理器的硬件抽象层中的hwc将初始环境光的数据发送至噪声算法库。噪声算法库根据初始环境光的数据和对初始环境光存在干扰的图像噪声和背光噪声计算获得目标环境光。
349.通过图10可以理解,环境光传感器的积分开始时间和积分结束时间由环境光传感器对应的时钟控制;ap处理器计算图像噪声的过程由图像刷新的时钟控制;ap处理器计算背光噪声的过程由背光调节的时间控制。因此,步骤a1(或者,步骤c1、步骤d1、步骤f1)的执行均由图像刷新触发。步骤b1(或者步骤g1)的执行由亮度调节触发。环境光传感器的积分开始时间和积分结束时间完全按照预先设置好的采集周期以及每次积分时长进行。因此,步骤e2的执行均由环境光传感器积分结束这一事件触发。
350.从触发事件的角度,这三个过程是完全独立。然而,这三个过程分别获得的结果(图像噪声、背光噪声和初始环境光)又通过环境光传感器积分时间段结束后的去噪过程关联起来。去噪过程中融合的初始环境光为环境光传感器当前采集周期采集到的初始环境光,去噪过程中去除的图像噪声和背光噪声为能够对当前采集周期采集到的初始环境光造成干扰的图像噪声和背光噪声。
351.本技术实施例通过分析屏下环境光的结构可以获得:对环境光传感器采集的环境光存在干扰的因素包括环境光传感器的感光区的正上方以及环境光传感器的感光区周围
一定区域的正上方的显示区域的显示内容。该显示内容又分为两部分:显示图像的rgb像素信息和亮度信息。因此,本技术实施例中的噪声计算库根据目标图像的rgb像素信息和亮度信息融合获得融合噪声。然后,根据融合噪声获得初始环境光的积分时间段的积分噪声。通过从环境光传感器积分时间段获得的初始环境光中去除对该初始环境光造成干扰的积分噪声,获得目标环境光。由于将干扰部分去除,因此,能够获得精确的目标环境光,且通用性较强。
352.另外,由于电子设备的ap处理器可以获得目标图像和亮度信息,相应的,ap处理器获得图像噪声和背光噪声。scp处理器可以获得初始环境光。因此,scp处理器可以将将初始环境光发送到ap处理器,通过ap处理器对初始环境光和融合噪声进行处理获得目标环境光。避免了ap处理器频繁将目标图像(或图像噪声)和亮度信息(或背光噪声)向scp处理器发送,核间通信太频繁功耗较大的问题。
353.再者,ap处理器中dss可以将送显前的图像(显示屏本次刷新待显示的图像)存储在cwb内存中。ap处理器中的hwc从cwb内存中存储的送显前的图像中抠出目标图像,从而计算获得融合噪声,这种方式获得的融合噪声精确、且功耗较低。
354.还需要说明,由于在显示屏显示图像的情况下,才需要根据目标环境光调节显示屏的亮度。而在显示屏不显示任何图像的情况下,是不需要根据目标环境光调节显示屏的亮度的。因此,ap处理器还需要监测显示屏的亮灭屏事件。在亮屏时,执行本技术实施例提供的环境光的检测方法。在灭屏时,ap处理器可以不执行执行步骤a4至步骤a6。同理,scp处理器可以在灭屏时也可以控制环境光传感器停止采集初始环境光,scp处理器也可以不再执行步骤e2至步骤e5。
355.为了对ap处理器内部的执行具有更清晰的理解,描述ap处理器内部各个模块之间的时序图,该时序图以图10所示实施例中获得t
01
时刻的图像噪声、t
02
时刻的背光噪声为例进行描述。
356.图11所示实施例中,在刷新图像时,ap处理器中的各个模块执行以下步骤:
357.步骤1100,显示引擎服务从应用层中的应用中获得待显示的界面的显示参数后,显示引擎服务将待显示的界面的显示参数发送至surfaceflinger。
358.步骤1101,surfaceflinger从显示引擎服务获得应用a的待显示的界面的显示参数后,通过接口(例如,setlayerbuffer、setlayercolor、)将各个界面(应用a的待显示的界面、状态栏界面等)的显示参数(例如,内存地址、颜色等)发送给hwc。
359.步骤1102,hwc接收到各个界面的显示参数之后,通过hwc底层的硬件根据待显示界面的显示参数获得合成后图像。
360.步骤1103,hwc获得底层的硬件合成后的图像后,将合成后的图像发送至oled驱动。
361.步骤1104,oled驱动接收到hwc发送的合成后的图像后,将合成后的图像发送给显示子系统。
362.步骤1105,显示子系统接收到合成后的图像后,对合成后的图像进行二次处理,获得送显前的图像。
363.步骤1106,显示子系统将送显前的图像存储在cwb内存中。
364.需要说明,由于oled屏需要刷新图像,因此,显示子系统还需要将送显前的图像送
到显示屏进行显示。
365.在本技术实施例中,显示子系统将送显前的图像送到显示屏进行显示的步骤和显示子系统将送显前的图像存储在cwb内存的步骤是两个独立的步骤,并无严格意义上的先后顺序。
366.步骤1107,显示子系统将送显前的图像成功存储在cwb内存中之后,可以向hwc发送存储成功的信号。
367.步骤1108,hwc接收到存储成功的信号后,从cwb内存中存储的送显前的图像中抠图获得目标图像,所述hwc开始执行获得目标图像的时刻作为目标图像的时间戳。
368.步骤1109,hwc获取到目标图像以及时间戳后,将目标图像和时间戳发送给噪声算法库。
369.步骤1110,噪声算法库计算获得目标图像对应的刷新时刻的图像噪声(t
01
时刻的图像噪声)。该图像噪声的时间戳为所述得到所述图像噪声的目标图像的时间戳。噪声算法库存储所述图像噪声以及所述图像噪声的时间戳。
370.在亮度调节时,ap处理器中的各个子模块执行以下步骤:
371.步骤1111,显示引擎服务从应用层中的应用a中获得待调节的亮度后,显示引擎服务将待调节的亮度发送至内核节点。
372.步骤1112,hwc监听到内核节点中的数据发生变化后,从内核节点获取待调节的亮度。hwc执行从内核节点获取待调节的亮度的时刻为待调节的亮度的时间戳。
373.在实际应用中,hwc一直在监听内核节点是否发生了数据变化。
374.步骤1113,hwc向噪声算法库发送调节后的亮度和待调节的亮度的时间戳。
375.步骤1114,噪声算法库计算获得待调节的亮度的调节时刻的背光噪声(t
02
时刻的背光噪声)。该背光噪声的时间戳为所述得到所述背光噪声的待调节的亮度的时间戳。噪声算法库存储所述背光噪声以及所述背光噪声的时间戳。
376.在一个积分时间段结束之后,scp处理器将积分时间段内采集的初始环境光发送给ap处理器中的hwc。
377.步骤1115,ap处理器的hwc接收到scp处理器发送的初始环境光以及所述初始环境光的积分开始时间和积分结束时间。
378.步骤1116,hwc接收到scp处理器发送的初始环境光后以及所述初始环境光的积分开始时间和积分结束时间后,将初始环境光以及所述初始环境光的积分开始时间和积分结束时间发送至噪声算法库。
379.步骤1117,噪声算法库根据图像噪声以及对应的时间戳、背光噪声以及对应的时间戳和初始环境光的积分开始时间和积分结束时间计算积分噪声。噪声算法库根据积分噪声和初始环境光计算获得背光噪声。
380.本技术实施例重点描述了ap处理器内部获得目标环境光时各个模块之间的时序逻辑图。
381.上述实施例均以“ap处理器获取目标图像和亮度信息后,ap处理器计算融合噪声,scp处理器获得初始环境光后,将初始环境光发送至ap处理器,由ap处理器对融合噪声进行处理获得初始环境光的积分时间段的积分噪声,再根据初始环境光和积分噪声获得目标环境光”为例。
382.实际应用中,ap处理器也可以获得目标图像和亮度信息之后,将目标图像和亮度信息发送至scp处理器。scp处理器融合目标图像和亮度信息以获得融合噪声、以及初始环境光的积分时间段的积分噪声,再根据融合噪声和初始环境光得到目标环境光。
383.实际应用中,ap处理器获取目标图像和亮度信息后,ap处理器计算融合噪声,并将计算获得的融合噪声发送至scp处理器。scp处理器根据接收到的融合噪声获得积分时间段的积分噪声,再根据积分时间段的积分噪声和环境光传感器采集的初始环境光获得目标环境光。
384.参见图12,为本技术实施例提供的“在ap处理器计算获得融合噪声;在scp处理器计算积分噪声,并根据积分噪声和目标环境光获得目标环境光”的技术架构。
385.如前所述,获得目标环境光的过程可以简述如下:
386.步骤1,根据目标图像计算图像噪声。
387.步骤2,根据亮度计算背光噪声。
388.步骤3,根据图像噪声和背光噪声和初始环境光计算目标环境光(四通道上的raw值)。
389.图7所示的技术架构中,步骤3,根据图像噪声和背光噪声和初始环境光计算目标环境光,在ap处理器的噪声算法库中实现。ap处理器的噪声算法库能够计算得到图像噪声和背光噪声。初始环境光由scp处理器的环境光传感器的驱动得到。因此,ap处理器噪声算法库需要获取scp处理器上报的初始环境光的相关数据(步骤e3至步骤e4)。ap处理器最终该需要将计算获得的目标环境光的四通道上的值返回给scp处理器得到目标环境光的lux值(步骤a8,步骤e5、步骤e6)。
390.图12所示的技术架构中,步骤3,根据图像噪声和背光噪声和初始环境光计算目标环境光,在scp处理器的去噪模块中实现。图像噪声和背光噪声由ap处理器获得,初始环境光由scp处理器的环境光传感器驱动获得。因此,scp处理器的去噪模块需要获取ap处理器发送的图像噪声和背光噪声(步骤a8、步骤e5、步骤e6),还需要scp处理器的环境光传感器驱动发送的初始环境光(步骤e3)。
391.鉴于上述分析,图7所示技术架构中,ap处理器的噪声算法库中需要实现步骤1至步骤3的计算。图12所示技术架构中,ap处理器的噪声算法库中需要实现步骤1和步骤2,scp处理器的计算模块需要实现步骤3。
392.为了更清楚的理解图12所示技术架构对应的获得目标环境光的过程,参照图13所示时序图。结合图9中各个时刻的事件,从t0时刻开始,图像进行刷新。同时,环境光传感器进入一个积分时间段,开始采集初始环境光。
393.相应的,在图13中,步骤e1、scp处理器的协硬件层中的环境光传感器进入一个积分时间段,从t0(t
01
)时刻开始采集初始环境光。
394.步骤a1至步骤a6,参照图7所示实施例中步骤a1至步骤a6的描述。
395.步骤a7,ap处理器中的硬件抽象层中的噪声算法库将t
01
时刻的图像噪声发送给同一层的hwc。
396.步骤a8,在ap处理器计算获得t
01
时刻的图像噪声之后,将t
01
时刻的图像噪声发送至scp处理器的协应用层的环境光传感器应用。
397.步骤a9(图12所示架构中的步骤e5),scp处理器的协应用层的环境光传感器应用
将t
01
时刻的图像噪声发送至scp处理器协驱动层的噪声存储器中。
398.步骤b1至步骤b2,参照图7所示实施例中步骤b1至步骤b2的描述。
399.步骤b3,ap处理器中的硬件抽象层中的噪声算法库将t
02
时刻的背光噪声发送给同一层的hwc。
400.步骤b4,在ap处理器计算获得t
02
时刻的背光噪声之后,将t
02
时刻的背光噪声发送至scp处理器的协应用层的环境光传感器应用。
401.步骤b5(图11所示架构中的步骤e5),scp处理器的协应用层的环境光传感器应用t
02
时刻的背光噪声发送至scp处理器协驱动层的噪声存储器中。
402.步骤c1至步骤c9,步骤d1至步骤d9,参照步骤a1至步骤a9的描述,不再赘述。
403.在环境光传感器积分结束后,触发scp处理器执行步骤e2,步骤e2参照图7所示实施例的描述。
404.步骤e3至步骤e6,scp处理器协驱动层中的去噪模块从本层的噪声存储器取出融合噪声,从本层的环境光传感器获得初始环境光的四通道上的raw值。根据初始环境光的四通道上的raw值和对初始环境光存在干扰的图像噪声和背光噪声计算获得目标环境光。在非积分时间段,图像也可能刷新(例如,t
11
时刻图像刷新),亮度也可能发生变化(例如,t
12
时刻亮度发生变化)。因此,在非积分时间段,图13中仍然存在步骤f1至步骤f9(图13中的步骤f1至步骤f5省略,具体可参照图13中的步骤a1至步骤a5),使得t
11
时刻的图像噪声存储在scp处理器的噪声存储器中。在非积分时间段,仍然存在步骤g1至步骤g5(图13中的步骤g1省略,具体可参照图13中的步骤b1),使得t
12
时刻的背光噪声存储在噪声算法库的噪声存储器中。
405.下面将介绍图7所示的实施例中的噪声算法库根据目标图像、亮度和初始环境光计算获得目标环境光的过程。
406.步骤一,噪声计算库每获取到一个目标图像,根据目标图像和目标图像的刷新时刻显示屏的亮度计算获得目标图像刷新时刻的图像噪声;噪声计算库每获取到一个亮度,根据亮度和亮度的调节时刻的目标图像计算获得亮度调节时刻的背光噪声。
407.虽然图像噪声和背光噪声为不同的名字,但是计算过程均是根据一帧目标图像和一个亮度值计算获得的。
408.目标图像由多个像素点组成,首先,根据每个像素点的rgb值以及每个像素点的加权系数进行加权和运算,得到目标图像的加权rgb值。其中,每个像素点的加权系数根据该像素点的坐标与目标图像的基准坐标之间的距离确定。环境光传感器的感光区的中心点的坐标可以作为目标图像的基准坐标。
409.步骤二,噪声计算库根据目标图像的加权rgb值和亮度,得到融合噪声。在计算融合噪声时可以通过查表法(该表中设有目标图像的加权rgb值和亮度一起对应的融合噪声)获得,也可以通过预先设置的函数关系(自变量为目标图像的加权rgb值和亮度,因变量为融合噪声)获得。此时获得的融合噪声为四通道的raw值。
410.步骤三,噪声计算库根据各个时刻的融合噪声计算获得初始环境光的积分时间段内的积分噪声。
411.需要说明,图像噪声并不是图像刷新这个过程本身产生的。在积分时间段内,在图像刷新前的时间段,对初始环境光的干扰为刷新前图像对应的图像噪声,在图像刷新后的
时间段,对初始环境光的干扰为刷新后的图像对应的图像噪声。
412.同理,背光噪声也并不是亮度调节这个过程本身产生的。在积分时间段内,在亮度调节前的时间段,对初始环境光的干扰为调节前的亮度对应的背光噪声,在亮度调节后的时间段,对初始环境光的干扰为调节后的亮度对应的背光噪声。
413.如前所述,噪声存储器中会存储噪声算法库计算获得的各个时刻的图像噪声和背光噪声。噪声存储器中存储的噪声统称为融合噪声或第一噪声。
414.步骤a1,所述第一处理器通过所述噪声算法库从所述噪声存储器的出口位置取出第一噪声,所述第一处理器通过所述噪声算法库更新所述噪声存储器的出口位置或所述出口位置的第一噪声;
415.步骤b1、若当前取出的第一噪声对应的时间戳在所述第一时间或第一时间之前,则所述第一处理器通过噪声算法库继续执行步骤a1,直到当前取出的第一噪声在第一时间之后;
416.步骤b2、若当前取出的第一噪声在所述第一时间之后,则所述第一处理器通过所述噪声算法库执行以下步骤:
417.步骤c1,若当前取出的第一噪声的时间戳首次在所述第一时间之后,并且在所述第二时间之前,则根据上一次取出的第一噪声计算获得所述第一时间至当前取出的第一噪声的时间戳对应的时刻之间的积分噪声,并继续从步骤a1开始执行;
418.步骤c2,若当前取出的第一噪声的时间戳首次在所述第一时间之后,并且在所述第二时间或第二时间之后,则根据上一次取出的第一噪声计算获得所述第一时间至第二时间之间的积分噪声,并继续执行步骤d1;
419.步骤c3,若当前取出的第一噪声的时间戳不是首次在所述第一时间之后,并且在所述第二时间之前,则根据上一次取出的第一噪声计算获得所述上一次取出的第一噪声的时间戳对应的时刻至当前取出的第一噪声的时间戳对应的时刻之间的积分噪声;并继续从步骤a1开始执行;
420.步骤c4,若当前取出的第一噪声的时间戳不是首次在所述第一时间之后,并且在所述第二时间或第二时间之后,则根据上一次取出的第一噪声计算上一次取出的第一噪声的时间戳对应的时刻至第二时间之间的积分噪声,并继续执行步骤d1;
421.步骤d1,根据所述第一时间至所述第二时间之间的积分噪声和所述第一值,获得第二值。
422.当噪声存储器为fifo(first input first output)存储器时。fifo存储器是先入先出的双口缓冲器,存储器的两个口中,一个为存储器的输入口,一个为存储器的输出口。这种存储器的结构中,第一个进入其内部的数据第一个被移出,相应的,移出数据的顺序与送入数据的顺序一致。fifo存储器的出口位置即fifo存储器输出口对应的存储地址。
423.当fifo存储器移出一个数据的过程为:从出口位置(第一个位置)开始移除出口位置中存储的融合噪声,然后,出口位置开始的第二个位置中的数据移到出口位置,出口位置开始的第三个位置中的数据移到出口位置开始的第二个位置,
……
依次进行。
424.当然,实际应用中,当从出口位置(第一个位置,a1)开始移除第一个位置(a1)存储的融合噪声后,可以将存储器的出口位置更新为第二个位置(a2)。再次移除当前出口位置(a2)存储的融合噪声后,继续将存储器的出口位置更新为第三个位置(a3)
……
依次进行。
425.基于上述计算获得第二值的过程可以参考图14所述实施例至图16所示实施例。
426.参见图14,图14为本技术实施例提供的ap处理器中的噪声计算库根据图像噪声和背光噪声计算积分噪声的过程。该过程中的各个时刻可以对照图9和图10所示实施例中对各个时刻的描述:在t
01
时刻刷新图像,获得t
01
时刻的图像噪声;在t
02
时刻调节亮度,获得t
02
时刻的背光噪声;在t
03
时刻刷新图像,获得t
03
时刻的图像噪声;在t
04
时刻刷新图像,获得t
04
时刻的图像噪声。
427.从t
01
时刻至t
02
时刻,显示的图像为t
01
时刻刷新后的图像,显示屏亮度为t
01
时刻的亮度(t
01
时刻的亮度为噪声算法库存储的亮度值中在t
01
时刻之前最新存储的亮度值),t
01
时刻的图像噪声为t
01
时刻刷新后的图像在显示屏亮度为t
01
时刻的亮度的情况下的噪声。因此,初始环境光包含了持续时长为“t
02

t
01”、时间戳为t
01
的图像噪声。
428.从t
02
时刻至t
03
时刻,显示屏的亮度为t
02
时刻调节后的亮度,显示屏显示的图像为t
01
时刻刷新后的图像,t
02
时刻的背光噪声为t
02
时刻调节后的亮度在显示屏显示t
01
时刻调节后的图像的情况下的噪声。因此,初始环境光包含了持续时长为“t
03

t
02”、时间戳为t
02
时刻的背光噪声。
429.从t
03
时刻至t
04
时刻,显示的图像为t
03
时刻刷新后的图像,显示屏亮度为t
02
时刻调节后的亮度,t
03
时刻的图像噪声为t
03
时刻刷新后的图像在显示屏亮度为t
02
时刻调节后的亮度的情况下的噪声。因此,初始环境光包含了持续时长为“t
04

t
03”、时间戳为t
03
的图像噪声。
430.从t
04
时刻至t1时刻,显示的图像为t
04
时刻刷新后的图像,显示屏亮度为t
02
时刻调节后的亮度,t
04
时刻的图像噪声为t
04
时刻刷新后的图像在显示屏亮度为t
02
时刻调节后的亮度的情况下的噪声。因此,初始环境光包含了持续时长为“t1‑
t
04”、时间戳为t
04
的图像噪声。
431.基于上述理解,ap处理器在计算积分噪声时:
432.t
01
时刻的图像噪声对t
01
时刻至t
02
时刻的初始环境光造成干扰;
433.t
02
时刻的背光噪声对t
02
时刻至t
03
时刻的初始环境光造成干扰;
434.t
03
时刻的图像噪声对t
03
时刻至t
04
时刻的初始环境光造成干扰;
435.t
04
时刻的图像噪声对t
04
时刻至t1时刻的初始环境光造成干扰。
436.因此,可以分别计算t
01
时刻至t
02
时刻的积分噪声,t
02
时刻至t
03
时刻的积分噪声,t
03
时刻至t
04
时刻的积分噪声,t
04
时刻至t1时刻的积分噪声。
437.对于t
01
时刻至t
02
时刻的积分噪声为:
438.对于t
02
时刻至t
03
时刻的积分噪声为:
439.对于t
03
时刻至t
04
时刻的积分噪声为:
440.对于t
04
时刻至t1时刻的积分噪声为:
441.其中,表示t
01
时刻的融合噪声,表示t
02
时刻的融合噪声,表示t
03
时刻的融合噪声,表示t
04
时刻的融合噪声。
442.而积分时间段内的各个子时间段(t
01
至t
02
,t
02
至t
03
,t
03
至t
04
,t
04
至t1)的积分噪声加在一起就是整个积分时间段的积分噪声。
443.上述示例中积分时间段的开始时刻正是图像刷新的时刻,即能够获得积分时间段的开始时刻的图像噪声。
444.在实际应用中,可能积分时间段的开始时刻并不是图像刷新的时刻,也不是背光调节的时刻。这种情况下,就需要获取本次积分时间段开始之前最近一次的变化时刻(图像刷新时刻或背光调节时刻)对应的融合噪声。
445.参见图15所示,为本技术实施例提供的ap处理器中的噪声计算库获得积分时间段(t
01
时刻至t1时刻)的积分噪声的示意图,t
01
时刻不再是本次积分时间段的开始时刻,而是本次积分时间段内的一次图像刷新时刻。在本次积分时间段开始之前最近的一次变化时刻(图像刷新时刻或亮度调节时刻)为t
‑1时刻,该时刻为图像刷新时刻。
446.参见图16所示,若本次积分时间段开始之前最近一次的变化时刻为图像刷新时刻,则该图像刷新时刻对应的图像噪声会对t0时刻至t
01
时刻的初始环境光造成干扰。
447.当然,若最近一次的变化时刻为亮度调节时刻,则该亮度调节时刻对应的背光噪声会对t0至t
01
时刻的初始环境光造成干扰。
448.图16所示的实施例中,积分时间段中的各个子时间段对应的积分噪声分别为:
449.对于t0时刻至t
01
时刻的积分噪声为:
450.对于t
01
时刻至t
02
时刻的积分噪声为:
451.对于t
02
时刻至t
03
时刻的积分噪声为:
452.对于t
03
时刻至t
04
时刻的积分噪声为:
453.对于t
04
时刻至t1时刻的积分噪声为:
454.其中,表示t
‑1时刻的融合噪声,表示t
01
时刻的融合噪声,表示t
02
时刻的融合噪声,表示t
03
时刻的融合噪声,表示t
04
时刻的融合噪声。
455.通过上述示例可以理解,获得的积分噪声也是四通道上的raw值。
456.上述示例中的时间戳均不相同,在实际应用中,hwc可能在一个时间度量单位内(例如1ms内)既执行了获取目标图像的过程,也执行了获取待调节的亮度的过程。然而,该时刻获取的目标图像和待调节的亮度的时间戳相同。
457.若存在时间戳相同的目标图像和亮度值,且所述噪声算法库先接收到该目标图像,则噪声算法库先根据目标图像和目标图像之前的最新的亮度值计算图像噪声,计算亮度值对应的背光噪声时,根据时间戳相同的目标图像和亮度值计算背光噪声;
458.若存在时间戳相同的目标图像和亮度值,且所述噪声算法库先接收到该亮度值,则噪声算法库先根据亮度值和亮度值之前的最新的目标图像计算背光噪声,计算目标图像对应的图像噪声时,根据时间戳相同的目标图像和亮度值计算图像噪声。
459.噪声算法库先接收到目标图像,则先计算获得图像噪声,先存储图像噪声至噪声存储器。噪声存储器中存储的融合噪声存在时间先后顺序,即在存储至噪声存储器之前,判断当前准备存储的融合噪声是否在上一次存储的融合噪声的时间戳之后,若当前准备存储的融合噪声在上一次存储的融合噪声的时间戳之后,则存储,若当前准备存储的融合噪声在上一次存储的融合噪声的时间戳之前或相同,则丢弃当前待存储的噪声。因此,后计算获得的背光噪声会被丢弃。
460.在实际应用中,目标图像的时间戳可以为hwc开始执行从cwb回写内存获取目标图像的时刻作为目标图像的时间戳。亮度值的时间戳可以为hwc开始执行从内核节点获取亮度值的时刻作为亮度值的时间戳。hwc在执行获取目标图像的过程中,有可能会切换到获取亮度值。因此,hwc虽然先执行获取目标图像,后执行获取亮度值,亮度值的时间戳晚于目标图像的时间戳。实际应用中,hwc有可能先获取到亮度值并将亮度值发送至噪声算法库,噪声算法库计算获得背光噪声并存储该背光噪声。hwc后获取到目标图像并将目标图像发送至噪声算法库,噪声算法库计算获得图像噪声并存储该图像噪声。这样就导致当前准备存储的图像噪声的时间戳表示的时刻在上一次存储的背光噪声的时间戳表示的时刻之前。
461.步骤四、噪声算法库从初始环境光中去除整个积分时间段的积分噪声获得目标环境光。
462.在本技术实施例中,scp处理器向ap处理器的hwc发送的初始环境光为rgbc四通道raw值形式的初始环境光数据。hwc发送至噪声算法库的也为rgbc四通道raw值形式的初始环境光数据。在步骤三中得到的是积分噪声的四通道上的raw值。因此,在该步骤,可以对初始环境光的四通道raw值和积分噪声四通道raw值进行运算,得到目标环境光的四通道上的raw值。
463.噪声算法库在计算获得目标环境光的四通道上的raw值后,就可将该目标环境光的四通道上的raw值发送至scp处理器中,scp处理器根据目标环境光的四通道上的raw值计算获得目标环境光的lux值。
464.作为示例,可以根据各个通道的raw值乘以各个通道的系数(该系数可以由环境光传感器的厂家提供)加权得到lux值。
465.如前所述,电子设备每次(或者,每间隔一次、两次等)刷新图像时,ap处理器中的dss都将送显前的图像(可以理解为本次刷新过程待刷新的图像或者本次刷新后的图像)存储在cwb内存中。ap处理器中的hwc从cwb内存存储的待刷新的图像中抠图获得目标图像,从而将目标图像发送到噪声算法库中。为了便于描述,ap处理器中的dss将送显前的图像存储在cwb内存、hwc从cwb内存获得目标图像的步骤记为cwb的回写功能。
466.在ap处理器的cwb回写功能启动状态,电子设备每次(或者,每间隔一次、两次等)刷新图像时,dss都将送显前的图像存储在cwb内存中。dss将送显前的图像存储在cwb内存中后,dss会向hwc模块发送存储成功的信息。hwc接收到存储成功的信息后,hwc会从cwb内存中获取目标图像。相应的,hwc模块可以将目标图像发送至噪声算法库。
467.即,在ap处理器的cwb回写功能启动状态,电子设备每次(或者,每间隔一次、两次等)刷新图像时,ap处理器执行图7中的步骤a1至步骤a6。
468.在ap处理器的cwb回写功能停止状态,电子设备每次(或者,每间隔一次、两次等)刷新图像时,均会按照刷新显示流程执行图7所示技术架构中的步骤a1至步骤a3。然而,dss不再将送显前的图像存储在cwb内存中,相应的,ap处理器也不再执行后续的相关步骤。
469.即,在ap处理器的cwb回写功能停止状态,电子设备每次(或者,每间隔一次、两次等)刷新图像时,ap处理器执行图7中的步骤a1至步骤a3,然而不再执行图7所示技术架构中的步骤a4至a6。
470.如前所述,噪声算法库在接收到目标图像后,会根据接收到的目标图像计算获得图像噪声。因此,在ap处理器的cwb回写功能启动状态期间电子设备进行图像刷新时,才会
获得相应的图像噪声,在ap处理器的cwb回写功能停止状态期间电子设备进行图像刷新时,不会获得相应的图像噪声。
471.以图9和图14为例,在积分结束(t1时刻)后,噪声算法库计算获得t0时刻至t1时刻的目标环境光时,采用的融合噪声为:t
01
时刻的图像噪声、t
02
时刻的背光噪声、t
03
时刻的图像噪声和t
04
时刻的图像噪声。无需采用的融合噪声至少包括:t
11
时刻的图像噪声和t
12
时刻的背光噪声。即积分时间段的开始时刻(包括开始时刻)至结束时刻之间对应的图像噪声和背光噪声对本次积分过程采集的初始环境光存在干扰,而非积分时间段对应的图像噪声和背光噪声可能对本次积分过程采集的初始环境光不存在干扰。
472.因此,为了降低功耗,可以在环境光传感器的积分时间段,ap处理器通过hwc控制cwb回写功能启动,ap处理器执行步骤a4至a6。在环境光传感器的非积分时间段,通过hwc控制cwb回写功能停止,ap处理器不再执行步骤a4至步骤a6。
473.参见图17,图17为本技术实施例提供的一种cwb回写功能启停方法示意图。
474.如图17所示,在环境光传感器的积分时间段(从t0到t1,从t2到t3,从t4到t5)hwc控制cwb回写功能启动,在非积分时间段(从t1到t2,从t3至t4,从t5至t6)hwc控制cwb回写功能停止。通过这种方式既保证了能够获得每次积分过程中的图像噪声,还能够降低ap处理器的功耗。
475.本技术实施例将重点描述cwb回写功能的启停方法。在cwb回写功能的启停方法中,ap处理器中的hwc可以在积分时间段和非积分时间段均监测内核节点中的数据是否发生变化。在发生变化时,hwc可以获得待调节的亮度,相应的,噪声算法库能够计算得到整个采集周期的背光噪声。
476.本技术后续实施例均以ap处理器中的hwc可以在积分时间段和非积分时间段均监测内核节点中的数据的变化为例,在内核节点中存储的数据变化时,hwc均从内核节点获取待调节的亮度,并传输至噪声算法库计算获得背光噪声。
477.另外,由于环境光传感器的积分过程由scp处理器一侧控制,因此,scp处理器需要将环境光传感器采集初始环境光的过程中与时间相关的参数发送至ap处理器。
478.如前所述,scp处理器可以在每次积分结束获得初始环境光后,可以将初始环境光、与本次初始环境光的积分过程相关的时间(例如本次积分结束时间和本次积分时长,或者本次积分开始时刻和本次积分结束时刻等)传输至ap处理器中的hwc。scp处理器还可以将环境光传感器下次准备采集初始环境光的积分开始时间(或之前一段时间)作为cwb回写功能启动的时刻发送给ap处理器中的hwc。将下次准备采集初始环境光的积分结束时间(或之后一段时间)作为cwb回写功能停止的时刻发送给ap处理器中的hwc。即由scp处理器向ap处理器中的hwc发送cwb回写功能的启动时刻和停止时刻。
479.实际应用中,在环境光传感器的采集周期固定的情况下,也可以由scp处理器将下次采集初始环境光的积分开始时间作为cwb回写功能启动的时刻发送给ap处理器。ap处理器根据接收到的cwb回写功能的启动时刻和采集周期计算获得cwb回写功能停止的时刻。或者由scp处理器上报第一次积分开始时间、积分时长、采样周期等。由ap处理器基于上述数据确定cwb回写功能的启动时刻和停止时刻。
480.需要说明,本技术实施例并不对scp处理器向ap处理器发送的与环境光传感器采集初始环境光的过程中与时间相关的参数进行限定。只要ap处理器根据接收到的该时间相
关的参数能够得到cwb回写功能的下次启动时刻即可。
481.另外,cwb回写功能的启动时刻并非完全与积分开始时刻重合,cwb回写功能的停止时刻也并非完全与积分结束时刻重合。cwb回写功能的启动状态对应的时间段需要包含采集周期中的积分时间段。以一个采集周期为例,cwb回写功能的启动时刻早于或等于一个采集周期的积分时间段的开始时刻,cwb回写功能的停止时刻晚于或等于一个采集周期的积分时间段的开始时刻。
482.作为另一示例,scp处理器还可以在本次积分结束后,向ap处理器中的hwc发送初始环境光、初始环境光对应的积分时长(或者本次积分开始时刻)、本次积分结束时刻和cwb回写功能的休眠时长。为了便于描述,可以将本次积分结束发送的信息统称为第一信息。第一信息并不限于上述信息,也可以以上述信息更多或更少的信息。
483.如前所述,噪声算法库基于初始环境光、初始环境光对应的积分时长(或者本次积分开始时刻)和本次积分结束时刻以及对应的融合噪声计算获得目标环境光。详细过程参照上述实施例的描述,不再赘述。
484.ap处理器中的hwc需要基于ap处理器的休眠时长确定启动cwb回写功能的时刻。
485.当然,上述第一信息也可以拆分为多个子信息分别发送至ap处理器的hwc。本技术实施例对此不做限定。
486.以将上述信息一起发送至ap处理器为例,scp处理器可以一并传输scp处理器发送第一信息的时刻。
487.ap处理器中的hwc接收到上述第一信息后,首先控制cwb回写功能停止。然后ap处理器中的hwc根据接收到的第一信息中的部分信息得到cwb回写功能的启动时刻或者获得还需要等待多长时间到达cwb回写功能的启动时刻。
488.由于cwb回写功能的启动时刻在下一个周期的积分开始时刻之前就可以,并非必须严格控制在某个时间点。因此,可以按照以下任一方式或本技术实施例未示出的其他方式获得cwb回写功能的启动时刻。
489.ap处理器中的hwc基于scp处理器发送第一信息的时刻以及ap处理器接收到第一信息的时刻获得核间通信延时。然后,ap处理器中的hwc根据核间通信延时和休眠时长得到距离cwb回写功能启动时刻还应该继续等待的时长(休眠时长减去核间通信延时)或者得到cwb回写功能的启动时刻(ap处理器通过hwc接收到第一信息的时刻加上距离cwb回写功能启动时刻还应该等待的时长)。ap处理器中的hwc在等待到cwb回写功能的启动时刻,启动cwb回写功能。
490.作为示例,当非积分时间段总时长为300ms的情况下,休眠时长可以为240ms、250ms、260ms、270ms、280ms等。因此,即使存在核间通信延时(例如1ms),也能够保证cwb回写功能在下次积分开始之前启动。
491.当然,实际应用中,ap处理器也可以通过hwc根据scp处理器发送的积分结束时刻和休眠时长计算获得cwb回写功能的启动时刻(积分结束时刻加上休眠时长)或距离cwb回写功能启动时刻还应该继续等待的时长(积分结束时刻加上休眠时长减去ap处理器通过hwc接收到第一信息的时刻)。在该示例中,cwb回写功能启动时刻记为第一时刻。第一时刻也为抠图标记被设置为第一字符的时刻后经过第二时长的时刻。第一信息中的休眠时长可以记为第一时长。第二时长就为:休眠时长减去延时的时长。延时的时长为:hwc模块接收到
第一信息的时刻减去积分结束时刻的时长,积分结束时刻可以记为第二时间。如前所述ap处理器接收到的第一信息中还可以包括积分开始时刻(第一时间)、积分结束时刻(第二时间)、初始环境光(第一值)和休眠时长(第一时长)等。
492.由于抠图标记代表了cwb回写功能的启动和停止,因此,cwb回写功能停止的时长也可以理解为抠图标记被设置为第一字符的时长。
493.如前所述,本技术实施例对cwb回写功能的启动时刻并无严格固定在某个时刻,因此,本技术实施例还可以采用其他计算方式,只要保证cwb回写功能的启动时刻在积分开始时刻之前。因此,ap处理器也可以根据接收到的第一信息中的休眠时长作为cwb回写功能的休眠时长,而忽略通信延时。
494.上述示例均以ap处理器和scp处理器时间对齐为例进行描述,在ap处理器和scp处理器时间不对齐的情况下,还需要在上述计算获得的时间或时刻的基础上考虑两者时间不对齐时的时间差。
495.如前所述,cwb回写功能的停止时刻是ap处理器通过hwc接收到第一信息的时刻或者之后,因此,cwb回写功能启动后,hwc在下一次接收到scp处理器发送的第一信息的时刻或之后停止当前启动状态的cwb回写功能。
496.按照上述方式可以理解,cwb回写功能的关闭时刻在积分结束之后。cwb回写功能的启动时刻可以根据ap处理器的休眠时长确定。
497.参见图18,ap处理器一侧,电子设备每次刷新图像时,surface flinger将界面的显示参数给到hwc(具体参照图7所示实施例中的步骤a1)、hwc基于显示参数得到合成后的图像,hwc需要查询抠图标记,在抠图标记表示的含义为启动的情况下,hwc启动cwb回写功能,ap处理器可以执行图7所示技术架构中的步骤a1至步骤a6。即cwb回写功能启动后,噪声算法库可以计算获得cwb回写功能启动期间的图像噪声和背光噪声。
498.该示例中,抠图标记可以记为回写标记。
499.上述实施例中的抠图标记也可以以标识符的形式存在。在hwc接收到scp处理器发送的第一信息后,hwc设置标识符为第一字符(例如,0、false),hwc在等待休眠时长后,hwc设置标识符为第二字符(例如,1、true)。若标识符为第一字符(例如,0、false),则hwc控制停止cwb回写功能。若标识符为第二字符(例如,1、true),则hwc控制启动cwb回写功能。
500.该示例中,第一字符可以记为第一标记,第二字符可以记为第二标记。
501.hwc通过查询标识符,控制cwb回写功能启动还是停止。
502.作为一个示例,hwc每次执行图7所示技术架构中的步骤a2前,可以查询标识符当前为第一字符还是第二字符。若为第二字符,表示cwb回写功能为启动状态,则hwc执行步骤a2时,一并传输需要抠图的信息,显示子系统接收到hwc向下传输的合成后的图像和需要抠图的信息后,将待显示的图像存储在cwb内存中。若为第一字符,表示cwb回写功能为停止状态,则hwc执行步骤a2时,不再传输需要抠图的信息(或者一并传输不需要抠图的信息),显示子系统接收到hwc向下传输的合成后的图像后,若未接收到需要抠图的信息(或者接收到不需要抠图的信息),则不再将待显示的图像存储在cwb内存中。hwc也就无法获取到目标图像。
503.作为一个示例,在抠图标记为第二标记时,若电子设备刷新图像(可以记为第五图像),则surface flinger向hwc传输界面的显示参数(可以记为第四显示参数),hwc接收到
第四显示参数后可以调用底层的硬件合成图像。hwc向显示子系统传输合成后的图像(可以是第五图像、或者经处理能够得到第五图像的图像)时可以一并传输需要抠图的信息(该需要抠图的信息可以记为第三信息)。显示子系统接收到第五图像和第三信息,可以将第五图像或者第五图像中的部分图像(可以记为第六图像)、还可以所以第五图像上的目标图像(可以记为第三目标图像)存储在cwb内存中。hwc从cwb内存获得该目标图像,将该目标图像发送至噪声算法库。噪声算法库可以基于该目标图像得到图像噪声(该噪声可以记为第二图像噪声)。
504.作为另一个示例,在抠图标记为第一标记时,若电子设备刷新图像(可以记为第一图像),则surface flinger向hwc传输界面的显示参数(可以记为第五显示参数),hwc接收到第五显示参数后可以调用底层的硬件合成图像。hwc向显示子系统传输合成后的图像(可以是第一图像、或者经处理能够得到第一图像的图像)时不再一并传输需要抠图的信息。显示子系统接收到第一图像,不再将第一图像、且第一图像中的部分图像(可以记为第二图像)、且第一图像上的目标图像(可以记为第一目标图像)存储在cwb内存中。相应的,hwc从cwb内存无法获得该目标图像,也不再将该目标图像发送至噪声算法库。噪声算法库也不再基于该目标图像得到图像噪声。
505.如图18所示的scp处理器的一侧,scp处理器启动后,环境光传感器的驱动初始化后,然后按照预设的采集周期启动环境光积分。
506.在环境光积分结束后,也可以监听亮灭屏状态,该亮灭屏状态由ap处理器侧的hwc监听亮灭屏事件后,由ap处理器向scp处理器发送相关信息以触发scp处理器侧亮灭屏状态的变更。
507.在亮屏状态,scp处理器需要将采集的初始环境光发送至ap处理器的hwc,ap处理器中的hwc将初始环境光发送至噪声算法库,噪声算法库根据接收到的初始环境光计算获得目标环境光的raw值。ap处理器将目标环境光的raw值发送至scp处理器的环境光存储器中。当然,实际应用中,ap处理器也可以根据目标环境光的raw值计算获得目标环境光的lux值。ap处理器向scp处理器发送目标环境光的lux值。
508.参见图18,在亮屏状态下,scp处理器需要将本次积分结束时刻和休眠时长发送至ap处理器。
509.ap处理器接收到scp处理器上报的本次积分结束时刻和休眠时长。hwc设置抠图标记为第一字符,抠图标记为第一字符的情况下,hwc将会停止cwb回写功能。
510.ap处理器中hwc中的抠图线程(用于执行获取目标图像的线程)接收到第一信息后,先设置抠图标记为第一字符。然后计算获得应该休眠的时长,基于计算获得的应该休眠的时长调用sleep函数,抠图线程调用sleep函数时,传入应该休眠的时长(以270ms为例),抠图线程会休眠270ms。在休眠270ms后,抠图线程休眠结束。在抠图线程休眠结束后,抠图线程设置抠图标记为第二字符,cwb回写功能启动。
511.scp处理器还需要根据目标环境光的raw值计算获得目标环境光的lux值。另外,在下次积分开始时继续启动环境光积分。
512.在灭屏状态时,环境光传感器采集的初始环境光即为真实的环境光,此时,scp处理器可以不再将积分时间段采集的初始环境光的lux值上报给ap处理器。由于在灭屏状态下,cwb回写功能无需启动获得相关的噪声,因此,scp处理器不再计算下次cwb回写功能启
动的时间。
513.当然,由于一些场景中,例如,灭屏状态下人脸解锁,电子设备需要获知当前的环境是否为较暗的环境,在较暗的环境光时需要对人脸进行补光。因此,电子设备在该场景下需要获知当前的真实环境光的lux值。因此,即使灭屏状态下,环境光传感器也需要采集环境光,并且scp处理器在收到ap处理器下发的人脸解锁请求时,将采集的环境光的lux值上报给ap处理器,以便于ap处理器根据接收到的环境光的lux值判断是否需要补光。
514.本技术实施例重点描述ap处理器中hwc如何控制cwb回写功能启停。其他未示出的细节可以参照上述任一实施例中的描述。
515.如前所述,ap处理器中cwb回写功能的启动时刻和停止时刻由scp处理器上报的数据确定。考虑ap处理器和scp处理器之间的核间通信可能会存在数据传输延迟。可以设置:ap处理器确定显示屏亮屏之后,ap处理器中的hwc控制cwb回写功能常开,在hwc接收到scp处理器上报的第一信息后,开始控制cwb回写功能按照上述任一实施例描述的启停方案循环启动停止。
516.以图9所示实施例为例,若采用图17所示的cwb回写功能的启停方法:
517.hwc可以获得t
01
时刻的目标图像,噪声算法库也会计算获得t
01
时刻的图像噪声;
518.hwc可以获得t
02
时刻的待调节的亮度值,噪声算法库也会计算获得t
02
时刻的背光噪声;
519.hwc可以获得t
03
时刻的目标图像,噪声算法库也会计算获得t
03
时刻的图像噪声;
520.hwc可以获得t
04
时刻的目标图像,噪声算法库也会计算获得t
04
时刻的图像噪声;
521.hwc不再获得t
11
时刻的目标图像,噪声算法库也不会计算获得t
11
时刻的图像噪声;
522.hwc可以获得t
12
时刻的待调节的亮度值,噪声算法库也不会计算获得t
12
时刻的背光噪声。
523.若电子设备以60hz的频率刷新图像,在电子设备播放视频的场景下,采用cwb回写功能常开方案,则一个采集周期(350ms为例)内的非积分时间段(300ms为例),hwc可能会获取300ms/(1000ms/60)=18次的目标图像,噪声算法库可能会计算18次的图像噪声并存储。
524.采用图17所示的cwb回写功能启停方案,则一个采集周期(350ms)内,可以减少18次hwc获取目标图像的过程,减少18次噪声算法库计算图像噪声的过程。显然,采用图17所示的cwb回写功能启停方案能够降低功耗。
525.然而,在图15和图16所示实施例中,若t
‑1时刻处于上一个采集周期内的非积分时间段。由于非积分时间段cwb回写功能停止(不再执行步骤a4至a6),因此,显示子系统不再将待刷新的图像存储在cwb内存中,相应的,hwc未获得t
‑1时刻的目标图像,噪声算法库中也未获得t
‑1时刻的目标图像和t
‑1时刻的图像噪声。相应的,在噪声存储器中也不存在t
‑1时刻的图像噪声。那么噪声算法库在计算获得每个子时间段的积分噪声时,就会丢失对t0时刻至t
01
时刻对应的初始环境光存在干扰的融合噪声。在丢失对t0时刻至t
01
时刻对应的初始环境光存在干扰的融合噪声的情况下,噪声算法库就会采用噪声存储器中存储的t
‑1时刻之前的融合噪声作为干扰t0时刻至t
01
时刻的初始环境光的融合噪声,导致最终计算的目标环境光不精确。
526.为解决这一问题,可以在每次积分时间段开始时刻之前控制cwb的回写功能启动,
在cwb回写功能启动后,并强制图像刷新一次,以保证显示子系统将强制刷新的图像存储在cwb内存中,hwc能够从cwb内存中抠图获得强制刷新的图像对应的目标图像。相应的,噪声算法库中也会计算获得强制刷新图像时刻对应的图像噪声。本技术实施例将强制刷新的图像记为第三图像。
527.如前所述,强制刷新图像之前,cwb回写功能已经启动,即抠图标记已经记为第二标记,则hwc模块向显示子系统发送强制刷新的图像时一并传输需要抠图的信息(该信息可以记为第二信息)。相应的,显示子系统向cwb内存存储的可以为强制刷新的图像还可以是强制刷新的图像的部分图像(该部分图像记为第四图像),还可以是目标图像(该目标图像记为第二目标图像)。如前所述,该目标图像可以获得相应的图像噪声(可以记为第一图像噪声)。
528.在hwc中存在强制刷新图像的接口,hwc在确定需要强制刷新图像时调用该接口,电子设备实现强制刷新一次图像。hwc调用该接口时,通过该接口向surface flinger发送第一信号,surface flinger接收到该第一信号后,从缓存中获取缓存的显示参数中最晚缓存的显示参数,该显示参数记为第一显示参数。surface flinger向hwc模块发送该显示参数,hwc基于该显示参数调用底层的硬件获得合成后的图像(该图像即第三图像),并查看抠图标记为第二标记,则hwc向显示子系统发送合成后的图像时携带需要抠图的信息。
529.在实际应用中,surface flinger缓存的显示参数中最晚缓存的显示参数可能是之前刷新图像时对应的显示参数。若在强制刷新图像之前电子设备刷新图像,该刷新的图像为第一图像,相应的,surface flinger缓存的显示参数中最晚缓存的显示参数可能为生成第一图像的第五显示参数。因此,第三图像可能和第一图像是相同的。因此,电子设备实现强制刷新的图像可以为电子设备的显示屏当前显示的图像(上一次刷新为第一图像后,电子设备的显示屏保持显示第一图像)。强制刷新图像的过程和正常刷新图像的过程相同,都是经过surfaceflinger、hwc、oled驱动、显示子系统至最后显示。具体过程可参照上述实施例的描述,在此不再赘述。
530.本技术实施例中,强制刷新图像的目的是为了显示屏当前显示的图像,显示屏当前显示的图像为显示屏上一次刷新的图像。实际应用中,显示子系统将待显示的图像送显前,可以缓存一帧图像,该帧图像可以理解为显示屏当前显示的图像或显示屏上一次刷新的图像。hwc从该缓存获取图像,然后将该图像以及需要抠图的信息向下传输至显示子系统。显示子系统就可以保存该图像(或该图像的区域图像,或该图像对应的目标图像)存储在cwb内存中,hwc执行从cwb内存获取目标图像的步骤。
531.如前所述,若hwc需要对某次刷新的图像执行抠图获得目标图像,hwc可以向下传输合成后的图像时携带需要抠图的信息。若hwc不需要对当前待刷新的图像抠图,则hwc可以不传输该需要抠图的信息(或者携带不需要抠图的信息)。显示子系统基于接收到的图像是否携带了需要抠图的信息作为是否存储在cwb内存中的依据。在接收到的图像携带了需要抠图的信息的情况下,执行图7所示技术架构中的步骤a4至步骤a6。在接收到的图像未携带了需要抠图的信息(或者携带不需要抠图的信息)的情况下,不再执行图7所示技术架构中的步骤a4至a6。
532.在cwb回写功能启动之后执行的强制刷新图像,所以,ap处理器执行图7所示技术架构中的步骤a2至步骤a3时,传输的数据携带需要抠图的信息。
533.参见图19,为本技术实施例提供的在积分开始之前的第一预设时间启动cwb回写功能后,强制刷新一次图像的启停方案。在本技术实施例以及后续实施例中,为便于画图,将cwb回写功能启动的时刻和强制刷新图像的时刻设置为同一时刻,实际应用中,cwb回写功能启动后,才会强制刷新图像。为便于画图,将cwb回写功能的停止时刻和积分结束时刻设置为同一时刻,实际应用中,cwb回写功能的停止时刻可以晚于积分结束时刻。
534.如图19所示,在每一个采集周期的积分开始之前的第一预设时间(t2‑
t
1n
、t4‑
t
3n
、t6‑
t
5n
)对应的时刻(t
1n
、t
3n
、t
5n
)启动cwb回写功能后,强制刷新一次图像。也可以理解为在每一个采集周期的非积分时间段开始之后的第二预设时间(t
1n

t1、t
3n

t3、t
5n

t5)对应的时刻(t
1n
、t
3n
、t
5n
)启动cwb回写功能后,强制刷新一次图像。第一预设时间和第二预设时间之和为一个非积分时间段的时长。
535.以第一个采集周期为例,在第一个采集周期(t1)的非积分时间段的t
1n
时刻,ap处理器中的hwc控制cwb的回写功能启动,并在启动后强制刷新一次图像。hwc可以获得t
1n
时刻强制刷新图像时刻对应的目标图像,噪声算法库可以计算获得t
1n
时刻的图像噪声,噪声算法库将t
1n
时刻的图像噪声存储至噪声存储器。其他采集周期可参照该采集周期的示例,在此不再赘述。
536.为验证图19所示的cwb回写功能的启停方案不会丢失对积分时间段采集的初始环境光存在干扰的融合噪声,参见图20所示实施例,在图20所示实施例中,第二个采集周期(t2)的积分开始时间之前的非积分时间段的t
1n
时刻,ap处理器中的hwc控制cwb的回写功能启动,并在启动后强制刷新一次图像。hwc可以获得t
1n
时刻强制刷新图像时刻对应的目标图像,噪声算法库可以缓存t
1n
时刻的目标图像,并计算获得t
1n
时刻的图像噪声,噪声算法库将t
1n
时刻的图像噪声存储至噪声存储器。
537.在t
1n
时刻之后至积分时间段开始时刻(t2),均不存在亮度调节和图像刷新。
538.若在第二个采集周期(t2)内仅存在一次亮度调节:t
21
时刻的亮度调节。则噪声算法库可以基于t
1n
时刻刷新后的图像对应的目标图像以及t
21
时刻的调节后的亮度获得t
21
时刻的背光噪声。噪声算法库将t
21
时刻的背光噪声发送至噪声存储器。
539.在第二个采集周期积分时间段结束(t3时刻)后,噪声存储器中存储了t
1n
时刻的图像噪声和t
21
时刻的背光噪声。
540.参见图21,干扰第二个采集周期的初始环境光的积分噪声分别为:
541.持续时长为“t2时刻至t
21
时刻”的t
1n
时刻的图像噪声;
542.持续时长为“t
21
时刻至t2时刻”的t
21
时刻的背光噪声。
543.通过图20所示实施例可以理解,若采用在积分开始之前强制刷新图像的启停方案:
544.在本次强制刷新图像时刻至下次积分开始时刻之间不存在图像刷新时,噪声算法库也可以获得影响本积分时间段的第一个子时间段(t2时刻至t
21
时刻)的融合噪声(t
1n
时刻的融合噪声)。
545.并且,在本次强制刷新图像时刻至下次图像刷新时刻之间存在亮度调节(t
21
时刻的亮度调节)时,可以获得亮度调节时刻对应的目标图像(t
1n
时刻对应的目标图像)从而获得正确的亮度调节时刻(t
21
时刻)对应的背光噪声。
546.在电子设备通过显示屏播放视频时,电子设备的显示屏显示的图像可能以60hz的
频率刷新图像,即每间隔16.7ms刷新一次图像。环境光传感器的采集周期可以设置为350ms,积分时间段可以设置为50ms,非积分时间段为300ms。即使在积分时间段开始之前(例如,t2‑
t
1n
=20ms)启动cwb的回写功能,并在cwb回写功能启动后强制刷新一次图像。那么在一个采集周期内相当于减少了(300

20)/16.7=16.8次的hwc获取目标图像和噪声算法库计算图像噪声的过程。
547.上述实施例中,t2‑
t
1n
=20ms,实际应用中,t2‑
t
1n
还可以等于其他时长值。本技术实施例对于t2‑
t
1n
对应的时长的设置是为了保证在积分开始之前噪声算法库能够获得一次目标图像以及一次图像噪声。因此,上述实施例即能够降低处理器的功耗,同时还能够获得精确的目标环境光。
548.在实际应用中,电子设备的显示屏在亮屏时,可能不是一直处于刷新状态,也可能长时间处于空闲状态。
549.显示屏在亮屏时包括:空闲状态和刷新状态。在实际应用中,可以获得显示屏最后一次刷新图像的时刻,根据当前时刻和显示屏最后一次刷新图像的时刻之间的差值判断显示屏当前处于刷新状态还是空闲状态。可以预先设置阈值,在当前时刻和显示屏最后一次刷新图像的时刻之间的差值小于该阈值的情况下,显示屏当前处于刷新状态,在当前时刻和显示屏最后一次刷新图像的时刻之间的差值大于或等于该阈值的情况下,显示屏当前处于空闲状态。
550.本技术实施例并非为了严格区分刷新状态和空闲状态。只是为了说明电子设备的显示屏显示的图像长时间不变化(空闲状态)的情况下,显示屏显示的图像始终为最后一次刷新图像时对应的图像。
551.作为另一示例,当用户查看电子设备的某个界面时,长时间不进行操作,同时当前界面中也无动画。在显示屏灭屏之前,显示屏就处于空闲状态。当电子设备的显示屏在播放视频时,显示屏可能以60hz的频率刷新图像,显示屏就处于刷新状态。本技术实施例中,显示屏处于刷新状态,显示屏显示的图像可能发生变化,也可能不发生变化。显示屏的刷新状态显示屏的显示的内容不发生变化是由于:ap处理器执行图7所示技术架构中的步骤a1至步骤a3得到的刷新前的图像和ap处理器执行图7所示技术架构中的步骤a1至步骤a3得到的刷新后的图像正好相同。显示屏处于空闲状态,显示屏显示的图像不发生变化是由于:ap处理不再执行图7所示技术架构中的步骤a1至步骤a3,显示子系统仍然按照预设的刷新频率将ap处理器最后一次执行图7所示技术架构中的步骤a1至步骤a3得到的图像送到电子设备的显示屏显示。
552.参见图22,为本技术实施例提供的一种刷新状态和空闲状态的示意图。图22中,显示屏一直亮屏。
553.在ts0周期内,ap处理器中各个模块配合合成ts1周期时显示屏待刷新的图像1。
554.在ts1周期内,显示子系统将图像1发送至显示屏,显示屏显示ts0周期ap处理器中各个模块配合合成的图像1,同时,ap处理器中各个模块配合合成ts2周期时显示屏待刷新的图像2。
555.在ts2周期内,显示子系统将图像2发送至显示屏,显示屏显示ts1周期ap处理器中各个模块配合合成的图像2,同时,ap处理器中各个模块配合合成ts3周期时显示屏待刷新的图像3。
556.在ts3周期内,显示子系统将图像3发送至显示屏,显示屏显示ts2周期ap处理器中各个模块配合合成的图像3,同时,ap处理器中各个模块配合合成ts4周期时显示屏待刷新的图像4。
557.从ts4周期的开始时间,显示屏进入空闲状态。
558.在ts4周期内,显示子系统将图像4发送至显示屏,显示屏显示ts3周期ap处理器中各个模块配合合成的图像4,ap处理器不再合成待刷新的图像。
559.在ts5周期内,显示子系统将图像4发送至显示屏,显示屏继续显示图像4,ap处理器不再合成待刷新的图像。
560.在ts6周期内,显示子系统将图像4发送至显示屏,显示屏继续显示图像5,ap处理器不再合成待刷新的图像。
561.上述流程中,ts0至ts3周期为显示屏的刷新状态,ts4至ts6为显示屏的空闲状态。ts4周期以及ts4周期之后,电子设备未进行图像刷新动作,显示屏进入空闲状态,显示屏进入空闲状态后,显示子系统仍然按照预先设置的频率(该频率为显示屏的刷新频率)发送ap处理器最后一次合成的图像4至显示屏显示。显示的图像(图像4)为显示屏切换为空闲状态之前最后一次刷新的图像。虽然显示子系统仍然按照预先设置的频率(该频率为显示屏的刷新频率)发送ap处理器最后一次合成的图像4至显示屏显示,然而,ap处理器不再执行图7所述技术架构中的步骤a1至步骤a2。
562.当然,实际应用中,也可以将ts0至ts4周期记为显示屏的刷新状态,ts5至ts6周期记为显示屏的空闲状态。
563.在cwb回写功能启动状态下,若显示屏处于刷新状态,则hwc可以抠图获取到当前刷新的图像对应的目标图像,同样,也可以获取到对应的图像噪声。若显示屏处于空闲状态,即使cwb回写功能启动,ap处理器不再执行图7所示实施例中的步骤a1至步骤a3中各个模块配合合成图像的过程。相应的,ap处理器也不再执行图7所述实施例中的步骤a4至a6,则噪声算法库在显示屏处于空闲状态期间不会接收到目标图像,也不会获得在显示屏处于空闲状态期间的图像噪声。
564.在显示屏长时间处于空闲状态,例如,1分钟,显示屏在这1分钟之内不需要刷新图像。而采用每次环境光传感器的积分开始之前强制刷新一次图像的启停方案,则可能导致这1分钟内每间隔350ms就需要强制刷新一次。相当于1分钟内额外刷新了约60000ms/350ms=171.4次图像。所以,在显示屏长时间处于空闲状态的情况下,无疑又增加了功耗。
565.为了更清楚的理解显示屏长时间处于空闲状态时,在积分开始之间强制刷新图像的启停方案可能导致增加处理器功耗的原因,通过图23所示示例进行说明。
566.参见图23,在第1个采集周期的积分时间段的t
01
时刻刷新一次图像,相应的,噪声算法库存储t
01
时刻的图像和t
01
时刻的图像噪声。
567.参见图23,在t
01
时刻之后,显示屏在第m 1个采集周期的积分时间段的t
(2m)1
时刻再次刷新一次图像,该示例忽略亮度调节。
568.参见图23,在第2个采集周期的积分时间段之前的t
1n
时刻启动cwb回写功能后,强制刷新一次图像(为便于描述,以强制刷新图像的时刻和cwb回写功能的启动时刻在同一时间度量单位内为例,例如,均在1ms内),ap处理器执行一次步骤a4至步骤a6,噪声算法库得到t
1n
时刻的目标图像和t
1n
时刻的图像噪声。
569.参见图24,第2个采集周期的积分时间段的积分噪声为:持续时长为积分时长的t
1n
时刻的图像噪声。
570.参见图23,在第3个采集周期的积分时间段之前的t
3n
时刻启动cwb回写功能后,强制刷新一次图像,ap处理器执行一次步骤a4至步骤a6,噪声算法库得到t
3n
时刻的目标图像和t
3n
时刻的图像噪声。
571.参见图24,第3个采集周期的积分时间段的积分噪声为:持续时长为积分时长的t
3n
时刻的图像噪声。
572.……

573.参见图23,在第m 1个采集周期的积分时间段之前的t
(2m

1)n
时刻启动cwb回写功能后,强制刷新一次图像,ap处理器执行一次步骤a4至步骤a6,噪声算法库得到t
(2m

1)n
时刻的目标图像和t
(2m

1)n
时刻的图像噪声。
574.参见图23,在第m 1个采集周期的积分时间段的t
(2m)1
时刻图像刷新,ap处理器执行一次步骤a1至步骤a6,噪声算法库得到t
(2m)1
时刻的目标图像和t
(2m)1
时刻的图像噪声。
575.参见图24,第m 1个采集周期的积分时间段的积分噪声为:持续时长为t
2m
至t
(2m)1
时刻的t
(2m

1)n
时刻的图像噪声和持续时长为持续时长为t
(2m)1
至t
2m 1
时刻的t
(2m)1
时刻的图像噪声。
576.若按照图19所示实施例的启停方案,图23和图24所示实施例中,从t0时刻至t
2m
时刻(m个采集周期),共强制刷新图像m次。
577.若在cwb回写功能开启(t
1n
、t
1n
……
t
(2m

1)n
)之后不强制刷新图像。则参见图25,第2个采集周期的积分噪声为:持续积分时长的t
01
时刻的图像噪声,在第3个采集周期的积分噪声为:持续积分时长的t
01
时刻的图像噪声,
……
,第m 1个采集周期的积分噪声为:持续时长为t
2m
至t
(2m)1
时刻的t
01
时刻的图像噪声和持续时长为持续时长为t
(2m)1
至t
2m 1
时刻的t
(2m)1
时刻的图像噪声。
578.如前所述,强制刷新图像的过程,并不会改变显示屏显示的图像,即t
01
时刻刷新的图像和强制刷新时刻的图像相同,相应的,t
01
时刻的目标图像和强制刷新时刻的目标图像也相同。若忽略亮度调节,则t
01
时刻的图像噪声和强制刷新时刻的图像噪声也相同。若存在亮度调节,则亮度调节时刻采用的目标图像是不变的。所以,在一些场景中没有必要强制刷新图像。
579.通过上述分析可以理解,显示屏长时间处于空闲状态时,即使不强制刷新图像可能也不会丢失可能对积分时间段存在干扰的图像噪声。
580.当然上述实施例中,若t
01
时刻位于第一个采集周期的非积分时间段,则噪声算法库可能会获取不到t
01
时刻的目标图像和图像噪声。就会需要在t
1n
时刻强制刷新图像。
581.综合上述各种实施例,本技术实施例提供了图26所示的技术方案。图26所示的实施例包括以下步骤:
582.步骤2601,ap处理器中的hwc在积分开始之前的第一预设时间,启动cwb回写功能,并查看显示屏上一次刷新图像的时刻。
583.在本技术实施例中,无论显示屏是否需要强制刷新图像,均需要在积分开始之前的第一预设时间启动cwb回写功能,然后再综合其他因素确定是否需要强制刷新图像。
584.为便于描述,参照图27所示,选取一个采集周期(t2)内的积分开始之前的第一预
设时间对应的时刻作为参考时刻,该参考时刻为t
3n
。本技术实施例需要在积分开始之前的第一预设时间对应的时刻(t
3n
时刻)启动cwb回写功能,并查看显示屏上一次刷新图像的时刻。
585.为便于描述,显示屏上一次刷新图像的时刻可以记为t
k

586.作为一个示例,上一次刷新图像的时刻不再当前非积分时间段内,则无需强制刷新图像,电子设备等待上层应用向显示引擎服务传输界面的显示参数、然后经过显示引擎服务、surface flinger、hwc等。对于hwc而言,hwc等待surface flinger发送的显示参数(该参数可以记为第二显示参数)。
587.hwc模块接接收到所述电子设备的surface flinger模块发送的显示参数,会存储接收到该显示参数的时刻,第六显示参数;
588.hwc模块获取所述电子设备上一次刷新图像的时刻,可以为获取上一次接收到surface flinger模块发送的显示参数的时刻。可以设置第六显示参数为hwc模块在获取所述电子设备上一次刷新图像的时刻之前获取到的最后一个显示参数。相应的,上一次刷新图像的时刻就为hwc模块接收到第六显示参数的时刻。
589.步骤2602,若显示屏上一次刷新图像的时刻在当前非积分时间段内,则等待第二时间(可以记为第二时长)。
590.在本技术实施例中,上一次刷新图像的时刻与当前时刻的时间差大于差值阈值,可以理解为显示屏已经进入空闲状态,上一次刷新图像的时刻与当前时刻的时间差小于或等于差值阈值,则可以理解为显示屏还未进入刷新状态。其中,差值阈值可以基于经验值确定。
591.本技术实施例的重点在于得到最近一次刷新图像的时刻(该最近一次刷新图像时,hwc执行了抠图,则可以得到hwc执行从最近一次刷新图像抠图的开始时刻),以根据最近一次刷新图像的时刻(或者hwc执行从最近一次刷新图像抠图的开始时刻)确定是否需要强制刷新图像。
592.本技术实施例的重点并不在于确认显示屏当前的状态。显示屏的当前的状态为便于理解上述实施例中显示屏的空闲状态下功耗增加的原因。
593.参照图27所示实施例,显示屏上一次刷新图像的时刻t
k
在当前非积分时间段内(t3至t
3n
之间),则显示屏在t
3n
时刻显示的图像为t
k
时刻刷新的图像。t
k
时刻位于t3时刻至t
3n
时刻之间,该时间段为cwb回写功能停止的时间。即hwc未获取到t
k
时刻的目标图像,相应的,噪声算法库也未获取到t
k
时刻的图像噪声。若此时不强制刷新图像,则可能出现以下情况:
594.(1)在t
3n
时刻之后,显示屏显示的内容的第一次变化(图像刷新或亮度调节)为t
b
时刻的亮度调节。
595.t
b
时刻为t
3n
时刻至t4时刻之间的时刻、且t
b
时刻至t4时刻之间不存在图像刷新和亮度调节的情况下。t
b
时刻的背光噪声对t4时刻至t5时刻对应的积分时间段的初始环境光存在干扰。在计算t
b
时刻的背光噪声时,由于hwc缓存的最新一次目标图像不为t
k
时刻的目标图像,而是t
k
时刻之前的一个目标图像,则计算的t
b
时刻的背光噪声错误。导致噪声算法库计算的t4时刻至t5时刻对应的积分时间段的目标环境光不精确。
596.t
b
时刻为t4时刻的情况下,t
b
时刻的背光噪声对t4时刻至t5时刻对应的积分时间段的初始环境光存在干扰。在计算t
b
时刻的背光噪声时,由于hwc缓存的最新一次目标图像不
为t
k
时刻的目标图像,则计算的t
b
时刻的背光噪声错误,导致噪声算法库计算的t4时刻至t5时刻对应的积分时间段的目标环境光不精确。
597.t
b
时刻为t4时刻至t5时刻之间的时刻的情况下,t4时刻至t
b
时刻之间的初始环境光受t
k
时刻的图像噪声干扰。而hwc并未获得t
k
时刻的图像噪声,则在积分过程中会采用t
k
时刻之前的一次融合噪声(可能背光噪声也可能图像噪声)作为对t4时刻至t
b
时刻之间的初始环境光造成干扰的融合噪声,导致噪声算法库计算的t4时刻至t5时刻对应的积分时间段的目标环境光不精确。另外,t
b
时刻的背光噪声对t4时刻至t5时刻对应的积分时间段的初始环境光存在干扰。在计算t
b
时刻的背光噪声时,由于hwc缓存的最新一次目标图像不为t
k
时刻的目标图像,导致计算的背光噪声错误。噪声算法库计算的t4时刻至t5时刻对应的积分时间段的目标环境光不精确。
598.(2)在t
3n
时刻之后显示屏显示的内容最近一次变化(图像刷新或亮度调节)为t
b
时刻的图像刷新。t
b
时刻为t4时刻至t5时刻之间的时刻的情况下,t4时刻至t
b
时刻之间的初始环境光受t
k
时刻的图像噪声的干扰。而噪声算法库未计算t
k
时刻的图像噪声。噪声算法库计算t4时刻至t5时刻的目标环境光时采用噪声存储器中存储的t
k
时刻之前的融合噪声作为干扰积分时间段的第一个子时间段的融合噪声,导致噪声算法库计算的t4时刻至t5时刻对应的积分时间段的目标环境光不精确。
599.上述分析列举部分情况,然而通过上述分析可以理解,若显示屏上一次刷新图像的时刻在当前非积分时间段内,则需要强制刷新图像,以获得显示屏当前显示的图像对应的目标图像和该目标图像对应的图像噪声,当然,显示屏当前显示的图像对应的目标图像和该目标图像对应的图像噪声可以理解为t
3n
时刻的目标图像和图像噪声。
600.作为本技术另一实施例,若显示屏上一次刷新图像的时刻不在当前非积分时间段内,则不再强制刷新图像。
601.在本技术实施例中,若显示屏上一次刷新图像的时刻t
k
不在t3时刻和t
3n
时刻之间,则可能在本次采集周期内的积分时间段,或上一个或更早的采集周期内。
602.若t
k
在本次采集周期内的积分时间段,由于在本次采集周期内的积分时间段时cwb回写功能启动,则hwc能够获得t
k
时刻的目标图像,噪声算法库也可以获得t
k
时刻的目标图像和图像噪声,因此,无需强制刷新图像。
603.若t
k
在上一个采集周期或更早的采集周期内,由于在上一个采集周期时已经根据图26所示实施例执行过,则不需要考虑是否强制刷新图像。本技术后续将通过图28至图30验证该情况(t
k
在上一个采集周期或更早的采集周期)是否不需要考虑强制刷新图像。具体可参见图28至图30的描述。
604.在本技术实施例中,判断显示屏上一次刷新图像的时刻t
k
是否在当前周期的非积分时间段内的方法可以参照图27所示的方式。
605.方式一:判断t22(t
3n

t
k
)和t21(t
3n

t3)的大小。若t22(t
3n

t
k
)小于t21(t
3n

t3),则表示显示屏上一次刷新图像的时刻在当前非积分时间段内。否则表示显示屏上一次刷新图像的时刻不在当前非积分时间段内。该实施例中,t22可以记为第一差值,t21可以记为第二差值。
606.方式二:判断t
k
和t3的大小。若t
k
大于t3,且小于t
3n
则表示显示屏上一次刷新图像的时刻在当前非积分时间段内。否则表示显示屏上一次刷新图像的时刻不在当前非积分时
间段内。在本技术实施例中,若t3时刻进行图像刷新,由于t3时刻之后cwb回写功能才会停止。因此,在t3时刻存在图像刷新的情况下,hwc能够获取t3时刻的目标图像,噪声算法库也可以获取到t3时刻的目标图像噪声。因此,可以设置t22(t
3n

t
k
)等于t21(t
3n

t3)的情况下,显示屏切换为空闲状态的时刻在当前积分时间段内。同理,t
k
等于t3的情况下,显示屏切换为空闲状态的时刻在当前积分时间段内。
607.方式三:查看最近一次刷新图像的时刻和最近一次抠图的时刻是否小于某个阈值(因为图像刷新时刻和hwc执行获取目标图像的开始时刻可能存在差异)。若小于某个阈值,则表示最近一次刷新的图像被hwc执行过抠图处理,则表示最近一次刷新的图像不在当前非积分时间段。若大于或等于某个阈值,则表示最近一次刷新的图像未被hwc执行过抠图处理,则表示在当前非积分时间段,该阈值根据实际情况设置。该实施例中,该阈值可以记为第一阈值。
608.在本技术实施例中,可以将hwc从surface fliger获取界面的显示参数的时刻作为本次刷新图像的时刻,也可以将hwc通过底层的硬件获得合成后的图像的时刻作为本次刷新图像的时刻,还可以将显示子系统将图像送显示的时刻作为图像刷新时刻。无论哪种时刻作为本次刷新图像的时刻,都可能导致本次刷新图像的时刻和hwc开始执行从本次刷新的图像中抠图的时刻存在微小差异,例如,0.5ms,0.8ms,1ms等。当然,本次刷新图像的时刻和hwc开始执行从本次刷新的图像中抠图的时刻也可能相等。与本次刷新图像相邻的一次刷新图像,该相邻的一次刷新图像的时刻与本次刷新图像的时刻通常相差一个刷新周期,以60hz的刷新频率为例,该刷新周期为1000ms/60=16.7ms。以120hz的刷新频率为例,该刷新周期为1000ms/120=8.3ms。因此,该示例中的阈值可以为相对刷新周期比较小的值,例如2ms等。
609.步骤2603,若等待第二预设时间期间,电子设备刷新图像了,则不再强制刷新图像。
610.电子设备刷新图像,则表示hwc能够接收到surface flinger发送的显示参数(该显示参数记为第四显示参数)。当前刷新的图像可以记为第五图像。
611.步骤2603’,若等待第二预设时间期间,电子设备未刷新图像,则强制刷新图像。
612.在本技术实施例中,如果电子设备一直在刷新图像,则第二预设时间期间(例如17ms)已经发生了刷图动作,则hwc已经获取到最新的目标图像,则滞后第二预设时间再决策是否执行强制刷新图像,可以避免额外增加一次强制刷新图像的动作,进一步降低功耗。
613.hwc模块等待第二预设时间期间,未接收到surface flinger发送的显示参数(可以记为第三显示参数),则需要强制刷新图像。
614.下面将通过三个实施例(均以显示屏每次刷新图像时hwc均抠图为例)验证显示屏长时间处于空闲状态时(上述实施例中,若t
k
在上一个采集周期或更早的采集周期内的情况)是否能够获得干扰积分时间段采集的初始环境光的所有图像噪声和背光噪声。
615.参见图28,以显示屏上一次刷新图像的时刻在上一个采集周期的积分时间段、且一直未再次刷新图像为例。其中,上一个采集周期为第一个采集周期,本次采集周期为第二个采集周期。该示例中,t
1n
时刻、t
2n
时刻、t
3n
时刻均启动cwb回写功能。
616.第一个采集周期,t0时刻,环境光传感器开始采集初始环境光,t0时刻,cwb回写功能已经启动。在t
k
时刻显示屏最后一次刷新图像,噪声算法库获得t
k
时刻的图像噪声。
617.在t
1n
时刻,显示屏上一次刷新图像的时刻不在本次非积分时间段。显示屏t
1n
时刻显示的图像为t
k
时刻显示的图像,若忽略背光调节,则t
1n
时刻的图像噪声就为t
k
时刻的图像噪声。而噪声算法库已经获取了t
k
时刻的图像噪声,因此,t
1n
时刻不再强制刷新图像。
618.在第二个采集周期,没有图像刷新,忽略亮度调节。在第二个采集周期积分结束后,干扰积分时间段的融合噪声均为t
k
时刻的图像噪声。
619.在t
3n
时刻,显示屏最后一次刷新图像的时刻不在本次非积分时间段。显示屏t
3n
时刻显示的图像为t
k
时刻显示的图像,若忽略背光调节,则t
3n
时刻的图像噪声就为t
k
时刻的图像噪声。而hwc已经获取了t
k
时刻的图像噪声,因此,t
3n
时刻不再强制刷新图像。
620.在第三个采集周期,没有图像刷新,忽略亮度调节。继续按照第二个采集周期时的处理过程处理。
621.通过该示例可以理解,若上一次刷新图像的时刻在上一个采集周期的积分时间段,且未再次刷新图像的情况下,不需要强制刷新图像也可以获得干扰每个积分时间段的图像噪声。
622.参见图29,以显示屏上一次刷新图像的时刻在上一个采集周期的非积分时间段中的t
1n
时刻之前、且未再次刷新图像为例。其中,上一个采集周期为第一个采集周期,本次采集周期为第二个采集周期。该示例中,t
1n
时刻、t
2n
时刻、t
3n
时刻均启动cwb回写功能。
623.第一个采集周期,t0时刻,环境光传感器开始采集初始环境光,t0时刻,cwb回写功能已经启动。在t
k
时刻显示屏最后一次刷新图像,此时cwb回写功能为停止状态,则hwc未获得t
k
时刻的图像噪声。
624.在t
1n
时刻,显示屏上一次刷新图像的时刻为本次非积分时间段,需要强制刷新一次图像(该时刻成为最后一次刷新图像的时刻t
k’),获得t
1n
时刻的图像噪声。
625.当然,实际应用中,即使决策要强制刷新图像,也可以等待一定时长,若等待一定时长期间显示屏按照刷新频率刷新了图像,则无需强制刷新图像,若等待一定时长后,未监测到刷新图像,则可以强制刷新图像。该示例以强制刷新图像为例。
626.在第二个采集周期,没有图像刷新,忽略亮度调节,在第二个采集周期积分结束后,干扰第二个采集周期的积分时间段的融合噪声均为t
1n
时刻的图像噪声。
627.在t
3n
时刻,显示屏上次刷新图像的时刻不在本次非积分时间段。显示屏t
3n
时刻显示的图像为t
1n
时刻显示的图像,若忽略背光调节,则t
3n
时刻的图像噪声就为t
1n
时刻的图像噪声。而噪声算法库已经获取了t
1n
时刻的噪声,因此,t
3n
时刻不再强制刷新图像。
628.在第三个采集周期,没有图像刷新,忽略亮度调节。继续按照第二个采集周期时的处理过程处理。
629.通过该示例可以理解,若显示屏上一次刷新图像的时刻在上一个采集周期的非积分时间段cwb回写功能启动之前,且未再次刷新图像的情况下,不需要强制刷新图像也可以获得干扰每个积分时间段的初始环境光的图像噪声。
630.参见图30,以显示屏上一次刷新图像的时刻在上一个采集周期的非积分时间段中的t
1n
时刻之后、t2时刻之前、且未再次刷新图像为例。其中,上一个采集周期为第一个采集周期,本次采集周期为第二个采集周期。该示例中,t
1n
时刻、t
2n
时刻、t
3n
时刻均启动cwb回写功能。
631.第一个采集周期,在t
1n
时刻,cwb回写功能启动。
632.在t
k
时刻,显示屏刷新图像,则噪声算法库可以获取到t
k
时刻显示的图像的图像噪声。
633.在第二个采集周期,没有图像刷新,忽略亮度调节。在第二个采集周期积分结束后,干扰积分时间段的融合噪声均为t
k
时刻的图像噪声。
634.在t
3n
时刻,显示屏最后一次刷新图像的时刻不在本次非积分时间段。显示屏t
3n
时刻显示的图像为t
k
时刻显示的图像,若忽略背光调节,则t
3n
时刻的图像噪声就为t
k
时刻的图像噪声。而噪声算法库已经获取了t
k
时刻的噪声,因此,t
3n
时刻不再强制刷新图像。
635.在第三个采集周期,没有图像刷新,忽略亮度调节。继续按照第二个采集周期时的处理过程处理。
636.通过该示例可以理解,若显示屏上一次刷新图像的时刻在上一个采集周期的非积分时间段cwb回写功能启动之后,且未再次刷新图像的情况下,不需要强制刷新图像也可以获得对每个积分时间段的初始环境光造成干扰的图像噪声。
637.通过图28至图30的示例可以理解:若显示屏上一次刷新图像的时刻不在本次非积分时间段内,则不再需要强制刷新图像。
638.本技术实施例采用图28所示的流程图,在降低处理器的功耗的基础上,既可以避免获取不到对积分时间段存在干扰的图像噪声,也可以避免获取不到对积分时间段存在干扰的背光噪声时采用的目标图像,还可以避免在显示屏长时间处于的空闲状态下出现负增益的情况。
639.如前所述,ap处理器中的hwc可以在积分时间段和非积分时间段均监测内核节点中的数据的变化为例,在内核节点中存储的数据变化时,hwc均从内核节点获取待调节的亮度,并传输至噪声算法库计算获得背光噪声。
640.实际应用中,还可以按照如下方式进行。
641.在cwb回写功能停止期间,hwc监测到内核节点中的数据发生变化时,hwc可以获得待调节的亮度,然而,hwc不再向噪声算法库传输待调节的亮度值,相应的,噪声算法库也不再计算获得相应的背光噪声。
642.在cwb回写功能待启动(例如,在cwb回写功能启动前1ms等)或启动时,若hwc在cwb回写功能停止期间未监测到内核节点中存储的数据发生变化,则表示显示屏的亮度值未发生变化。hwc执行上述任一实施例提供的cwb回写功能的启停方法。
643.在cwb回写功能待启动或启动时,若hwc在cwb回写功能停止期间监测到内核节点中存储的数据发生变化,则表示显示屏的亮度值已经发生变化。则hwc需要发送监测到的最新的亮度值至噪声算法库。然后,hwc再执行上述任一实施例提供的cwb回写功能的启停方法。在cwb回写功能停止期间,若存在多次亮度调节,实际上噪声算法库只需要获知最后一次亮度调节后的值即可,即hwc将监测到的显示屏的最近一次的亮度变化对应的待调节的亮度发送给噪声算法库。避免了噪声算法库频繁计算待调节的亮度对应的背光噪声从而降低功耗。
644.作为一个示例,在所述hwc模块设置抠图标记为第一字符之后;所述hwc模块监测所述电子设备的内核节点中的数据是否发生变化,所述内核节点存储亮度值;
645.响应于所述电子设备的内核节点中的数据发生变化,所述hwc模块从所述内核节点获取第一亮度值;
646.在所述hwc模块从所述内核节点获取第一亮度值后,响应于所述电子设备的内核节点中的数据发生变化,所述hwc模块从所述内核节点获取第二亮度值;
647.响应于到达第一时刻,所述hwc模块将所述第二亮度值发送到所述噪声算法库。
648.所述噪声算法库在计算获得强制刷新的图像对应的图像噪声时,基于强制刷新的图像对应的目标图像和所述第二亮度值计算获得第一图像噪声。
649.在所述hwc模块设置抠图标记为第二字符之后,所述hwc模块监测所述电子设备的内核节点中的数据是否发生变化,所述内核节点存储亮度值;
650.响应于所述电子设备的内核节点中的数据发生变化,所述hwc模块从所述内核节点获取第三亮度值;
651.所述hwc模块将所述第二亮度值发送到所述噪声算法库;
652.在所述hwc模块将所述第三亮度值发送到所述噪声算法库之后,响应于所述电子设备的内核节点中的数据发生变化,所述hwc模块从所述内核节点获取第四亮度值;
653.所述hwc模块将所述第四亮度值发送到所述噪声算法库。
654.上述实施例中,hwc可能强制刷新图像,也可能不强制刷新图像。
655.若hwc强制刷新图像,则强制刷新的图像对应的图像噪声为最新传入噪声算法库的亮度值和强制刷新图像对应的目标图像计算获得的。亮度调节时刻对应的背光噪声不会对下一个积分时间段采集的初始环境光存在干扰。对下一个积分时间段采集的初始环境光存在干扰的融合噪声可能为强制刷新图像对应的图像噪声,该种情况下,图像噪声的值正确,不会导致下一个积分时间段的目标环境光错误。
656.若hwc不再强制刷新图像,hwc不再强制刷新图像,表示噪声算法库中存储了显示屏当前显示的图像的目标图像(噪声算法库存储的最新一帧目标图像)。
657.若亮度调节时刻早于显示屏当前显示的图像的刷新时刻,则亮度调节时刻对应的背光噪声不会对下一个积分时间段采集的初始环境光存在干扰。对下一个积分时间段采集的初始环境光存在干扰的融合噪声可能为显示屏当前显示的图像对应的图像噪声。而该图像噪声的值正确。不会导致下一个积分时间段的目标环境光错误。
658.若亮度调节时刻晚于显示屏当前显示的图像的刷新时刻,显示屏当前显示的图像的刷新时刻对应的图像噪声不会对下一个积分时间段采集的初始环境光存在干扰。对下一个积分时间段采集的初始环境光存在干扰的融合噪声可能为最新的亮度调节时刻的背光噪声,而该背光噪声由显示屏已经获取的最新的目标图像和最新时刻的调节后的亮度值生成,因此,该背光噪声正确,不会导致下一个积分时间段的目标环境光错误。
659.因此,无论cwb回写功能何时启动,无论是否强制刷新图像,在cwb回写功能停止期间,若hwc监测到亮度变化;则在cwb回写功能待启动时,hwc发送监测到的最新的亮度值至噪声算法库。噪声算法库计算获得背光噪声。hwc继续执行上述任一实施例提供的cwb回写功能的启停方法。
660.作为本技术另一实施例,cwb回写功能启动期间,hwc可以隔一帧从cwb回写内存获取一次目标图像。
661.作为示例,当显示屏以90hz频率进行刷新时,相当于每间隔1000ms/90=11.11ms刷新一次图像,hwc隔一帧从cwb回写内存获取一次目标图像具体为:
662.电子设备第i次刷新图像时(以第i次刷新的图像抠图为例),hwc获得合成后的图
像后,查看抠图标记,hwc查看抠图标记为第二字符,hwc确定本次刷新的图像为抠图帧,hwc继续按照上述实施例执行后续的步骤。
663.第i 1次刷新图像时,hwc获得合成后的图像后,查看抠图标记,hwc查看抠图标记为第二字符(cwb回写功能启动期间,抠图标记为第二字符),hwc获得hwc上一次确定抠图帧的时刻(第i次刷新图像确定为抠图帧的时刻)与当前时刻的时间差,时间差小于抠图帧差值阈值(可以为11.11ms,还可以是其他时间值,例如,11.5ms,11.8ms,12ms等),则表示第i 1次刷新的图像的上一次刷新的图像已经为抠图帧,第i 1次刷新的图像不再进行抠图。
664.第i 2次刷新图像时,hwc获得合成后的图像后,查看抠图标记,hwc查看抠图标记为第二字符(cwb回写功能启动期间,抠图标记为第二字符),hwc获得上一次确定抠图帧的时刻(第i次刷新图像确定为抠图帧的时刻)与当前时刻的时间差,时间差大于或等于抠图帧差值阈值(可以为11.11ms,还可以是其他时间值,例如,11.5ms,11.8ms,12ms等),则表示第i 2次刷新的图像为抠图帧。
665.上述示例中,时间差为:hwc上一次确定抠图帧的时刻与当前时刻的时间差。实际上,也可以是hwc上一次向oled驱动传输合成后的图像(携带需要抠图的信息)的时刻与当前时刻的时间差,还可以是hwc上一次开始执行抠图的时刻与当前时刻时间差。上述获得时间差的方式仅用于举例,实际应用中,还可以是其他确定时间差的方式。获得时间差的方式不同,相应的,抠图帧差值阈值也可以不同。
666.作为示例,两次刷新图像的间隔理论为11.1ms,当前时刻为hwc查看获得抠图标记为第二字符的时刻。若时间差为:上一次确定抠图帧的时刻与当前时刻的时间差,则该时间差理论上为11.1ms(上一帧为抠图帧)或22.2ms(上一帧不为抠图帧)。因此,抠图帧差值阈值可以为11.1至22.2之间的任意数值。若时间差为:hwc上一次向oled驱动传输合成后的图像(携带需要抠图的信息)的时刻,则该时间差理论上为(11.1

t)ms(上一帧为抠图帧)或(22.2

t)ms(上一帧不为抠图帧),t为hwc确定抠图帧的时刻至向oled驱动传输合成后的图像的时刻之间的时间差。因此,抠图帧差值阈值可以为11.1

t至22.2

t之间的任意数值。
667.若显示屏以120hz频率进行刷新时,则上述示例中的11.1ms需要基于120hz的频率变更为16.7ms。因此,在隔帧抠图时,抠图帧差值阈值还与显示屏当前的刷新频率相关。
668.当然,上述各个时刻仅用于举例,并不对本技术造成任何限定。
669.应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。
670.本技术实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应每一个功能划分每一个功能单元,也可以将两个或两个以上的功能集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本技术实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。下面以采用对应每一个功能划分每一个功能单元为例进行说明:
671.本技术实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
672.本技术实施例还提供了一种计算机程序产品,当计算机程序产品在电子设备上运
行时,使得电子设备可实现上述各个方法实施例中的步骤。
673.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括:能够将计算机程序代码携带到第一设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
674.本技术实施例还提供了一种芯片系统,芯片系统包括处理器,处理器与存储器耦合,处理器执行存储器中存储的计算机程序,以实现本技术任一方法实施例的步骤。芯片系统可以为单个芯片,或者多个芯片组成的芯片模组。
675.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
676.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
677.以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围,均应包含在本技术的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献