眼球检测方法、装置、电子设备及存储介质与流程

1.本公开涉及目标检测技术领域，尤其涉及一种眼球检测方法、装置、电子设备及存储介质。


背景技术：

2.近年来，随着科学技术的进步，逐步出现了vr(virtual reality，虚拟现实)、ar(augmented reality，增强现实)、mr(mixed reality，混合现实)等渲染设备，这些渲染设备能够渲染出各种虚拟的场景，从而为用户带来不同于传统显示屏的显示内容的视听体验。这些渲染设备具有头戴式等多种形式，每种形式均能够提供对应的功能，例如头戴式的渲染设备可以利用其与用户头部固定的特性来跟踪用户眼球，以使渲染效果适应用户的视线。但是相关技术中，头戴式设备对眼球跟踪的准确度有待提高。


技术实现要素：

3.本公开提供一种眼球检测方法、装置、电子设备及存储介质。
4.根据本公开的一些实施例，提供一种眼球检测方法，应用于头戴式设备，所述头戴式设备设有事件相机和至少一个发光元件，所述方法包括：
5.按照预设频率控制所述发光元件向眼球闪烁发光，并获取所述事件相机输出的事件信息，其中，所述事件信息用于表征所述事件相机的成像平面上像素的变化；
6.根据所述预设频率对所述事件信息进行滤波，得到目标事件，其中，所述目标事件包括所述发光元件的闪烁发光所引起的事件；
7.根据所述目标事件确定所述发光元件在所述成像平面上的闪烁点的位置，并根据所述闪烁点的位置确定所述眼球的位置。
8.在一个实施例中，所述发光元件包括灯组，所述灯组包括多个灯；
9.所述按照预设频率控制所述发光元件向眼球闪烁发光，包括：
10.按照预设频率依次控制所述灯组中每个灯闪烁发光。
11.在一个实施例中，所述按照预设频率控制所述发光元件向眼球闪烁发光，包括：
12.根据脉冲控制序列，在所述预设频率对应的每个闪烁周期中控制发光元件的发光时长。
13.在一个实施例中，所述脉冲控制序列包括多个脉冲控制单元，每个脉冲控制单元用于控制至少一个闪烁周期的发光时长。
14.在一个实施例中，不同的所述发光元件的脉冲控制序列中，相同位置的所述脉冲控制单元不同。
15.在一个实施例中，所述根据所述预设频率对所述事件信息进行滤波，得到目标事件，包括：
16.根据每种发光时长，保留所述预设频率对应的每个闪烁周期中的目标事件。
17.在一个实施例中，所述根据所述预设频率对所述事件信息进行滤波，得到目标事
件，包括：
18.采用窗口抑制的方式，根据所述预设频率对所述事件信息进行滤波，得到滤波图像。
19.在一个实施例中，所述根据所述目标事件确定所述发光元件在所述成像平面上的闪烁点的位置，包括：
20.根据所述至少一个闪烁周期中每个闪烁周期中的目标事件，以及每个所述发光元件的脉冲控制序列，确定每个所述发光元件在所述成像平面上的闪烁点的位置。
21.在一个实施例中，所述根据所述闪烁点的位置确定所述眼球的位置，包括：
22.根据每个所述发光元件的闪烁点位置和每个所述发光元件在所述成像平面上的重投影位置，确定所述眼球的位置。
23.在一个实施例中，还包括：
24.根据之前至少一次确定的所述眼球的位置，对当前确定的所述眼球的位置进行校正。
25.在一个实施例中，所述头戴式设备还包括渲染元件，用于渲染虚拟场景；所述方法还包括：
26.根据所述眼球的位置，确定虚拟场景中注视点位置；
27.根据所述注视点位置，对所述渲染元件的焦点进行调节。
28.根据本公开的一些实施例，提供一种眼球检测装置，应用于头戴式设备，所述头戴式设备设有事件相机和至少一个发光元件，所述装置包括：
29.闪烁模块，用于按照预设频率控制所述发光元件向眼球闪烁发光，并获取所述事件相机输出的事件信息，其中，所述事件信息用于表征所述事件相机的成像平面上像素的变化；
30.滤波模块，用于根据所述预设频率对所述事件信息进行滤波，得到目标事件，其中，所述目标事件包括所述发光元件的闪烁发光所引起的事件；
31.检测模块，用于根据所述目标事件确定所述发光元件在所述成像平面上的闪烁点的位置，并根据所述闪烁点的位置确定所述眼球的位置。
32.在一个实施例中，所述发光元件包括灯组，所述灯组包括多个灯；
33.所述闪烁模块用于按照预设频率控制所述发光元件向眼球闪烁发光时，具体用于：
34.按照预设频率依次控制所述灯组中每个灯闪烁发光。
35.在一个实施例中，所述闪烁模块用于按照预设频率控制所述发光元件向眼球闪烁发光时，具体用于：
36.根据脉冲控制序列，在所述预设频率对应的每个闪烁周期中控制发光元件的发光时长。
37.在一个实施例中，所述脉冲控制序列包括多个脉冲控制单元，每个脉冲控制单元用于控制至少一个闪烁周期的发光时长。
38.在一个实施例中，不同的所述发光元件的脉冲控制序列中，相同位置的所述脉冲控制单元不同。
39.在一个实施例中，所述滤波模块具体用于：
40.根据每种发光时长，保留所述预设频率对应的每个闪烁周期中的目标事件。
41.在一个实施例中，所述滤波模块具体用于：
42.采用窗口抑制的方式，根据所述预设频率对所述事件信息进行滤波，得到滤波图像。
43.在一个实施例中，所述检测模块用于根据所述目标事件确定所述发光元件在所述成像平面上的闪烁点的位置时，具体用于：
44.根据所述至少一个闪烁周期中每个闪烁周期中的目标事件，以及每个所述发光元件的脉冲控制序列，确定每个所述发光元件在所述成像平面上的闪烁点的位置。
45.在一个实施例中，所述检测模块用于根据所述闪烁点的位置确定所述眼球的位置时，具体用于：
46.根据每个所述发光元件的闪烁点位置和每个所述发光元件在所述成像平面上的重投影位置，确定所述眼球的位置。
47.在一个实施例中，还包括校正模块，用于：
48.根据之前至少一次确定的所述眼球的位置，对当前确定的所述眼球的位置进行校正。
49.在一个实施例中，所述头戴式设备还包括渲染元件，用于渲染虚拟场景；所述方法还包括对焦模块，用于：
50.根据所述眼球的位置，确定虚拟场景中注视点位置；
51.根据所述注视点位置，对所述渲染元件的焦点进行调节。
52.根据本公开的一些实施例，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现第一方面所述的方法。
53.根据本公开的一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面所述的方法。
54.根据上述实施例可知，首先按照预设频率控制头戴式设备的发光元件向眼球闪烁发光，并获取头戴式设备的事件相机输出的事件信息，从而可以根据预设频率对事件信息进行滤波，得到发光元件的闪烁发光所引起的目标事件，最后可以根据目标事件确定发光元件在事件相机的成像平面上的闪烁点的位置，并根据闪烁点的位置确定眼球的位置。由于事件相机是在成像平面像素发生变化时实时输出事件，因此能够避免普通相机的延迟、模糊和信息冗余等问题；而且发光元件按照预设频率进行闪烁发光，因此利用预设频率滤波后得到的目标事件的信噪比较高，避免噪声干扰，进一步提高了眼球检测的精度和准确度。
55.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
56.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
57.图1是本公开一些实施例示出的眼球检测方法的流程图；
58.图2是本公开一些实施例示出的事件相机与发光元件的结构示意图；
59.图3是本公开一些实施例示出的眼球检测装置的结构示意图；
60.图4是本公开一些实施例示出的电子设备的结构示意图。
具体实施方式
61.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
62.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
63.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
64.近年来，随着科学技术的进步，逐步出现了vr(virtual reality，虚拟现实)、ar(augmented reality，增强现实)、mr(mixed reality，混合现实)等渲染设备，这些渲染设备能够渲染出各种虚拟的场景，从而为用户带来不同于传统显示屏的显示内容的视听体验。这些渲染设备具有头戴式等多种形式，每种形式均能够提供对应的功能，例如头戴式的渲染设备可以利用其与用户头部固定的特性来跟踪用户眼球，以使渲染效果适应用户的视线。但是相关技术中，头戴式设备对眼球跟踪的准确度有待提高。
65.本公开的一些实施例提供了一种眼球检测方法，请参照图1，其示出了该认证方法的流程，包括步骤s101至步骤s103。
66.其中，该方法可以应用于头戴式设备，例如头戴式的vr(virtual reality，虚拟现实)、ar(augmented reality，增强现实)、mr(mixed reality，混合现实)等渲染设备。头戴式设备设有事件相机和至少一个发光元件，事件相机和每个发光元件的位置均固定安装在头戴式设备，因此事件相机和每个发光元件的相对位置是稳定的。
67.事件相机是受生物启发的传感器，没有曝光和帧率的概念，事件相机拍摄的是事件，即输出的是成像平面上像素亮度的变化情况。事件相机的成像平面中每个像素独立检测光照强度对数的变化，并当变化量达到一定阈值时，输出一个包含时间戳、位置、极性信息(例如由暗变量或者由亮变暗)的事件。成像平面中所有像素同时异步地检测光强对数变化情况并输出事件信息，形成了异步事件流。事件相机没有帧率的限制，主动检测场景中发生光强变化的位置并输出变化信息，事件流的数据量远小于传统相机传输的数据，且事件流没有最小时间单位，这意味着事件相机没有固定的采样率，也不是对所有像素采样，而是在变化产生时才会采样，尽管采集的数据较少，但准确性和效率足够好。事件相机具有高动态范围(例如120db)，运动模糊极少，延迟可低至亚毫秒级别，在眼球快速转动的情况下成
像清晰，可准确提取瞳孔边缘位置。而且事件相机的功率约在10mw级，远远低于传统相机功率，可以解决头戴式设备的续航时间短的问题。
68.发光元件可以为led灯等。在头戴式设备具有多个发光元件的情况下，可以将多个发光元件环绕事件相机均匀设置。发光元件可以为灯组，灯组包括多个灯，例如多个led灯。示例性的，请参照附图2，事件相机201周围均匀分布有8个发光元件202，每个发光元件为两个led灯组成的灯组。
69.在步骤s101中，按照预设频率控制所述发光元件向眼球闪烁发光，并获取所述事件相机输出的事件信息。
70.其中，事件信息用于表征所述事件相机的成像平面上像素的变化。预设频率可以为khz级别的频率。
71.可以控制发光元件在预设频率对应的每个闪烁周期内进行一次闪烁，例如在闪烁周期开始时由暗变亮点亮发光元件，经过一段时间(该时间短于闪烁周期)后熄灭发光元件以使其由亮变暗。
72.在一个可能的实施例中，可以根据脉冲控制序列，在所述预设频率对应的每个闪烁周期中控制发光元件的发光时长，例如可以预先设置多种发光时长，从而控制每个闪烁周期的发光时长为预设的多种发光时长之一。其中，所述脉冲控制序列包括多个脉冲控制单元，每个脉冲控制单元用于控制至少一个闪烁周期的发光时长。不同的所述发光元件的脉冲控制序列中，相同位置的所述脉冲控制单元可以不同，从而能够利用脉冲控制序列使每个发光元件在上述至少一个闪烁周期中呈现不同的闪烁，进而使得事件相机输出不同的事件(或事件组合)。
73.示例性的，脉冲控制序列可以为二进制数序列，序列中的每个二进制数为一个脉冲控制单元，二进制数的每一位对应一个闪烁周期。例如，某个发光元件的脉冲控制序列可以为001组成的二进制序列，即(001，001，001，001
……
)，其中，0和1分别表征不同的发光时长，例如0为闪烁周期的三分之一(即短亮)，1为闪烁周期的三分之二(即长亮)；则该发光元件可以在第一个闪烁周期的前三分之一进行发光(即进行短亮)，在第二个闪烁周期的前三分之一进行发光(即进行短亮)，在第三个闪烁周期的前三分之二进行发光(即进行长亮)，在第四个闪烁周期的前三分之一进行发光(即进行短亮)，在第五个闪烁周期的前三分之一进行发光(即进行短亮)，在第六个闪烁周期的前三分之二进行发光(即进行长亮)，剩余的周期再次不进行重复赘述。
74.可以理解的是，每个脉冲控制单元所控制的闪烁周期的数量，可以与发光元件的数量相关，从而实现不同发光元件所触发的事件的区分。示例性的，上述二进制数序列形式的脉冲控制序列中，n位的二进制数可以最多区分2n个发光元件，则可以预先设置2n个二进制数的顺序(例如从小到大的顺序)，然后使每个发光元件的脉冲控制序列为上述2n个二进制数中的一个所组成的二进制序列，且不同发光元件的脉冲控制序列中的二进制数不同。例如，第一个发光元件的脉冲控制序列为000组成的二进制序列，第二个发光元件的脉冲控制序列为001组成的二进制数序列，第三个发光元件的脉冲控制序列为010组成的二进制序列，第四个发光元件的脉冲控制序列为011组成的二进制数序列，第五个发光元件的脉冲控制序列为100组成的二进制数序列，第六个发光元件的脉冲控制序列为101组成的二进制数序列，第七个发光元件的脉冲控制序列为110组成的二进制数序列，第八个发光元件的脉冲
控制序列为111组成的二进制数序列。
75.发光元件包括多个灯组成的灯组的情况下，可以按照预设频率依次控制所述灯组中每个灯闪烁发光，从而实现差分照明，增强发光元件在眼球表面的反射集中程度；另外可以通过设置相邻发光元件间的距离，来提高眼球表面闪烁的信噪比。示例性的，发光元件包括两个灯组成的灯组，可以按照预设频率交替控制两个灯闪烁发光。
76.在步骤s102中，根据所述预设频率对所述事件信息进行滤波，得到目标事件，其中，所述目标事件包括所述发光元件的闪烁发光所引起的事件。
77.事件相机的事件信息中存在一定噪声，例如背景噪声、热点噪声等。
78.可选的，先根据预设频率确定每个对应的闪烁周期，再从每个闪烁周期中利用对应闪烁参数(例如发光时长等)来筛选事件信息，得到目标事件。
79.示例性的，可以根据每种发光时长，保留所述预设频率对应的每个闪烁周期中的目标事件。也就是将每个闪烁周期中的多个事件中，时间与任一种发光时长相匹配的事件保留。发光时长在起始时刻会触发由暗变亮的事件，在结束时刻会触发由亮变暗的事件。例如，可以得到每种发光时长对应的目标事件，可以采用频率滤波图像来表示发光时长对应的目标事件，例如闪烁周期的前三分之一对应的频率滤波图像，和闪烁周期的前三分之二对应的频率滤波图像，频率滤波图像可以为闪烁周期中发光时长对应的目标事件的像素坐标。
80.其中，每种发光时长指的是，步骤s101中控制发光元件在每个闪烁周期中的发光时长时的每种发光时长，例如发光时长可以为闪烁周期的前三分之一，或者闪烁周期的前三分之二，则这两个为上述每个发光时长。这种滤波方式可以在每个预设周期中仅保留特定时刻的事件，方便快捷，滤波准确，从而可以排除事件信息中绝大部分噪声。
81.示例性的，可以采用窗口抑制的方式，根据所述预设频率对所述事件信息进行滤波，得到滤波图像。即当一个事件发生后周围预设尺寸的空间窗口内短时间内的事件认为是噪声，从而对这些事件进行删除。
82.在步骤s103中，根据所述目标事件确定所述发光元件(的闪烁发光)在所述成像平面上(形成)的闪烁点的位置，并根据所述闪烁点的位置确定所述眼球的位置。
83.在一个可能的实施例中，根据所述至少一个闪烁周期中每个闪烁周期中的目标事件，以及每个所述发光元件的脉冲控制序列，确定每个所述发光元件在所述成像平面上的闪烁点的位置。由于不同的所述发光元件的脉冲控制序列中，相同位置的所述脉冲控制单元不同，因此可以使二进制闪烁跟踪器利用每个发光元件的脉冲控制序列确定每个发光元件的闪烁点的位置，通过二进制闪烁编码跟踪，可以得到每个闪烁的位置。例如脉冲控制序列中的一个脉冲控制单元能够控制3个闪烁周期的闪烁时长，则可以结合三个闪烁周期的闪烁时长来确定每个闪烁点对应的发光元件。也就是说任意三个连续的闪烁周期中，每个发光元件的闪烁时长组合均不相同，因此可以根据相同或相近位置的三个事件对应的闪烁时长来确定，该位置所对应的发光元件。
84.可以理解的是，可以将二进制闪烁跟踪器分为三个阶段：完全初始化、半初始化和未初始化；闪烁点追踪过程中，如果处于未初始化状态，即追踪开始或追踪丢失情况，在两个闪烁图中搜索最亮的点作为新的位置x开始追踪；当追踪器处于完全初始化状态，在闪烁图位置x周围λ
×
λ像素范围内搜索像素亮度峰值并更新；当追踪器处于半初始化状态时，确
定闪烁位置为λ
×
λ范围内的加权平均像素坐标。
85.在另一个可能的实施例中，根据每个所述发光元件的闪烁点位置和每个所述发光元件在所述成像平面上的重投影位置，确定所述眼球的位置。示例性的，可以在一个完美的球体上模拟角膜闪烁作为理想的镜面反射，在此假设下，从每个发光元件到眼球，以及从眼球到成像平面上对应的闪烁点，都有一条光线通过。相机坐标中的发光元件到眼球的光线是位置固定的，因此可以通过优化光线在成像平面上的二次投影误差来确定角膜球的尺寸和位置θ
*
：
[0086][0087]
其中，θ表示角膜球位置(xc，yc，zc)的向量[xc,yc,zc,rc]
t
,n
led
代表发光元件的数量，x
rn
为某个发光元件在成像平面上的重投影位置，x
en
为该发光元件的闪烁点位置。
[0088]
另外，可以根据之前至少一次确定的所述眼球的位置，对当前确定的所述眼球的位置进行校正。示例性的，按照下式对当前确定的眼球的位置进行平滑处理：
[0089][0090]
其中，α、β为权重系数，系数α越大，越接近前一位置，数据越稳定。
[0091]
通过上述校正可以使得眼球的位置变化轨迹较为稳定真实，进一步提高眼球跟踪效果。
[0092]
根据上述实施例可知，首先按照预设频率控制头戴式设备的发光元件向眼球闪烁发光，并获取头戴式设备的事件相机输出的事件信息，从而可以根据预设频率对事件信息进行滤波，得到发光元件的闪烁发光所引起的目标事件，最后可以根据目标事件确定发光元件在事件相机的成像平面上的闪烁点的位置，并根据闪烁点的位置确定眼球的位置。由于事件相机是在成像平面像素发生变化时实时输出事件，因此能够避免普通相机的延迟、模糊和信息冗余等问题；而且发光元件按照预设频率进行闪烁发光，因此利用预设频率滤波后得到的目标事件的信噪比较高，避免噪声干扰，进一步提高了眼球检测的精度和准确度。
[0093]
本公开的一些实施例中，所述头戴式设备还包括渲染元件，用于渲染虚拟场景，也就是用于虚拟现实或者增强现实的光学系统。因此在确定眼球的位置后，可以根据所述眼球的位置，确定虚拟场景中注视点位置，并进一步根据所述注视点位置，对所述渲染元件的焦点进行调节。
[0094]
目前的头戴式设备在固定的距离上聚焦，当用户交替观察近距离、远距离物体时，会产生感官冲突，比如眼睛疲劳、视觉不适和图像清晰度低。而本实施例能够实现实时变焦显示，从而优化渲染效率，省电，缓解眼球压力引起的视疲劳和眩晕。而且本实施例中实时动态变焦与眼球追踪相结合可允许在任何距离下的真实对象聚焦，从而提高视觉清晰度和图像清晰度。
[0095]
根据本公开的一些实施例，提供一种眼球检测装置，应用于头戴式设备，所述头戴
式设备设有事件相机和至少一个发光元件，请参照附图3，所述装置包括：
[0096]
闪烁模块301，用于按照预设频率控制所述发光元件向眼球闪烁发光，并获取所述事件相机输出的事件信息，其中，所述事件信息用于表征所述事件相机的成像平面上像素的变化；
[0097]
滤波模块302，用于根据所述预设频率对所述事件信息进行滤波，得到目标事件，其中，所述目标事件包括所述发光元件的闪烁发光所引起的事件；
[0098]
检测模块303，用于根据所述目标事件确定所述发光元件在所述成像平面上的闪烁点的位置，并根据所述闪烁点的位置确定所述眼球的位置。
[0099]
在本公开的一些实施例中，所述发光元件包括灯组，所述灯组包括多个灯；
[0100]
所述闪烁模块用于按照预设频率控制所述发光元件向眼球闪烁发光时，具体用于：
[0101]
按照预设频率依次控制所述灯组中每个灯闪烁发光。
[0102]
在本公开的一些实施例中，所述闪烁模块用于按照预设频率控制所述发光元件向眼球闪烁发光时，具体用于：
[0103]
根据脉冲控制序列，在所述预设频率对应的每个闪烁周期中控制发光元件的发光时长。
[0104]
在本公开的一些实施例中，所述脉冲控制序列包括多个脉冲控制单元，每个脉冲控制单元用于控制至少一个闪烁周期的发光时长。
[0105]
在本公开的一些实施例中，不同的所述发光元件的脉冲控制序列中，相同位置的所述脉冲控制单元不同。
[0106]
在本公开的一些实施例中，所述滤波模块具体用于：
[0107]
根据每种发光时长，保留所述预设频率对应的每个闪烁周期中的目标事件。
[0108]
在本公开的一些实施例中，所述滤波模块具体用于：
[0109]
采用窗口抑制的方式，根据所述预设频率对所述事件信息进行滤波，得到滤波图像。
[0110]
在本公开的一些实施例中，所述检测模块用于根据所述目标事件确定所述发光元件在所述成像平面上的闪烁点的位置时，具体用于：
[0111]
根据所述至少一个闪烁周期中每个闪烁周期中的目标事件，以及每个所述发光元件的脉冲控制序列，确定每个所述发光元件在所述成像平面上的闪烁点的位置。
[0112]
在本公开的一些实施例中，所述检测模块用于根据所述闪烁点的位置确定所述眼球的位置时，具体用于：
[0113]
根据每个所述发光元件的闪烁点位置和每个所述发光元件在所述成像平面上的重投影位置，确定所述眼球的位置。
[0114]
在本公开的一些实施例中，还包括校正模块，用于：
[0115]
根据之前至少一次确定的所述眼球的位置，对当前确定的所述眼球的位置进行校正。
[0116]
在本公开的一些实施例中，所述头戴式设备还包括渲染元件，用于渲染虚拟场景；所述方法还包括对焦模块，用于：
[0117]
根据所述眼球的位置，确定虚拟场景中注视点位置；
[0118]
根据所述注视点位置，对所述渲染元件的焦点进行调节。
[0119]
关于上述实施例中的装置，其中各个模块及网络执行操作的具体方式已经在第一方面有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0120]
请参照附图4，本公开一些实施例提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于第一方面所述的方法进行素材处理。
[0121]
本公开一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面所述的方法。
[0122]
本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。
[0123]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0124]
在本公开中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
[0125]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0126]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。