预测模型的训练、口型动画生成方法、装置、设备及介质与流程

1.本技术涉及数据处理技术领域，具体而言，涉及一种预测模型的训练、口型动画生成方法、装置、设备及介质。


背景技术：

2.虚拟人当前的应用场景有很多，比如游戏内的虚拟人物、虚拟偶像、虚拟讲解员等等。虚拟人作为计算机和人类交互的载体，其说话时口型的准确度会大大影响虚拟交互的用户体验。
3.一般采用参数控制的方式，控制虚拟人的口型生成，参数是由美术人员定义的一套面部表情和口型的控制系统，有n个维度，每一维都有明确的定义；口型合成的目标就是自动化的合成口型相关的参数。现有技术中确定合成口型相关参数的方式一般为通过输入的语音，使用人工智能 (artificial intelligence，ai)的方式生成对应说话内容的口型。
4.但是这样的生成方式在口型预测上存在准确性不足的问题，且泛化能力不佳。


技术实现要素：

5.本技术的目的在于，针对上述现有技术中的不足，提供一种预测模型的训练、口型动画生成方法、装置、设备及介质，以解决现有技术中准确性不足的问题，且泛化能力不佳的问题。
6.为实现上述目的，本技术实施例采用的技术方案如下：
7.第一方面，本技术一实施例提供了一种口型预测模型的训练方法，所述口型预测模型包括：特征提取器和口型生成器，所述方法包括：
8.从动态捕捉数据中采样样本语音信号，以及所述样本语音信号对应的样本口型数据；
9.采用所述特征提取器提取所述样本语音信号的样本音频特征；
10.采用所述口型生成器，根据所述样本音频特征及样本初始口部动画数据，生成预测口型数据；
11.根据所述预测口型数据和所述样本口型数据，调整所述口型预测模型的模型参数，得到目标口型预测模型。
12.第二方面，本技术另一实施例提供了一种口型动画生成方法，所述方法包括：
13.根据目标语音信号和初始口部动画数据，采用口型预测模型，生成目标口型数据；其中，所述口型预测模型为采用上述第一方面任一训练得到的模型；
14.根据所述目标语音和所述目标口型数据，控制所述预设虚拟对象的口部执行口型动画。
15.第三方面，本技术另一实施例提供了一种口型预测模型的训练装置，所述装置包括：采样模块、提取模块、生成模块和调整模块，其中：
16.所述采样模块，用于从动态捕捉数据中采样样本语音信号以及所述样本语音信号
对应的样本口型数据；
17.所述提取模块，用于采用所述特征提取器提取所述样本语音信号的样本音频特征；
18.所述生成模块，用于采用所述口型生成器，根据所述样本音频特征及样本初始口部动画数据，生成预测口型数据；
19.所述调整模块，用于根据所述预测口型数据和所述样本口型数据，调整所述口型预测模型的模型参数，得到目标口型预测模型。
20.第四方面，本技术另一实施例提供了一种口型动画生成装置，所述装置包括：生成模块和控制模块，其中：
21.所述生成模块，用于根据目标语音信号和初始口部动画数据，采用口型预测模型，生成目标口型数据；
22.所述控制模块，用于根据所述目标语音和所述目标口型数据，控制所述预设虚拟对象的口部执行口型动画。
23.第五方面，本技术另一实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面或第二方面任一所述方法的步骤。
24.第六方面，本技术另一实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面或第二方面任一所述方法的步骤。
25.本技术的有益效果是：采用本技术提供的口型预测模型的训练方法，从动态捕捉数据中采样样本语音信号以及对应的样本口型数据后，使用特征提取器提取样本语音信号的样本音频特征，并在口型生成器根据样本音频特征和样本初始口部动画数据生成预测口型数据后，根据预测口型数据和样本口型数据对口型预测模型进行调整，确定调整后的模型为目标口型预测模型，这样训练得到的目标口型预测模型在根据语音信号生成口型动画时，可以使得生成的口型动画更加稳定和准确。
附图说明
26.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
27.图1为本技术一实施例提供的口型预测模型的训练方法的流程示意图；
28.图2为本技术另一实施例提供的口型预测模型的训练方法的流程示意图；
29.图3为本技术另一实施例提供的口型预测模型的训练方法的流程示意图；
30.图4为本技术一实施例提供的口型动画生成方法口型动画生成方法的流程示意图；
31.图5为本技术一实施例提供的口型预测模型的训练装置的结构示意图；
32.图6为本技术另一实施例提供的口型预测模型的训练装置的结构示意图；
33.图7为本技术一实施例提供的口型动画生成方法口型动画生成装置的结构示意图；
34.图8为本技术一实施例提供的电子设备的结构示意图。
具体实施方式
35.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。
36.通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
37.另外，本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
38.如下结合多个具体的应用示例，对本技术实施例所提供的一种口型预测模型的训练方法进行解释说明。图1为本技术一实施例提供的一种口型预测模型的训练方法的流程示意图，口型预测模型包括：特征提取器和口型生成器，如图1所示，该方法包括：
39.s101：从动态捕捉数据中采样样本语音信号，以及样本语音信号对应的样本口型数据。
40.在本技术的实施例中，依次对多个样本口型动画进行数据采样，分别得到各样本口型动画的样本语音信号和样本口型数据；其中，多个样本口型动画均为通过动态捕捉的方式采集的。
41.s102：采用特征提取器提取样本语音信号的样本音频特征。
42.其中，采集得到的样本音频特征为多维样本音频特征，这样的提取方式可以避免因为视素提取出错而导致后续口型预测不准确的问题。
43.在采用特征提取器提取样本音频特征之前，需要对特征提取器根据大量的样本动态捕捉数据进行调整，得到调整后的特征提取器，这样的方式，使得在样本动态捕捉数据为包括了大量多语种样本语音信号时，采用上述样本动态捕捉数据对特征提取器进行训练时，训练后的特征提取器可以支持迁移至多语种的语音，从而增强口型合成的泛化性。
44.s103：采用口型生成器，根据样本音频特征及样本初始口部动画数据，生成预测口型数据。
45.在一些可能的实施例中，样本初始口部动画数据例如可以为根据动态捕捉数据对应人物的身份和语音情绪信息，生成的样本初始口部动画数据；其数学表达式例如可以为bs
init
＝f
initial
(x
id
,audio
emo
)，其中，bs
init
为样本初始口部动画数据，也即样本初始口部动画数据可以结合动态捕捉数据对应人物的身份x
id
和语音的情绪audio
emo
而定，其中，身份例如可以为动态捕捉数据对应人物的年龄身份、性别身份或其他身份，情绪例如可以为根据
动态捕捉数据对应人物的语气确定的，例如可以为开心、愤怒、悲伤等，应当理解，上述实施例仅为示例性说明，具体可以根据用户需要灵活调整，并不以上述实施例给出的为限。
46.其中，将样本音频特征和样本初始口部动画数据作为口型生成器的输入，这样的设置方式在生成样本音频特征对应的预测口型数据时，不但会考虑样本音频特征，还会考虑动态捕捉数据对应人物的身份和语音情绪信息，从而即使在样本音频特征相同的情况下，可能会由于初始口部动画数据的语音情绪信息不同，导致最终根据本技术提供的口型生成器得到的预测口型数据也不同；例如，同样的样本音频特征，在初始口部动画数据的语音情绪信息分别为高兴和愤怒时，其对应的预测口型数据并不相同，例如可能初始口部动画数据的语音情绪信息为愤怒时，其张嘴状态下的张嘴幅度大于初始口部动画数据的语音情绪信息为高兴时的张嘴幅度，应当理解，上述实施例仅为示例性说明，具体初始口部动画数据的语音情绪信息与预测口型数据之间的关系可以根据用户需要灵活调整，并不以上述实施例给出的为限。
47.在本技术的实施例中，采用transformer结构的预测模型作为样本音频特征的预测口型数据的口型生成器，采用transformer模型可以建立长距离的依赖关系，也即根据transformer模型生成预测口型数据时， transformer模型会综合考虑样本音频特征的上下文信息后再生成预测口型数据，从而使得生成的预测口型数据更加准确，增强模型长距离建模的能力，使得在生成预测口型数据时，可以应对口型变化快的情况。
48.其中，预测口型数据例如可以包括n个维度的口型参数数据，每个维度的口型参数数据都有明确的定义，以口型合成相关的参数为例进行说明：jawopen这一维口型参数数据仅控制嘴张嘴，左嘴唇微笑(mouthsmile_l) 这一维口型参数数据控制左侧嘴唇的笑，当这两维同时设为50时，可以边张嘴左侧边咧嘴笑；当同时设为100时，上述动作幅度更大。右嘴唇微笑 (mouthsmile_r)这一维口型参数数据控制右侧嘴唇的笑，当mouthsmile_l和mouthsmile_r均为50时，表示当前左右两侧的微笑幅度相同；具体预设口型数据包括的口型参数数据的内容，以及内容的表现形式均可以根据用户需要灵活调整，并不以上述实施例给出的为限。
49.s104：根据预测口型数据和样本口型数据，调整口型预测模型的模型参数，得到目标口型预测模型。
50.采用上述方式得到的目标口型预测模型，可以使得后续根据目标预测模型生成预测口型动画时，生成的口型动画更加稳定和准确。
51.采用本技术提供的口型预测模型的训练方法，从动态捕捉数据中采样样本语音信号以及对应的样本口型数据后，使用特征提取器提取样本语音信号的样本音频特征，并在口型生成器根据样本音频特征和样本初始口部动画数据生成预测口型数据后，根据预测口型数据和样本口型数据对口型预测模型进行调整，确定调整后的模型为目标口型预测模型，这样训练得到的目标口型预测模型在根据语音信号生成口型动画时，可以使得生成的口型动画更加稳定和准确。
52.可选地，在上述实施例的基础上，本技术实施例还可提供一种口型预测模型的训练方法，如下结合附图对上述方法中得到目标口型预测模型的实现过程进行示例说明。图2为本技术另一实施例提供的一种口型预测模型的训练方法的流程示意图，如图2所示，s104可包括：
53.s111：根据预测口型数据和样本口型数据，计算口型动画位置损失函数值。
54.在本技术的实施例中，为了让口型预测模型输出的预测口型数据和样本口型数据尽可能接近，同时保证预测口型数据的稀疏性，本技术引入口型动画位置损失函数来描述他们之间的差异，并通过减小他们之间的差异来保证后续使用过程中得到的预测口型数据的稀疏性，具体的数学形式如下：
[0055][0056]
其中，l
pos
即为动画位置损失函数值；bsi为预测口型数据，为样本口型数据，也即动画位置损失函数值的确定方式为对预测口型数据和样本口型数据进行逐帧比对，根据每一帧的损失值，对每一帧的损失值进行累加，确定累加结果为动画位置损失值，从而通过对动画位置损失函数值不断收敛的方式，保证每一帧的预测口型数据和样本口型数据都尽可能的接近，从而保证预测口型数据的准确性和稀疏性。
[0057]
s112：采用预设的鉴别器，对预测口型数据和样本口型数据进行鉴别，得到第一鉴别结果。
[0058]
其中，预设的鉴别器discriminator是用于分辨样本口型数据和预测口型数据之间的真假。
[0059]
s113：根据第一鉴别结果，生成第一口型动画整体评估损失函数值。
[0060]
在本技术的实施例中，第一口型动画整体评估损失函数定义如下：
[0061]
sgan-g
＝e
x～audio
(d(g(x))-c)2[0062]
其中，l
lsgan-g
为第一口型动画整体评估损失函数，d代表鉴别器，g 代表口型预测模型，c为常数0。
[0063]
s114：根据口型动画位置损失函数值和第一口型动画整体评估损失函数值，计算口型预测模型损失函数值。
[0064]
在一些可能的实施例中，例如可以直接将口型动画位置损失函数值和第一口型动画整体评估损失函数相加，作为口型预测模型损失函数值；或者也可以根据预设权重将口型动画位置损失函数值和第一口型动画整体评估损失函数相加，作为口型预测模型损失函数值；应当理解，上述实施例仅为示例性说明，具体联合损失函数值的确定方式可以根据用户需要灵活调整，并不以上述实施例给出的为限。
[0065]
s115：根据口型预测模损失函数值，调整口型预测模型的模型参数，得到目标口型预测模型。
[0066]
在本技术的实施例中，可以根据口型预测模损失函数值对口型预测模型和鉴别器进行收敛，直至口型预测模损失函数值小于预设值。
[0067]
可选地，在上述实施例的基础上，本技术实施例还可提供一种口型预测模型的训练方法，如下结合附图对上述方法进行进一步示例说明。图3为本技术另一实施例提供的一种口型预测模型的训练方法的流程示意图，如图3所示，该方法还可包括：
[0068]
s121：根据第一鉴别结果，生成第二口型动画整体评估损失函数值；
[0069]
第二口型动画整体评估损失函数用鉴别器损失函数来表示，其中，鉴别器损失函数的表现形式如下：
[0070][0071]
其中，l
lsgan-d
为鉴别器损失函数，b为常数1，a为常数-1。
[0072]
s122：根据第二口型动画整体评估损失函数值，调整鉴别器的模型参数，得到目标鉴别器。
[0073]
随后，s115之前，该方法还可以包括：根据口型预测模型损失函数值，调整口型预测模型的模型参数，得到目标口型预测模型之前，方法还包括：根据目标鉴别器对预测口型数据和样本口型数据进行鉴别，得到第二鉴别结果；根据第二鉴别结果，重新生成第一口型动画整体评估损失函数值；根据口型动画位置损失函数值和重新生成的第一口型动画整体评估损失函数值，重新计算口型预测模型损失函数值；对应的，s115即为根据重新计算的口型预测模型损失函数值，调整口型预测模型的模型参数，得到目标口型预测模型。
[0074]
也即在本技术的一个实施例中，在对口型预测模型和鉴别器进行收敛的阶段，可以先根据第一口型动画整体评估损失函数值和口型动画位置损失函数对口型预测模型的模型参数进行调整，在口型预测模型的模型参数收敛到最优解附近后；根据第一鉴别结果生成第二口型动画整体评估损失函数值，再根据第二口型动画整体评估损失函数值对鉴别器的模型参数进行调整，得到目标鉴别器。
[0075]
随后，根据调整后的目标鉴别器对口型预测模型进行收敛，也即使用调整后的目标鉴别器重新对预测口型数据和样本口型数据进行鉴别，得到第二鉴别结果，再根据第二鉴别结果重新生成第一口型动画整体评估函数值，随后根据重新生成的第一口型动画整体评估损失函数值和口型动画位置损失函数对口型预测模型的模型参数进行调整，重新使得口型预测模型的模型参数收敛至最优解，此时经过目标鉴别器再次收敛，得到的口型预测模型即为训练好的目标口型预测模型。
[0076]
这种收敛方式，先对口型预测模型进行预先训练，也即先对口型预测模型进行收敛，收敛到最优解后，重新对口型预测模型和鉴别器进行联合训练。
[0077]
在本技术的实施例中，联合训练的过程中，可以先对鉴别器采用梯度下降法对鉴别器进行优化更新，在鉴别器优化完成后，再根据优化后的鉴别器，采用梯度下降法对口型预测模型进行优化和更新，从而使得在对口型预测模型进行优化时，可以保证优化后的鉴别器可以在口型预测模型优化时可以提供正确的反向梯度流，进一步增强本技术提供的口型预测模型再后续预测口型数据时的预测准确率。
[0078]
示例地，在另一些可能的实施例中，s114之前，还可以根据预测口型数据和样本口型数据，计算口型动画速度损失函数值；随后，根据口型动画位置损失函数值、口型动画速度损失函数和口型动画整体评估损失函数值，计算联合损失函数值。
[0079]
在本技术的实施例中，为了消除根据预测口型数据生成的预测口型动画的抖动，因此引入了一阶的口型动画速度损失函数，其具体数学形式如下：
[0080][0081]
其中，l
vel
为口型动画速度损失函数值，为预测口型数据，为样本口型数据，也即根据预测口型数据中，每一帧预测口型数据的前一帧预测口型数据，和每一帧样本口
型数据的前一帧样本口型数据计算各帧的口型动画速度损失函数值，随后对各帧的口型动画速度损失函数值进行累加，得到最终的口型动画速度损失函数值。
[0082]
示例地，在另一些可能的实施例中，s114之前，还可以根据预测口型数据和样本口型数据，计算口型动画平滑度损失函数值；随后，根据口型动画位置损失函数值、口型动画速度损失函数、口型动画平滑度损失函数和口型动画整体评估损失函数值，计算联合损失函数值。
[0083]
在本技术的实施例中，为了防止根据预测口型数据生成的预测口型动画产生不自然的突然变化的情况，对预测口型数据，还引入了二阶口型动画平滑度损失函数，其具体数学形式如下：
[0084][0085]
其中，l
lap
为口型动画平滑度损失函数值，bsi为预测口型数据，也即根据预测口型数据中，每一帧预测口型数据的前一帧预测口型数据和后一帧预测口型数据计算每一帧的口型动画平滑度损失函数值，随后对每一帧的口型动画平滑度损失函数值进行累加，得到最终的口型动画平滑度损失函数值。
[0086]
在本技术的实施例中，在对口型预测模型进行预先训练时，例如可以根据口型动画位置损失函数值、口型动画速度损失函数、口型动画平滑度损失函数、第一口型动画整体评估损失函数值，计算口型预测模型损失函数值和各损失函数的预设权重，计算口型预测模型损失函数值。
[0087]
在本技术的实施例中，口型预测模型损失函数值的形式如下：
[0088][0089]
其中，l
all-g
为口型预测模型损失函数值，μ
pos
、μ
vel
、μ
lap
和μg分别为预设系数，为常数值，在本技术的一个实施例中，μ
pos
、μ
vel
、μ
lap
和μg分别设置为1.0、0.5、0.5和0.1；应当理解，上述实施例仅为示例性说明，上述预设系数的具体取值可以根据用户需要灵活调整，并不以上述实施例给出的为限，可以设置为任意的常数值，本技术在此不做任何限制。
[0090]
采用本技术提供的口型预测模型的训练方法，通过特征提取器提取样本语音信号的样本音频特征的方式，提升了音频特征的表达能力，对于不同语种由一定的泛化能力，并且本技术中口型生成器可以建立长距离的依赖关系，从而提升了模型的建模能力，并且本技术通过鉴别器的引入，可以通过对生成的预测口型数据进行分析的方式，提升根据预测口型数据生成的口型动画整体的连续性。
[0091]
如下结合多个具体的应用示例，对本技术实施例所提供的一种口型动画生成方法进行解释说明。图4为本技术一实施例提供的一种口型动画生成方法的流程示意图，如图4所示，该方法包括：
[0092]
s201：根据目标语音信号和初始口部动画数据，采用口型预测模型，生成目标口型数据。
[0093]
其中，口型预测模型为采用上述图1-图3训练得到的模型。
[0094]
在本技术的实施例中，初始口部动画数据为根据目标语音信号对应任务的身份和语音情绪信息生成的。
[0095]
s202：根据目标语音和目标口型数据，控制预设虚拟对象的口部执行口型动画。
[0096]
上述方法为采用上述图1-图3训练得到的模型执行的，因此得到的有益效果与上述实施例给出的相同，本技术在此不再赘述。
[0097]
下述结合附图对本技术所提供的口型预测模型的训练装置进行解释说明，该口型预测模型的训练装置可执行上述图1-图4任一口型预测模型的训练方法，其具体实现以及有益效果参照上述，如下不再赘述。
[0098]
图5为本技术一实施例提供的口型预测模型的训练装置的结构示意图，如图5所示，该装置包括：采样模块301、提取模块302、生成模块303和调整模块304，其中：
[0099]
采样模块301，用于从动态捕捉数据中采样样本语音信号以及样本语音信号对应的样本口型数据；
[0100]
提取模块302，用于采用特征提取器提取样本语音信号的样本音频特征；
[0101]
生成模块303，用于采用口型生成器，根据样本音频特征及样本初始口部动画数据，生成预测口型数据；
[0102]
调整模块304，用于根据预测口型数据和样本口型数据，调整口型预测模型的模型参数，得到目标口型预测模型。
[0103]
可选地，在上述实施例的基础上，本技术实施例还可提供一种口型预测模型的训练装置，如下结合附图对上述图5给出的装置的实现过程进行示例说明。图6为本技术另一实施例提供的口型预测模型的训练装置的结构示意图，如图6所示，该装置还包括：计算模块305和鉴别模块306，其中：
[0104]
计算模块305，用于根据预测口型数据和样本口型数据，计算口型动画位置损失函数值；
[0105]
鉴别模块306，用于采用预设的鉴别器，对预测口型数据和样本口型数据进行鉴别，得到第一鉴别结果；
[0106]
生成模块303，用于根据第一鉴别结果，生成第一口型动画整体评估损失函数值；
[0107]
计算模块305，具体用于根据口型动画位置损失函数值和第一口型动画整体评估损失函数值，计算口型预测模型损失函数值；
[0108]
调整模块304，具体用于根据口型预测模型损失函数值，调整口型预测模型的模型参数，得到目标口型预测模型。
[0109]
可选地，生成模块303，具体用于根据第一鉴别结果，生成第二口型动画整体评估损失函数值；
[0110]
调整模块304，具体用于根据第二口型动画整体评估损失函数值，调整鉴别器的模型参数，得到目标鉴别器。
[0111]
可选地，鉴别模块306，具体用于根据目标鉴别器对预测口型数据和样本口型数据进行鉴别，得到第二鉴别结果；
[0112]
生成模块303，具体用于根据第二鉴别结果，重新生成第一口型动画整体评估损失函数值；
[0113]
计算模块305，具体用于根据口型动画位置损失函数值和重新生成的第一口型动画整体评估损失函数值，重新计算口型预测模型损失函数值；
[0114]
调整模块304，具体用于根据重新计算的口型预测模型损失函数值，调整口型预测
模型的模型参数，得到目标口型预测模型。
[0115]
可选地，计算模块305，具体用于根据预测口型数据和样本口型数据，计算口型动画速度损失函数值；根据口型动画位置损失函数值、口型动画速度损失函数和第一口型动画整体评估损失函数值，计算口型预测模型损失函数值。
[0116]
可选地，计算模块305，具体用于根据预测口型数据和样本口型数据，计算口型动画平滑度损失函数值；根据口型动画位置损失函数值、口型动画速度损失函数、口型动画平滑度损失函数和第一口型动画整体评估损失函数值，计算口型预测模型损失函数值。
[0117]
可选地，生成模块303，具体用于根据动态捕捉数据对应人物的身份和语音情绪信息，生成样本初始口部动画数据。
[0118]
下述结合附图对本技术所提供的口型动画生成装置进行解释说明，该口型动画生成装置可执行上述图5口型动画生成方法，其具体实现以及有益效果参照上述，如下不再赘述。
[0119]
图7为本技术一实施例提供的口型动画生成装置的结构示意图，如图7 所示，该装置包括：生成模块401和控制模块402，其中：
[0120]
生成模块401，用于根据目标语音信号和初始口部动画数据，采用口型预测模型，生成目标口型数据；
[0121]
控制模块402，用于根据目标语音和目标口型数据，控制预设虚拟对象的口部执行口型动画。
[0122]
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
[0123]
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integratedcircuit，简称asic)，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu) 或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0124]
图8为本技术一实施例提供的电子设备的结构示意图，该电子设备可以集成于终端设备或者终端设备的芯片。
[0125]
如图8所示，该电子设备包括：处理器501、存储介质502和总线503。
[0126]
处理器501用于存储程序，处理器501调用存储介质502存储的程序，以执行上述图1-图4对应的方法实施例。具体实现方式和技术效果类似，这里不再赘述。
[0127]
可选地，本技术还提供一种程序产品，例如存储介质，该存储介质上存储有计算机程序，包括程序，该程序在被处理器运行时执行上述方法对应的实施例。
[0128]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通
信连接，可以是电性，机械或其它的形式。
[0129]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0130]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0131]
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本技术各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read
‑ꢀ
only memory，简称：rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。