交互动画生成模型训练、交互动画生成方法和系统与流程

1.本说明书涉及动画制作，特别涉及一种交互动画生成模型训练、交互动画生成方法和系统。


背景技术：

2.动画制作的应用日益广泛，例如，在动漫、电影、游戏、广告等作品的制作中经常需要用到动画技术。
3.目前，希望提供一种高效的交互动画制作方法。


技术实现要素：

4.本说明书实施例之一提供一种交互动画生成模型训练方法。该方法可以包括：获取多个样本输入数据，所述样本输入数据包括角色的初始骨骼状态参数、刚性物体的空间分布参数和该刚性物体的运动轨迹参数，所述初始骨骼状态参数指示该角色的一个或多个骨骼的初始位置和初始姿态，所述运动轨迹参数至少指示该刚性物体的初始位置、初始姿态、目标位置和目标姿态；获取与所述多个样本输入数据分别对应的多个样本标签数据，所述样本标签数据包括角色的骨骼运动参数，所述骨骼运动参数指示在该角色与刚性物体交互过程中的至少两个时间点所述一个或多个骨骼的位置和姿态；利用所述多个样本输入数据和所述多个样本标签数据训练初始模型，得到所述交互动画生成模型。
5.本说明书实施例之一提供一种交互动画生成方法。该方法可以包括：获取目标角色的初始骨骼状态参数、目标刚性物体的空间分布参数和所述目标刚性物体的运动轨迹参数，所述初始骨骼状态参数指示所述目标角色的一个或多个骨骼的初始位置和初始姿态，所述运动轨迹参数至少指示所述目标刚性物体的初始位置、初始姿态、目标位置和目标姿态；将所述目标角色的初始骨骼状态参数、所述目标刚性物体的空间分布参数和所述目标刚性物体的运动轨迹参数输入交互动画生成模型，以获得所述交互动画生成模型输出的所述目标角色的骨骼运动参数，所述骨骼运动参数指示在所述目标角色与所述目标刚性物体交互过程中的至少两个时间点所述一个或多个骨骼的位置和姿态；基于所述目标角色的骨骼运动参数生成所述目标角色与所述目标刚性物体的交互动画。
6.本说明书实施例之一提供一种交互动画生成模型训练系统。该系统可以包括样本输入数据获取模块、样本标签数据获取模块和训练模块。所述样本输入数据获取模块可以用于获取多个样本输入数据，所述样本输入数据包括角色的初始骨骼状态参数、刚性物体的空间分布参数和该刚性物体的运动轨迹参数，所述初始骨骼状态参数指示该角色的一个或多个骨骼的初始位置和初始姿态，所述运动轨迹参数至少指示该刚性物体的初始位置、初始姿态、目标位置和目标姿态。所述样本标签数据获取模块可以用于获取与所述多个样本输入数据分别对应的多个样本标签数据，所述样本标签数据包括角色的骨骼运动参数，所述骨骼运动参数指示在该角色与刚性物体交互过程中的至少两个时间点所述一个或多个骨骼的位置和姿态。所述训练模块可以用于利用所述多个样本输入数据和所述多个样本
标签数据训练初始模型，得到所述交互动画生成模型。
7.本说明书实施例之一提供一种交互动画生成系统。该系统可以包括输入参数获取模块、输出参数获得模块和交互动画生成模块。所述输入参数获取模块可以用于获取目标角色的初始骨骼状态参数、目标刚性物体的空间分布参数和所述目标刚性物体的运动轨迹参数，所述初始骨骼状态参数指示所述目标角色的一个或多个骨骼的初始位置和初始姿态，所述运动轨迹参数至少指示所述目标刚性物体的初始位置、初始姿态、目标位置和目标姿态。所述输出参数获得模块可以用于将所述目标角色的初始骨骼状态参数、所述目标刚性物体的空间分布参数和所述目标刚性物体的运动轨迹参数输入交互动画生成模型，以获得所述交互动画生成模型输出的所述目标角色的骨骼运动参数，所述骨骼运动参数指示在所述目标角色与所述目标刚性物体交互过程中的至少两个时间点所述一个或多个骨骼的位置和姿态。所述交互动画生成模块可以用于基于所述目标角色的骨骼运动参数生成所述目标角色与所述目标刚性物体的交互动画。
8.本说明书实施例之一提供一种交互动画生成模型训练装置。该装置包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如本说明书任一实施例所述的交互动画生成模型训练方法。
9.本说明书实施例之一提供一种交互动画生成装置。该装置包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如本说明书任一实施例所述的交互动画生成方法。
附图说明
10.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
11.图1是根据本说明书一些实施例所示的交互动画生成模型训练方法的示例性流程图；
12.图2是根据本说明书一些实施例所示的交互动画生成方法的示例性流程图；
13.图3是根据本说明书一些实施例所示的用于生成交互动画的神经网络的示例性结构示意图；
14.图4是根据本说明书一些实施例所示的交互动画生成模型训练系统的示例性模块图；
15.图5是根据本说明书一些实施例所示的交互动画生成系统的示例性模块图。
具体实施方式
16.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
17.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别
的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
18.如本说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
19.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
20.三维动画中角色的运动(如动作)一般使用三维骨骼动画技术来实现。骨骼动画将角色三维模型表面的每一个顶点都绑定到若干骨骼，骨骼的坐标联合决定了模型表面顶点的坐标。物体的运动的计算一般分为刚性物体和非刚性物体两种，本说明书仅讨论针对刚性物体的交互动画。应当理解，刚性物体是指不会发生形变(或者认为形变可忽略)的物体。刚性物体的状态可基于位置和姿态(也可称为“旋转”)确定。出于简洁，下文中出现的“物体”均可特指刚性物体。
21.三维动画中存在大量角色与物体的交互。下面提供几种角色与物体的交互动画制作方法。
22.在一些实施例中，在动画制作软件中，动画师可以通过逐帧调节骨骼的位置参数和旋转参数，将角色调整至期望的状态。相应地，还可以逐帧调节物体的位置参数和旋转参数，以使整个交互动画符合物理规律。此类方法(记为方法1)需要专业的动画师耗费大量时间和精力来保证动画的精良程度。
23.在一些实施例中，借助运动捕捉技术，可以让演员穿戴专业的服装和手套，用专业设备捕捉并计算出演员的骨骼的位置参数和旋转参数，再将这些参数通过动画制作软件导入模型，之后由动画师检查模型运动效果，在需要时进行修正。此类方法(记为方法2)相较于方法1虽然可以改善动画制作效率，但引入了聘请演员、使用动作捕捉场地及设备的成本。另外，在实际应用中，由于数据往往存在误差，几乎无法在不经过人工修正的情况下使用，即人工修正的成本往往也要计入。
24.在一些实施例中，利用ik(inverse kinematics，反向运动)算法，可以在物体模型上预设好目标点，每个目标点和手上的指定触碰点对应，然后由触碰点带动手部运动到目标点，利用ik反向推算出手部及手臂的骨骼位置和旋转值。此方法(记为方法3)常见于高精度3d游戏制作，需要针对每个模型都需要提前设置好目标点和手部触碰点。由于采用纯空间的物理关系计算，ik算法容易出现手和物体的穿模问题，另外，计算的肢体运动过程一般为最短路径，容易出现不符合人体习惯的动作行为。
25.本说明书实施例还提供一种利用机器学习模型自动生成三维角色与物体交互所需的运动参数的方法。其中，用户输入角色的初始骨骼状态、物体的空间分布、物体的初始位置、初始姿态、目标位置和目标姿态等中的一种或多种信息后，交互动画生成模型可基于用户输入生成在角色的骨骼运动参数，该骨骼运动参数可指示在该角色与物体交互过程中的至少两个时间点骨骼的位置和姿态。进而，可以基于角色的骨骼运动参数生成该角色与
物体的交互动画。
26.下面分模型训练和模型预测两个阶段进行说明。
27.图1是根据本说明书一些实施例所示的交互动画生成模型训练方法的示例性流程图。流程100可以由一个或多个处理器执行。流程100对应模型训练阶段，其中，样本输入数据和样本标签数据可统称为训练数据。如图1所示，流程100可以包括：
28.步骤110，获取多个样本输入数据。在一些实施例中，步骤110可以由样本输入数据获取模块410实现。
29.所述样本输入数据可以包括角色的初始骨骼状态参数、物体的空间分布参数和该物体的运动轨迹参数。其中，所述初始骨骼状态参数可以指示该角色的一个或多个骨骼的初始位置和初始姿态，所述运动轨迹参数可以至少指示该物体的初始位置、初始姿态、目标位置和目标姿态。
30.在一些实施例中，所述一个或多个骨骼可以包括从肩膀到手指的骨骼。在实际应用中，可以仅关注角色与物体交互过程中肩部到手部的运动，即，可以忽略交互过程中其他部位的运动。如此，可以极大地降低模型训练和预测阶段的数据收集成本和计算量。
31.需要注意的是，本说明书中提及的骨骼可以来源于真实的生物骨骼(如人体骨骼)结构，也可以是自定义的(例如，对真实的生物骨骼结构改造得到或完全虚构的)。
32.在一些实施例中，为了降低数据计算量，可以对物体的模型(物体在计算设备中的表达)进行低面数多边形化处理，相应地，基于经过低面数多边形化处理的模型得到该物体的空间分布参数。低面数多边形化处理可以指用较少面数的多边形来表示物体，这意味着物体的部分凹凸细节可被忽略。可以理解，低面数多边形化处理可以结合实际需要进行。例如，可以根据交互动画的精细程度调整低面数多边形化处理的级别。又如，可以根据交互动画的具体类型进行低面数多边形化处理，仅作为示例，当交互动画为用手开门时，在进行低面数多边形化处理时可以仅保留门把手等与开门动画具有强关联的细节，以减少计算量。
33.在一些实施例中，物体的模型的空间分布可以被限制在预设大小的立方体(正六面体)空间内，即不超出预设大小(体积)的立方体空间。其中，所述预设大小的立方体空间可以被划分为多个子立方体空间，相应地，物体的空间分布参数(以下称为物体的模型参数)可指示该物体的模型在每个子立方体空间中的部分占该子立方体空间的比例。仅作为示例，可以将边长为1m的立方体空间划分成1003个子立方体空间，每个子立方体空间的大小为1cm3。相应地，物体的模型参数可以是100*100*100的三维张量(具有100*100*100个点/分量)，其中，每个点/分量可以在0
‑
1之间取值。
34.步骤120，获取与所述多个样本输入数据分别对应的多个样本标签数据。在一些实施例中，步骤120可以由样本标签数据获取模块420实现。
35.所述样本标签数据可以包括角色的骨骼运动参数，所述骨骼运动参数可以指示在该角色与物体交互过程中的至少两个时间点所述一个或多个骨骼的位置和姿态。可以理解，所述骨骼运动参数是模型训练的监督信号。
36.在一些实施例中，本说明书提及的一个或多个参数(如初始骨骼状态参数、骨骼运动参数、物体的运动轨迹参数)中，可以通过三维坐标表示(三维空间中的)位置，以及通过旋转四元数表示(三维空间中的)旋转(即姿态)。其中，所述旋转四元数包括旋转轴的三维向量表示的各元素(3个数)和绕该旋转轴的旋转角(1个数)。如此，若将对象(例如，角色的
某根骨骼或者物体)的位置和旋转视作该对象的状态，则可用7个数值来表示对象的状态。具体而言，角色的初始骨骼状态参数可以是或包括长度为n*(3 4)的数组，其中，n为所述一个或多个骨骼的数量。物体的初始状态和目标状态(可构成物体的运动轨迹参数)可各为7个数值。样本标签数据或模型输出可以是或包括t*n*(3 4)的帧序列，其中，n同样表示所述一个或多个骨骼的数量，t表示帧数。可以理解，一帧代表动画(视频)在单个时间点的静态画面(图像)，即t表示所述至少两个时间点的数量。
37.物体的模型参数可以参考各种大小和/或形状的实物获取。物体模型的多样性/数量可根据任务需求调整，例如，为了满足任务需求，物体模型的数量可以在100个以上。
38.角色的初始骨骼状态参数和骨骼运动参数可以通过动画师完成动画制作再导出相关参数的方式来获取。初始骨骼状态参数和骨骼运动参数所反映的交互动画(动作)的多样性/复杂度同样可根据任务需求调整。例如，为了满足任务需求，针对每个物体模型，可以至少需要有一个或多个基本交互动作(动画)，如，拿起、提起、抓起、托起、放下、扔掉等中的一种或多种交互动作。
39.应当理解，关于角色的初始骨骼状态参数和/或骨骼运动参数的获取，还可以参考前述实施例中提供的交互动画制作方法。在一些实施例中，可以结合一种或多种交互动画制作方法的优点，以获得高质量的训练数据。其中，高质量可指骨骼运动参数反映的交互动画自然且合理(如符合物理规律)。
40.步骤130，利用所述多个样本输入数据和所述多个样本标签数据训练初始模型，得到交互动画生成模型。在一些实施例中，步骤130可以由训练模块430实现。
41.训练的目标可以包括但不限于优化误差，即减小模型输出与样本标签数据之间的差距。
42.在一些实施例中，训练采用的初始模型可以包括线性回归模型、逻辑斯蒂回归(logistic regression，lr)模型、决策树、神经网络等中的一种或多种。
43.在一些实施例中，当训练采用的初始模型包括神经网络时，可以基于随机梯度下降算法对初始模型进行训练，得到交互动画生成模型。
44.关于用于生成交互动画的神经网络的具体结构，可以参考图3及其相关描述。
45.图2是是根据本说明书一些实施例所示的交互动画生成方法的示例性流程图。流程100可以由一个或多个处理器执行。流程200对应模型预测阶段，其中，交互动画生成模型可以是按照流程100训练初始模型得到的预测模型，目标角色和目标物体即与要预测的交互动画关联的两个交互对象。如图1所示，流程100可以包括：
46.步骤210，获取目标角色的初始骨骼状态参数、目标物体的空间分布参数和目标物体的运动轨迹参数。在一些实施例中，步骤210可以由输入参数获取模块510实现。
47.所述初始骨骼状态参数指示目标角色的一个或多个骨骼的初始位置和初始姿态，所述运动轨迹参数至少指示目标物体的初始位置、初始姿态、目标位置和目标姿态。
48.关于目标角色的初始骨骼状态参数、目标物体的空间分布参数和目标物体的运动轨迹参数的更多细节，可以在步骤110的相关描述中找到，这里不再赘述。
49.步骤220，将目标角色的初始骨骼状态参数、目标物体的空间分布参数和目标物体的运动轨迹参数输入交互动画生成模型，以获得交互动画生成模型输出的目标角色的骨骼运动参数。在一些实施例中，步骤220可以由输出参数获得模块520实现。
50.所述骨骼运动参数指示在目标角色与目标物体交互过程中的至少两个时间点所述一个或多个骨骼的位置和姿态。
51.关于目标角色的骨骼运动参数的更多细节，可以在步骤110的相关描述中找到，这里同样不再赘述。
52.步骤230，基于目标角色的骨骼运动参数生成目标角色与目标物体的交互动画。在一些实施例中，步骤230可以由交互动画生成模块530实现。
53.可以理解，(目标)角色的骨骼运动参数可反映(目标)角色与(目标)物体交互过程中的动作。
54.在一些实施例中，可以基于目标角色的骨骼运动参数生成目标角色与目标物体的交互动画，交互动画中可不包含目标物体。当然，还可以基于目标物体的运动轨迹参数生成目标物体的运动动画(即不包含角色)，并将不包含目标物体的交互动画和目标物体的运动动画进行融合，得到同时包含目标角色和目标物体的交互动画。
55.在一些实施例中，可以基于目标角色的骨骼运动参数以及目标物体的运动轨迹参数生成目标角色与目标物体的交互动画，动画中可同时包含目标角色和目标物体。
56.在一些实施例中，可以通过引擎(该引擎可集成在动画软件或涉及动画的软件中)渲染等方式，基于目标角色的骨骼运动参数，或者基于目标角色的骨骼运动参数以及目标物体的运动轨迹参数，生成目标角色与目标物体的交互动画。
57.值得说明的是，本说明书提及的交互动画可以只关注角色与物体开始接触之后的交互动作，即，可以忽略角色与物体交互前的动作，例如，走向要交互的物体、弯腰、起身、蹲下等交互前的准备动作。
58.应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
59.图3是根据本说明书一些实施例所示的用于生成交互动画的神经网络的示例性结构示意图。
60.如图3所示，神经网络300可以包括第一编码器310、第二编码器320和运动参数解码器330。
61.其中，第一编码器310可以用于对角色的初始骨骼参数进行特征提取，得到第一特征向量。第二编码器320可以用于对物体的空间分布参数(图3中简称模型参数)进行特征提取，得到第二特征向量。
62.运动参数解码器330可以用于将当前步(step，也可解释为“路”)的输出作为下一步的输入的一部分，以及根据每一步的输入预测该步的输出。具体地，如图3所示，运动参数解码器330可以根据第一步的输入start(也称作起始标志)预测第一步的输出out1，将第一步的输出out1加入第二步的输入，根据第二步的输入预测第二步的输出out2，将第二步的输出out2加入第三步的输入，以此类推，直至获得最后一步的输出end(也称作终止标志)。输入运动参数解码器330的条件参数可以包括第一特征向量和第二特征向量拼接而成的组合特征向量。如图4中虚线框所示，角色的骨骼运动参数可基于运动参数解码器的各步输出得到。并且，可以在运动参数解码器330的每一步的输入中加入物体的运动轨迹参数(指示初始状态和目标状态，图3中称作起止状态参数)，以使运动参数解码器330输出的骨骼运动
参数所反映的交互动画(动作)能够符合/匹配物体的起止状态，从而生成合理、自然的交互动画。
63.在一些实施例中，第一编码器310可以包括多层感知机，用于提取骨骼特征。在一些实施例中，第二编码器320可以包括三维卷积神经网络(3d cnn)，用于提取物体模型特征。在一些实施例中，运动参数解码器330可以包括transformer模型，用于生成骨骼运动参数。仅作为示例，所述transformer模型可以与谷歌机器翻译团队在2017年的nips(neural information processing systems，神经信息处理系统)国际会议上发表的论文《attention is all you need》中的transformer模型具有相同或类似的结构。
64.图4是根据本说明书一些实施例所示的交互动画生成模型训练系统的示例性模块图。如图4所示，系统400可以包括样本输入数据获取模块410、样本标签数据获取模块420和训练模块430。
65.样本输入数据获取模块410可以用于获取多个样本输入数据。其中，所述样本输入数据包括角色的初始骨骼状态参数、物体的空间分布参数和该物体的运动轨迹参数，所述初始骨骼状态参数指示该角色的一个或多个骨骼的初始位置和初始姿态，所述运动轨迹参数至少指示该物体的初始位置、初始姿态、目标位置和目标姿态。
66.样本标签数据获取模块420可以用于获取与所述多个样本输入数据分别对应的多个样本标签数据。其中，所述样本标签数据包括角色的骨骼运动参数，所述骨骼运动参数指示在该角色与物体交互过程中的至少两个时间点所述一个或多个骨骼的位置和姿态。
67.训练模块430可以用于利用所述多个样本输入数据和所述多个样本标签数据训练初始模型，得到交互动画生成模型。
68.关于系统400及其模块的更多细节，可以参考图1及其相关描述。
69.图5是根据本说明书一些实施例所示的交互动画生成系统的示例性模块图。如图5所示，系统500可以包括输入参数获取模块510、输出参数获得模块520和交互动画生成模块530。
70.输入参数获取模块510可以用于获取目标角色的初始骨骼状态参数、目标刚性物体的空间分布参数和所述目标物体的运动轨迹参数。其中，所述初始骨骼状态参数指示所述目标角色的一个或多个骨骼的初始位置和初始姿态，所述运动轨迹参数至少指示所述目标物体的初始位置、初始姿态、目标位置和目标姿态。
71.输出参数获得模块520可以用于将所述目标角色的初始骨骼状态参数、所述目标物体的空间分布参数和所述目标物体的运动轨迹参数输入交互动画生成模型，以获得所述交互动画生成模型输出的所述目标角色的骨骼运动参数。其中，所述骨骼运动参数指示在所述目标角色与所述目标物体交互过程中的至少两个时间点所述一个或多个骨骼的位置和姿态。
72.交互动画生成模块530可以用于基于所述目标角色的骨骼运动参数生成所述目标角色与所述目标物体的交互动画。
73.关于系统500及其模块的更多细节，可以参考图3及其相关描述。
74.应当理解，图4、图5所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例
如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd
‑
rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
75.需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，样本输入数据获取模块410和样本标签数据获取模块420可以是分立的模块，也可以合并为一个模块。诸如此类的变形，均在本说明书的保护范围之内。
76.本说明书实施例可能带来的有益效果包括但不限于：(1)利用训练得到的交互动画生成模型，用户输入目标角色的初始骨骼状态参数、目标物体的空间分布参数和目标物体的运动轨迹参数，系统即可自动生成目标角色与目标物体的交互动画，可以极大地提高交互动画的制作效率；(2)通过采用高质量的训练数据，可以保证模型的预测效果/质量；(3)运动参数解码器330的每一步的输入中可加入指示物体起止状态的运动轨迹参数，以使神经网络(的运动参数解码器)输出的骨骼运动参数反映的交互动画(动作)能够符合/匹配物体的起止状态，从而生成合理、自然的交互动画。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
77.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书实施例的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书实施例进行各种修改、改进和修正。该类修改、改进和修正在本说明书实施例中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
78.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
79.此外，本领域技术人员可以理解，本说明书实施例的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书实施例的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书实施例的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
80.计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基
带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf、或类似介质，或任何上述介质的组合。
81.本说明书实施例各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c 、c#、vb.net、python等，常规程序化编程语言如c语言、visualbasic、fortran2003、perl、cobol2002、php、abap，动态编程语言如python、ruby和groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(lan)或广域网(wan)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(saas)。
82.此外，除非权利要求中明确说明，本说明书实施例所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书实施例流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。
83.同理，应当注意的是，为了简化本说明书实施例披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书实施例对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
84.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
85.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书实施例的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。