一种生成虚拟试穿3D图像的方法与流程

一种生成虚拟试穿3d图像的方法
技术领域
1.本说明书多个实施例涉及信息技术领域，尤其涉及一种生成虚拟试穿3d图像的方法。


背景技术：

2.目前在一些应用场景下，存在制作试穿服饰类商品的试穿图像的需求。
3.这样的应用场景例如可以是电商直播。电商通过互联网直播向用户（作为直播的观众）推销商品的模式越来越常见。电商的主播人员在直播中向用户推销服饰类商品（如衣、裤、鞋、帽、装饰物等）时，通常会亲自对服饰类商品进行试穿，向用户展示服饰类商品上身之后的效果，以便吸引用户购买该服饰类商品。在实际直播过程中，主播人员很难及时满足用户提出的试穿需求，因此需要向用户播放预先制作好的某个服饰类商品的试穿图像。
4.然而，制作真人出镜的试穿图像的成本比较高。


技术实现要素：

5.本说明书的多个实施例提供一种生成虚拟试穿3d图像的方法，以便能够生成比较逼真的虚拟试穿3d图像。
6.本说明书多个实施例提供技术方案如下：根据本说明书多个实施例的第一方面，提出了一种生成虚拟试穿3d图像的方法，包括：确定待试穿的人体模型与待被试穿的服饰类商品的服饰模型；该人体模型与该服饰模型属于数字化的3d模型；获取该人体模型的尺寸参数与姿态参数序列；该姿态参数序列包括该人体模型进行连续多次姿态变化的连续多个姿态参数；获取该服饰模型的默认形状参数；该默认形状参数，是根据该服饰类商品在未被试穿状态下的形状确定的；将该人体模型的尺寸参数、姿态参数序列以及该服饰模型的默认形状参数，输入到服饰形状预测模型，输出该服饰模型的非默认形状参数序列；其中，该服饰形状预测模型是基于循环神经网络构建的，该非默认形状参数序列中的各个非默认形状参数与该姿态参数序列中的各个姿态参数一一对应，一个姿态参数对应的非默认形状参数，为该姿态参数下的该人体模型试穿该服饰模型所导致的，该服饰模型的形状变化后的形状参数；将每个姿态参数下的该人体模型，与该姿态参数对应的非默认形状参数下的该服饰模型进行融合，得到相应的一帧虚拟试穿3d图像。
7.根据本说明书多个实施例的第二方面，提出了一种生成虚拟试穿视频的方法，包括：基于第一方面所述的生成虚拟试穿3d图像的方法，得到服饰类商品的多帧虚拟试穿3d图像；
根据得到的各虚拟试穿3d图像，得到该服饰类商品的虚拟试穿视频，该虚拟试穿视频为2d视频或3d视频。
8.根据本说明书多个实施例的第三方面，提出了一种应用于电商直播的视频播放方法，其中，预先基于第二方面所述的生成虚拟视频的方法，生成一个或多个服饰类商品的虚拟试穿视频；所述方法包括：响应于虚拟试穿指令，确定待被试穿的服饰类商品；将该服饰类商品的虚拟试穿视频播放给用户。
9.根据本说明书多个实施例的第四方面，提出了一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现第一方面或第二方面或第三方面所述方法。
10.根据本说明书多个实施例的第五方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面或第二方面或第三方面所述方法。
11.为了取代真人试穿服饰，可以采用虚拟化的人体模型与虚拟化的服饰模型来生成虚拟试穿3d图像。为了能够使得虚拟试穿3d图像的呈现效果不僵化，而是尽可能模拟出真人试穿的自然效果（这样比较逼真），考虑人体模型的姿态变化与试穿服饰后导致的服饰模型的形状变化这二者之间的关联性，让虚拟试穿3d图像中这二者关联性尽可能逼近真人试穿场景中的这二者之间的关联性，就能够使得生成的虚拟试穿3d图像比较逼真。
12.而让虚拟试穿3d图像中这二者关联性尽可能逼近真人试穿场景中的这二者之间的关联性，需要发现某种关联性规律。为此，在上述技术方案中采用了人工智能ai技术，人工智能模型可以发掘出这种关联性规律。
13.考虑到人体模型的姿态变化依赖于人体模型的尺寸特点，并且是一种动态数据，因此，采用人体模型的尺寸参数与姿态参数序列来描述人体模型的姿态变化；又考虑到服饰模型的形状变化是由服饰模型的默认形状开始变化的，并且也是一种动态数据，因此，采用服饰模型的默认形状参数与非默认形状参数序列来描述服饰模型的形状变化。
14.进一步的，为了适应于对这种序列化的数据进行处理，需要采用序列预测类的ai算法来构建人工模型，因此，采用循环神经网络来构建服饰形状预测模型，服饰形状预测模型的输入为人体模型的尺寸参数、人体模型的姿态参数序列、服饰模型的默认形状参数。而服饰形状预测模型的输出为服饰模型的非默认形状参数序列。这样一来，可以在给定人体模型、人体模型将要做的一系列姿态、服饰模型的前提下，利用服饰形状预测模型，预测出服饰模型在人体模型的每个姿态下的形状，从而可以使得人体模型模拟试穿服饰模型的3d图像中，服饰模型的形状看起来是比较自然的，具有动态柔性效果。
15.通过上述技术方案，可以得到比较逼真的虚拟试穿3d图像。
附图说明
16.图1示例性提供一种生成虚拟试穿3d图像的方法的流程。
17.图2示例性提供一种应用于电商直播的视频播放方法的流程。
18.图3是本公开提供的一种计算机可读存储介质的示意图。
19.图4是本公开提供的一种计算设备的结构示意图。
20.在附图中，相同或对应的标号表示相同或对应的部分。附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
具体实施方式
21.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
22.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
23.此处先对本公开中的若干概念进行介绍。
24.服饰类商品：本公开中的服饰类商品可以涵盖各种服饰，不仅可以包括衣服、裤子、鞋、袜子等商品，还可以包括首饰、发饰、挂饰、配饰（如手提包）等等。
25.人体模型：是数字化的3d模型，可以对真人的进行3d建模得到，也可以模拟生成一个虚拟人的人体模型。商家可以有自己的人体模型，用户也可以自定义个性化的人体模型。不同的人体模型的尺寸不同，和/或，对应的性别不同。
26.服饰类商品的服饰模型：是数字化的3d模型，可以获取实体的服饰类商品的照片、视频、材质等数据进行3d建模。商家可以将自己的至少部分服饰类商品的服饰模型，连同商品编号保存至数据库。商家还可以对不同的服饰类商品标记风格标签，比如甜美、复古、中性、休闲等。不同的风格标签有相匹配的试穿穿搭方案（如发型、妆容、该服饰类商品搭配的其他服饰类商品等）和相匹配的试穿展示动作（如叉腰、转圈、微笑、蹦跳）。容易理解，一个试穿展示动作，可以理解为连续多个姿态的序列。
27.服饰形状预测模型：服饰形状预测模型中的“模型”，与3d模型中的“模型”不是同一纬度的概念，这是本领域技术人员可以理解的。
28.虚拟试穿3d图像：是一帧3d图像的概念，容易理解，多帧虚拟试穿3d图像可以组成虚拟试穿3d视频。虚拟试穿2d图像是虚拟试穿3d图像在平面上的影射，是某一角度的虚拟试穿3d图像投影到平面的结果，用户旋转虚拟试穿3d图像中结合模型（即人体模型与服饰类商品的服饰模型结合）的角度时会产生不同平面投影结果（即虚拟试穿2d图像），投影结果是通过渲染计算出来的。多帧虚拟试穿2d图像可以组成虚拟试穿2d视频。
29.以下对本技术方案的方案构思进行介绍：为了取代真人试穿服饰，可以采用虚拟化的人体模型与虚拟化的服饰模型来生成虚拟试穿3d图像。为了能够使得虚拟试穿3d图像的呈现效果不僵化，而是尽可能模拟出真人试穿的自然效果（这样比较逼真），考虑人体模型的姿态变化与试穿服饰后导致的服饰模型的形状变化这二者之间的关联性，让虚拟试穿3d图像中这二者关联性尽可能逼近真人试穿场景中的这二者之间的关联性，就能够使得生成的虚拟试穿3d图像比较逼真。
30.而让虚拟试穿3d图像中这二者关联性尽可能逼近真人试穿场景中的这二者之间的关联性，需要发现某种关联性规律。为此，在上述技术方案中采用了人工智能ai技术，人工智能模型可以发掘出这种关联性规律。
31.考虑到人体模型的姿态变化依赖于人体模型的尺寸特点，并且是一种动态数据，因此，采用人体模型的尺寸参数与姿态参数序列来描述人体模型的姿态变化；又考虑到服饰模型的形状变化是由服饰模型的默认形状开始变化的，并且也是一种动态数据，因此，采用服饰模型的默认形状参数与非默认形状参数序列来描述服饰模型的形状变化。
32.进一步的，为了适应于对这种序列化的数据进行处理，需要采用序列预测类的ai算法来构建人工模型，因此，采用循环神经网络来构建服饰形状预测模型，服饰形状预测模型的输入为人体模型的尺寸参数、人体模型的姿态参数序列、服饰模型的默认形状参数。而服饰形状预测模型的输出为服饰模型的非默认形状参数序列。这样一来，可以在给定人体模型、人体模型将要做的一系列姿态、服饰模型的前提下，利用服饰形状预测模型，预测出服饰模型在人体模型的每个姿态下的形状，从而可以使得人体模型模拟试穿服饰模型的3d图像中，服饰模型的形状看起来是比较自然的，具有动态柔性效果。
33.可见，通过上述技术方案，可以得到比较逼真的虚拟试穿3d图像。此外，通过上述技术方案，仅需要在训练服饰形状预测模型的过程中耗费算力，在需要大量生成服饰类商品的虚拟试穿视频的场景下，将形状预测模型直接提供给商家使用，商家直接利用服饰形状预测模型批量生成3d图像即可，耗费的算力比较小，并且生成3d图像的效率比较高。
34.上述的生成虚拟试穿3d图像的技术方案可以具体应用于电商直播场景。在电商直播场景下，电商通过互联网直播向用户（作为直播的观众）推销商品的模式越来越常见。电商的主播人员在直播中向用户推销服饰类商品（如衣、裤、鞋、帽、装饰物等）时，通常会亲自对服饰类商品进行试穿，向用户展示服饰类商品上身之后的效果，以便吸引用户购买该服饰类商品。在实际直播过程中，主播人员很难及时满足用户提出的试穿需求，因此需要向用户播放预先制作好的某个服饰类商品的试穿3d图像。
35.比如，主播正在介绍服饰类商品a，但是有用户发表评论要求主播试穿服饰类商品b，主播要么不得不中断对于服饰类商品a的介绍，转而试穿服饰类商品b，影响直播效果，要么只能暂时忽略该用户的要求，影响该用户的直播观看体验。
36.又如，主播在直播中进行服饰试穿时，需要暂时离开镜头，并花费一定的时间试穿服饰，这也会影响用户的直播观看体验。尤其是，主播如果需要连续试穿不同服饰，需要搭配相应的发型、妆容等，就会花费更多时间。
37.而通过上述技术方案，可以随时向用户播放某个服饰类商品的虚拟试穿3d图像，并且，用户观看的虚拟试穿视频是高保真的，比较逼真，可以模拟出真人试穿服饰才会有的服饰形状变化，给用户一种很自然的效果展示，让用户获得接近于观看真人试穿服饰的体验，并且，用户不需要等待主播试穿服饰。
38.此外，虚拟试穿视频中的人体模型的发型、妆容是可以灵活改变的，相比于主播需要调整自己的发型、妆容，效率更高。
39.需要说明的是，上述的生成虚拟试穿3d图像的技术方案，不仅可以应用于电商直播场景，还可以应用于其他需要展示服饰类商品的试穿效果的场景。例如，用户在电商平台上浏览服饰类商品的界面时，可以点击服饰类商品的介绍图片，该介绍图片可以是一帧或
多帧虚拟试穿3d图像，用户可以旋转虚拟试穿3d图像中的结合模型（即人体模型与服饰类商品的服饰模型的结合）的角度，从多个角度查看试穿效果。
40.因此，后文中介绍的将生成虚拟试穿3d图像的技术方案应用于直播电商场景的内容，仅仅是一种可能的实现方式，这并不构成对生成虚拟试穿3d图像的技术方案的应用场景范围的限制，本领域技术人员在理解了此技术方案之后，容易想到将该技术方案应用到更多的需要展示服饰类商品的试穿效果的场景中，这不需要付出额外的创造性劳动。
41.以下结合附图，详细说明上述技术方案。
42.图1示例性提供一种生成虚拟试穿视频的方法的流程，包括：s100：确定待试穿的人体模型与待被试穿的服饰类商品的服饰模型。
43.s102：获取该人体模型的尺寸参数与姿态参数序列。
44.s104：获取该服饰模型的默认形状参数。
45.s106：将该人体模型的尺寸参数、姿态参数序列以及该服饰模型的默认形状参数，输入到服饰形状预测模型，输出该服饰模型的非默认形状参数序列。
46.s108：将每个姿态参数下的该人体模型，与该姿态参数对应的非默认形状参数下的该服饰模型进行融合，得到相应的一帧虚拟试穿3d图像。
47.图1所示方法可以由服饰类商品的商家来实施。
48.在实施图1所示方法之前，可以先对基于循环神经网络rnn构建的服饰形状预测模型进行训练。模型的训练方可以是商家，也可以是技术服务方。技术服务方训练模型的实施例中，技术服务方可以将训练好的模型提供给商家使用。
49.如前所述，模型的一组输入数据可以是人体模型的尺寸参数（三维尺寸，如长、宽、高，分分别对应胖瘦、宽薄、身高，还可以包括头身比、头肩比等），人体模型的姿态参数序列，服饰类商品的服饰模型的默认形状参数。
50.人体模型的姿态参数序列包括该人体模型进行连续多次姿态变化的连续多个姿态参数。服饰类商品的默认形状参数，是根据该服饰类商品在未被试穿状态下的形状确定的。
51.本领域技术人员容易想到各种技术手段来实现对于上述姿态参数与上述形状参数的定义。本公开在此处提供示例。例如，上述姿态参数可以是人体模型的各个关节相对于水平面的倾斜角度，上述的形状参数可以是服饰类商品的特定形状在点云坐标系（可以利用meshlab软件建立该坐标系）中的三维坐标。
52.模型的一组输出数据可以是该服饰类商品的非默认形状参数序列，该服饰形状预测模型是基于循环神经网络构建的，该非默认形状参数序列中的各个非默认形状参数与该姿态参数序列中的各个姿态参数一一对应，一个姿态参数对应的非默认形状参数，为该姿态参数下的该人体模型试穿该服饰模型所导致的，该服饰模型的形状变化后的形状参数。
53.容易理解，模型一组输入数据，用于描述一个虚拟模特试穿一个服饰类商品。模型的一组输出数据，用于描述该虚拟模特试穿该服饰类商品，导致该服饰类商品发生形变后，该服饰类商品的形变后的形状。
54.在模型训练阶段，需要指定模型的训练标签，这些训练标签通常由训练方进行指定。训练方可以利用物理计算引擎，在给定人体模型将要做的一系列姿态、服饰模型的前提下，利用计算出服饰模型在人体模型的每个姿态下的形状参数，形成真实的非默认形状参
数序列，作为训练标签。
55.此外，训练方也可以通过真人试穿服饰类商品的方式，计算出商品类服饰在真人的每个姿态下的形状参数，形成真实的非默认形状参数序列。
56.在模型训练过程中，通过一次次迭代训练，逐渐让模型所预测的非默认形状参数序列，越来越逼近真实的非默认形状参数序列，从而完成模型训练。
57.在训练模型的阶段，可以基于多个不同的人体模型训练的，和/或，是基于多个不同的服饰类商品的服饰。也就是说，不同组的模型输入数据，可以对应于不同的人体模型，或者对应于不同的服饰类商品。
58.在模型应用阶段，确定当前待试穿的人体模型与待被试穿的服饰类商品的服饰模型，将该人体模型的尺寸参数与姿态参数序列，以及该服饰模型的默认形状参数，作为模型输入数据，输入服饰形状预测模型，输出预测的该服饰模型的非默认形状参数序列。
59.然后，就可以基于该服饰模型的非默认形状参数序列，将每个姿态参数下的该人体模型，与该姿态参数对应的非默认形状参数下的该服饰模型进行融合，得到相应的一帧虚拟试穿3d图像。
60.在一些实施例中，生成的虚拟试穿3d图像中，人体模型除了试穿该服饰类商品之外，还可以搭配其他服饰类商品。比如，当前作为试穿目标的服饰类商品是一件红色上衣，那么，还需要搭配的其他服饰类商品可以包括多个，分别为一件粉色裤子、一双蓝色皮鞋、一副黑框眼镜。人体模型需要同时试穿红色上衣、粉色裤子、蓝色皮鞋、黑框眼镜，红色上衣对应的虚拟试穿视频。容易理解，不同的服饰类商品的虚拟试穿3d图像可能相同。
61.因此，可以确定待被试穿的至少一个其他服饰类商品的其他服饰模型；获取每个其他服饰模型的默认形状参数；针对每个其他服饰模型，将该人体模型的尺寸参数、姿态参数序列以及该其他服饰模型的默认形状参数，输入到服饰形状预测模型，输出该其他服饰模型的非默认形状参数序列；将每个姿态参数下的该人体模型，与该姿态参数对应的非默认形状参数下的该服饰模型、每个其他服饰模型进行融合，得到相应的一帧虚拟试穿3d图像。
62.在一些实施例中，可以将每个姿态参数下的该人体模型，与该姿态参数对应的非默认形状参数下的该服饰模型进行融合，并且，渲染融合后的该人体模型与该服饰模型所呈现出的模拟自然光反射，得到相应的一帧虚拟试穿3d图像。
63.可见，不仅可以在一帧虚拟试穿3d图像中呈现试穿服饰之后的自然形变，还能够呈现自然形变导致的光影效果。
64.此外，在基于图1所示的方法流程得到服饰类商品的多帧虚拟试穿3d图像之后，可以根据得到的各虚拟试穿3d图像，得到该服饰类商品的虚拟试穿视频，该虚拟试穿视频为2d视频或3d视频。
65.图2示例性提供一种应用于电商直播的视频播放方法的流程，包括：s200：响应于虚拟试穿指令，确定待被试穿的服饰类商品。
66.s202：将该服饰类商品的虚拟试穿视频播放给用户。
67.在电商直播的场景下，图2所示的方法流程可以由直播间系统来实施。可以基于上述的生成虚拟视频的方法，生成一个或多个服饰类商品的虚拟试穿视频（一个或多个）。商家可以在直播开始之前，预先生成好这些虚拟试穿视频，也可以在直播开始之后，根据需求
实时生成一些虚拟试穿视频并播放。
68.可以响应于电商侧系统发送的虚拟试穿指令，确定待被试穿的服饰类商品。也可以响应于用户侧客户端发送的虚拟试穿指令，确定待被试穿的服饰类商品。
69.也就是说，主播或者任一观看直播的用户，都可以发起对虚拟试穿视频的播放。
70.可以响应于用户侧客户端或电商侧系统发送的虚拟试穿指令，确定待试穿的人体模型。也就是说，用户发起虚拟视频的播放时，可以指定虚拟模特，电商也可以指定虚拟模特。通常，电商针对某个服饰类商品生成的虚拟试穿视频，可以有不同的人体模特版本。比如，可以使用不同性别的人体模型生成不同的虚拟试穿视频，也可以采用不同尺寸规格的人体模型来生成不同的虚拟试穿视频。
71.进一步的，某个用户的用户侧客户端可以预先配置个性化人体模型，比如，该个性化人体模型可以是这个用户自己的人体模型。这样的话，用户可以观看到自己的人体模型试穿某个服饰类商品的虚拟试穿视频。
72.此外，如果存在多个用户侧客户端（在实际应用中往往是很多用户共同观看直播），则可以在响应于用户侧客户端发送的虚拟试穿指令，确定待被试穿的服饰类商品的情况下，将该服饰类商品的虚拟试穿视频仅播放给该用户侧客户端。
73.在一些实施例中，在该服饰类商品的虚拟试穿视频为2d视频的情况下，可以获取当前待播放给用户的第一直播视频流，将该第一直播视频流中融合该服饰类商品的虚拟试穿视频，得到第二直播视频流；将该第二直播视频流播放给用户。
74.进一步的，在该第二直播视频流的画面中，包括第一画面区域与第二画面区域，该第一画面区域包括第一直播视频流的画面，该第二画面区域包括该服饰类商品对应的虚拟试穿视频的画面。在实际应用中，用户在观看直播视频流时，可以看到画面的一侧是真人主播进行商品介绍，画面的另一侧是一个虚拟模特在试穿某个服饰类商品。
75.在一些实施例中，也可以不将虚拟试穿2d视频融合进直播视频流中，而是响应于用户的操作指令，在观看直播的界面中弹出一个子界面，在子界面中播放用户选择的某个服饰类商品的虚拟试穿视频。
76.在一些实施例中，如果虚拟试穿视频是3d视频，则可以实现在直播间现场渲染出一位3d虚拟主播，该3d虚拟主播可以现场展示若干服饰类商品的试衣效果。用户通过直播视频流可以观看到现场出现的3d虚拟主播。
77.在实际应用中，如果用户已经开始观看直播，但是主播还没有开始工作，或者，主播在直播过程中暂时离开，则可以向用户播放一些挑选后的服饰类商品的虚拟试穿视频，这样可以有效吸引用户继续观看直播。
78.在实际应用中，商家可以为服饰类商品标记特定的风格标签，例如甜美、复古、中性、休闲等。不同的风格，意味着不同的穿搭方案，和/或，意味着不同的试穿展示动作（可以理解为展示姿态序列），如转圈、叉腰、微笑、蹦跳。穿搭方案中除了涉及发型、妆容之外，还可以涉及除了目标服饰类商品之外的至少一个其他服饰类商品。
79.在一些实施例中，生成一个或多个服饰类商品的虚拟试穿视频的步骤可以包括：针对一个或多个服饰类商品，确定该服饰类商品对应的至少一个穿搭方案；针对每个穿搭方案，确定该穿搭方案中涉及除该服饰类商品之外的其他服饰类商品；生成该服饰类商品的对应于该穿搭方案的虚拟试穿视频。
80.进一步的，可以响应于虚拟试穿指令，确定该虚拟试穿指令指定的穿搭方案。如此，可以将该服饰类商品的对应于该穿搭方案的虚拟试穿视频播放给用户。
81.在另一些实施例中，生成一个或多个服饰类商品的虚拟试穿视频的步骤可以包括：针对一个或多个服饰类商品，确定该服饰类商品对应的展示姿态；根据该服饰类商品对应的展示姿态，确定人体模型的姿态参数序列；生成该服饰类商品的虚拟试穿视频。
82.需要说明，上述的考虑不同穿搭方案的实施例，与上述的考虑不同试穿动作的实施例，可以结合为一个实施例。
83.本公开还提供一种计算机可读存储介质，如图3所示，该介质140上存储有计算机程序，所述程序被处理器执行时实现本公开实施例的方法。
84.本公开还提供一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开实施例的方法。
85.图4是本公开提供的一种计算设备的结构示意图，该计算设备15可以包括但不限于：处理器151、存储器152、连接不同系统组件（包括存储器152和处理器151）的总线153。
86.其中，存储器152存储有计算机指令，该计算机指令可以被处理器151执行，使得处理器151能够执行本公开任一实施例的方法。存储器152可以包括随机存取存储单元ram1521、高速缓存存储单元1522和/或只读存储单元rom1523。该存储器152还可以包括：具有一组程序模块1524的程序工具1525，该程序模块1524包括但不限于：操作系统、一个或多个应用程序、其他程序模块和程序数据，这些程序模块一种或多种组合可以包含网络环境的实现。
87.总线153例如可以包括数据总线、地址总线和控制总线等。该计算设备15还可以通过i/o接口154与外部设备155通信，该外部设备155例如可以是键盘、蓝牙设备等。该计算设备150还可以通过网络适配器156与一个或多个网络通信，例如，该网络可以是局域网、广域网、公共网络等。如图所示，该网络适配器156还可以通过总线153与计算设备15的其他模块进行通信。
88.此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
89.虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
90.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
91.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本
说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
92.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
93.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
94.本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
95.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
96.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中，计算机包括一个或多个处理器 (cpu)、输入/输出接口、网络接口和内存。
97.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (ram) 和/或非易失性内存等形式，如只读存储器 (rom) 或闪存(flash ram)。内存是计算机可读介质的示例。
98.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器 (sram)、动态随机存取存储器 (dram)、其他类型的随机存取存储器 (ram)、只读存储器 (rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器 (cd-rom)、数字多功能光盘 (dvd) 或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
99.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的
包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
100.上述对本说明书多个实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
101.在本说明书多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书多个实施例。在本说明书多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
102.应当理解，尽管在本说明书多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
103.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的方法实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
104.以上所述仅为本说明书多个实施例的较佳实施例而已，并不用以限制本说明书多个实施例，凡在本说明书多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书多个实施例保护的范围之内。