基于虚拟试穿的信息处理与交互方法、装置、设备及介质与流程

1.本技术涉及互联网技术领域，尤其涉及一种基于虚拟试穿的信息处理与交互方法、装置、设备及介质。


背景技术：

2.随着互联网技术和电子商务的发展，人们可以足不出户进行在线购物。但对于鞋子等穿戴类商品，在线购买时用户无法进行试穿，经常出现鞋子等穿戴类商品到货后因为不合脚、不合身要退换货的情况，这不仅会严重影响用户的购物体验，还会增加在线购物的成本，降低效率。
3.于是，现有技术出现了一些估计脚部长度，基于估计的脚部长度向用户推荐合适尺码的鞋子的方案，例如利用脚部图像中的关键点来估计脚长，或者借助于ar（augmented reality，增强现实）技术对用户脚长进行测量。基于这些方案，用户在购鞋时仍很难得知鞋子相对于自己的脚型是否挤脚、穿着是否舒适等特性。也就是说，现有方案依旧无法很好地解决穿戴类商品的选购问题，无法很好的解决退换货问题。


技术实现要素：

4.本技术的多个方面提供一种基于虚拟试穿的信息处理与交互方法、装置、设备及介质，用以得到与试穿对象高度适配的目标商品对象的目标三维模型，有利于更好地为顾客进行个性化的定制服务。
5.本技术实施例提供一种基于虚拟试穿的信息处理方法，包括：响应试穿请求，将试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到融合三维模型，融合三维模型表征试穿状态下试穿对象的三维模型与基准三维模型的第一相对位置关系；根据第一相对位置关系，获取试穿对象的三维模型上多个目标顶点与基准三维模型上对应顶点或区域之间的多个距离信息，作为多个目标顶点的适配度信息；在根据多个目标顶点的适配度信息确定基准三维模型不满足适配度要求的情况下，调整基准三维模型的尺寸参数和/或外形参数，并重新获取多个目标顶点的适配度信息，直至得到满足适配度要求的目标三维模型。
6.本技术实施例还提供一种基于虚拟试穿的信息处理装置，包括：融合模块，用于响应试穿请求，将试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到融合三维模型，融合三维模型表征试穿状态下试穿对象的三维模型与基准三维模型的第一相对位置关系；获取模块，用于根据第一相对位置关系，获取试穿对象的三维模型上多个目标顶点与基准三维模型上对应顶点或区域之间的多个距离信息，作为多个目标顶点的适配度信息；调整模块，用于在根据多个目标顶点的适配度信息确定基准三维模型不满足适配度要求的情况下，调整基准三维模型的尺寸参数和/或外形参数，并重新获取多个目标顶点的适配度信息，直至得到满足适配度要求的目标三维模型。
7.本技术实施例还提供一种基于虚拟试穿的信息交互方法，包括：响应试穿请求，将
试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到融合三维模型，所述融合三维模型表征试穿状态下所述试穿对象的三维模型与所述基准三维模型的第一相对位置关系；根据所述第一相对位置关系，获取所述试穿对象的三维模型上多个目标顶点与所述基准三维模型上对应顶点或区域之间的多个距离信息，作为所述多个目标顶点的适配度信息；展示所述试穿对象的三维模型、基准三维模型以及融合三维模型中的任一三维模型，并在所述任一三维模型上对所述多个目标顶点的适配度信息进行可视化标记；响应针对所述任一三维模型的调节操作，调整所述基准三维模型的尺寸参数和/或外形参数，以及根据调整后的基准三维模型，对所述多个目标顶点的适配度信息和所述任一三维模型上的可视化标记进行同步更新。
8.本技术实施例还提供一种基于虚拟试穿的信息交互方法，包括：响应试穿请求，获取试穿对象的三维模型与目标商品对象的基准三维模型，并展示所述试穿对象的三维模型与所述基准三维模型；将所述试穿对象的三维模型与目标商品的基准三维模型进行融合，以得到试穿状态下所述试穿对象的三维模型与所述基准三维模型的第一相对位置关系；根据所述第一相对位置关系，计算所述试穿对象的三维模型上多个目标顶点与所述基准三维模型上对应顶点或区域之间的多个距离信息，作为所述多个目标顶点的适配度信息；在所述试穿对象的三维模型上对所述多个目标顶点的适配度信息进行可视化标记；以及响应针对所述基准三维模型的调节操作，调整所述基准三维模型的尺寸参数和/或外形参数，并根据调整后的基准三维模型，对所述多个目标顶点的适配度信息和所述试穿对象的三维模型上的可视化标记进行同步更新。
9.本技术实施例还提供一种电子设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行基于虚拟试穿的信息处理方法或信息交互方法中的步骤。
10.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现基于虚拟试穿的信息处理方法或信息交互方法中的步骤。
11.在本技术实施例中，首先，基于试穿对象的三维模型与目标商品对象的基准三维模型创建模拟虚拟试穿状态的融合三维模型，接着，在虚拟试穿状态下，获取试穿对象的三维模型上多个目标顶点的用于反映穿戴适配程度的适配度信息，基于多个目标顶点的适配度信息调整基准三维模型的尺寸参数和/或外形参数，直至获取到满足适配度要求的目标三维模型。由此，结合试穿对象的和目标商品对象的三维模型以虚拟试穿技术模拟了真实试穿场景，动态调整目标商品对象的基准三维模型直至与试穿对象的三维模型的尺寸或外形适配，更贴近真实试穿场景，有利于得到与试穿对象高度适配的目标商品对象的目标三维模型，进而可以为用户进行个性化的商品定制服务或为用户选择与之高度适配的商品，有效地减少商品对象不合适造成的退货或换货的情况，降低在线购物的成本，提升在线购物的效率和用户的购物体验。
附图说明
12.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
图1为本技术实施例提供的一种基于三维模型的虚拟试穿的应用场景图；图2为本技术实施例提供的另一种基于三维模型的虚拟试穿的应用场景图；图3为本技术实施例提供的一种基于虚拟试穿的信息处理方法的流程图；图4为本技术实施例提供的另一种基于虚拟试穿的信息处理方法的流程图；图5为本技术实施例提供的另一种基于三维模型的虚拟试穿过程示意图；图6a为本技术实施例提供的一种基于虚拟试穿的信息交互方法的流程图；图6b为本技术实施例提供的另一种基于虚拟试穿的信息交互方法的流程图；图7a为本技术实施例提供的一种三维重建网络的模型结构图；图7b为本技术实施例提供的一种三维重建方法的流程图；图7c为本技术实施例提供的另一种三维重建网络的模型结构图；图7d为本技术实施例提供的一种特征提取网络的模型结构图；图7e为本技术实施例提供的一种特征提取网络中的特征提取模块的模型结构图；图7f为本技术实施例提供的一种下采样子模块的模型结构图；图8为本技术实施例提供的一种基于虚拟试穿的信息处理装置的结构示意图；图9为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
13.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
14.现有方案依旧无法很好地解决穿戴类商品的选购问题，无法很好的解决退换货问题，为此，本技术实施例提供一种基于虚拟试穿的信息处理与交互方法、装置、设备及介质，在本技术实施例中，首先，基于试穿对象的三维模型与目标商品对象的基准三维模型创建模拟虚拟试穿状态的融合三维模型，接着，在虚拟试穿状态下，获取试穿对象的三维模型上多个目标顶点的用于反映穿戴适配程度的适配度信息，基于多个目标顶点的适配度信息调整基准三维模型的尺寸参数和/或外形参数，直至获取到满足适配度要求的目标三维模型。由此，结合试穿对象的和目标商品对象的三维模型以虚拟试穿技术模拟了真实试穿场景，动态调整目标商品对象的基准三维模型直至与试穿对象的三维模型的尺寸或外形适配，更贴近真实试穿场景，有利于得到与试穿对象高度适配的目标商品对象的目标三维模型，进而可以为用户进行个性化的商品定制服务或者为用户选择与之高度适配的商品对象，有效地减少商品对象不合适造成的退货或换货的情况，降低在线购物的成本，提升在线购物的效率和用户的购物体验。
15.在商品定制化或在线购物场景中，试穿对象可以是用户的任意身体部位，例如包括但不限于：脚部、手部、头部、上半身或下半身等等。试穿的商品对象例如包括但不限于：鞋子、手套、帽子、衣服或裤子等。采用基于三维模型的虚拟试穿技术可以高效、准确地为用户提供与之高度适合的商品三维模型，基于该商品三维模型或者可以为用户选购合适的商品对象，或者可以为用户提供商品定制化服务，减少商品对象不合适造成的退货或换货的情况，降低在线购物的成本，提升在线购物的效率和用户的购物体验。
16.实际应用中，虚拟试穿技术依赖试穿对象的三维模型和商品对象的三维模型。为得到试穿对象的三维模型和商品对象的三维（3 dimensional，3d）模型，可以拍摄真实的试穿对象的若干张图像，基于若干张图像对真实的试穿对象进行三维重建，得到试穿对象的三维模型，相对于真实的试穿对象，试穿对象的三维模型也可以视为虚拟试穿对象。同样地，拍摄真实的商品对象的若干张图像，基于若干张图像对真实的商品对象进行三维重建，得到商品对象的三维模型，相对于真实的商品对象，商品对象的三维模型也可以视为虚拟商品对象。试穿对象的三维模型和商品对象的三维模型可以是三维网格（mesh）模型，三维mesh模型包括多个顶点（vertex）和多个面片，所述面片可以是三角面片或任意多边形面片，每个面片由多个顶点组成，例如三角面片由三个顶点组成。在本实施例中，并不限定对试穿对象和商品对象进行三维重建得到对应三维模型的实现方式，在后续实施例中，将以试穿对象为例示例性的给出一种三维重建方法，具体可参见后续实施例。
17.在得到试穿对象的三维模型和商品对象的三维模型后，将试穿对象的三维模型和商品对象的三维模型进行融合以执行虚拟试穿操作，在虚拟试穿过程中可得到试穿对象的三维模型上多个顶点的适配度信息，该适配度信息用于表示这些顶点与商品对象的三维模型上对应顶点或区域之间的松紧程度，也可以理解为是试穿舒适度；根据试穿对象的三维模型包括的多个顶点的适配度信息对商品对象的三维模型的尺寸参数和/或形状参数进行调整，直至得到满足适配度要求的商品对象的三维模型。如果是在线购物场景，可以根据最终得到商品对象的三维模型为用户选择合适尺寸和/或形状的商品对象，并将商品对象的信息提供给用户，以便用户下单购买，如果是在定制化场景，可以将最终得到的商品对象的三维模型提供给生产商品对象的定制化平台，以供定制化平台按照商品对象的三维模型为用户定制化生产商品对象，并将生产的商品对象通过物流配送提供给用户，至此完成商品定制化任务。
18.为了更好地理解，下面介绍几种基于三维模型的虚拟试穿的应用场景。
19.图1为本技术实施例提供的一种基于三维模型的虚拟试穿的应用场景图。在该应用场景中，主要由服务器承担与试穿对象适配的商品对象的三维模型的融合、调整直至得到目标三维模型的计算任务。以商品定制化为例说明，用户存在针对商品对象的定制化需求时，参见图1中
①
所示，触发终端设备向服务器发送试穿请求（或定制化请求），服务器本地预先维护了试穿对象的三维模型以及各个商品对象的基准三维模型，服务器根据该试穿请求可以获取目标商品对象的基准三维模型，另外也可以获取用户的试穿对象的三维模型。目标商品对象是可穿戴在试穿对象上的商品对象，基准三维模型是目标商品对象的初始状态的三维模型，在基准三维模型不满足适配度要求的情况下，对基准三维模型的尺寸参数和/或外形参数进行调整，可以得到满足适配度要求的三维模型，并将满足适配度要求的三维模型称作为目标三维模型。值得注意的是，服务器具有三维重建能力，也能够实时基于试穿对象的若干个图像对试穿对象进行三维重建，得到试穿对象的三维模型。同样地，服务器也能够实时基于目标商品对象的若干个图像对目标商品对象进行三维重建，得到目标商品对象的三维模型。也就是说，服务器可以预先存储试穿对象以及各个商品对象的三维模型，也可以实时三维重建各个对象的三维模型，对此不做限制。
20.参见图1中的
②
所示，服务器将试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到能够表示试穿状态的融合三维模型。以试穿对象为脚部，目标商品对象
为鞋为例，脚部的三维模型和鞋的三维模型融合而成的融合三维模型在形态上表现为脚部虚拟穿鞋的状态。其中，融合三维模型对试穿状态的表征，可以体现为试穿对象的三维模型与目标商品对象的基准三维模型之间的相对位置关系。
21.参见图1中的
③
所示，基于融合三维模型限定的试穿对象的三维模型与目标商品对象的基准三维模型之间的相对位置关系，获取试穿对象的三维模型上多个目标顶点的适配度信息，每个目标顶点的适配度信息反映的是与目标商品对象的基准三维模型上对应顶点或区域之间的试穿舒适度。其中，目标顶点可以是试穿对象的三维模型上的部分顶点或全部顶点。继续参见图1，假设顶点p是试穿对象的三维模型包括的多个目标顶点中的任一个顶点，顶点o、顶点a、顶点b、顶点c、顶点d、顶点e等多个顶点为基准三维模型上的顶点。其中，顶点o是与顶点p对应的顶点。实际应用中，可以基于顶点p到顶点o的距离计算顶点p的适配度信息。或者，也可以基于顶点p到顶点o所在的各个三角面片的距离计算顶点p的适配度信息。例如，计算顶点p到oab三角面片的距离d1、计算顶点p到obc三角面片的距离d2、计算顶点p到ocd三角面片的距离d3、计算顶点p到oed三角面片的距离d4以及计算顶点p到oae三角面片的距离d5，对距离d1、d2、d3、d4和d5进行加权求和或求均值，得到顶点p到顶点o所在区域的最终距离信息，基于顶点p到顶点o所在区域的最终距离信息计算顶点p的适配度信息。需要说明的是，并不限于对d1、d2、d3、d4和d5进行加权求和或求均值，例如还可以将距离d1、d2、d3、d4和d5中的最大值，或者最小值作为顶点p到顶点o所在区域的最终距离信息，也就是顶点p的适配度信息。其中，顶点p到各三角面片的距离可以是顶点p到各三角面片的中心的距离，也可以是顶点p到各三角面片的垂直距离，对此不做限定。
22.参见图1中的
④
所示，服务器将试穿对象的三维模型上多个目标顶点的适配度信息提供给终端设备，终端设备基于多个目标顶点的适配度信息自动识别基准三维模型是否满足适配度要求，或者，参见图1中的
⑤
所示，终端设备基于多个目标顶点的适配度信息对试穿对象的三维模型进行渲染，得到适配度热力图，并展示适配度热力图以供用户查看。用户查看适配度热力图自主识别基准三维模型是否满足适配度要求。在确认基准三维模型不满足适配度要求的情况下，参见图1中的
⑥
所示，终端设备触发调整操作，参见图1中的
⑦
所示，服务器响应调整操作调整基准三维模型，以得到目标三维模型。需要说明的是，在各实施例中，以热力图的方式对多个目标顶点的适配度信息进行可视化表示仅为一种示例，并不限于此，可以采用各种便于用户直观查看的方式在融合后的三维模型上对多个目标顶点的适配度信息进行可视化标记。
23.参见图1中的
⑧
所示，服务器将目标三维模型提供给定制化平台。参见图1中的
⑨
所示，定制化平台基于目标三维模型进行生产制造，以定制出与试穿对象适配的目标商品对象。参见图1中的
⑩
所示，生产出的目标商品对象经过物流配送送达给用户。可选地，在各实施例中，也可以将目标三维模型对应的尺寸参数和/或外形参数提供给定制化平台，定制化平台基于目标三维模型对应的尺寸参数和/或外形参数进行生产制造，以定制出与试穿对象适配的目标商品对象。
24.图2为本技术实施例提供的基于三维模型的虚拟试穿的另一种应用场景图。在该应用场景中，由于终端设备的处理能力越来越强大，还可以由终端设备承担与试穿对象适配的商品对象的三维模型的融合、调整直至得到目标三维模型的计算任务。实际应用中，可以由服务器提供试穿对象以及目标商品对象的三维模型，终端设备从服务器请求获取试穿
对象的三维模型和目标商品对象的基准三维模型。服务器可以预先存储试穿对象的三维模型以及目标商品对象的基准三维模型，也可以实时三维重建试穿对象的三维模型以及目标商品对象的基准三维模型，对此不做限制。当然，试穿对象的三维模型以及目标商品对象的基准三维模型也可以由终端设备进行三维重建得到。在终端设备本地加载了试穿对象的三维模型以及目标商品对象的基准三维模型的情况下，参见图2中的
①
所示，终端设备响应用户触发的试穿请求，将试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到融合三维模型。该过程简称为融合操作参见图2中的
②
所示，终端设备基于融合三维模型限定的试穿对象的三维模型与目标商品对象的基准三维模型之间的相对位置关系，获取试穿对象的三维模型上多个目标顶点的适配度信息，每个目标顶点的适配度信息反映的是与目标商品对象的基准三维模型上对应顶点之间的试穿舒适度。该过程简称为适配度信息计算操作。
25.终端设备基于多个目标顶点的适配度信息自动识别基准三维模型是否满足适配度要求，或者，参见图2中的
③
所示，终端设备基于多个目标顶点的适配度信息对试穿对象的三维模型进行渲染，得到适配度热力图，并展示适配度热力图以供用户查看。用户查看适配度热力图自主识别基准三维模型是否满足适配度要求。在确认基准三维模型不满足适配度要求的情况下，参见图2中的
④
所示，终端设备触发用户发起的调整操作调整基准三维模型，以得到目标三维模型。
26.参见图2中的
⑤
所示，终端设备将目标三维模型提供给服务器，服务器将目标三维模型提供给定制化平台(图2中未示出)。参见图2中的
⑥
所示，定制化平台基于目标三维模型进行生产制造，以定制出目标商品对象。参见图2中的
⑥
所示，生产出的目标商品对象经过物流配送送达给用户。在一些应用场景中，终端设备在将目标三维模型提供给服务器后，服务器还可以向终端设备返回的目标商品对象的信息，目标商品对象可以是尺寸和外形与目标三维模型适配的定制化商品对象。目标商品对象的信息例如包括但不限于：目标商品对象的材质、款式、风格、生产进度、物流配送进度、生产日期、生产厂商等等。
27.值得注意的是，图1和图2仅仅为示例性的应用场景，在执行与试穿对象适配的商品对象的三维模型的创建任务的过程中，并不限制终端设备和服务器所承担的任务。
28.在本实施例中，终端设备例如包括但不限于：手机、平板电脑、台式计算机、可穿戴式智能设备、智能家居设备等。服务器例如包括但不限于：单个服务器、多个服务器组成的分布式服务器集群，还可以是云化的服务器、云化的服务器集群或者云化的服务器中的容器、虚拟机等。
29.以下结合附图，详细说明本技术各实施例提供的技术方案。
30.图3为本技术实施例提供的一种基于虚拟试穿的信息处理方法的流程图。该方法可以由基于虚拟试穿的信息处理装置执行，该装置可以由软件和/或硬件的形式组成，可以集成在终端设备或服务器中，或者部分集成在终端设备中，部分集成在服务器中，对此不做限制。参见图3，该方法可以包括以下步骤：301、响应试穿请求，将试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到融合三维模型，融合三维模型表征试穿状态下试穿对象的三维模型与基准三维模型的第一相对位置关系。
31.302、根据第一相对位置关系，获取试穿对象的三维模型上多个目标顶点与基准三
维模型上对应顶点或区域之间的多个距离信息，作为多个目标顶点的适配度信息。
32.303、在根据多个目标顶点的适配度信息确定基准三维模型不满足适配度要求的情况下，调整基准三维模型的尺寸参数和/或外形参数，并重新获取多个目标顶点的适配度信息，直至得到满足适配度要求的目标三维模型。
33.在本实施例中，在用户存在试穿需求时，可以通过终端设备发起试穿请求，试穿请求用于请求试穿穿戴在试穿对象上的商品对象，试穿请求例如可以包括但不限于：试穿对象的标识、商品对象的标识、试穿对象的若干张图像。响应试穿请求，获取试穿对象的三维模型与目标商品对象的基准三维模型。若预先三维重建了试穿对象的三维模型与目标商品对象的基准三维模型，则可以基于试穿对象的标识获取预先生成的试穿对象的三维模型，以及基于商品对象的标识获取预先三维重建的目标商品对象的基准三维模型。当然，也支持实时三维重建试穿对象的三维模型或目标商品对象的基准三维模型，对此不再限制。
34.在定制化场景中，试穿请求可以认为是一种定制化请求，于是，响应试穿请求，获取试穿对象的三维模型和目标商品对象的基准三维模型的一种可选实现方式为：响应定制化请求，展示商品定制化页面，商品定制化页面上包括可定制的至少一个商品对象；响应用户在商品定制化页面上的选择操作，确定被选择的目标商品对象及其基准三维模型；根据目标商品对象的类型，从用户的三维模型库中加载与目标商品对象适配的试穿对象的三维模型。
35.具体而言，用户与商品定制化页面交互，首先，选择满足其定制需求的目标商品对象及其基准三维模型。接着，根据目标商品对象的类型可以确定需要试穿的是哪种试穿对象，并从用户的三维模型库中加载与目标商品对象适配的试穿对象的三维模型。值得注意的是，基准三维模型或用户的三维模型库可以在终端设备本地维护，也可以在服务端维护。在终端设备本地未维护基准三维模型或用户的三维模型库的情况下，可以请求服务器发送基准三维模型或试穿对象的三维模型，或者，请求服务器实时三维重建基准三维模型或试穿对象的三维模型。
36.其中，用户的三维模型库例如包括但不限于：脚部的三维模型、手部的三维模型、头部的三维模型、上半身的三维模型或下半身的三维模型。
37.作为一种示例，在加载试穿对象的三维模型时，可以根据目标商品对象的类型，展示对应的模型加载页面，响应于模型加载页面上的加载触发操作，获取试穿对象的三维模型。
38.在本实施例中，在获取试穿对象的三维模型与目标商品对象的基准三维模型，执行三维模型融合操作，以将试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到融合三维模型。融合三维模型表征试穿状态下试穿对象的三维模型与基准三维模型的第一相对位置关系。
39.具体而言，三维模型融合操作可以理解为将各个三维模型包括的顶点位置转换到同一坐标系下的顶点位置，基于坐标转换后的多个三维模型的顶点组成融合三维模型。也就是说，融合三维模型作为一个整体，本质由统一转换到同一坐标系的多个三维模型的顶点组成。基于此，基于融合三维模型中属于试穿对象的三维模型的顶点与基于融合三维模型中属于基准三维模型的对应顶点之间的相对位置关系，可以表征试穿状态下试穿对象的三维模型与基准三维模型之间的相对位置关系。为了便于理解，将试穿状态下试穿对象的
三维模型与基准三维模型的相对位置关系称作为第一相对位置关系。
40.进一步可选的，为了更好地模拟真实的穿戴状态，可以预先定义目标试穿参数，在目标试穿参数的控制下，融合三维模型中的试穿对象的三维模型与商品对象的三维模型呈现为较为理想的穿戴状态。因穿戴场景不同，目标试穿参数有所不同。以虚拟试鞋为例，目标试穿参数例如包括以下参数：鞋的三维模型上脚跟顶点与脚部的三维模型上脚跟顶点相距1毫米至3毫米，并使脚部的三维模型处于鞋的三维模型的中间，且脚部的三维模型的脚底贴住鞋的三维模型的底部，让鞋的三维模型的底部包裹住脚部的三维模型。
41.基于上述，步骤301的一种可选实施方式为：响应试穿请求，获取试穿对象的三维模型、目标商品对象的基准三维模型以及试穿对象针对目标商品对象的目标试穿参数；根据目标试穿参数，确定试穿对象的三维模型上至少三个基准顶点和基准三维模型上对应基准顶点之间的第二相对位置关系；根据第二相对位置关系，将试穿对象的三维模型至少部分放置于基准三维模型内部，以得到融合三维模型。
42.实际应用中，可以根据经验设置目标试穿参数。进一步可选的，还可以根据试穿对象的属性信息、试穿对象所属用户的试穿偏好信息和/或目标商品对象对应的基准试穿参数，获取试穿对象针对目标商品对象的目标试穿参数。
43.试穿对象的属性信息用于刻画试穿对象的特性，不同用户的试穿对象具有不同属性信息。以脚部为例，有的脚部的大脚趾比其他脚趾都长，有的脚部的第2根脚趾最长，有的脚部的前3根脚趾的长度基本差不多。有的脚部的脚宽大，而有的脚部的脚宽小。有的脚部的脚长长，而有的脚部的脚长短。有的脚部的趾围大，有的脚部的趾围小。有的脚部的脚腰围大，有的脚部的脚腰围小。
44.试穿偏好信息反映的是试穿对象所属用户的穿戴喜好。以鞋为例，偏好圆头鞋、尖口鞋或方头鞋。以衣服为例，偏好修身型、宽松型。
45.目标商品对象对应的基准试穿参数是指根据大量试验数据设置的具有普适性的试穿参数。
46.在确定目标试穿参数时，可以基于试穿对象的属性信息、试穿对象所属用户的试穿偏好信息对基准试穿参数进行微调，得到目标试穿参数。
47.在本实施例中，解析目标试穿参数，确定定义目标试穿参数的顶点作为基准顶点。以脚部为例，基准顶点可以是脚跟顶点、脚底上的若干个顶点、脚指头上的顶点等等。
48.在试穿对象为脚部，目标对象为鞋的情况下，根据目标试穿参数，确定试穿对象的三维模型上多个基准顶点和基准三维模型上对应基准顶点之间的第二相对位置关系，包括以下至少一种：方式1：根据鞋与脚跟之间的试穿距离，确定脚部的三维模型上的第一脚跟顶点与鞋的基准三维模型上的第二脚跟顶点之间相距试穿距离，作为第二相对位置关系。
49.在三维重建时，针对脚部的三维模型包括的每个顶点，可以标记该顶点类型，顶点类型例如包括：脚跟顶点、脚底顶点或脚趾头顶点。基于顶点类型从脚部的三维模型包括的多个顶点中选择脚跟上的一个顶点作为第一脚跟顶点，根据第一脚跟顶点在脚跟上的位置分布，从鞋的基准三维模型上的多个脚跟顶点中选择位置分布与第一脚跟顶点相同的一个脚跟顶点作为对应的第二脚跟顶点。在三维模型融合时，在同一坐标系下，控制第一脚跟顶点与第二脚跟顶点相距试穿距离。
50.方式2：根据脚底部与鞋底部之间的贴合关系，确定脚部的三维模型上的第一脚底顶点与鞋的基准三维模型上的第二脚底顶点重合，作为第二相对位置关系。
51.基于顶点类型从脚部的三维模型包括的多个顶点中选择脚底上的若干个第一脚底顶点。根据各脚底顶点在脚跟上的位置分布，从鞋的基准三维模型上的多个顶点中选择位置分布与第一脚底顶点相同的若干个第二脚底顶点。在三维模型融合时，在同一坐标系下，控制每组第一脚底顶点和第二脚底顶点的顶点位置相同或相近，以使脚底部与鞋底部贴合。
52.方式3：根据脚底中心与鞋底中心的对齐关系，确定脚部的三维模型上位于脚底中心线上的第一中心线顶点与鞋的基准三维模型上位于鞋底中心线上的第二中心线顶点在脚长方向上对齐，作为第二相对位置关系。
53.基于顶点类型和顶点位置从脚部的三维模型包括的多个顶点中脚底中心线上顶点作为第一中心线顶点，从鞋的基准三维模型上的多个顶点中选择位置分布与第一中心线顶点相同的一个顶点作为对应的第二中心线顶点。在三维模型融合时，在同一坐标系下，控制第一中心线顶点与第二中心线顶点在脚长方向上对齐。
54.在本实施例中，将试穿对象的三维模型包括的各个顶点的位置坐标和基准三维模型包括的各个顶点的位置坐标统一变换至同一坐标系下，控制试穿对象的三维模型和基准三维模型之间保持第二相对位置关系，至此完成将试穿对象的三维模型至少部分放置于基准三维模型内部的操作，得到融合三维模型。
55.具体而言，融合三维模型中的试穿对象的三维模型和基准三维模型保持第一相对位置关系，在这种融合状态下，执行适配度信息计算操作。适配度信息反映的是穿戴适配程度，首先，从试穿对象的三维模型包括的多个顶点中，选择参与适配度信息计算的多个目标顶点。例如，将试穿对象的三维模型上的每个顶点均作为目标顶点。进一步的，为了减少数据处理量，同时兼顾适配度信息计算的准确度，可以从试穿对象的三维模型上选择部分顶点作为目标顶点。例如，根据试穿对象的关键部位信息，从试穿对象的三维模型上选择与关键部位信息对应的顶点作为目标顶点。关键部分例如包括但不限于：脚趾头、脚后跟、脚弓、脚背、内脚背、外脚背，脚底等等。
56.在确定参与适配度信息计算的试穿对象的三维模型上多个目标顶点后，针对每个目标顶点，可以根据目标顶点与基准三维模型上对应顶点之间的距离信息作为目标顶点的适配度信息。进一步可选的，为了更好地度量适配度信息，还可以将目标顶点到基准三维模型上对应顶点所在区域的距离信息作为目标顶点的适配度信息。于是，根据第一相对位置关系，计算试穿对象的三维模型上多个目标顶点与基准三维模型上对应区域之间的多个距离信息，作为多个目标顶点的适配度信息，包括：针对试穿对象的三维模型上的每个目标顶点，根据第一相对位置关系，获取基准三维模型上与目标顶点最近的第一顶点；将以第一顶点为连接点的多个三角面片作为目标顶点在基准三维模型上对应的区域；计算目标顶点到多个三角面片的多个距离，根据多个距离生成目标顶点的适配度信息。
57.其中，目标顶点到三角面片的距离例如包括不限于：目标顶点到三角面片的中心点的距离、目标顶点到三角面片的垂直距离、对目标顶点到三角面片的三个顶点的距离进行求最大值、最小值或者均值。实际应用中，对目标顶点到多个三角面片的多个距离求最大值、最小值或者均值，得到目标顶点到三角面片的最终的距离信息，将最终的距离信息作为
目标顶点的适配度信息。
58.实际应用中，可以灵活设置各个目标顶点对应的满足适配度要求的适配度范围信息。每个目标顶点的适配度信息若是落在其对应的适配度范围信息内，该目标顶点满足适配度要求。每个目标顶点的适配度信息若未落在其对应的适配度范围信息内，该目标顶点不满足适配度要求。在确定各个目标顶点是否满足各自的适配度要求后，基于各个目标顶点满足各自的适配度要求的情况，确定基准三维模型是否满足适配度要求。例如，若全部目标顶点均满足各自的适配度要求，确定基准三维模型满足适配度要求。又例如，满足适配度要求的目标顶点的数量与全部目标顶点的数量的占比大于灵活设置的指定占比时，确定基准三维模型满足适配度要求。又例如，满足适配度要求的目标顶点的数量大于灵活设置的指定数量时，确定基准三维模型满足适配度要求，对此不做限制。
59.进一步可选的，还可以引入人工干预方式确认基准三维模型是否满足适配度要求，以提高用户满意度。为了使得用户可以直观地获知基准三维模型满足适配度要求，可以展示试穿对象的三维模型、基准三维模型以及融合三维模型中的任一三维模型，并在任一三维模型上对多个目标顶点的适配度信息进行可视化标记，其中，与基准适配度范围大小关系不同的适配度信息对应不同的可视化标记状态，以供用户确认基准三维模型是否满足适配度要求。
60.具体而言，在上述任一三维模型上对多个目标顶点的适配度信息进行可视化标记，这样，不同的适配度信息采用不同的可视化标记状态进行标识。例如，满足适配度要求的顶点采用绿色标记，不满足适配度要求的顶点采用红色标记。
61.基准适配度范围是指限定是否满足适配度要求的适配度所在的数值范围。在基准适配度范围内的适配度信息满足适配度要求，不在基准适配度范围内的适配度信息不满足适配度要求。
62.进一步可选的，为了更加形象直观地反映试穿对象的三维模型上各个目标顶点的适配度信息分布信息，在上述任一三维模型上对多个目标顶点的适配度信息进行可视化标记时，可以根据多个目标顶点的适配度信息对任一三维模型进行渲染，以得到适配度热力图，适配度热力图中的不同颜色表示与基准适配度范围大小关系不同的适配度信息。需要说明的是，基准适配度范围可以有多个，例如针对试穿对象的不同部位可以设置不同的基准适配度范围。以脚部为例，脚后跟部位对应第一基准适配度范围，例如1-2cm，脚掌部位对应第二基准适配度分为例如0.5-1cm，脚踝部位对应第三基准适配度范围，例如0-1cm，等等。其中，对于位于基准适配度范围内的适配度信息采用第一颜色值进行标记，针对大于基准适配度上限值的适配度信息采用第二颜色值进行标记，针对小于基准适配度范围下限值的适配度信息采用第三颜色值进行标记。这样，用户可以通过第一颜色值了解哪些位置合适，根据第二颜色值了解哪些位置太宽松，根据第三颜色值了解哪些位置太紧凑。
63.在向用户展示对适配度信息进行可视化标记的任一三维模型后，用户根据任一三维模型的可视化标记状态自主确认基准三维模型是否满足适配度要求。以适配度热力图为例，用户直观查看到适配度热力图上标记不满足适配度要求的颜色（例如为红色）的区域的数量比较多时，可以给出基准三维模型与试穿对象的三维模型的适配度低的结论，也即不满足适配度要求。用户直观查看到适配度热力图上标记不满足适配度要求的颜色（例如为红色）的区域的数量比较少时，可以给出基准三维模型与试穿对象的三维模型的适配度高
的结论，也即满足适配度要求。用户直观查看到适配度热力图上标记不满足适配度要求的颜色（例如为红色）的区域的数量不多不少时，可以给出基准三维模型与试穿对象的三维模型的适配度中的结论，此时可以按需给出不满足适配度要求或满足适配度要求的结论。
64.在本实施例中，在根据多个目标顶点的适配度信息确定基准三维模型不满足适配度要求的情况下，则调整基准三维模型的尺寸参数和/或外形参数，并重新获取多个目标顶点的适配度信息，直至得到满足适配度要求的目标三维模型。
65.值得注意的是，在每次调整基准三维模型的尺寸参数和/或外形参数后，将调整后的基准三维模型作为新的基准三维模型，并重复执行获取多个目标顶点的适配度信息，直至根据多个目标顶点的适配度信息确定基准三维模型满足适配度要求，并将满足适配度要求的基准三维模型作为目标三维模型。
66.基准三维模型的尺寸参数例如包括但不限于：整个基准三维模型的长度、宽度和高度，或者，基准三维模型中各个部位的长度、宽度和高度。以鞋为例，尺寸参数包括：鞋长、鞋宽、或者，脚趾头长度或宽度，或者，脚背的高度等等。
67.基准三维模型的外形参数定义基准三维模型的外形特点。以鞋为例，鞋的根部高度、头部宽度、头部长度或者脚背高度等等。
68.在本实施例中，可以自动调整基准三维模型的尺寸参数和/或外形参数，也可以响应用户触发的针对基准三维模型的调整操作，调整基准三维模型的尺寸参数和/或外形参数，对此不做限制。
69.进一步可选的，为了方便用户发起调整操作，可以向用户提供调整控件，用户通过调整控件可以发起针对基准三维模型的调整操作。具体而言，在上述任一三维模型的关联区域内可以展示调整控件，该调整控件可以是但不限于滑动条。基于此，可响应滑动条上的至少一次滑动操作，获取每次滑动操作的滑动距离和滑动方向，根据滑动距离和滑动方向分别确定调整幅度和调整方向；根据调整方向和调整幅度，调整基准三维模型的尺寸参数和/或外形参数。在本实施例中，滑动距离决定对尺寸参数和/或外形参数的调整幅度，滑动方向决定尺寸参数和/或外形参数的调整方向。调整方向可以是在当前参数基础上朝着增大方向调整，或者朝着递减方向调整，对此不做限制。值得注意的是，在三维模型所在的显示区域的任一区域可以作为关联区域，并在该关联区域内展示滑动条，以便于用户执行调整操作。
70.在一可选实施例中，滑动距离与调整幅度成正比，滑动距离越大，表示对尺寸参数和/或外形参数的调整幅度越大；滑动距离越小，表示对尺寸参数和/或外形参数的调整幅度越小。相应地，以从左到右的滑动条为例，向左滑动代表往回调整，意味着将尺寸参数和/或外形参数往小了调整，即调整方向是往小了调整的方向；向右滑动代表向前调整，意味着将尺寸参数和/或外形参数往大了调整，即调整方向是往大了调整的方向。
71.实际应用中，可以利用一个滑动条联动调整基准三维模型的尺寸参数和外形参数。考虑到实际应用中，可能仅仅对尺寸参数有调整需求，或者对外形参数有调整需求。为了便于独立调整尺寸参数或外形参数，滑动条可以包括第一滑动条和第二滑动条，第一滑动条用于对基准三维模型的尺寸参数进行调整，第二滑动条件用于对基准三维模型的外形参数进行调整。用户可以分别通过第一滑动条和第二滑动条对基准三维模型的尺寸参数和外形参数进行调整。
72.在本实施例中，若是终端设备创建目标三维模型，则终端设备可以将目标三维模型发送给服务器，服务器可以获取尺寸和外形均与试穿对象匹配的目标商品对象的信息，还可以向终端设备返回目标商品对象的信息。目标商品对象的信息例如包括但不限于：目标商品对象的材质、款式、风格、生产进度、物流配送进度、生产日期、生产厂商等等。进一步可选地，终端设备可以向用户输出目标商品对象的信息，用户可以根据该信息确定是否针对目标商品对象进行定制化；以及响应于用户确定定制化的操作，终端设备还可以向服务器发送定制化指令。基于此，服务器还可以将目标三维模型发送给定制化平台，定制化平台基于目标三维模型进行生产制造，以定制出尺寸和外形和试穿对象匹配的目标商品对象，以及将生产出的目标商品对象经过物流配送送达给用户。
73.本技术实施例提供的技术方案，首先，基于试穿对象的三维模型与目标商品对象的基准三维模型创建模拟虚拟试穿状态的融合三维模型，接着，在虚拟试穿状态下，计算试穿对象的三维模型上多个目标顶点反映穿戴适配程度的适配度信息，基于多个目标顶点的适配度信息调整基准三维模型的尺寸参数和/或外形参数，直至获取到满足适配度要求的目标三维模型。由此，以虚拟试穿技术模拟了真实试穿场景，动态调整目标商品对象的基准三维模型直至与试穿对象的三维模型的尺寸或外形适配，更贴近真实试穿场景，有利于更好地为顾客进行个性化的定制服务；有效地减少商品对象不合适造成的退货或换货的情况，降低在线购物的成本，提升在线购物的效率和用户的购物体验。
74.本技术实施例还提供一种基于虚拟试穿的信息处理方法，该方法可以应用于商品选购场景。参见图4，该方法可以包括以下步骤：401、响应针对目标商品对象的虚拟试穿请求，获取待试穿的目标商品对象的三维模型，以及试穿对象的三维模型。
75.402、将试穿对象的三维模型与目标商品对象的三维模型进行融合，得到融合三维模型，融合三维模型表征试穿状态下试穿对象的三维模型与目标商品对象的三维模型的第一相对位置关系。
76.403、根据第一相对位置关系，获取试穿对象的三维模型上多个目标顶点与目标商品对象的三维模型上对应顶点或区域之间的多个距离信息，作为多个目标顶点的适配度信息。
77.404、根据多个目标顶点的适配度信息渲染试穿对象的三维模型，得到反映试穿对象的多个目标顶点的穿戴适配程度的热力图。
78.在得到热力图之后，用户可以根据热力图判断试穿对象是否适合穿戴目标商品对象，以及目标商品对象的基准三维模型哪些部位不适合，如何不合适（例如过于宽松，还是过于紧凑），据此，用户可以发出调整基准三维模型的调整操作，基于该调整操作，可以调整目标商品对象的基准三维模型的尺寸参数和/或外形参数，直至得到满足适配度要求的目标三维模型为止。
79.关于步骤401至404的详细过程可以参见前述实施例，在此不再赘述。
80.在本实施例中，在计算出试穿对象的三维模型多个目标顶点的适配度信息后，渲染试穿对象的三维模型，得到反映试穿对象的多个目标顶点的穿戴适配程度的热力图。基于热力图用户可以直观地查看试穿对象是否适合穿戴目标商品对象，在购物场景中，用户可以据此决策是否购买目标商品对象，或者，是否重新更换目标商品对象的尺寸等。
81.在一些场景中，支持用户调整目标商品对象的三维模型的尺寸参数或外形参数，以更加真实地模拟试穿场景。例如，在真实试鞋场景中，用户通过松鞋带或勒紧鞋带，调整鞋内腔的尺寸参数或外形参数，以尽可能地提高穿鞋舒适度。
82.基于此，如图4所示，步骤404之后还包括：步骤405、若根据热力图判断试穿对象不适合穿戴目标商品对象，调整目标商品对象的三维模型的尺寸参数和/或外形参数，将调整后的目标商品对象的三维模型作为目标商品对象的新的三维模型，并返回执行步骤402及其后续步骤，直至根据热力图判断试穿对象适合穿戴目标商品对象为止，或者，调整次数达到最大调整次数为止。
83.以图5为例，滑动条显示在鞋内腔的三维模型的关联区域内，通过滑动条的滑动可以模拟系鞋带时鞋子松紧度的变化过程，脚部3d mesh模型（也即三维模型）与不同形态的鞋内腔的3d mesh模型融合后，可以得到不同适配度的热力图。用户通过热力图直观获知是否需要重新滑动滑动条，以再次改变鞋内腔的3d mesh模型的形态，直至得到较为满意的热力图为止，或者，在调整次数较多后，可以推荐用户换双鞋试穿。在图5中，通过计算脚部3d mesh模型上的顶点到鞋内腔的3d mesh模型上的对应顶点所连接的各三角面片的距离的平均值作为脚部3d mesh模型上的顶点的适配度信息，基于该适配度信息在脚部3d mesh模型上渲染得到热力图，关于详细实施过程可参见前述实施例，在此不再赘述。
84.本技术实施例提供的技术方案，首先，基于试穿对象的三维模型与目标商品对象的三维模型创建模拟虚拟试穿状态的融合三维模型，接着，在虚拟试穿状态下，获取试穿对象的三维模型上多个目标顶点反映穿戴适配程度的适配度信息，以及基于多个目标顶点反映穿戴适配程度的适配度信息渲染试穿对象的三维模型，得到反映试穿对象的多个目标顶点的穿戴适配程度的热力图，最后，根据热力图判断试穿对象是否适合穿戴目标商品对象。由此，以虚拟试穿技术模拟了真实试穿场景，更贴近真实试穿场景，有效地减少商品对象不合适造成的退货或换货的情况，降低在线购物的成本，提升在线购物的效率和用户的购物体验。
85.图6a为本技术实施例提供的一种基于虚拟试穿的信息交互方法的流程图。参见图6a，该方法可以包括以下步骤：601、响应试穿请求，将试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到融合三维模型，融合三维模型表征试穿状态下试穿对象的三维模型与基准三维模型的第一相对位置关系。
86.602、根据第一相对位置关系，获取试穿对象的三维模型上多个目标顶点与基准三维模型上对应顶点或区域之间的多个距离信息，作为多个目标顶点的适配度信息。
87.603、展示试穿对象的三维模型、基准三维模型以及融合三维模型中的任一三维模型，并在任一三维模型上对多个目标顶点的适配度信息进行可视化标记。
88.604、响应针对任一模型的调节操作，调整基准三维模型的尺寸参数和/或外形参数，以及根据调整后的基准三维模型，对多个目标顶点的适配度信息和任一三维模型上的可视化标记进行同步更新。
89.在本实施例中，用户存在试穿需求时，可以通过终端设备发起试穿请求，试穿请求用于请求试穿穿戴在试穿对象上的商品对象，试穿请求例如可以包括但不限于：试穿对象的标识、商品对象的标识、试穿对象的若干张图像。在一些应用场景中，当用户在终端设备
上触发试穿请求时，终端设备可以显示可输入相关信息的页面，在该页面上，用户输入试穿对象的相关描述信息、商品对象的相关描述信息、以及上传试穿对象的若干张图像等等，终端设备通过解析用户在页面上所输入的相关信息，确定试穿对象的标识和商品对象的标识，并根据试穿对象的标识从预先保存的多个三维模型中获取试穿对象的三维模型，以及根据商品对象的标识从预先保存的多个三维模型中获取商品对象的三维模型。当然，也支持实时三维重建试穿对象的三维模型或目标商品对象的基准三维模型，对此不再限制。例如，利用用户上传的试穿对象的若干张图像实时重建试穿对象的三维模型。
90.在获取到试穿对象的三维模型与目标商品对象的基准三维模型后，进行三维模型融合操作和多个目标顶点的适配度信息确定操作。关于三维模型融合操作和多个目标顶点的适配度信息确定操作的更多内容可以参见前述实施例的相关介绍。
91.在本实施例中，在获取试穿对象的三维模型上多个目标顶点的适配度信息后，可以展示试穿对象的三维模型、基准三维模型以及融合三维模型中的任一三维模型，并在任一三维模型上对多个目标顶点的适配度信息进行可视化标记。
92.也就是说，可以在终端设备上展示试穿对象的三维模型、基准三维模型以及融合三维模型中一个或多个，并在试穿对象的三维模型、基准三维模型以及融合三维模型中一个或多个上对多个目标顶点的适配度信息进行可视化标记。
93.例如，在试穿对象的三维模型上渲染反映多个目标顶点的适配度信息的热力图，和/或，在基准三维模型上渲染反映多个目标顶点的适配度信息的热力图，和/或，在融合三维模型渲染反映多个目标顶点的适配度信息的热力图。关于进行可视化标记的操作的更多内容可以参见前述实施例的相关介绍。
94.在向用户展示对适配度信息进行可视化标记的任一三维模型后，用户根据任一三维模型的可视化标记状态自主确认基准三维模型是否满足适配度要求。以适配度热力图为例，用户直观查看到适配度热力图上标记不满足适配度要求的颜色（例如为红色）的区域的数量比较多时，可以给出基准三维模型与试穿对象的三维模型的适配度低的结论，也即不满足适配度要求。用户直观查看到适配度热力图上标记不满足适配度要求的颜色（例如为红色）的区域的数量比较少时，可以给出基准三维模型与试穿对象的三维模型的适配度高的结论，也即满足适配度要求。用户直观查看到适配度热力图上标记不满足适配度要求的颜色（例如为红色）的区域的数量不多不少时，可以给出基准三维模型与试穿对象的三维模型的适配度中的结论，此时可以按需给出不满足适配度要求或满足适配度要求的结论。
95.在本实施例中，在根据多个目标顶点的适配度信息确定基准三维模型不满足适配度要求的情况下，则调整基准三维模型的尺寸参数和/或外形参数，根据调整后的基准三维模型，对多个目标顶点的适配度信息和任一三维模型上的可视化标记进行同步更新。关于基准三维模型的调整操作的更多内容可以参见前述实施例中的相关介绍。
96.在本实施例中，在每次调整基准三维模型的尺寸参数和/或外形参数后，将调整后的基准三维模型作为新的基准三维模型，并重复执行获取多个目标顶点的适配度信息，直至根据多个目标顶点的适配度信息确定基准三维模型满足适配度要求，并将满足适配度要求的基准三维模型作为目标三维模型。
97.值得注意的是，每调整一次基准三维模型的尺寸参数和/或外形参数，相应地，多个目标顶点的适配度信息进行同步更新，反映适配度信息的可视化标记也随着同步更新，
从而使得用户更为直观地获知模型调整操作带来的适配度变化情况，提高精度的目标商品对象的三维模型的获取概率。
98.图6a所示的方法中各步骤的详细过程可以参见前述实施例的相关内容，在此不再赘述。
99.本技术实施例提供的技术方案，以虚拟试穿技术模拟了真实试穿场景，动态调整目标商品对象的基准三维模型直至与试穿对象的三维模型的尺寸或外形适配，更贴近真实试穿场景，有利于更好地为顾客进行个性化的定制服务；有效地减少商品对象不合适造成的退货或换货的情况，降低在线购物的成本，提升在线购物的效率和用户的购物体验。
100.图6b为本技术实施例提供的另一种基于虚拟试穿的信息交互方法的流程图。参见图6b，该方法可以包括以下步骤：701、响应试穿请求，获取试穿对象的三维模型与目标商品对象的基准三维模型，并展示试穿对象的三维模型与基准三维模型。
101.702、将试穿对象的三维模型与目标商品的基准三维模型进行融合，以得到试穿状态下试穿对象的三维模型与基准三维模型的第一相对位置关系。
102.703、根据第一相对位置关系，获取试穿对象的三维模型上多个目标顶点与基准三维模型上对应顶点或区域之间的多个距离信息，作为多个目标顶点的适配度信息。
103.704、在试穿对象的三维模型上对多个目标顶点的适配度信息进行可视化标记。
104.705、响应针对基准三维模型的调节操作，调整基准三维模型的尺寸参数和/或外形参数，并根据调整后的基准三维模型，对多个目标顶点的适配度信息和试穿对象的三维模型上的可视化标记进行同步更新。
105.在本实施例中，用户存在试穿需求时，可以通过终端设备发起试穿请求，试穿请求用于请求试穿穿戴在试穿对象上的商品对象，试穿请求例如可以包括但不限于：试穿对象的标识、商品对象的标识、试穿对象的若干张图像。在一些应用场景中，当用户在终端设备上触发试穿请求时，终端设备可以显示可输入相关信息的页面，在该页面上，用户输入试穿对象的相关描述信息、商品对象的相关描述信息、以及上传试穿对象的若干张图像等等，终端设备通过解析用户在页面上所输入的相关信息，确定试穿对象的标识和商品对象的标识，并根据试穿对象的标识从预先保存的多个三维模型中获取试穿对象的三维模型，以及根据商品对象的标识从预先保存的多个三维模型中获取商品对象的三维模型。当然，也支持实时三维重建试穿对象的三维模型或目标商品对象的基准三维模型，对此不再限制。例如，利用用户上传的试穿对象的若干张图像实时重建试穿对象的三维模型。
106.在获取到试穿对象的三维模型与目标商品对象的基准三维模型后，可以在终端设备上展示试穿对象的三维模型与基准三维模型以供用户查看。接着，进行三维模型融合操作和多个目标顶点的适配度信息确定操作。关于三维模型融合操作和多个目标顶点的适配度信息确定操作的更多内容可以参见前述实施例的相关介绍。值得注意的是，三维模型融合过程可以不可见，三维模型融合目标是为了找出融合状态下的试穿对象的三维模型与基准三维模型的第一相对位置关系，然后基于第一相对位置关系获取试穿对象的三维模型上多个目标顶点的适配度信息。
107.在本实施例中，在获取试穿对象的三维模型上多个目标顶点的适配度信息后，可以展示试穿对象的三维模型上对多个目标顶点的适配度信息进行可视化标记。例如，在试
穿对象的三维模型上渲染反映多个目标顶点的适配度信息的热力图。关于进行可视化标记的操作的更多内容可以参见前述实施例的相关介绍。
108.在向用户展示对适配度信息进行可视化标记的试穿对象的三维模型后，用户根据试穿对象的三维模型的可视化标记状态自主确认基准三维模型是否满足适配度要求。以适配度热力图为例，用户直观查看到适配度热力图上标记不满足适配度要求的颜色（例如为红色）的区域的数量比较多时，可以给出基准三维模型与试穿对象的三维模型的适配度低的结论，也即不满足适配度要求。用户直观查看到适配度热力图上标记不满足适配度要求的颜色（例如为红色）的区域的数量比较少时，可以给出基准三维模型与试穿对象的三维模型的适配度高的结论，也即满足适配度要求。用户直观查看到适配度热力图上标记不满足适配度要求的颜色（例如为红色）的区域的数量不多不少时，可以给出基准三维模型与试穿对象的三维模型的适配度中的结论，此时可以按需给出不满足适配度要求或满足适配度要求的结论。
109.在本实施例中，在根据多个目标顶点的适配度信息确定基准三维模型不满足适配度要求的情况下，则调整基准三维模型的尺寸参数和/或外形参数，根据调整后的基准三维模型，对多个目标顶点的适配度信息和试穿对象的三维模型上的可视化标记进行同步更新。关于基准三维模型的调整操作的更多内容可以参见前述实施例中的相关介绍。
110.在本实施例中，在每次调整基准三维模型的尺寸参数和/或外形参数后，将调整后的基准三维模型作为新的基准三维模型，并重复执行获取多个目标顶点的适配度信息，直至根据多个目标顶点的适配度信息确定基准三维模型满足适配度要求，并将满足适配度要求的基准三维模型作为目标三维模型。
111.值得注意的是，每调整一次基准三维模型的尺寸参数和/或外形参数，相应地，多个目标顶点的适配度信息进行同步更新，反映适配度信息的可视化标记也随着同步更新，从而使得用户更为直观地获知模型调整操作带来的适配度变化情况，提高高精度的目标商品对象的三维模型的获取概率。
112.在本实施例中，在计算出试穿对象的三维模型多个目标顶点的适配度信息后，渲染试穿对象的三维模型，得到反映试穿对象的多个目标顶点的穿戴适配程度的热力图。基于热力图用户可以直观地查看试穿对象是否适合穿戴目标商品对象，并决策是否购买目标商品对象。
113.在本实施例中，支持调整目标商品对象的三维模型的尺寸参数或外形参数，以更加真实地模拟试穿场景。例如，在真实试鞋场景中，用户通过松鞋带或勒紧鞋带，调整鞋内腔的尺寸参数或外形参数，以尽可能地提高穿鞋舒适度。
114.实际应用中，可以在基准三维模型的关联区域上显示调节控件，调节控件例如为滑动条，随着用户操作调节控件调整目标商品对象的三维模型的尺寸参数或外形参数，试穿对象的三维模型上对多个目标顶点的适配度信息同步更新。
115.以图5为例，调节控件为滑动条，滑动条滑动模拟是系鞋带松紧变化过程，脚部3d mesh模型（也即三维模型）与不同形态的鞋内腔的3d mesh模型融合后，可以得到不同适配度的热力图。在脚部3d mesh模型上渲染热力图，在鞋内腔的3d mesh模型的关联区域显示滑动条，随着用户滑动滑动条对鞋内腔的3d mesh模型进行调整，脚部3d mesh模型上的热力图也会同步变化。用户通过热力图直观获知是否需要重新滑动滑动条，以再次改变鞋内
腔的3d mesh模型的形态，直至得到较为满意的热力图为止，或者，在调整次数较多后，可以推荐用户换双鞋试穿。
116.图6b所示的方法中各步骤的详细过程可以参见前述实施例的相关内容，在此不再赘述。
117.本技术实施例提供的技术方案，以虚拟试穿技术模拟了真实试穿场景，动态调整目标商品对象的基准三维模型直至与试穿对象的三维模型的尺寸或外形适配，更贴近真实试穿场景，有利于更好地为顾客进行个性化的定制服务；有效地减少商品对象不合适造成的退货或换货的情况，降低在线购物的成本，提升在线购物的效率和用户的购物体验。
118.下面实施例将对本技术实施例提供的用于试穿对象的三维重建方法进行描述。在下述实施例中，将试穿对象称为目标对象。
119.图7a为本技术实施例提供的一种三维重建网络的模型结构图。参见图7a，整个三维重建网络可以包括：特征提取网络、向量拼接网络、参数回归网络和蒙层处理网络。实际应用中，目标对象可以是任意的需要进行三维重建的对象，目标对象例如为人体上的脚部对象、手部对象、头部对象、肘部对象或腿部对象等身体部位，又例如为自然界中的各种动物、植物等等，又例如为真实的房屋、山体等三维空间场景等等，对此不做限制。在对目标对象进行三维重建时，首先可以利用图像采集装置对目标对象进行视频采集，获取包括目标对象的视频流，参见图7a中的
①
所示，依次将视频流中连续多帧包括目标对象的图像输入至三维重建网络中，参见图7a中的
②
和
③
所示，特征提取网络依次对每帧图像进行特征提取，提取每帧图像的特征向量。在得到多帧图像的特征向量后，参见图7a中的
④
和
⑤
所示，利用向量拼接网络对多帧图像的特征向量按照图像采集时刻从早到晚的顺序依次进行拼接处理，得到目标拼接特征向量；接着，参见图7a中的
⑥
和
⑦
所示，利用参数回归网络对目标拼接特征向量进行预测处理，得到用于模型控制的多个控制参数，多个控制参数可以包括姿态控制参数和形状控制参数。最后，参见图7a中的
⑧
和
⑨
所示，利用蒙层处理网络对基于三维模型描述信息得到的目标对象的初始三维模型进行蒙层处理，便可输出目标对象的目标三维模型，至此完成整个三维重建任务。
120.实际应用中，整个三维重建网络可以部署在终端设备上，可以部署在服务器上，或者，整个三维重建网络中的部分网络部署在终端设备上，部分网络部署在服务器上，对此不做限制。可选的，终端设备例如包括但不限于手机、平板电脑、笔记本电脑、可穿戴设备、车载设备。服务器例如包括但不限于单个服务器或多个服务器组成的分布式服务器集群。
121.应当理解的是，图7a中的三维重建网络的模型结构仅仅是示意性的。例如，特征提取网络也可以增设拼接处理功能，这样，三维重建网络无需包含专门的向量拼接网络。又例如，参数回归网络也可以增设蒙层处理功能，这样，三维重建网络无需包含专门的蒙层处理网络。凡是具有上述特征提取、向量拼接、参数回归以及蒙层处理能力的神经网络架构均适用于本技术实施例。
122.图7b为本技术实施例提供的一种三维重建方法的流程图。参见图7b，该方法可以包括以下步骤：201、获取包括目标对象的多帧图像，以及目标对象对应的三维模型描述信息。
123.202、将多帧图像输入特征提取网络进行特征提取，以得到多帧图像的特征向量，对多帧图像的特征向量进行拼接，得到目标拼接特征向量。
124.203、将目标拼接特征向量输入参数回归网络，根据三维模型描述信息预测用于模型控制的多个控制参数，多个控制参数包括姿态控制参数和形状控制参数。
125.204、按照姿态控制参数和形状控制参数对目标对象的初始三维模型进行蒙层处理，得到目标对象的目标三维模型，初始三维模型是根据三维模型描述信息得到的。
126.在本实施例中，预先准备目标对象对应的三维模型描述信息。在目标对象为身体部位的情况下，目标对象对应的三维模型描述信息可以是基于smpl（skinned multi-person linear model，蒙皮多人线性模型）模型确定的，smpl（skinned multi-person linear model）是一种裸体的（skinned），基于顶点（vertex-based）的人体三维模型，能够精确地表示人体的不同形状（shape）和姿态（pose）。
127.三维模型描述信息描述了目标对象的三维模型需要包含的顶点数量、各顶点的位置信息和用于模型控制的参数数量。基于各顶点的位置信息可以构建出目标对象的初始三维模型。以目标对象为脚部为例，可以采用1600个顶点所构建的三维模型作为脚部的初始三维模型，1600个顶点仅为示例，并不限于此，具体可以根据模型精度灵活选择三维模型所需的顶点数量。其中，用于模型控制的参数数量不做限制，也可以根据模型控制的精度和复杂度进行灵活设定。例如，用于模型控制的多个控制参数可以包括姿态控制参数和形状控制参数，姿态控制参数用于控制三维模型的姿态，形状控制参数用于控制三维模型的形状。姿态控制参数可以包含翻滚角、俯仰角和偏航角等3个姿态角，通过3个姿态角控制三维模型的姿态。形状控制参数因目标对象不同而有所不同，任一形状参数的改变，可以引起目标对象的一个或多个部位的形状发生改变。以目标对象为脚部为例，形状控制参数例如包括10个形状参数，10个形状参数可以控制脚趾头大小、脚的肥瘦、纵向横向拉伸、足弓弯曲等。以目标对象为头部为例，形状控制参数例如包括8个形状参数，8个形状参数可以控制嘴巴大小、鼻梁高低、眼距和额头宽度等等。以目标对象为房屋为例，形状控制参数例如包括30个形状参数，30个形状参数可以控制房屋的层高、房屋大小、房屋的外墙构造等等。
128.由于初始三维模型的精度较低，初始三维模型的真实感不够，难以真实表达真实世界中的目标对象。为此，出于提高三维模型的精度的考虑，利用三维重建网络重建目标对象的目标三维模型。
129.在本实施例中，为了增强模型的鲁棒性，为模型引入一定的平滑效果，可以获取包括目标对象的多帧图像，将多帧图像输入至三维重建网络中进行三维重建。多帧图像的数量不做限制，例如为3帧、4帧、5帧等。实际应用中，可以预先对目标对象进行视频采集，得到视频流，并在本地保存视频流，在需要对目标对象进行三维重建时，从本地保存的视频流中获取包括目标对象的多帧图像。当然，也可以实时对目标对象进行视频采集，得到视频流，从实时采集的视频流中获取包括目标对象的多帧图像，对此不做限制。
130.实际应用中，针对包括目标对象的多帧图像中每帧图像，可以直接将该帧图像输入至三维重建网络中的特征提取网络进行特征提取。具体而言，依次将多帧图像中每帧图像作为当前帧图像，可以直接将当前帧图像输入至特征提取网络进行特征提取，在该过程中，可以保存提取到的每帧图像的特征向量。这样，在使用多帧图像进行三维重建时，可以将当前帧图像输入三维重建网络中的特征提取网络进行特征提取，而当前帧图像之前的其它几帧历史图像的特征向量可以直接从对应的存储空间中获取，但并不限于此。例如，同时将当前帧图像和之前几帧历史图像同时输入特征提取网络进行特征提取，也是可以的。进
一步可选的，由于图像采集时当前帧图像除了包括目标对象，还包括目标对象所在的周边环境，为了提高特征提取的准确度，可以对当前帧图像进行裁剪，对裁剪后的图像进行特征提取。于是，在将当前帧图像输入特征提取网络进行特征提取，以得到当前帧图像的特征向量时，可以检测目标对象在当前帧图像中的图像位置，根据图像位置从当前帧图像中裁剪出目标对象所在的局部图像；将局部图像输入特征提取网络进行特征提取，以得到当前帧图像的特征向量。其中，通过目标检测(object dectection)算法可以检测出图像中目标对象的类别和位置。
131.进一步可选的，为了准确定位出目标对象的图像位置，在检测目标对象在当前帧图像中的图像位置时，对当前帧图像依次进行预处理，预处理包括图像缩放处理和归一化处理中的至少一种；将预处理后的图像输入目标检测网络进行目标检测，以得到目标对象在预处理后的图像中的图像位置。
132.举例来说，对脚部连续拍摄，得到4帧原始图像。将这4帧原始图像缩放至高160像素、宽90像素，并通过z-score（标准分数）方法对缩放后的4帧图像进行归一化处理，归一化处理后的4帧图像输入至一个实时的脚部目标检测网络中进行脚部检测，得到脚部的图像位置，根据脚部的图像位置从4个原始图像裁剪出4个脚部图像，4个脚部图像的尺寸为128*128像素。尺寸为128*128像素的脚部图像可以输入至特征提取网络中进行特征提取。
133.在本实施例中，对特征提取网络的模型结构不做限制，任何具有特征提取功能的网络均可以作为特征提取网络。
134.实际应用中，可以利用特征提取网络对多帧图像中每帧图像进行特征提取，得到每帧图像的特征向量，在完成全部的图像的特征提取后，对多张图像各自对应的特征向量进行向量拼接，得到目标拼接特征向量。参见图7c，经过裁剪得到图像1、图像2、图像3和图像4等分别利用特征提取网络进行特征提取，得到各自对应的128维度的特征向量；利用向量拼接网络对4个128维度的特征向量进行向量拼接，可以得到512维度的特征向量。其中，512维度的特征向量即为目标拼接特征向量。
135.实际应用中，可以利用特征提取网络对每帧图像进行特征提取，得到每帧图像的特征向量，并在指定存储空间保存该帧图像的特征向量。当完成多帧图像中图像采集时间最晚的当前帧图像的特征提取后，将当前帧图像的特征向量和从指定存储空间获取的至少一帧历史图像的特征向量进行向量拼接。于是，示例性的，多帧图像包括当前帧图像和至少一帧历史图像；将多帧图像输入特征提取网络进行特征提取，以得到多帧图像的特征向量，包括：每次将当前帧图像输入特征提取网络进行特征提取，以得到当前帧图像的特征向量；对多帧图像的特征向量进行拼接，得到目标拼接特征向量，包括：采用设定的滑动窗口从指定存储空间中，获取至少一帧历史图像的特征向量；将当前帧图像的特征向量和至少一帧历史图像的特征向量进行拼接，得到目标拼接特征向量。值得注意的是，设定的滑动窗口用于控制从指定存储空间获取的历史图像的数量，例如在使用4帧图像进行三维重建的场景中，该滑动窗口的长度可以是3；在使用5帧图像进行三维重建的场景中，该滑动窗口的长度可以是4。
136.在本实施例中，在对多帧图像的特征向量进行拼接，得到目标拼接特征向量之后，将目标拼接特征向量输入参数回归网络，根据三维模型描述信息预测用于模型控制的多个控制参数。
137.本实施例对参数回归网络的模型结构不做限制，任何经过训练可以进行控制参数预测的模型均可以作为参数回归网络。进一步可选的，参数回归网络可以表现为mlp（多层感知器，multilayer perceptron）网络，且能够进行至少一次的mlp运算。其中，mlp网络包括多个输入层、多个输出层以及多个隐藏层，是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。于是，进一步可选的，将目标拼接特征向量输入参数回归网络，根据三维模型描述信息预测用于模型控制的多个控制参数，包括：将目标拼接特征向量输入参数回归网络中，根据三维模型描述信息对目标拼接特征向量进行至少一次多层感知机mlp运算，以得到用于模型控制的多个控制参数。
138.参见图7c，以参数回归网络对目标拼接特征向量进行两次mlp运算为例，对向量拼接网络输出的512维度的特征向量进行一次mlp运算，得到1600维度的特征向量；对1600维度的特征向量再进行一次mlp运算，得到13维度的特征向量，13维度的特征向量中的每个元素即为一个控制参数，也即得到了13个控制参数。在此说明，13维度仅为控制参数数量的一种示例，具体可根据目标对象以及控制复杂度等需求灵活设定。
139.在参数回归网络输出的姿态控制参数和形状控制参数之后，按照姿态控制参数和形状控制参数对目标对象的初始三维模型进行蒙层处理，得到目标对象的目标三维模型。由于初始三维模型是根据三维模型描述信息得到的，初始三维模型的精度有待改善，在蒙层处理过程中，利用姿态控制参数调整初始三维模型的姿态，利用形状控制参数调整初始三维模型的形状，进而得到精度更高的目标三维模型。值得注意的是，蒙皮处理过程中除了调整三维模型的姿态和形状，还可以将三维模型包括的各个顶点和骨骼联系起来。关于蒙皮处理本技术实施例中不做过多介绍。
140.本技术实施例提供的技术方案，利用目标对象对应的三维模型描述信息创建目标对象的初始三维模型，又利用包括目标对象的多张图像进行三维重建，在三维重建过程中提取多张图像各自的特征向量，并对多张图像各自的特征向量进行拼接，以及基于拼接的特征向量预测用于模型控制的姿态控制参数和形状控制参数，并按照姿态控制参数和形状控制参数对目标对象的初始三维模型进行蒙层处理，得到目标对象的目标三维模型。由此，这种三维重建方式极大地提高了三维模型的精度，三维模型的精度越高，三维模型的真实感越强，也就越能够真实表达现实世界中的目标对象，进而有效地拓展三维模型的应用范围和提高三维模型的应用效果。特别地，在商品选购场景中，能够基于三维重建的模型为目标对象选购与之适配的商品，为解决现有退换货问题提供条件。
141.在本技术的一些可选实施例中，为了更为准确地进行特征提取，特征提取网络可以结合图像特征和相机姿态数据进行特征提取。作为一种示例，特征提取网络可以包括特征提取模块、相机参数融合模块、特征拼接模块和特征降维模块。于是，将多帧图像输入特征提取网络进行特征提取，以得到多帧图像的特征向量，包括：针对多帧图像中的每帧图像，将该帧图像输入特征提取网络中的特征提取模块进行特征提取，得到该帧图像的图像特征图；将采集该帧图像时的相机姿态数据输入特征提取网络中的相机参数融合模块进行特征提取，得到该帧图像的相机位姿特征图；利用特征提取网络中的特征拼接模块对每帧图像的图像特征图和相机位姿特征图进行拼接，得到每帧图像的拼接特征图；以及利用特征提取网络中的特征降维模块对每帧图像的拼接特征图进行降维处理，得到每帧图像的特征向量。
142.具体而言，特征提取模块用于提取每帧图像的图像特征图。另外，对特征提取模块的模型结构不做限制，任何能够提取图像特征的特征提取网络均可以作为特征提取模块。
143.相机参数融合模块是对相机姿态数据进行特征提取的模块。另外，对相机参数融合模块的模型结构不做限制，任何能够对相机姿态数据进行特征提取的网络均可以作为相机参数融合模块。
144.进一步可选的，为了获得准确度更高的每帧图像的相机位姿特征图，将采集该帧图像时的相机姿态数据输入特征提取网络中的相机参数融合模块进行特征提取，得到该帧图像的相机位姿特征图的实现方式可以是：将采集该帧图像时的相机姿态数据输入特征提取网络中的相机参数融合模块，相机姿态数据包括至少两种姿态角；根据至少两种姿态角以及至少两种姿态角之间的相互关系进行三角函数处理，得到多种姿态表征参数；利用相机参数融合模块中的多层感知机mlp网络处理多种姿态表征参数，得到该帧图像的相机姿态特征图。
145.具体而言，相机姿态数据可以包括偏航角、俯仰角和翻滚角中的至少两种姿态角。作为一种示例，根据至少两种姿态角以及至少两种姿态角之间的相互关系进行三角函数处理，得到多种姿态表征参数，包括：对至少两种姿态角中的两两姿态角进行数值计算，以得到多种融合姿态角，每种融合姿态角表示对应两个姿态角之间的相互关系；对至少两种姿态角中的每种姿态角以及多种融合姿态角中的每种融合姿态角分别进行三角函数处理，得到多种姿态表征参数。
146.实际应用中，对至少两种姿态角中的两两姿态角进行相加、相减或相乘等各种数值计算，得到扩展出多种融合姿态角，每种融合姿态角表示对应两个姿态角之间的相互关系。在对每种姿态角和每种融合姿态角进行三角函数处理时，可以进行余弦函数、正弦函数、余切函数或正切函数处理，但并不限于此。
147.参见图7d，相机姿态数据可以包括偏航角α、俯仰角β和翻滚角γ。θ可以是偏航角α、俯仰角β和翻滚角γ中任一个姿态角，ψ是除去θ之外的任一个姿态角。两两不同的姿态角θ、ψ相加可以得到一个融合姿态角θ ψ，两两不同的姿态角相减得到一个融合姿态角θ-ψ，进而可以得到6种融合姿态角，分别为α β、α γ、β γ、α-β、α-γ、β-γ。3种姿态角和6种融合姿态角分别进行正弦函数sin(e）和余弦函数cos(e）等三角函数τ(e）处理，能够得到18个三角函数处理结果，也即18个姿态表征参数，18个姿态表征参数组成18维度的向量。
148.在得到多种姿态表征参数之后，利用多层感知机mlp网络处理多种姿态表征参数，得到该帧图像的相机姿态特征图。作为一种示例，利用多层感知机mlp网络处理多种姿态表征参数，得到该帧图像的相机姿态特征图的实现方式可以是：对多种姿态表征参数进行向量化处理，得到相机姿态特征向量；利用多层感知机mlp网络处理相机姿态特征向量，得到相机姿态特征图。参见图7d，由18个姿态表征参数组成18维度的相机姿态特征向量输入到多层感知机mlp网络处理，得到64维度的特征向量，以及将64维度的特征向量转化成尺寸为4*4*64的特征图，4*4*64的特征图即为相机姿态特征图。
149.在本实施例中，针对每帧图像，利用特征提取网络中的特征拼接模块，将特征提取模块输出的该帧图像的图像特征图和相机参数融合模块输出的该帧图像的相机位姿特征图进行拼接，得到每帧图像的拼接特征图，利用特征提取网络中的特征降维模块对每帧图像的拼接特征图进行降维处理，得到每帧图像的拼接向量。
150.参见图7d，特征拼接模块输出的是尺寸为4*4*256的特征图，利用卷积核大小为1*1的卷积模块对4*4*256的特征图进行降维处理，得到4*4*64的特征图。将该4*4*64的特征图和相机参数融合模块输出的4*4*64的特征图进行拼接，得到4*4*128的特征图；利用卷积核大小为4*4的卷积模块对4*4*128的特征图进行降维处理，得到1*1*128的特征图，并将1*1*128的特征图转化为128维度的特征向量，至此，完成该帧图像的特征提取任务。
151.在本技术的一些可选实施例中，为了提高特征提取的准确度，特征提取网络中的特征提取模块可以包括依次连接的跳跃连接层和下采样层，于是，针对多帧图像中的每帧图像，将该帧图像输入特征提取网络中的特征提取模块进行特征提取，得到该帧图像的图像特征图的一种可选实现方式为：针对多帧图像中的每帧图像，将该帧图像输入特征提取模块中的跳跃连接层，对该帧图像进行多分辨率的特征图提取并对相同分辨率的特征图进行跳跃连接，以得到该帧图像的第二中间特征图；将该帧图像的第二中间特征图输入特征提取模块中的下采样层进行m次下采样处理，得到该帧图像的图像特征图，其中，m是≥1的正整数。
152.具体而言，跳跃连接层可以执行多次下采样和多次上采样操作，并在上采样过程中执行跳跃连接操作。针对每次上采样操作，对本次输入的特征图进行上采样，得到本次上采样输出的特征图，并将本次上采样输出的特征图和已经得到的相同分辨率的特征图进行连接，也即跳跃连接，得到本次上采样的最终输出的特征图。参见图7e，跳跃连接层首先对输入的图像进行特征提取，得到该输入的图像的初始特征图，接着，针对该初始特征图执行多次下采样操作，在每次执行下采样操作时，获取上一次下采样操作输出的特征图，对上一次下采样操作输出的特征图进行下采样，得到本次下采样操作输出的特征图，第一次下采样操作的输入特征图为初始特征图；这样，经过多次下采样操作，可以得到多个不同分辨率的特征图；将最后一次下采样操作输出的特征图作为第一中间特征图；接着，针对第一中间特征图执行多次上采样操作，在每次上采样操作过程中，获取上一次上采样操作输出的特征图，对上一次下采样操作输出的特征图进行上采样，得到本次上采样操作输出的中间特征图；将本次上采样操作输出的中间特征图和下采样操作或特征提取得到的相同分辨率的特征图进行连接也即跳跃连接，得到本次上采样操作最终输出的特征图。在经过多次上采样操作后，将最后一次上采样操作输出的特征图作为跳跃连接层对其输入的图像进行特征提取得到的第二中间特征图。
153.作为一种示例，跳跃连接层采用编码器和解码器结构，对于每帧图像，将该帧图像输入特征提取模块中的跳跃连接层，对该帧图像进行多分辨率的特征图提取并对相同分辨率的特征图进行跳跃连接，以得到第二中间特征图，包括：将该帧图像输入跳跃连接层中的编码器，对该帧图像进行编码以得到该帧图像的初始特征图，并依次对初始特征图进行n次下采样处理，得到第一中间特征图；将第一中间特征图输入跳跃连接层中的解码器，依次对第一中间特征图进行n次上采样处理，并在每次上采样处理中与编码器中下采样处理得到的相同分辨率的第一中间特征图进行跳跃连接，以得到该帧图像的第二中间特征图。参见图7e，跳跃连接层中四个表示下采样的箭头对应的编码器，跳跃连接层中三个表示上采样的箭头对应的解码器。
154.在一可能的实现方式中，编码器包括依次连接的编码子模块和n个下采样子模块，则将该帧图像输入跳跃连接层中的编码器，对该帧图像进行编码以得到该帧图像的初始特
征图，并依次对初始特征图进行n次下采样处理，得到第一中间特征图，包括：将该帧图像输入编码子模块进行编码，以得到该帧图像的初始特征图；利用n个下采样子模块对初始特征图进行n次下采样处理，得到第一中间特征图；其中，在每个下采样子模块中，利用依次连接的k1个卷积单元各自对应的目标卷积参数对其输入进行卷积处理，得到待激活的中间特征图，利用激活函数对待激活的中间特征图进行激活以得到每个卷积单元的输出，k1是≥2的正整数。在本实施例中，对编码器中每个下采样子模块包含的卷积单元的数量不做限定，例如可以是2、3、4或5个等。
155.参见图7f，以每个下采样子模块包括依次连接的3个卷积单元为例进行图示。上一个卷积单元的输出结果为下一个卷积单元的输入参数，第一个下采样子模块的第一个卷积单元的输入参数为编码子模块输出的初始特征图，最后一个下采样子模块中最后一个卷积单元的输出结果为第一中间特征图。
156.在三维重建网络的推理阶段，每个卷积单元对应的目标卷积参数是对训练阶段的多个分支的参数进行重参数化技术合并得到的。在三维重建网络的训练阶段引入多个分支可以提高三维重建网络的精度，在三维重建网络的推理阶段合并分支可以提高三维重建网络的三维重建效率。
157.参见图7f，针对下采样子模块中每个卷积单元，在训练阶段，该卷积单元的运算过程分为三个分支，假设第一分支的参数记为c1和b1；第二分支的参数记为c2和b2；第二分支的参数记为b3；c1、c2为卷积参数，b1、b2、b3为bn（batch normalization，批量归一化）参数；输入参数经过三个分支对应的卷积参数和批量归一化参数进行依次处理后，将三个分支的处理结果进行相加，得到待激活的中间特征图，利用激活函数（例如为relu或sigmoid）对待激活的中间特征图进行激活以得到每个卷积单元的输出。
158.参见图7f，针对下采样子模块中每个卷积单元，在推理阶段，经过重参数化技术，该卷积单元的目标卷积参数是对训练阶段的三个分支的卷积参数和批量归一化参数进行合并得到的。应理解，相同的输入参数在训练阶段和推理阶段，采用三个分支对应的卷积参数和批量归一化参数进行处理得到的待激活的中间特征图，与采用重参数化的目标卷积参数c3处理得到的待激活的中间特征图相同。也就是说，重参数化尽管改变了对输入参数的运算方式，但是不会改变输入参数的运算结果。
159.在本技术的一些实施例中，特征提取网络中的特征提取模块包括依次连接的跳跃连接层和下采样层，进一步，该下采样层包括依次连接的多个下采样子模块，每个下采样子模块可以是任意的具有下采样功能的模块，对此不做限制。参见图7c，在下采样层中，每个下采样子模块对上一个下采样子模块输出的特征图进行下采样处理，得到该下采样子模块输出的特征图，第一个下采样子模块对跳跃连接层输出的第二中间特征图进行下采样处理，最后一个下采样子模块输出的特征图作为下采样层的输出结果。
160.进一步可选的，下采样层包括依次连接的m个下采样子模块，则将该帧图像的第二中间特征图输入特征提取模块中的下采样层进行m次下采样处理，得到该帧图像的图像特征图，包括：利用m个下采样子模块对第二中间特征图进行m次下采样处理，得到该帧图像的图像特征图；其中，在每个下采样子模块中，利用依次连接的k2个卷积单元各自对应的目标卷积参数对其输入进行卷积处理，得到待激活的中间特征图，利用激活函数对待激活的中间特征图进行激活以得到每个卷积单元的输出，k2是≥2的正整数。在本实施例中，对下采
样层中每个下采样子模块包含的卷积单元的数量不做限定，例如可以是2、3、4或5个等。在一可选实施例中，下采样层中每个下采样子模块可以包含3个卷积单元，且可以采用图7f所示的下采样子模块的结构，但并不限于此。
161.在一些可选的实施例中，在得到目标三维模型之后，针对多帧图像中的每帧图像，根据采集该帧图像时的相机姿态数据，将目标三维模型与该帧图像中的目标对象进行适配，并基于适配结果为目标对象选购与之适配的商品。
162.具体而言，针对每帧图像，根据采集该帧图像时的相机姿态数据得到相机外参，相机外参是指相机在世界坐标系中的参数，比如相机的位置、旋转方向等，主要包括分为旋转矩阵和平移矩阵。当然，可以预先利用海量的样本图像和拍摄样本图像时对应的相机外参训练相机参数估计网络。在推理阶段，将图像输入至相机参数估计网络中进行识别处理，得到拍摄该图像时对应的相机外参。在得到相机外参后，基于小孔成像理论，按照相机外参将目标三维模型中的各个顶点投影至该帧图像中，得到目标三维模型中的各个顶点对应的投影点；利用特征点匹配技术，从该帧图像的真实图像特征点中确定与投影点匹配的真实图像特征点，针对每个投影点，根据图像中与投影点对应的真实图像特征点的图像位置和投影点的图像位置，确定真实世界中目标对象上的顶点与目标三维模型上顶点之间的适配结果。真实图像特征点是指真实世界中目标对象上的顶点对应的特征点。例如，基于真实图像特征点的图像位置和投影点的图像位置之差，对真实世界中目标对象上的顶点与目标三维模型上顶点之间的适配度进行量化。真实图像特征点的图像位置和投影点的图像位置之差越大，适配度越小；真实图像特征点的图像位置和投影点的图像位置之差越小，适配度越大。在得到真实世界中目标对象上的各顶点与目标三维模型上对应顶点之间的适配结果后，基于适配结果为目标对象选购与之适配的商品。
163.作为一种示例，根据目标三维模型为目标对象提供与之适配的目标商品信息时，可以根据目标三维模型以及多个候选商品信息对应的商品三维模型，从多个候选商品信息选择商品三维模型与目标三维模型适配度最高的商品信息作为目标商品信息，并将目标商品信息提供给目标对象；作为另一种示例，根据目标三维模型为目标对象提供与之适配的目标商品信息时，可以根据目标三维模型对应的模型参数和选定的商品类型，为目标对象定制化与目标三维模型适配的商品三维模型，并将商品三维模型对应的商品信息作为目标商品信息提供给目标对象。
164.在一些可选的实施例中，将多帧图像中任一帧图像输入深度估计网络进行目标对象的尺寸信息的估计，并根据估计出的目标对象的尺寸信息对目标三维模型进行标注。
165.实际应用中，可以预先利用海量的样本图像和样本图像中目标对象的尺寸信息训练深度估计网络。在推理阶段，将图像输入至深度估计网络中估计目标对象的尺寸信息，尺寸信息例如包括但不限于：目标对象的长度和宽度。估计出的目标对象的尺寸信息可以标注在目标三维模型。例如，在虚拟试鞋场景中，可能有量脚长和脚宽的需求，在重建的脚部三维模型上标注脚长和脚宽。
166.在一些可选的实施例中，针对多帧图像中的每帧图像，根据采集该帧图像时的相机姿态数据，将目标三维模型与该帧图像中的目标对象进行适配，并基于适配结果测量目标对象的形状参数。
167.需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤401至步骤404的执行主体可以为设备a；又比如，步骤401和402的执行主体可以为设备a，步骤403至404的执行主体可以为设备b；等等。
168.另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如401、402等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
169.图8为本技术实施例提供的一种基于虚拟试穿的信息处理装置的结构示意图。参见图8，该装置可以包括：融合模块81，用于响应试穿请求，将试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到融合三维模型，融合三维模型表征试穿状态下试穿对象的三维模型与基准三维模型的第一相对位置关系；获取模块82，用于根据第一相对位置关系，计算试穿对象的三维模型上多个目标顶点与基准三维模型上对应顶点或区域之间的多个距离信息，作为多个目标顶点的适配度信息；调整模块83，用于在根据多个目标顶点的适配度信息确定基准三维模型不满足适配度要求的情况下，调整基准三维模型的尺寸参数和/或外形参数，并重新计算多个目标顶点的适配度信息，直至得到满足适配度要求的目标三维模型。
170.进一步可选的，上述装置还包括发送模块84，用于将目标三维模型发送给服务器，以及接收服务器返回的目标商品对象的信息，目标商品对象是尺寸和外形与目标三维模型适配的定制化商品对象。
171.进一步可选的，在根据多个目标顶点的适配度信息确定基准三维模型不满足适配度要求的情况下，调整模块83调整基准三维模型的尺寸参数和/或外形参数时，具体用于：展示试穿对象的三维模型、基准三维模型以及融合三维模型中的任一三维模型，并在任一三维模型上对多个目标顶点的适配度信息进行可视化标记，其中，与基准适配度范围大小关系不同的适配度信息对应不同的可视化标记状态，以供用户确认基准三维模型是否满足适配度要求；以及响应针对基准三维模型的调整操作，调整基准三维模型的尺寸参数和/或外形参数，其中，调整操作是在确认基准三维模型不满足适配度要求的情况下发起的。
172.进一步可选的，调整模块83在任一三维模型上对多个目标顶点的适配度信息进行可视化标记时，具体用于：根据多个目标顶点的适配度信息对任一三维模型进行渲染，以得到适配度热力图，适配度热力图中的不同颜色表示与基准适配度范围大小关系不同的适配度信息。
173.进一步可选的，任一三维模型的关联区域内展示有滑动条，则调整模块83响应针对基准三维模型的调整操作，调整基准三维模型的尺寸参数和/或外形参数时，具体用于：响应滑动条上的至少一次滑动操作，获取每次滑动操作的滑动距离和滑动方向，根据滑动距离和滑动方向分别确定调整幅度和调整方向；根据调整方向和调整幅度，调整基准三维
模型的尺寸参数和/或外形参数。
174.进一步可选的，滑动条包括第一滑动条和第二滑动条，第一滑动条用于对基准三维模型的尺寸参数进行调整，第二滑动条件用于对基准三维模型的外形参数进行调整。
175.进一步可选的，融合模块81响应试穿请求，将试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到的三维融合模型时，具体用于：响应试穿请求，获取试穿对象的三维模型、目标商品对象的基准三维模型以及试穿对象针对目标商品对象的目标试穿参数；根据目标试穿参数，确定试穿对象的三维模型上至少三个基准顶点和基准三维模型上对应基准顶点之间的第二相对位置关系；根据第二相对位置关系，将试穿对象的三维模型至少部分放置于基准三维模型内部，以得到融合三维模型。
176.进一步可选的，融合模块81获取试穿对象针对目标商品对象的目标试穿参数时，具体用于：根据试穿对象的属性信息、试穿对象所属用户的试穿偏好信息和/或目标商品对象对应的基准试穿参数，获取试穿对象针对目标商品对象的目标试穿参数。
177.进一步可选的，在试穿对象为脚部，目标对象为鞋的情况下，融合模块81根据目标试穿参数，确定试穿对象的三维模型上多个基准顶点和基准三维模型上对应基准顶点之间的第二相对位置关系具体用于：根据鞋与脚跟之间的试穿距离，确定脚部的三维模型上的第一脚跟顶点与鞋的基准三维模型上的第二脚跟顶点之间相距试穿距离，作为第二相对位置关系；根据脚底部与鞋底部之间的贴合关系，确定脚部的三维模型上的第一脚底顶点与鞋的基准三维模型上的第二脚底顶点重合，作为第二相对位置关系；根据脚底中心与鞋底中心的对齐关系，确定脚部的三维模型上位于脚底中心线上的第一中心线顶点与鞋的基准三维模型上位于鞋底中心线上的第二中心线顶点在脚长方向上对齐，作为第二相对位置关系。
178.进一步可选的，融合模块81响应试穿请求，获取试穿对象的三维模型和目标商品对象的基准三维模型时，具体用于：响应试穿请求，展示商品定制化页面，商品定制化页面上包括可定制的至少一个商品对象；响应用户在商品定制化页面上的选择操作，确定被选择的目标商品对象及其基准三维模型；根据目标商品对象的类型，从用户的三维模型库中加载与目标商品对象适配的试穿对象的三维模型。
179.进一步可选的，获取模块82根据第一相对位置关系，计算试穿对象的三维模型上多个目标顶点与基准三维模型上对应区域之间的多个距离信息，作为多个目标顶点的适配度信息时，具体用于：针对试穿对象的三维模型上的每个目标顶点，根据第一相对位置关系，获取基准三维模型上与目标顶点最近的第一顶点；将以第一顶点为连接点的多个三角面片作为目标顶点在基准三维模型上对应的区域；计算目标顶点到多个三角面片的多个距离，根据多个距离生成目标顶点的适配度信息。
180.进一步可选的，获取模块82还用于：将试穿对象的三维模型上的每个顶点均作为目标顶点；或者根据试穿对象的关键部位信息，从试穿对象的三维模型上选择与关键部位信息对应的顶点作为目标顶点。
181.图8所示的装置可以执行图3所示的方法，其实现原理和技术效果不再赘述。对于上述实施例中的图8装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
182.图9为本技术实施例提供的一种电子设备的结构示意图。如图9所示，该电子设备包括：存储器91和处理器92；存储器91，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
183.存储器91可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。
184.处理器92，与存储器91耦合，用于执行存储器91中的计算机程序，以用于：响应试穿请求，将试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到融合三维模型，融合三维模型表征试穿状态下试穿对象的三维模型与基准三维模型的第一相对位置关系；根据第一相对位置关系，获取试穿对象的三维模型上多个目标顶点与基准三维模型上对应顶点或区域之间的多个距离信息，作为多个目标顶点的适配度信息；在根据多个目标顶点的适配度信息确定基准三维模型不满足适配度要求的情况下，调整基准三维模型的尺寸参数和/或外形参数，并重新获取多个目标顶点的适配度信息，直至得到满足适配度要求的目标三维模型。
185.或者，处理器92，与存储器91耦合，用于执行存储器91中的计算机程序，以用于：响应试穿请求，将试穿对象的三维模型与目标商品对象的基准三维模型进行融合，得到融合三维模型，融合三维模型表征试穿状态下试穿对象的三维模型与基准三维模型的第一相对位置关系；根据第一相对位置关系，获取试穿对象的三维模型上多个目标顶点与基准三维模型上对应顶点或区域之间的多个距离信息，作为多个目标顶点的适配度信息；展示试穿对象的三维模型、基准三维模型以及融合三维模型中的任一三维模型，并在任一三维模型上对多个目标顶点的适配度信息进行可视化标记；响应针对任一三维模型的调节操作，调整基准三维模型的尺寸参数和/或外形参数，以及根据调整后的基准三维模型，对多个目标顶点的适配度信息和任一三维模型上的可视化标记进行同步更新。
186.或者，处理器92，与存储器91耦合，用于执行存储器91中的计算机程序，以用于：响应试穿请求，获取试穿对象的三维模型与目标商品对象的基准三维模型，并展示试穿对象的三维模型与基准三维模型；将试穿对象的三维模型与目标商品的基准三维模型进行融合，以得到试穿状态下试穿对象的三维模型与基准三维模型的第一相对位置关系；根据第一相对位置关系，计算试穿对象的三维模型上多个目标顶点与基准三维模型上对应顶点或区域之间的多个距离信息，作为多个目标顶点的适配度信息；在试穿对象的三维模型上对多个目标顶点的适配度信息进行可视化标记；以及响应针对基准三维模型的调节操作，调整基准三维模型的尺寸参数和/或外形参数，并根据调整后的基准三维模型，对多个目标顶点的适配度信息和试穿对象的三维模型上的可视化标记进行同步更新。
187.进一步，如图9所示，该电子设备还包括：通信组件93、显示器94、电源组件95、音频组件96等其它组件。图9中仅示意性给出部分组件，并不意味着电子设备只包括图9所示组件。另外，图9中虚线框内的组件为可选组件，而非必选组件，具体可视电子设备的产品形态而定。本实施例的电子设备可以实现为台式电脑、笔记本电脑、智能手机或iot设备等终端
设备，也可以是常规服务器、云服务器或服务器阵列等服务端设备。若本实施例的电子设备实现为台式电脑、笔记本电脑、智能手机等终端设备，可以包含图9中虚线框内的组件；若本实施例的电子设备实现为常规服务器、云服务器或服务器阵列等服务端设备，则可以不包含图9中虚线框内的组件。
188.关于处理器执行各动作的详细实施过程可参见前述方法实施例或设备实施例中的相关描述，在此不再赘述。
189.相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由电子设备执行的各步骤。
190.相应地，本技术实施例还提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令被处理器执行时，致使处理器能够实现上述方法实施例中可由电子设备执行的各步骤。
191.上述中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wifi，2g、3g、4g/lte、5g等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信（nfc）模块，以促进短程通信。例如，在nfc模块可基于射频识别（rfid）技术，红外数据协会（irda）技术，超宽带（uwb）技术，蓝牙（bt）技术和其他技术来实现。
192.上述的显示器包括屏幕，其屏幕可以包括液晶显示器（lcd）和触摸面板（tp）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
193.上述的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
194.上述的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风（mic），当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
195.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
196.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
197.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
198.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
199.在一个典型的配置中，计算设备包括一个或多个处理器 (cpu)、输入/输出接口、网络接口和内存。
200.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (ram) 和/或非易失性内存等形式，如只读存储器 (rom) 或闪存(flash ram)。内存是计算机可读介质的示例。
201.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器 (sram)、动态随机存取存储器 (dram)、其他类型的随机存取存储器 (ram)、只读存储器 (rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器 (cd-rom)、数字多功能光盘 (dvd) 或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
202.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
203.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。