3D模型和虚拟形象的生成方法和装置与流程

3d模型和虚拟形象的生成方法和装置
技术领域
1.本公开涉及人工智能技术领域，具体为增强现实ar、虚拟现实、计算机视觉、深度学习等技术领域，可应用于虚拟形象生成、元宇宙的个场景，具体涉及3d模型和生成虚拟形象的生成方法和装置。


背景技术：

2.随着5g的逐渐普及，虚拟社交、3d数字目标对象相关的各种应用(如：虚拟演唱会、虚拟主播、虚拟直播带货、虚拟导游)开始进入大众视野，这些应用通过提供个性化逼真目标对象(例如人物、动物等)的3d模型来提高用户的沉浸式体验。
3.在3d模型生成过程中依赖模型基底的建设，然后每一套模型基底的建设都需要花费大量的人力和物力去建设，随着业务的不断增长，各个客户对模型的风格具有不同的需求，因此提升风格化模型接入效率急需解决，进行新拓扑数资的快速接入pta(photo-to-avatar，虚拟形象自动生成)平台。用户只需要一张目标对象的正面图片，即可自动生成高度匹配该目标对象特征的3d虚拟形象。


技术实现要素：

4.本公开提供了一种生成3d模型、生成虚拟形象的方法、装置、设备、存储介质以及计算机程序产品。
5.根据本公开的第一方面，提供了一种生成3d模型的方法，包括：获取基础基底和原始标准模型；将所述基础基底和所述原始标准模型进行对齐；将所述原始标准模型的网格顶点的变化量迁移到所述基础基底的网格顶点；基于所述原始标准模型的融合变形系数对所述基础基底进行加权，得到目标对象的3d模型。
6.根据本公开的第二方面，提供了一种生成虚拟形象的方法，包括：获取待处理的目标图像，所述目标图像包括目标对象；将所述目标图像输入根据第一方面所述的方法生成的3d模型为基底的虚拟形象自动生成平台，得到所述目标对象的虚拟形象。
7.根据本公开的第三方面，提供了一种生成3d模型的装置，包括：获取单元，被配置成获取基础基底和原始标准模型；对齐单元，被配置成将所述基础基底和所述原始标准模型进行对齐；迁移单元，被配置成将所述原始标准模型的网格顶点的变化量迁移到所述基础基底的网格顶点；加权单元，被配置成基于所述原始标准模型的融合变形系数对所述基础基底进行加权，得到目标对象的3d模型。
8.根据本公开的第四方面，提供了一种生成虚拟形象的装置，包括：获取单元，被配置成获取待处理的目标图像，所述目标图像包括目标对象；生成单元，被配置成将所述目标图像输入根据第三方面中任一项所述的装置生成的3d模型为基底的虚拟形象自动生成平台，得到所述目标对象的虚拟形象。
9.根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器
执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面和第二方面中任一项所述的方法。
10.根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面和第二方面中任一项所述的方法。
11.根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面和第二方面中任一项所述的方法。
12.本公开的实施例提供的生成3d模型、生成虚拟形象的方法和装置，仅需要拥有一套原始标准模型(脸型基底 表情基底 骨骼蒙皮)，当新用户提供新的基础基底(无表情的中性)时，需要对现有的pta算法框架进行适配，以及生成3d模型，可用于快速生成个性化虚拟形象。
13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.附图用于更好地理解本方案，不构成对本公开的限定。其中：
15.图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
16.图2是根据本公开的生成3d模型的方法的一个实施例的流程图；
17.图3a-3b是根据本公开的生成3d模型的方法的一个应用场景的示意图；
18.图4是根据本公开的生成虚拟形象的方法的一个实施例的流程图；
19.图5是根据本公开的生成虚拟形象的方法的一个应用场景的示意图；
20.图6是根据本公开的生成3d模型的装置的一个实施例的结构示意图；
21.图7是根据本公开的生成虚拟形象的装置的一个实施例的结构示意图；
22.图8是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
23.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
24.图1示出了可以应用本公开的生成3d模型和生成虚拟形象的方法或生成3d模型和生成虚拟形象的装置的实施例的示例性系统架构100。
25.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
26.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如动画制作类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
27.终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有摄像头的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
28.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的动画提供支持的后台动画服务器。后台动画服务器可以对接收到的图像等数据进行分析等处理，并将处理结果(例如生成的虚拟形象)反馈给终端设备。
29.需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
30.需要说明的是，本公开的实施例所提供的生成3d模型和生成虚拟形象的方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，生成3d模型和生成虚拟形象的装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。在此不做具体限定。
31.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
32.继续参考图2，示出了根据本公开的生成3d模型的方法的一个实施例的流程200。该生成3d模型的方法，包括以下步骤：
33.步骤201，获取基础基底和原始标准模型。
34.在本实施例中，生成3d模型的方法的执行主体(例如图1所示的服务器或终端设备)可以通过有线连接方式或者无线连接方式从用户利用其进行3d模型生成的终端接收基础基底。基础基底是无表情的中性人脸或动物脸，即平均人脸或平均动物脸，也可以是其它对象。基础基底不包括blend shape(bs，融合变形)系数。基础基底也称为新数资基础基底或新数资。
35.bs系数是一个向量，每一个维度取值范围为[0,1],代表一个特定的面部运动。例如jaw_open这个维度控制着下巴的张合程度，数值越大表示张合越大。jaw_open＝0对应的虚拟人像闭嘴，jaw_open＝1对应的虚拟人像嘴巴张到最大。类似的，控制虚拟人面部各个肌肉维度的总共370个bs，共同控制虚拟人的面部运动，让其拥有表达各种表情的能力。
[0036]
原始标准模型可包括脸型基底、表情基底、骨骼蒙皮等特征，还包括bs系数。步骤202，将基础基底和原始标准模型进行对齐。
[0037]
在本实施例中，原始标准模型和基础基底的对齐(align)的目的就是为了使模型之间保持统一尺度，因为用户给到的模型位置和尺度和原始标准模型差异较大，不利于后面的注册和网格顶点迁移。可通过平移、旋转等方式进行对齐，例如，将基础基底和原始标
准模型中鼻尖都移动到图像坐标(55,65)的位置。对齐方式为现有技术，因此不再赘述。
[0038]
步骤203，将原始标准模型的网格顶点的变化量迁移到基础基底的网格顶点。
[0039]
在本实施例中，网格顶点迁移就是需要找到网格的对应关系(即注册)，告诉算法原始标准模型的每个顶点发生的变形(相对于无表情中性人脸而言的变形)，新生成的3d模型应该是哪个顶点发生迁移变形。如图3b所示，a是基础基底，b是原始标准模型，a_warpping的形状和b保持一致但是和a是相同的拓扑，最后一列是形状放在一起的显示结果。
[0040]
步骤204，基于原始标准模型的融合变形系数对基础基底进行加权，得到目标对象的3d模型。
[0041]
在本实施例中，因为要得到新数资的个性化虚拟形象，因此在pta_bs模块，采用新拓扑的基础基底。然后通过bs系数加权原始标准模型的变形系数到基础基底，即可得到目标对象的3d模型，即个性化的虚拟形象模型。加权公式如下：
[0042][0043]
其中，s
model
是3d模型，是进行了网格顶点迁移的基础基底，si是原始标准模型的脸型基底或表情基底，αi是原始标准模型的bs系数。
[0044]
因此需要通过bs系数自动生成基底，利用不同网格对齐、注册迁移之后的点的对应关系，可迁移原始标准模型的脸型的变化量到新数资的基础基底上，得到了155个新数资的脸型基底。迁移原始标准模型的表情的变化量到新数资的基础基底上，得到了51个新数资的表情基底。
[0045]
本公开的上述实施例提供的方法，能够显著提升新数资的接入效率，并为新数资接入pta平台提供一种整体规范和流程，用于生成个性化新数资的用户虚拟形象,最终实现通过输入用户头像即可得到和用户有一定相似度和美观度的新数资的个性化虚拟形象。
[0046]
在本实施例的一些可选的实现方式中，该方法还包括：使用所述基础基底对应的骨骼规范标准进行3d模型的骨骼系数求解，得到蒙皮骨骼模型。在现有的pta算法流程中，骨骼拟合仅仅针对我们自身的骨骼规范设计的，但是新用户提供的数资具有自身的骨骼规范，并且拓扑结果完全不同，但是我们需要给对方提供他们的骨骼系数。因此这一步需要进行新数资的骨骼系数求解。骨骼系数的求解之后便可以提供到客户用于驱动显示，得到新拓扑数资的个性化虚拟形象。
[0047]
蒙皮骨骼模型包括多个骨骼节点，骨骼节点能够在骨骼驱动系数的驱动下进行刚性变换，即进行平移、旋转或缩放。蒙皮骨骼模型中的节点被蒙皮包裹，每个节点具有一个蒙皮区域，该蒙皮区域包括多个网格顶点，每个网格顶点受一个或多个节点的控制，当骨骼节点做刚性变换时，网格顶点的位置也会发生变化。
[0048]
骨骼驱动系数中一般包含9个数值，分别为x坐标、y坐标以及z坐标所对应的3个平移值、3个欧拉角旋转值、3个缩放值。初始骨骼驱动系数可以根据实际需要进行预配置。差异数据能够表征两个蒙皮骨骼模型之间的差异，可以通过配置差异数据条件来判断两个蒙皮骨骼模型之间差异程度。
[0049]
本公开实施例提供的方法，通过基于预配置的初始骨骼驱动系数驱动预配置的初始蒙皮骨骼模型进行变形，得到第一蒙皮骨骼模型，若第一蒙皮骨骼模型与目标蒙皮骨骼
模型的差异数据不满足预设的差异数据条件，则对第一蒙皮骨骼模型进行至少一次变形，直至得到与目标蒙皮骨骼模型的差异数据满足差异数据条件的第二蒙皮骨骼模型，并获取用于驱动至少一次变形的目标骨骼驱动系数，基于本方案，能够为将目标骨骼驱动系数返回至电子设备，使得电子设备基于目标骨骼驱动系数生成3d模型提供了基础。由于blendshape系数的数据量较大，一般为几百千字节(kilobyte，kb)，这使得服务器将blendshape系数发送给电子设备的过程中会耗费较多的数据传输成本。而将blendshape系数转换成骨骼驱动系数后，由于目标骨骼驱动系数的数据量较少，能够节省服务器与电子设备之间的数据传输成本。使得该方法能够适用于在终端设备上使用，不受硬件资源的限制。
[0050]
骨骼系数求解的方法不限于上述方法，还可采用现有技术中的其它方法，在此不再赘述。
[0051]
在本实施例的一些可选的实现方式中，该方法还包括：若所述原始标准模型的网格顶点的数量小于所述基础基底的网格顶点的数量，则对所述基础基底的网格顶点进行平滑处理。如图3b所示，因为b的模型的点数较少，迁移之后的基底会有凹凸不平的地方，因此在这一步后面对模型进行了平滑处理。可对网格顶点进行插值处理，使得两个模型的网格顶点数量一致，从而实现网格顶点的平滑。这样生成的3d模型会更加的自然、生动。
[0052]
在本实施例的一些可选的实现方式中，对所述基础基底的网格顶点进行平滑处理，包括：采用拉普拉斯平滑算法对所述基础基底的网格顶点进行平滑处理。拉普拉斯平滑(laplacian smoothing)是为了解决零概率的问题。法国数学家拉普拉斯最早提出加1的方法，估计没有出现过的现象的概率。理论假设：假定训练样本很大时，每个分量x的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。一般的拉普拉斯平滑会将点p移动到类似于重心的位置。
[0053]
在本实施例的一些可选的实现方式中，对所述基础基底的网格顶点进行平滑处理，包括：采用基于曲率的平滑算法对所述基础基底的网格顶点进行平滑处理。基于曲率的平滑的移动位置是与法向量方向相反的，这样做的目的是要更好的保持模型原来的大致形状。基于曲率的平滑与拉普拉斯平滑的区别在于，基于曲率的平滑是沿着顶点p的法向量所在直线去移动p的。
[0054]
在本实施例的一些可选的实现方式中，原始标准模型可包括脸型基底、表情基底、纹理基底，原始标准模型可包括不同脸型的脸型基底，从而生成不同脸型的目标对象的3d模型，例如，圆脸、瓜子脸等。原始标准模型可包括不同表情的表情基底，从而生成不同表情的目标对象的3d模型，反应出目标对象的不同情绪。原始标准模型可包括不同肤色的纹理基底，从而生成不同肤色的目标对象的3d模型。
[0055]
继续参见图3a-3b，图3a-3b是根据本实施例的生成3d模型的方法的应用场景的一个示意图。在图3a的应用场景中，输入图像，从图像提取出特征(landmark)，然后与原始标准模型对齐(pta-align)，再通过bs模块的bs系数生成网格数据(bs obj)。网格数据再求解出骨骼系数，得到蒙皮骨骼模型。图3b是在原始标准模型基础上进行网格顶点迁移变形后得到的效果图。其中，a是基础基底，b是原始标准模型，a_warpping的形状和b保持一致但是和a是相同的拓扑，最后一列是形状放在一起的显示结果。
[0056]
进一步参考图4，其示出了生成虚拟形象的方法的一个实施例的流程400。该生成
虚拟形象的方法的流程400，包括以下步骤：
[0057]
步骤401，获取待处理的目标图像。
[0058]
在本实施例中，生成虚拟形象的方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户利用其进行虚拟形象生成的终端接收待处理的目标图像。所述目标图像包括目标对象。例如，用户通过手机自拍一张头像，然后通过调用动画app发送到服务器。
[0059]
步骤402，将所述目标图像输入3d模型为基底的虚拟形象自动生成平台，得到目标对象的虚拟形象。
[0060]
在本实施例中，虚拟形象自动生成平台从目标图像提取出特征(landmark)，然后与流程200生成的3d模型对齐。再通过3d模型的bs系数生成网格数据。
[0061]
不同数资的接入pta平台效果如图5所示。每种数资代表一种根据流程200的方法生成的3d模型。同一张图像经过不同的数资处理，会得到不同的虚拟形象。不同的图像经过相同数资的处理，也会得到不同的虚拟形象。
[0062]
在本实施例的一些可选的实现方式中，该方法还包括：获取目标对象的语音数据；根据所述语音数据识别出目标对象的情绪；根据所述情绪确定出3d模型的表情基底；根据所述表情基底生成所述目标对象的虚拟形象。可通过预先训练的情绪识别模型对语音数据进行识别，得到目标对象的情绪，例如，高兴、气愤等。情绪识别模型可以从语音数据中提取语音特征，然后对语音特征进行分类，得到不同类型的情绪。也可以从语音识别后得到的文本中提取文本特征，然后对文本特征进行分类，得到不同类型的情绪。不同的情绪对应不同的表情基底，例如，高兴的表情基底中嘴角上翘(嘴角的关键点向上移动)，气愤的表情基底中眉头紧锁(眉毛的关键点向中间聚拢)。根据情绪对应的表情基底对目标图像中的目标对象的关键点进行调整，从而形成反应目标对象情绪的虚拟形象。从而使得生成的虚拟形象更加的生动。
[0063]
从图4中可以看出，与图2对应的实施例相比，本实施例中的生成虚拟形象的方法的流程400体现了3d模型的应用场景。通过3d模型可以快速接入pta平台，提升3d模型的接入效率，用于生成个性化3d模型的用户虚拟形象。
[0064]
进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种生成3d模型的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0065]
如图6所示，本实施例的生成3d模型的装置600包括：获取单元601、对齐单元602、迁移单元603、加权单元604。其中，获取单元601，被配置成获取基础基底和原始标准模型；对齐单元602，被配置成将所述基础基底和所述原始标准模型进行对齐；迁移单元603，被配置成将所述原始标准模型的网格顶点的变化量迁移到所述基础基底的网格顶点；加权单元604，被配置成基于所述原始标准模型的融合变形系数对所述基础基底进行加权，得到目标对象的3d模型。
[0066]
在本实施例中，生成3d模型的装置600的获取单元601、对齐单元602、迁移单元603、加权单元604的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204。
[0067]
在本实施例的一些可选的实现方式中，装置600还包括求解单元(附图中未示出)，
被配置成：使用所述基础基底对应的骨骼规范标准进行3d模型的骨骼系数求解，得到蒙皮骨骼模型。
[0068]
在本实施例的一些可选的实现方式中，求解单元进一步被配置成：通过基于预配置的初始骨骼驱动系数驱动预配置的初始蒙皮骨骼模型进行变形，得到第一蒙皮骨骼模型；若第一蒙皮骨骼模型与目标蒙皮骨骼模型的差异数据不满足预设的差异数据条件，则对第一蒙皮骨骼模型进行至少一次变形，直至得到与目标蒙皮骨骼模型的差异数据满足差异数据条件的第二蒙皮骨骼模型，并获取用于驱动至少一次变形的目标骨骼驱动系数。
[0069]
在本实施例的一些可选的实现方式中，装置600还包括平滑单元(附图中未示出)，被配置成：若所述原始标准模型的网格顶点的数量小于所述基础基底的网格顶点的数量，则对所述基础基底的网格顶点进行平滑处理。
[0070]
在本实施例的一些可选的实现方式中，平滑单元进一步被配置成：采用拉普拉斯平滑算法对所述基础基底的网格顶点进行平滑处理。
[0071]
在本实施例的一些可选的实现方式中，平滑单元进一步被配置成：采用基于曲率的平滑算法对所述基础基底的网格顶点进行平滑处理。
[0072]
进一步参考图7，作为对上述各图所示方法的实现，本公开提供了一种生成虚拟形象的装置的一个实施例，该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0073]
如图7所示，本实施例的生成虚拟形象的装置700包括：获取单元701，被配置成获取待处理的目标图像；生成单元702，被配置成将所述目标图像输入根据装置600生成的3d模型为基底的虚拟形象自动生成平台，得到虚拟形象。
[0074]
在本实施例中，生成虚拟形象的装置700的获取单元701、生成单元702的具体处理可以参考图4对应实施例中的步骤401、步骤402。
[0075]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0076]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0077]
一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行流程200或400所述的方法。
[0078]
一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行流程200或400所述的方法。
[0079]
一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现流程200或400所述的方法。
[0080]
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0081]
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0082]
设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0083]
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如生成3d模型的方法。例如，在一些实施例中，生成3d模型的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的生成3d模型的方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行生成3d模型的方法。
[0084]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0085]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0086]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或
上述内容的任何合适组合。
[0087]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0088]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0089]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0090]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0091]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。