人脸识别数据集的生成方法及装置、电子设备及存储介质与流程

1.本技术涉及人脸识别技术领域，例如涉及一种人脸识别数据集的生成方法及装置、电子设备及存储介质。


背景技术：

2.目前，人脸识别系统已经应用在人们生活中点的诸多领域，例如电子识别解锁、门禁打卡和金融支付等。训练一个人脸识别模型通常需要收集大量的人脸身份信息，每个人脸身份信息需要包含同一个人的多张不同的人脸图片。同理可知，人脸识别模型的准确率非常依赖训练时用到的人脸识别数据集。通常而言，人脸识别数据集中的人脸身份信息的数目越多，每个人脸身份信息包含的人脸图片越多，那么这个人脸识别数据集就能更好地代表真实情况下的人脸特征分布。因此，如何有效地扩充人脸识别数据集的大小，对于人脸识别模型的准确率至关重要。
3.在实现本技术的过程中，发现相关技术中至少存在如下问题：
4.现有的人脸识别数据集，例如glint360k和webface260m，通常是人工采集或者从互联网抓取得到，这种方式采集数据需要非常大的人力成本，且采集到的数据中会存在人脸图像质量较差、单个人脸图片数目较少、数据集中存在重复到的人脸身份信息等各种问题。


技术实现要素：

5.为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
6.本技术提供了一种人脸识别数据集的生成方法及装置、电子设备及存储介质，以减少采集数据的成本并提高人脸识别数据集中的人脸图像质量。
7.在一些实施例中，所述人脸识别数据集的生成方法，包括：
8.将随机生成的第一潜在编码输入至预设的生成器中，得到所述生成器输出的第一人脸图片；
9.根据至少一类人脸属性更新所述第一潜在编码，生成第二潜在编码；
10.将所述第二潜在编码输入至预设的生成器中，得到所述生成器输出的第二人脸图片；
11.在确定所述第一人脸图片和第二人脸图片属于同一人脸身份信息的情况下，保存所述第一人脸图片和第二人脸图片以生成目标人脸识别数据集。
12.可选地，所述根据至少一类人脸属性更新所述第一潜在编码，生成第二潜在编码，包括：
13.根据所述至少一类人脸属性中的任一人脸属性，确定修改第一潜在编码的扰动方向和扰动程度；
14.根据所述扰动方向和扰动程度对所述第一潜在编码进行变换，生成第二潜在编码。
15.可选地，在将随机生成的第一潜在编码输入至预设的生成器中，得到所述生成器输出的第一人脸图片之前，还包括：
16.从开源人脸识别数据集中获取多张真实的人脸图片；
17.根据所述多张真实的人脸图片，训练一个生成对抗网络并保留所述生成对抗网络中的生成器；
18.以残差网络模型为主干，训练得到一个人脸识别模型。
19.可选地，所述在确定所述第一人脸图片和第二人脸图片属于同一人脸身份信息的情况下，保存所述第一人脸图片和第二人脸图片以生成目标人脸识别数据集，包括：
20.将所述第一人脸图片输入至所述人脸识别模型中，得到所述第一人脸图片对应的第一特征表达；
21.将所述第二人脸图片输入至所述人脸识别模型中，得到所述第二人脸图片对应的第二特征表达；
22.计算所述第一特征表达和第二特征表达之间的余弦相似度；
23.在所述余弦相似度小于相似度阈值的情况下，保存所述第一人脸图片和第二人脸图片以生成目标人脸识别数据集。
24.在一些实施例中，所述人脸识别数据集的生成装置，包括：
25.第一图片生成模块，被配置为将随机生成的第一潜在编码输入至预设的生成器中，得到所述生成器输出的第一人脸图片；
26.扰动添加模块，被配置为根据至少一类人脸属性更新所述第一潜在编码，生成第二潜在编码；
27.第二图片生成模块，被配置为将所述第二潜在编码输入至预设的生成器中，得到所述生成器输出的第二人脸图片；
28.数据集生成模块，被配置为在确定所述第一人脸图片和第二人脸图片属于同一人脸身份信息的情况下，保存所述第一人脸图片和第二人脸图片以生成目标人脸识别数据集。
29.可选地，所述扰动添加模块，具体被配置为：
30.根据所述至少一类人脸属性中的任一人脸属性，确定修改第一潜在编码的扰动方向和扰动程度；
31.根据所述扰动方向和扰动程度对所述第一潜在编码进行变换，生成第二潜在编码。
32.可选地，所述装置还包括预训练模块，所述预训练模块被配置为：
33.从开源人脸识别数据集中获取多张真实的人脸图片；
34.根据所述多张真实的人脸图片，训练一个生成对抗网络并保留所述生成对抗网络中的生成器；
35.以残差网络模型为主干，训练得到一个人脸识别模型。
36.可选地，所述数据集生成模块，被配置为：
37.将所述第一人脸图片输入至所述人脸识别模型中，得到所述第一人脸图片对应的
第一特征表达；
38.将所述第二人脸图片输入至所述人脸识别模型中，得到所述第二人脸图片对应的第二特征表达；
39.计算所述第一特征表达和第二特征表达之间的余弦相似度；
40.在所述余弦相似度小于相似度阈值的情况下，保存所述第一人脸图片和第二人脸图片以生成目标人脸识别数据集。
41.在一些实施例中，所述电子设备，包括存储器和处理器，其中：
42.所述存储器，用于保存计算机程序；
43.所述处理器，用于执行所述计算机程序，以实现如本技术所述的人脸识别数据集的生成方法。
44.在一些实施例中，所述存储介质，存储有程序指令，所述程序指令在运行时，执行如本技术所述的人脸识别数据集的生成方法。
45.本技术提供的人脸识别数据集的生成方法及装置、电子设备及存储介质，可以实现以下技术效果：
46.本技术采用应用于机器学习技术领域的技术手段，通过生成对抗网络的生成器生成的第一人脸图片，然后通过图片编辑技术根据至少一类人脸属性对第一人脸图片进行修改，以通过生成器生成同一人脸身份信息的生成的第二人脸图片，进而实现人脸识别数据集的生成，既节省了人力成本，又解决了人脸图像质量较差、单个人脸图片数目较少、数据集中存在重复到的人脸身份信息等各种问题，还能够保护采集对象的人脸生物特征隐私。
47.以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。
附图说明
48.一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
49.图1是本技术提供的一个生成对抗网络的架构示意图；
50.图2是本技术提供的一个人脸识别数据集的生成方法的示意图；
51.图3是本技术提供的另一个人脸识别数据集的生成方法的示意图；
52.图4是本技术提供的另一个人脸识别数据集的生成方法的示意图；
53.图5是本技术提供的一个残差网络的数据结构示意图；
54.图6是本技术提供的另一个人脸识别数据集的生成方法的示意图；
55.图7是本技术提供的一个人脸识别数据集的生成方法具体应用示意图；
56.图8是本技术提供的一个人脸识别数据集的生成装置的示意图；
57.图9是本技术提供的另一个人脸识别数据集的生成装置的示意图。
具体实施方式
58.为了能够更加详尽地了解本技术的特点与技术内容，下面结合附图对本技术的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些
细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
59.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
60.除非另有说明，术语“多个”表示两个或两个以上。
61.本技术中，字符“/”表示前后对象是一种“或”的关系。例如，a/b表示：a或b。
62.术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，a和/或b，表示：a或b，或，a和b这三种关系。
63.术语“对应”可以指的是一种关联关系或绑定关系，a与b相对应指的是a与b之间是一种关联关系或绑定关系。
64.结合图1所示，生成对抗网络(generative adversarial network，gan)
65.由两个不同的机器学习模型组成，包括一个生成器(generator)和一个判别器(discriminator)，生成器的目标是生成类似于训练图片的图片，判别器的目标是，输入一张图片并判断输入的图片是真实图片还是生成器产生的假图片。在训练过程中，生成器不断的生成更好的假图片试图骗过判别器，而判别器则在努力成为更好的鉴别者，正确的对真假图片进行分类，具体而言，生成器以随机的潜在编码(也称为潜在编码，latent code)作为输入生成图片输出记做g(z)，而判别器输入图片并判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出d(x)代表x为真实图片的概率，如果为1，就代表是真实的图片，而输出为0，就代表不可能是真实的图片。在训练过程中，生成器的目标就是尽量生成真实的图片去欺骗判别器。而判别器的目标就是尽量把生成器生成的图片和真实的图片分别开来。这样，生成器和判别器构成了一个动态的博弈过程。在最理想的状态下，g可以生成足以“以假乱真”的图片g(z)。对于d来说，它难以判定g生成的图片究竟是不是真实的，因此d(g(z))＝0.5。
66.本技术基于生成对抗网络来生成不存在的人脸图片的算法，然后运用图片编辑技术对该张图片的人脸属性进行修改，例如修改表情、妆容、发型等不影响人脸身份信息的人脸属性，从而对同一个人脸身份信息能够得到多张不存在的人脸图片。
67.结合图2所示，本技术提供一种人脸识别数据集的生成方法，包括：
68.步骤201：将随机生成的第一潜在编码输入至预设的生成器中，得到所述生成器输出的第一人脸图片。
69.在本技术的实施例中，本技术利用高斯分布随机生成一个第一潜在编码，例如16
×
512的矩阵，然后输入至预设的生成器中，生成器根据第一潜在编码输出不存在的第一人脸图片。
70.步骤202：根据至少一类人脸属性更新所述第一潜在编码，生成第二潜在编码。
71.在本技术的实施例中，本技术根据至少一类人脸属性，例如表情、发型或妆容等，给生成第二潜在编码添加一个扰动，以生成第二潜在编码，例如16
×
512的矩阵。
72.步骤203：将所述第二潜在编码输入至预设的生成器中，得到所述生成器输出的第二人脸图片。
73.在本技术的实施例中，本技术将第二潜在编码输入至预设的生成器中，生成器根据第二潜在编码输出不存在的第二人脸图片。
74.步骤204：在确定所述第一人脸图片和第二人脸图片属于同一人脸身份信息的情况下，保存所述第一人脸图片和第二人脸图片以生成目标人脸识别数据集。
75.在本技术的实施例中，本技术可以使用一个预训练好的人脸识别(face recognition，fr)模型，判断第一人脸图片和第二人脸图片是否属于同一人脸身份信息，如果是，则保留第一人脸图片和第二人脸图片作为同一个人脸身份信息包含的人脸图片；若果不是，则丢弃。这样，通过重复上述步骤就可以构建出一个包含大量人脸身份信息及其对应的人脸图片的目标人脸识别数据集。
76.采用本技术提供的人脸识别数据集的生成方法，采用应用于机器学习技术领域的技术手段，通过生成对抗网络的生成器生成不存在的第一人脸图片，然后通过图片编辑技术根据至少一类人脸属性对第一人脸图片进行修改，以通过生成器生成同一人脸身份信息的不存在的第二人脸图片，进而实现人脸识别数据集的生成，既节省了人力成本，又解决了人脸图像质量较差、单个人脸图片数目较少、数据集中存在重复到的人脸身份信息等各种问题，还能够保护采集对象的人脸生物特征隐私。
77.可选地，结合图3所示，所述根据至少一类人脸属性更新所述第一潜在编码，生成第二潜在编码，包括：
78.步骤301：根据所述至少一类人脸属性中的任一人脸属性，确定修改第一潜在编码的扰动方向和扰动程度。
79.步骤302：根据所述扰动方向和扰动程度对所述第一潜在编码进行变换，生成第二潜在编码。
80.在本技术的实施例中，每一类人脸属性对应一个扰动方向和扰动程度，例如微笑的尺度、发型的颜色和妆容的浓淡等，本领域技术人员能够已知的，通过给定一个人脸属性对应扰动方向和扰动程度，在不显著影响其他属性的情况下，生成引入或放大该人脸属性的图像对应的潜在编码，例如，对于人脸图像中人物头发的颜色，通过沿着头发颜色的扰动方向的正方向，可以使头发颜色变得更灰，而沿着头发颜色的扰动方向的反方向，可以产生较深的头发。同时，随着扰动程度的增加，头发颜色的会变化的更加明显。即本技术可以通过以下公式，基于第一潜在编码计算得到第二潜在编码：
81.latent code2＝latent code1 λ
×
direction
82.其中，latent code 1表示第一潜在编码，latent code2表示第二潜在编码，λ表示扰动程度，direction表示扰动方向。
83.这样，能够根据不同的人脸属性对第一潜在编码进行变换，生成多种不同的第二潜在编码和第二人脸图片，提升了单个同一人脸身份信息包含的人脸图片的丰富性和多样性。
84.可选地，结合图4所示，本技术提供一种人脸识别数据集的生成方法，包括：
85.步骤401：从开源人脸识别数据集中获取多张真实的人脸图片。
86.在本技术的实施例中，本技术使用开源人脸识别数据集，例如，从开源的glint360k数据集(共计36万个人脸身份信息，约1700万张人脸图片)中，获取多张真实的人脸图片。
87.步骤402：根据所述多张真实的人脸图片，训练一个生成对抗网络并保留所述生成对抗网络中的生成器。
88.在本技术的实施例中，本技术基于style gan框架，使用多张真实的人脸图片，训练一个生成对抗网络，该生成对抗网络包含一个生成器和一个判别器，训练结束后保留该网络的生成器。生成器是一个神经网络，其输入称为潜在编码，例如，一个维度是16
×
512的矩阵，输出是一张人脸图片，如一张3
×
512
×
512大小的rgb图片。
89.步骤403：以残差网络模型为主干，训练得到一个人脸识别模型。
90.在本技术的实施例中，结合图5所示，本技术以残差网络模型resnet50为主干网络，该resnetnet50包含50个二维卷积层，还包含四个残差块(residual block)，以及全连接层以用于进行分类任务，resnetnet50包含50个二维卷积操作，训练得到一个人脸识别模型，该人脸识别模型的输入为一张人脸图，输出为一个特征表达(embedding)，例如，一个512维的特征向量。
91.步骤404：将随机生成的第一潜在编码输入至预设的生成器中，得到所述生成器输出的第一人脸图片。
92.在本技术的实施例中，本技术利用高斯分布随机生成一个第一潜在编码，例如16
×
512的矩阵，然后输入至预设的生成器中，生成器根据第一潜在编码输出不存在的第一人脸图片。
93.步骤405：根据至少一类人脸属性更新所述第一潜在编码，生成第二潜在编码。
94.在本技术的实施例中，本技术根据至少一类人脸属性，例如表情、发型或妆容等，给生成第二潜在编码添加一个扰动，以生成第二潜在编码，例如16
×
512的矩阵。
95.步骤406：将所述第二潜在编码输入至预设的生成器中，得到所述生成器输出的第二人脸图片。
96.在本技术的实施例中，本技术将第二潜在编码输入至预设的生成器中，生成器根据第二潜在编码输出不存在的第二人脸图片。
97.步骤407：在确定所述第一人脸图片和第二人脸图片属于同一人脸身份信息的情况下，保存所述第一人脸图片和第二人脸图片以生成目标人脸识别数据集。
98.在本技术的实施例中，本技术可以上述训练好的人脸识别模型，判断第一人脸图片和第二人脸图片是否属于同一人脸身份信息，如果是，则保留第一人脸图片和第二人脸图片作为同一个人脸身份信息包含的人脸图片；若果不是，则丢弃。这样，通过重复上述步骤就可以构建出一个包含大量人脸身份信息及其对应的人脸图片的目标人脸识别数据集。
99.可选地，结合图6所示，所述在确定所述第一人脸图片和第二人脸图片属于同一人脸身份信息的情况下，保存所述第一人脸图片和第二人脸图片以生成目标人脸识别数据集，包括：
100.步骤601：将所述第一人脸图片输入至所述人脸识别模型中，得到所述第一人脸图片对应的第一特征表达。
101.步骤602：将所述第二人脸图片输入至所述人脸识别模型中，得到所述第二人脸图片对应的第二特征表达。
102.步骤603：计算所述第一特征表达和第二特征表达之间的余弦相似度。
103.步骤604：在所述余弦相似度小于相似度阈值的情况下，保存所述第一人脸图片和
第二人脸图片以生成目标人脸识别数据集。
104.在本技术的实施例中，结合图7所示，本技术将第一人脸图片和第二人脸图片输入至预训练好的人脸识别模型中，分别得到对应的第一特征表达和第二特征表达，然后计算第一特征表达和第二特征表达之间的余弦相似度，并将余弦相似度与相似度阈值进行比较，以判断是否属于同一个人脸身份信息，如果是同一个人脸，则保留第一人脸图片和第二人脸图片为同一个人脸身份信息的不同人脸图片，如果不是同一个人脸则丢弃。
105.这样，使用上述流程能够低成本的批量生成一个包含大量人脸身份信息的人脸识别数据集，并且其中的人脸图片的质量较高，单个人脸图片数目多，且同一人脸身份信息的人重复率较低。
106.结合图8所示，本技术提供一种人脸识别数据集的生成装置，其特征在于，包括：
107.第一图片生成模块801，被配置为将随机生成的第一潜在编码输入至预设的生成器中，得到所述生成器输出的第一人脸图片；
108.扰动添加模块802，被配置为根据至少一类人脸属性更新所述第一潜在编码，生成第二潜在编码；
109.第二图片生成模块803，被配置为将所述第二潜在编码输入至预设的生成器中，得到所述生成器输出的第二人脸图片；
110.数据集生成模块804，被配置为在确定所述第一人脸图片和第二人脸图片属于同一人脸身份信息的情况下，保存所述第一人脸图片和第二人脸图片以生成目标人脸识别数据集。
111.可选地，所述扰动添加模块802，具体被配置为：
112.根据所述至少一类人脸属性中的任一人脸属性，确定修改第一潜在编码的扰动方向和扰动程度；
113.根据所述扰动方向和扰动程度对所述第一潜在编码进行变换，生成第二潜在编码。
114.可选地，所述装置还包括预训练模块，所述预训练模块被配置为：
115.从开源人脸识别数据集中获取多张真实的人脸图片；
116.根据所述多张真实的人脸图片，训练一个生成对抗网络并保留所述生成对抗网络中的生成器；
117.以残差网络模型为主干，训练得到一个人脸识别模型。
118.可选地，所述数据集生成模块804，被配置为：
119.将所述第一人脸图片输入至所述人脸识别模型中，得到所述第一人脸图片对应的第一特征表达；
120.将所述第二人脸图片输入至所述人脸识别模型中，得到所述第二人脸图片对应的第二特征表达；
121.计算所述第一特征表达和第二特征表达之间的余弦相似度；
122.在所述余弦相似度小于相似度阈值的情况下，保存所述第一人脸图片和第二人脸图片以生成目标人脸识别数据集。
123.采用本技术提供的人脸识别数据集的生成装置，采用应用于机器学习技术领域的技术手段，通过生成对抗网络的生成器生成不存在的第一人脸图片，然后通过图片编辑技
术根据至少一类人脸属性对第一人脸图片进行修改，以通过生成器生成同一人脸身份信息的不存在的第二人脸图片，进而实现人脸识别数据集的生成，既节省了人力成本，又解决了人脸图像质量较差、单个人脸图片数目较少、数据集中存在重复到的人脸身份信息等各种问题，还能够保护采集对象的人脸生物特征隐私。
124.结合图9所示，本技术提供一种人脸识别数据集的生成装置，包括处理器(processor)900和存储器(memory)901。可选地，该装置还可以包括通信接口(communication interface)902和总线903。其中，处理器900、通信接口902、存储器901可以通过总线903完成相互间的通信。通信接口902可以用于信息传输。处理器900可以调用存储器901中的逻辑指令，以执行上述实施例的人脸识别数据集的生成方法。
125.此外，上述的存储器901中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
126.存储器901作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本技术中的方法对应的程序指令/模块。处理器900通过运行存储在存储器901中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中人脸识别数据集的生成方法。
127.存储器901可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器901可以包括高速随机存取存储器，还可以包括非易失性存储器。
128.本技术提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述人脸识别数据集的生成方法。
129.上述的存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
130.本技术的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
131.以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本技术中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本技术中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本技术中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一
个
…”
限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
132.本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本技术的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
133.本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本技术中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
134.附图中的流程图和框图显示了根据本技术的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。