一种模型测试方法、装置及电子设备与流程

1.本公开涉及图像处理技术领域，尤其涉及人工智能技术领域，具体涉及一种模型测试方法、装置及电子设备。


背景技术：

2.深度学习技术已广泛应用于人工智能任务，在计算机视觉领域，深度学习已成为自动驾驶、图片审核、监控和安保应用的主力。在测试图像模型的鲁棒性时，一般通过迭代并不断加强噪声的方式实现，且每一次测试都是基于上一次测试的图像再加上新的噪声生成新扰动进行。


技术实现要素：

3.本公开提供了一种用于模型测试的方法、装置、设备以及存储介质。
4.根据本公开的第一方面，提供了一种模型测试方法，包括：
5.获取噪声图序列，所述噪声图序列中包括目标噪声图；
6.获取目标扰动图像，所述目标扰动图像由所述目标噪声图与预先获取的原始图像融合得到；
7.使用所述目标扰动图像对第一模型进行测试，以得到所述第一模型的测试结果，所述测试结果用于评估模型的鲁棒性。
8.根据本公开的第二方面，提供了一种模型测试装置，包括：
9.第一获取模块，用于获取噪声图序列，所述噪声图序列中包括目标噪声图；
10.第二获取模块，用于获取目标扰动图像，所述目标扰动图像由所述目标噪声图与预先获取的原始图像融合得到；
11.第一测试模块，用于使用所述目标扰动图像对第一模型进行测试，以得到所述第一模型的测试结果，所述测试结果用于评估模型的鲁棒性。
12.根据本公开的第三方面，提供了一种电子设备，包括：
13.至少一个处理器；以及
14.与所述至少一个处理器通信连接的存储器；其中，
15.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中的任一项方法。
16.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面中的任一项方法。
17.本公开实施例中，通过使用所述噪声图序列中的目标噪声图与预先获取的原始图像融合得到的所述目标扰动图像，对第一模型进行测试，即在评估模型鲁棒性的测试过程中，使用的所述目标扰动图像可以直接根据所述噪声图序列中的目标噪声图得到，可以避免每一次测试都生成随机噪声后在上一次测试的图像上进行叠加，从而提升测试的效率。
18.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
19.附图用于更好地理解本方案，不构成对本公开的限定。其中：
20.图1是根据本公开第一实施例的模型测试方法的流程示意图；
21.图2是根据本公开第二实施例的模型测试装置的结构示意图之一；
22.图3是根据本公开第二实施例的模型测试装置的结构示意图之二；
23.图4是根据本公开第二实施例的模型测试装置的结构示意图之三；
24.图5是根据本公开第二实施例的模型测试装置的结构示意图之四；
25.图6是根据本公开第二实施例的模型测试装置的结构示意图之五；
26.图7是根据本公开第二实施例的模型测试装置的结构示意图之六；
27.图8是根据本公开第二实施例的模型测试装置的结构示意图之七；
28.图9是用来实现本公开实施例的模型测试方法的电子设备的框图。
具体实施方式
29.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
30.如图1所示，本公开提供一种模型测试方法，包括如下步骤：
31.步骤s101：获取噪声图序列，所述噪声图序列中包括目标噪声图。
32.其中，上述噪声图序列可以包括多个噪声图，且该多个噪声图可以由同一噪声叠加多次生成，也可以由多个不同噪声叠加生成，在上述噪声图序列中各噪声图的噪声依次增加，从而通过上述噪声图序列表示不断增强的多个噪声。
33.可以理解，在上述噪声图序列中的多个噪声图由同一噪声叠加多次生成的情况下，上述多个噪声图的叠加同一噪声的次数不同，例如：噪声图序列中的第一个噪声图为叠加一次上述同一噪声得到，噪声图序列中的第二个噪声图为叠加两次上述同一噪声得到，噪声图序列中的第三个噪声图为叠加三次上述同一噪声得到，以此类推；在上述噪声图序列中的多个噪声图由多个不同噪声叠加生成的情况下，可以预先获取多个不同的噪声：噪声1、噪声2、噪声3等多个噪声，噪声图序列中的第一个噪声图为叠加噪声1得到，噪声图序列中的第二个噪声图为叠加噪声1和噪声2得到，噪声图序列中的第三个噪声图为叠加噪声1、噪声2和噪声3得到，本公开对此不做限制。
34.可以理解，上述目标噪声图可以是在上述噪声图序列中选择的用于模型测试的一个或多个噪声图，在上述目标噪声图为一个图像的情况下，可以使用该一个图像测试模型的抗干扰能力；在上述目标噪声图为多个图像的情况下，可以分别使用该多个图像测试模型的抗干扰能力。
35.步骤s102：获取目标扰动图像，所述目标扰动图像由所述目标噪声图与预先获取的原始图像融合得到。
36.可以理解，上述原始图像可以是预先获取的未叠加噪声的待识别图像，例如：包括
待识别目标(如猫、狗等物体)的图像。通过融合上述目标噪声图和上述预先获取的原始图像，上述目标噪声图可以表征待叠加的噪声，即可以获取在上述原始图像上叠加噪声后的上述目标扰动图像。
37.步骤s103：使用所述目标扰动图像对第一模型进行测试，以得到所述第一模型的测试结果，所述测试结果用于评估模型的鲁棒性。
38.在一些实施例中，上述第一模型可以是用于图像识别的模型，在对上述第一模型进行测试时，可以使用叠加噪声的图像测试模型鲁棒性。上述第一模型可以识别出上述原始图像中的目标物体，通过使用上述第一模型对上述目标扰动图像进行识别，可以基于识别结果得到上述测试结果，例如：若无法识别出目标结果或识别结果与目标结果相差较大，可以基于上述目标扰动图像上叠加的噪声作为上述第一模型的鲁棒性评估结果。
39.本公开实施例中，通过使用所述噪声图序列中的目标噪声图与预先获取的原始图像融合得到的所述目标扰动图像，对第一模型进行测试，即在评估模型鲁棒性的测试过程中，使用的所述目标扰动图像可以直接根据所述噪声图序列中的目标噪声图得到，可以避免每一次测试都生成随机噪声后在上一次测试的图像上进行叠加，从而提升测试的效率。
40.可选地，步骤s101中所述获取噪声图序列，具体可以包括：
41.获取透明图，以及随机噪声；
42.基于所述随机噪声，针对所述透明图执行m次迭代操作，得到包括m个噪声图的噪声图序列，其中，第一次迭代操作为在所述透明图上叠加所述随机噪声，第m次迭代操作为在所述第m-1次迭代操作得到的噪声图上叠加所述随机噪声，所述目标噪声图为所述m个噪声图中的噪声图，m为大于1的整数，m为大于1，且小于或者等于m的整数。
43.其中，上述随机噪声可以是高斯噪声、椒盐噪声、加性噪声、混合噪声等进行拟自然的仿真噪声，通过在透明图上叠加上述随机噪声，可以以图像形式(即噪声图)表示叠加的上述随机噪声。
44.即上述噪声图由透明图上叠加随机噪声得到，上述随机噪声中每一噪点的位置对应上述噪声图中的一个像素点，以在透明图上叠加一次上述随机噪声为例，得到的噪声图中各像素点的像素值与上述随机噪声的噪点像素值一一对应。
45.基于上述随机噪声，在上述透明图上执行迭代操作，每一次迭代操作可以得到一个噪声图，执行m次迭代操作后，得到的m个噪声图中不同噪声图分别对应一个上述随机噪声的迭代次数，且不同噪声图的迭代次数不同。
46.其中，在上述透明图上迭代操作，可以理解为分别基于不同次数在上述透明图上叠加上述随机噪声，具体的，在上述透明图上叠加一次随机噪声可以得到第一次迭代对应的噪声图，在上述透明图上叠加两次随机噪声可以得到第二次迭代对应的噪声图，以此类推，得到不同迭代次数对应的m个噪声图。
47.而上述目标噪声图可以是上述m个噪声图中的任意一个，在使用上述目标扰动图像对第一模型进行测试的过程中，可以在上述噪声图序列包括的m个噪声图中确定某一迭代次数对应的目标噪声图，并融合上述目标噪声图与上述原始图像，得到上述目标扰动图像。
48.该实施方式中，通过获取透明图，以及随机噪声，并基于所述随机噪声，针对所述透明图执行m次迭代操作，得到包括m个噪声图的噪声图序列，可以得到不同迭代次数的噪
声图组成的所述噪声图序列，从而在所述第一模型的测试过程中，可以快速获取所述噪声图序列中的目标噪声图，实现模型的鲁棒性测试。
49.并且，所述噪声图序列包括的m个噪声图中不同噪声图的迭代次数不同，即所述噪声图序列中相邻噪声图之间的像素差值一致，在使用所述噪声图序列中的噪声图进行模型鲁棒性评估测试时，可以使用存在一致性的噪声差值量化测试结果，避免每一次产生的随机噪声不同导致测试结果的差异。
50.可选地，步骤s102中所述获取目标扰动图像，具体可以包括：
51.获取扰动图序列，所述扰动图序列包括多个扰动图像，所述多个扰动图像分别由所述m个噪声图与所述原始图像融合得到，所述多个扰动图像包括所述目标扰动图像；
52.步骤s103中所述使用所述目标扰动图像对第一模型进行测试，以得到所述第一模型的测试结果，具体可以包括：
53.基于预设迭代次数间隔，获取所述多个扰动图像中的目标扰动图像，所述目标扰动图像包括n个扰动图像，n为小于或等于m的整数；
54.基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰动图像对所述第一模型进行测试，以得到所述第一模型的测试结果。
55.可以理解，上述扰动图序列中的扰动图像均为在上述原始图像上叠加噪声图得到，但叠加的噪声图对应的噪声依次增强。在对第一模型进行测试的过程中，可以获取通过不断增强噪声得到的上述扰动图序列中的n个扰动图像进行测试，从而对第一模型的鲁棒性进行评估。
56.其中，上述预设迭代次数间隔可以根据测试需求预先确定，例如：在模型测试效果展示等仅需粗略获取模型鲁棒性评估结果的场景下，可以设置较大的预设迭代次数间隔，从而在上述扰动图序列中获取较少数量的目标扰动图像进行模型测试，在展示模型测试结果的同时，测试速度较快且占用的计算资源较少；在需精确获取模型鲁棒性评估结果的场景下，可以设置较小的预设迭代次数间隔，从而在上述扰动图序列中获取较多数量的目标扰动图像进行模型测试，提升测试结果的精确度。
57.该实施方式中，基于预设迭代次数间隔，获取所述多个扰动图像中的目标扰动图像，所述目标扰动图像包括n个扰动图像，n为小于或等于m的整数，并基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰动图像对所述第一模型进行测试，以得到所述第一模型的测试结果，可以满足不同的测试需求。在预设迭代次数间隔较大的情况下，可以提升测试效率；在预设迭代次数间隔较小的情况下，可以提升测试结果的精确度。
58.可选地，所述基于预设迭代次数间隔，获取所述多个扰动图像中的至少部分扰动图像之前，还可以包括：
59.获取模型测试的颗粒度参数；
60.基于所述颗粒度参数，确定所述预设迭代次数间隔。
61.其中，上述颗粒度参数与模型测试的实际需求相匹配，颗粒度参数较大表示模型测试所需结果较粗略，颗粒度参数较小表示模型测试所需结果较精确，例如：在颗粒度大的测试中，对模型的鲁棒性评估仅需获取一个较粗略的结果，即可以确定一个较大的预设迭代次数间隔；在颗粒度小的测试中，对模型的鲁棒性评估需获取一个较精确的结果，即可以确定一个较小的预设迭代次数间隔。
62.该实施方式中，模型测试可以基于所述颗粒度参数，确定所述预设迭代次数间隔，即实现对模型测试所使用的图像数量的调整，适应不同的模型测试的颗粒度。
63.可选地，所述基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰动图像对所述第一模型进行测试，以得到所述第一模型的测试结果，具体可以包括：
64.基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰动图像对所述第一模型进行测试，直至所述第一模型的测试结果包括无法识别所述原始图像的结果，所述第一模型的测试结果还包括：所述无法识别所述原始图像的结果对应的扰动图像与所述原始图像之间的像素差值。
65.可以理解，扰动图像与上述原始图像之间的像素差值，即为生成扰动图像时融合上述原始图像的噪声图的像素值。通过获取上述无法识别上述原始图像的结果对应的扰动图像与上述原始图像之间的像素差值，并可以基于上述像素差值量化上述第一模型的鲁棒性评估的测试结果，从而通过上述像素差值准确地表示模型的鲁棒性性能。
66.该实施方式中，通过基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰动图像对所述第一模型进行测试，直至所述第一模型的测试结果包括无法识别所述原始图像的结果，可以测试所述第一模型对于依次增强的噪声的鲁棒性，并且所述第一模型的测试结果还包括：所述无法识别所述原始图像的结果对应的扰动图像与所述原始图像之间的像素差值，即可以使用所述像素差值表示所述第一模型的鲁棒性评估结果，实现对模型鲁棒性的分析比较。
67.可选地，所述基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰动图像对所述第一模型进行测试，以得到所述第一模型的测试结果之后，还可以包括：
68.基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰动图像对第二模型进行测试，以得到所述第二模型的测试结果，所述第二模型为与所述第一模型识别任务相同的模型；
69.比较所述第一模型的测试结果与所述第二模型的测试结果，以确定所述第一模型和所述第二模型的鲁棒性的比较结果。
70.在模型的测试过程中，依次使用上述n个扰动图像进行测试，即分别使用噪声逐渐增加的上述n个扰动图像对模型进行鲁棒性评估测试，模型的鲁棒性评估过程中，可以使用无法识别原始图像结果的噪声作为模型的鲁棒性评估参数。并且，上述第一模型和上述第二模型在测试过程中均依次使用上述n个扰动图像，这样，上述第一模型的测试结果和上述第二模型的测试结果可以进行准确的比较。
71.该实施方式中，在对模型的鲁棒性评估时，均可以使用所述扰动图序列中的n个扰动图像进行，基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰动图像对所述第一模型进行测试，以得到所述第一模型的测试结果之后，基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰动图像对第二模型进行测试，以得到所述第二模型的测试结果，所述第一模型的测试结果与所述第二模型的测试结果均基于同样的扰动图像得到，从而可以通过比较所述第一模型的测试结果与所述第二模型的测试结果，以确定所述第一模型和所述第二模型的鲁棒性的比较结果。
72.可选地，步骤s102中所述使用所述目标扰动图像对第一模型进行测试，以得到所述第一模型的测试结果之前，还可以包括：
73.获取所述噪声图序列中每一噪声图的像素值；
74.所述使用所述目标扰动图像对第一模型进行测试，以得到所述第一模型的测试结果之后，所述方法还包括：
75.在所述测试结果包括无法识别所述原始图像的结果的情况下，输出所述目标噪声图的像素值。
76.其中，上述像素值即为上述每一噪声图可以叠加到上述原始图像上的噪声，也即每一噪声图与上述原始图像融合后得到的多个扰动图与原始图像之间的像素差值。可以理解，上述噪声图序列中每一噪声图的像素值依次增加。具体的，上述噪声图的像素值可以使用均方误差(mean square error，mse)表示。
77.在上述第一模型的测试过程中，可以依次使用不断增强的噪声融合上述原始图像得到的扰动图像对第一模型进行测试，并在上述第一模型的测试结果包括无法识别上述原始图像的结果的情况下，输出上述目标噪声图的像素值，从而基于上述目标噪声图的像素值作为评估上述第一模型的鲁棒性的量化值。
78.该实施方式中，通过在使用所述目标扰动图像对第一模型进行测试，以得到所述第一模型的测试结果之前，获取所述噪声图序列中每一噪声图的像素值，并在使用所述目标扰动图像对第一模型进行测试，以得到所述第一模型的测试结果之后，在所述测试结果包括无法识别所述原始图像的结果的情况下，输出所述目标噪声图的像素值，可以快速输出所述目标噪声图的像素值，提升所述模型鲁棒性评估的效率。
79.如图2所示，本公开还提供一种模型测试装置，包括：
80.第一获取模块201，用于获取噪声图序列，所述噪声图序列中包括目标噪声图；
81.第二获取模块202，用于获取目标扰动图像，所述目标扰动图像由所述目标噪声图与预先获取的原始图像融合得到；
82.第一测试模块203，用于使用所述目标扰动图像对第一模型进行测试，以得到所述第一模型的测试结果，所述测试结果用于评估模型的鲁棒性。
83.可选地，如图3所示，所述第一获取模块201，具体可以包括：
84.第一获取单元2011，用于获取透明图，以及随机噪声；
85.迭代单元2012，用于基于所述随机噪声，针对所述透明图执行m次迭代操作，得到包括m个噪声图的噪声图序列，其中，第一次迭代操作为在所述透明图上叠加所述随机噪声，第m次迭代操作为在所述第m-1次迭代操作得到的噪声图上叠加所述随机噪声，所述目标噪声图为所述m个噪声图中的噪声图，m为大于1的整数，m为大于1，且小于或者等于m的整数。
86.可选地，如图4所示，所述第二获取模块202，具体可以包括：
87.第二获取单元2021，用于获取扰动图序列，所述扰动图序列包括多个扰动图像，所述多个扰动图像分别由所述m个噪声图与所述原始图像融合得到，所述多个扰动图像包括所述目标扰动图像；
88.所述第一测试模块203，具体可以包括：
89.第三获取单元2031，用于基于预设迭代次数间隔，获取所述多个扰动图像中的目标扰动图像，所述目标扰动图像包括n个扰动图像，n为小于或等于m的整数；
90.测试单元2032，用于基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰
动图像对所述第一模型进行测试，以得到所述第一模型的测试结果。
91.可选地，如图5所示，所述测试单元2032，具体可以包括：
92.测试子单元20321，用于基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰动图像对所述第一模型进行测试，直至所述第一模型的测试结果包括无法识别所述原始图像的结果，所述第一模型的测试结果还包括：所述无法识别所述原始图像的结果对应的扰动图像与所述原始图像之间的像素差值。
93.可选地，如图6所示，模型测试装置200还可以包括：
94.第二测试模块204，用于基于所述n个扰动图像对应的迭代次数，依次使用所述n个扰动图像对第二模型进行测试，以得到所述第二模型的测试结果，所述第二模型为与所述第一模型识别任务相同的模型；
95.比较模块205，用于比较所述第一模型的测试结果与所述第二模型的测试结果，以确定所述第一模型和所述第二模型的鲁棒性的比较结果。
96.可选地，如图7所示，模型测试装置200还可以包括：
97.第三获取模块206，用于获取模型测试的颗粒度参数；
98.确定模块207，用于基于所述颗粒度参数，确定所述预设迭代次数间隔。
99.可选地，如图8所示，模型测试装置200还可以包括：
100.第四获取模块208，用于获取所述噪声图序列中每一噪声图的像素值；
101.输出模块209，用于在所述测试结果包括无法识别所述原始图像的结果的情况下，输出所述目标噪声图的像素值。
102.本公开提供的模型测试装置200能够实现模型测试方法实施例的各个过程，且能够达到相同的技术效果，为避免重复，这里不再赘述。
103.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
104.图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
105.如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元903加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
106.设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元903，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
107.计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单
元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如模型测试方法。例如，在一些实施例中，模型测试方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元903。在一些实施例中，计算机程序的部分或者全部可以经由rom902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram903并由计算单元901执行时，可以执行上文描述的模型测试方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型测试方法。
108.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
109.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
110.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
111.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
112.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界
面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
113.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
114.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
115.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。