一种模型监控方法及装置与流程

1.本技术涉及数据处理技术领域，具体而言，涉及一种模型监控方法及装置。


背景技术：

2.目前，随着大数据技术的进步，在业务中使用模型越来越普及，在模型上线之后，需要对模型的性能和准确性进行监控。现有模型监控方法，通常由监控人员凭经验来监控判断数据模型的性能是否下降。然而，在实践中发现，现有方法依赖于监控人员的经验和主观性影响，准确性低。


技术实现要素：

3.本技术实施例的目的在于提供一种模型监控方法及装置，能够对模型进行精确监控，不依赖于监控人员的经验和主观性影响，准确性高。
4.本技术实施例第一方面提供了一种模型监控方法，包括：获取待监控的目标模型；
5.将所述目标模型正式发布上线进行试运行，并获取真实的用户反馈数据；
6.通过所述目标模型对预设的指标数据进行推理，得到推理结果，并将所述推理结果与所述用户反馈数据进行对比，计算出问题命中率；
7.当所述问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑，并通过所述模型预测告警逻辑对所述目标模型的运行情况进行监控。
8.在上述实现过程中，该方法可以优先获取待监控的目标模型；然后将目标模型正式发布上线进行试运行，并获取真实的用户反馈数据；通过目标模型对预设的指标数据进行推理，得到推理结果，并将推理结果与用户反馈数据进行对比，计算出问题命中率；最后再在问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑，并通过模型预测告警逻辑对目标模型的运行情况进行监控。可见，实施这种实施方式，能够对模型进行精确监控，不依赖于监控人员的经验和主观性影响，准确性高。
9.进一步地，所述获取待监控的目标模型，包括：
10.获取第一预设时间段内用户的反馈数据，所述反馈数据是用户在接收到根据预设阈值规则发送的邮件之后根据所述邮件进行排查反馈的反馈数据；
11.根据所述反馈数据确定的样本数据；
12.根据所述样本数据对多个原始模型进行模型训练，得到训练好的多个模型；
13.通过测试集对所述训练好的多个模型进行验证，得到每个所述模型的模型质量参考指标；
14.根据所述模型质量参考指标从所述训练好的多个模型中确定目标模型。
15.进一步地，根据所述样本数据对多个原始模型进行模型训练，得到训练好的多个模型，包括：
16.对所述样本数据进行特征提取，得到特征数据；
17.对所述样本数据进行过采样处理，得到处理样本数据；
18.通过所述处理样本数据对多个原始模型进行模型训练，得到训练好的多个模型。
19.进一步地，在所述获取真实的用户反馈数据之后，所述方法还包括：
20.将所述用户反馈数据加入所述样本数据中，得到更新样本数据；
21.通过所述更新样本数据对所述目标模型进行训练，得到新的目标模型；
22.根据所述新的目标模型对所述目标模型进行模型热更。
23.进一步地，在所述将模型监控的告警逻辑切换为预设的模型预测告警逻辑之后，所述方法还包括：
24.按照预设频率获取针对所述目标模型的实时用户反馈数据；
25.根据所述实时用户反馈数据计算所述目标模型的当前问题命中率；
26.根据所述目标模型的历史问题命中率，判断所述当前问题命中率是否降低；
27.如果是，则将所述模型监控的告警逻辑由所述模型预测告警逻辑切换回所述阈值告警逻辑，并通过所述阈值告警逻辑对所述目标模型的运行情况进行监控。
28.进一步地，所述方法还包括：
29.当判断出所述当前问题命中率降低时，根据所述历史问题命中率，确定最高地问题命中率对应的目标模型为回滚模型；
30.将当前的目标模型替换为所述回滚模型。
31.进一步地，所述通过所述模型预测告警逻辑对所述目标模型的运行情况进行监控，包括：
32.获取第二预设时间段内所述目标模型的表现特征；
33.根据所述表现特征预测所述目标模型的性能数据是否有问题；
34.如果是，则输出告警提示信息。
35.本技术实施例第二方面提供了一种模型监控装置，所述模型监控装置包括：
36.第一获取单元，用于获取待监控的目标模型；
37.试运行单元，用于将所述目标模型正式发布上线进行试运行；
38.第二获取单元，用于获取真实的用户反馈数据；
39.计算单元，用于推理通过所述目标模型对预设的指标数据进行推理，得到推理结果，并将所述推理结果与所述用户反馈数据进行对比，计算出问题命中率；
40.切换单元，用于当所述问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑；
41.监控单元，用于通过所述模型预测告警逻辑对所述目标模型的运行情况进行监控。
42.在上述实现过程中，该模型监控装置可以通过第一获取单元获取待监控的目标模型；通过试运行单元将目标模型正式发布上线进行试运行；通过第二获取单元获取真实的用户反馈数据；通过计算单元推理通过目标模型对预设的指标数据进行推理，得到推理结果，并将推理结果与用户反馈数据进行对比，计算出问题命中率；再通过切换单元在问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑；最后，再通过监控单元来通过模型预测告警逻辑对目标模型的运行情
况进行监控。可见，实施这种实施方式能够对模型进行精确监控，不依赖于监控人员的经验和主观性影响，准确性高。
43.进一步地，所述第一获取单元包括：
44.获取子单元，用于获取第一预设时间段内用户的反馈数据，所述反馈数据是用户在接收到根据预设阈值规则发送的邮件之后根据所述邮件进行排查反馈的反馈数据；
45.确定子单元，用于根据所述反馈数据确定的样本数据；
46.训练子单元，用于根据所述样本数据对多个原始模型进行模型训练，得到训练好的多个模型；
47.验证子单元，用于通过测试集对所述训练好的多个模型进行验证，得到每个所述模型的模型质量参考指标；
48.所述确定子单元，还用于根据所述模型质量参考指标从所述训练好的多个模型中确定目标模型。
49.进一步地，训练子单元包括：
50.特征提取模块，用于对所述样本数据进行特征提取，得到特征数据；
51.采样处理模块，用于对所述样本数据进行过采样处理，得到处理样本数据；
52.模型训练模块，用于通过所述处理样本数据对多个原始模型进行模型训练，得到训练好的多个模型。
53.进一步地，所述模型监控装置还包括：
54.更新单元，用于将所述用户反馈数据加入所述样本数据中，得到更新样本数据；
55.训练单元，用于通过所述更新样本数据对所述目标模型进行训练，得到新的目标模型；
56.所述更新单元，还用于根据所述新的目标模型对所述目标模型进行模型热更。
57.进一步地，所述模型监控装置还包括：
58.所述第二获取单元，还用于按照预设频率获取针对所述目标模型的实时用户反馈数据；
59.所述计算单元，还用于根据所述实时用户反馈数据计算所述目标模型的当前问题命中率；
60.判断单元，用于根据所述目标模型的历史问题命中率，判断所述当前问题命中率是否降低；
61.所述切换单元，还用于在所述当前问题命中率降低的时候，将所述模型监控的告警逻辑由所述模型预测告警逻辑切换回所述阈值告警逻辑；
62.所述监控单元，还用于并通过所述阈值告警逻辑对所述目标模型的运行情况进行监控。
63.进一步地，所述模型监控装置还包括：
64.确定单元，用于在所述当前问题命中率降低的时候，根据所述历史问题命中率，确定最高地问题命中率对应的目标模型为回滚模型；
65.替换单元，用于将当前的目标模型替换为所述回滚模型。
66.进一步地，所述监控单元包括：
67.提取子单元，用于获取第二预设时间段内所述目标模型的表现特征；
68.预测子单元，用于根据所述表现特征预测所述目标模型的性能数据是否有问题；
69.输出子单元，用于在所述目标模型的性能数据有问题时，输出告警提示信息。
70.本技术实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例第一方面中任一项所述的模型监控方法。
71.本技术实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例第一方面中任一项所述的模型监控方法。
附图说明
72.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
73.图1为本技术实施例提供的一种模型监控方法的流程示意图；
74.图2为本技术实施例提供的另一种模型监控方法的流程示意图；
75.图3为本技术实施例提供的一种模型监控装置的结构示意图；
76.图4为本技术实施例提供的另一种模型监控装置的结构示意图。
具体实施方式
77.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
78.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
79.实施例1
80.请参看图1，图1为本技术实施例提供了一种模型监控方法的流程示意图。其中，该模型监控方法包括：
81.s101、获取待监控的目标模型。
82.s102、将目标模型正式发布上线进行试运行。
83.本实施例中，模型训练好之后会正式发布上线进行试运行，其中原来的告警逻辑不变(仍然是根据初始阈值来告警)。
84.s103、获取真实的用户反馈数据。
85.s104、通过目标模型对预设的指标数据进行推理，得到推理结果，并将推理结果与用户反馈数据进行对比，计算出问题命中率。
86.本实施例中，该方法可以使用每日的指标数据用新上线的模型进行推理，推理结果为是/否告警。然后，该方法将推理结果数据落库，并与生产真实的用户的反馈数据进行对比，计算出问题命中率(模型命中问题次数/模型总推理次数)。
87.s105、当问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑。
88.s106、通过模型预测告警逻辑对目标模型的运行情况进行监控。
89.本实施例中，该方法可以通过循环上述的试运行过程直到问题命中率达到预期目标(模型预测准确率高于阈值告警准确率)。
90.在本实施例中，此时告警逻辑正式切为通过模型预测是否进行告警。
91.本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
92.在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
93.可见，实施本实施例所描述的模型监控方法，能够使用模型预测效果，从而省去业务人员针对同一类模型配置指标数据的重复工作量，避免了指标配置相关的难处，并能够在一定程度上避免因为阈值设置不恰当而产生的大量误报的垃圾邮件和短信。同时，该方法还能够基于每日的数据闭环和模型热更，不断地提高模型的准确率；其中，该方法能够通过邮件反馈的方式自动扩充样本标注，从而形成上述的数据闭环。另外，该方法还能够通过加入了时间因素和流量因素，使得同一个模型对不同位置的流量都能很好的进行针对性预警，在流量发生变化时，该方法也会通过模型热更自动调整模型参数，不再需要人工去修改阈值。
94.实施例2
95.请参看图2，图2为本技术实施例提供了一种模型监控方法的流程示意图。其中，该模型监控方法包括：
96.s201、获取第一预设时间段内用户的反馈数据，反馈数据是用户在接收到根据预设阈值规则发送的邮件之后根据邮件进行排查反馈的反馈数据。
97.本实施例中，该业务流程闭环如下：模型上线初期，会设置初始阈值，大量模型根据指标的固定阈值和规则发送邮件，让用户排查后反馈预警是否有效，是否真的有故障，反馈数据作为标注数据，如此运行一段时间，收集样本数据。
98.在本实施例中，该方法在样本量达到一定数量级的时候才开始训练模型。其中，样本主要来源于生产已经在运行的模型监控数据：未触发告警邮件或已经触发告警邮件但是未确认异常的为正样本；已触发告警邮件并且确认为异常的为负样本。
99.s202、根据反馈数据确定的样本数据。
100.s203、对样本数据进行特征提取，得到特征数据。
101.本实施例中，该方法可以提取样本中的特征。其中，该特征工程阶段包括缺失值处理，访问流量标准化，业务位置分箱处理，规则进行特征编码处理。该步骤可以得到可使用的特征数据。
102.s204、对样本数据进行过采样处理，得到处理样本数据。
103.本实施例中，因为生产模型运行情况，正常时段居多，异常时间比较少，可能会有样本不均衡的情况，所以使用过采样方法处理样本，利用数据增强技等术扩展一些负样本，达到初步的样本均衡，然后把样本按时段分为7:3的训练集和测试集，假设有一个月的数据，那前20天的数据用作训练，后10天数据用作测试。
104.s205、通过处理样本数据对多个原始模型进行模型训练，得到训练好的多个模型。
105.s206、通过测试集对训练好的多个模型进行验证，得到每个模型的模型质量参考
指标。
106.本实施例中，该方法可以使用处理后的样本数据进行模型训练。
107.在本实施例中，模型选择方面，该方法主要是选择对于不均衡比较不敏感的模型，比如决策树或xgboost算法，训练好后使用测试集进行验证模型，使用精确率，召回率，f1，auc指标作为模型质量参考指标，在多模型中选择效果较好的模型，若都不达标，继续通过特征工程处理数据或进行参数优化，直到模型达到预期效果。
108.s207、根据模型质量参考指标从训练好的多个模型中确定目标模型。
109.s208、将目标模型正式发布上线进行试运行。
110.s209、获取真实的用户反馈数据。
111.作为一种可选的实施方式，在获取真实的用户反馈数据之后，方法还包括：将用户反馈数据加入样本数据中，得到更新样本数据；
112.通过更新样本数据对目标模型进行训练，得到新的目标模型；
113.根据新的目标模型对目标模型进行模型热更。
114.本实施例中，该方法可以使用t 1用户反馈后的数据加入训练集再进行模型训练，测试通过后进行模型热更。
115.s210、通过目标模型对预设的指标数据进行推理，得到推理结果，并将推理结果与用户反馈数据进行对比，计算出问题命中率。
116.s211、当问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑。
117.作为一种可选的实施方式，在将模型监控的告警逻辑切换为预设的模型预测告警逻辑之后，方法还包括：
118.按照预设频率获取针对目标模型的实时用户反馈数据；
119.根据实时用户反馈数据计算目标模型的当前问题命中率；
120.根据目标模型的历史问题命中率，判断当前问题命中率是否降低；
121.如果是，则将模型监控的告警逻辑由模型预测告警逻辑切换回阈值告警逻辑，并通过阈值告警逻辑对目标模型的运行情况进行监控。
122.作为一种进一步可选的实施方式，方法还包括：
123.当判断出当前问题命中率降低时，根据历史问题命中率，确定最高地问题命中率对应的目标模型为回滚模型；
124.将当前的目标模型替换为回滚模型。
125.本实施例中，该方法可以使用用户反馈数据进行模型热更，并且在生产上离线计算问题命中率。实时监控命中率是否有下降，能够在命中率下降时回滚模型或切回阈值告警。
126.s212、获取第二预设时间段内目标模型的表现特征。
127.s213、根据表现特征预测目标模型的性能数据是否有问题，若是，则执行步骤s214；若否，则结束本流程。
128.s214、输出告警提示信息。
129.本实施例中，该方法可以利用过去一段时间内模型的表现特征，来预测当前模型的表现是否正常。
130.在本实施例中，选用模型的表现特征包括，访问流量，当日模型指标，指标较前日浮动值，指标前7日浮动均值，模型所处业务位置，模型更新时间等。采用树模型决策树或xgboost来训练模型，预测当日模型性能数据是否有问题，实现模型精细化监控预警。
131.本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
132.在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
133.可见，实施本实施例所描述的模型监控方法，能够使用模型预测效果，从而省去业务人员针对同一类模型配置指标数据的重复工作量，避免了指标配置相关的难处，并能够在一定程度上避免因为阈值设置不恰当而产生的大量误报的垃圾邮件和短信。同时，该方法还能够基于每日的数据闭环和模型热更，不断地提高模型的准确率；其中，该方法能够通过邮件反馈的方式自动扩充样本标注，从而形成上述的数据闭环。另外，该方法还能够通过加入了时间因素和流量因素，使得同一个模型对不同位置的流量都能很好的进行针对性预警，在流量发生变化时，该方法也会通过模型热更自动调整模型参数，不再需要人工去修改阈值。
134.实施例3
135.请参看图3，图3为本技术实施例提供的一种模型监控装置的结构示意图。如图3所示，该模型监控装置包括：
136.第一获取单元310，用于获取待监控的目标模型；
137.试运行单元320，用于将目标模型正式发布上线进行试运行；
138.第二获取单元330，用于获取真实的用户反馈数据；
139.计算单元340，用于推理通过目标模型对预设的指标数据进行推理，得到推理结果，并将推理结果与用户反馈数据进行对比，计算出问题命中率；
140.切换单元350，用于当问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑；
141.监控单元360，用于通过模型预测告警逻辑对目标模型的运行情况进行监控。
142.本实施例中，对于模型监控装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
143.可见，实施本实施例所描述的模型监控装置，能够使用模型预测效果，从而省去业务人员针对同一类模型配置指标数据的重复工作量，避免了指标配置相关的难处，并能够在一定程度上避免因为阈值设置不恰当而产生的大量误报的垃圾邮件和短信。同时，该装置还能够基于每日的数据闭环和模型热更，不断地提高模型的准确率；其中，该装置能够通过邮件反馈的方式自动扩充样本标注，从而形成上述的数据闭环。另外，该装置还能够通过加入了时间因素和流量因素，使得同一个模型对不同位置的流量都能很好的进行针对性预警，在流量发生变化时，该装置也会通过模型热更自动调整模型参数，不再需要人工去修改阈值。
144.实施例4
145.请参看图4，图4为本技术实施例提供的一种模型监控装置的结构示意图。如图4所示，该模型监控装置包括：
146.第一获取单元310，用于获取待监控的目标模型；
147.试运行单元320，用于将目标模型正式发布上线进行试运行；
148.第二获取单元330，用于获取真实的用户反馈数据；
149.计算单元340，用于推理通过目标模型对预设的指标数据进行推理，得到推理结果，并将推理结果与用户反馈数据进行对比，计算出问题命中率；
150.切换单元350，用于当问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑；
151.监控单元360，用于通过模型预测告警逻辑对目标模型的运行情况进行监控。
152.进一步地，第一获取单元310包括：
153.获取子单元311，用于获取第一预设时间段内用户的反馈数据，反馈数据是用户在接收到根据预设阈值规则发送的邮件之后根据邮件进行排查反馈的反馈数据；
154.确定子单元312，用于根据反馈数据确定的样本数据；
155.训练子单元313，用于根据样本数据对多个原始模型进行模型训练，得到训练好的多个模型；
156.验证子单元314，用于通过测试集对训练好的多个模型进行验证，得到每个模型的模型质量参考指标；
157.确定子单元312，还用于根据模型质量参考指标从训练好的多个模型中确定目标模型。
158.进一步地，训练子单元313包括：
159.特征提取模块，用于对样本数据进行特征提取，得到特征数据；
160.采样处理模块，用于对样本数据进行过采样处理，得到处理样本数据；
161.模型训练模块，用于通过处理样本数据对多个原始模型进行模型训练，得到训练好的多个模型。
162.进一步地，模型监控装置还包括：
163.更新单元370，用于将用户反馈数据加入样本数据中，得到更新样本数据；
164.训练单元380，用于通过更新样本数据对目标模型进行训练，得到新的目标模型；
165.更新单元370，还用于根据新的目标模型对目标模型进行模型热更。
166.进一步地，模型监控装置还包括：
167.第二获取单元330，还用于按照预设频率获取针对目标模型的实时用户反馈数据；
168.计算单元340，还用于根据实时用户反馈数据计算目标模型的当前问题命中率；
169.判断单元390，用于根据目标模型的历史问题命中率，判断当前问题命中率是否降低；
170.切换单元350，还用于在当前问题命中率降低的时候，将模型监控的告警逻辑由模型预测告警逻辑切换回阈值告警逻辑；
171.监控单元360，还用于并通过阈值告警逻辑对目标模型的运行情况进行监控。
172.进一步地，模型监控装置还包括：
173.确定单元400，用于在当前问题命中率降低的时候，根据历史问题命中率，确定最高地问题命中率对应的目标模型为回滚模型；
174.替换单元410，用于将当前的目标模型替换为回滚模型。
175.进一步地，监控单元360包括：
176.提取子单元361，用于获取第二预设时间段内目标模型的表现特征；
177.预测子单元362，用于根据表现特征预测目标模型的性能数据是否有问题；
178.输出子单元363，用于在目标模型的性能数据有问题时，输出告警提示信息。
179.本实施例中，对于模型监控装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
180.可见，实施本实施例所描述的模型监控装置，能够使用模型预测效果，从而省去业务人员针对同一类模型配置指标数据的重复工作量，避免了指标配置相关的难处，并能够在一定程度上避免因为阈值设置不恰当而产生的大量误报的垃圾邮件和短信。同时，该装置还能够基于每日的数据闭环和模型热更，不断地提高模型的准确率；其中，该装置能够通过邮件反馈的方式自动扩充样本标注，从而形成上述的数据闭环。另外，该装置还能够通过加入了时间因素和流量因素，使得同一个模型对不同位置的流量都能很好的进行针对性预警，在流量发生变化时，该装置也会通过模型热更自动调整模型参数，不再需要人工去修改阈值。
181.本技术实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例1或实施例2中的模型监控方法。
182.本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例1或实施例2中的模型监控方法。
183.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
184.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
185.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
186.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
187.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
188.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。