协助模型优化的方法及装置与流程

1.本发明涉及模型优化技术领域，具体涉及一种协助模型优化的方法及装置。


背景技术：

2.目前，随着人工智能的技术理论、算力、应用场景等核心要素的不断进步和完善，人工智能进入快速发展期。人工智能的基础是机器学习和大数据，机器学习是通过多层非线性的特征学习和分层特征提取，对图像、声音等数据进行预测的计算机算法，也即模型。
3.模型的训练通常是用特定领域有标注的数据训练得到，由于训练样本及领域等问题，有些模型在实际应用中可能会不理想，无法适应多种应用环境及任务的需要。为此，后续还需要对已上线使用的模型做进一步的优化，以提升模型性能，使其更好地适应不同的应用场景。
4.目前，针对已上线的模型的优化，主要是收集更多的训练集和测试集来覆盖更多的业务场景。比如，针对具体业务、用户的问题反馈等信息，汇总后经由研发筛选出待优化场景，随后进行相关场景的模型优化。这种优化方法不仅存在一定的滞后性，影响用户体验；部分问题的描述不清晰，排查困难等，这些问题都会影响模型的优化效果。


技术实现要素：

5.本发明实施例提供一种协助模型优化的方法及装置，以快速、有效地推动模型的优化，进而提升模型性能及效果。
6.一方面，本发明实施例提供一种协助模型优化的方法，所述方法包括：
7.实时监测各接口，在所述接口调用待优化模型时，确定当前调用所述待优化模型的实际应用场景；
8.确定并记录所述实际应用场景中的异常参数；
9.生成对应所述接口的监测报告，所述监测报告包括一定时间内记录的异常参数。
10.可选地，所述方法还包括：记录各接口调用所述待优化模型的历史信息；
11.所述确定所述实际应用场景中的异常参数包括：根据所述接口调用所述待优化模型的历史数据确定所述实际应用场景中的异常参数。
12.可选地，所述记录各接口调用待优化模型的历史信息包括：在所述接口每次调用所述待优化模型时，记录各接口调用所述待优化模型的次数，并确定所述待优化模型的实际应用场景与所述待优化模型的适用场景是否一致；记录异常场景出现次数、以及异常参数。
13.可选地，所述确定所述待优化模型的实际应用场景与所述模型的适用场景是否一致包括：获取所述接口调用所述待优化模型时的传输参数，所述传输参数包括：输入参数、和/或输出参数；根据所述传输参数确定所述待优化模型的实际应用场景与所述待优化模型的适用场景是否一致。
14.可选地，所述根据所述传输参数确定所述待优化模型的实际应用场景与所述待优
化模型的适用场景是否一致包括：根据所述传输参数的以下任意一种或多种特征确定所述待优化模型的实际应用场景与所述待优化模型的适用场景是否一致：参数类型、参数数量、参数数值范围、参数是否为空。
15.可选地，所述接口调用所述待优化模型的历史数据包括：所述接口近期对所述待优化模型的调用量、异常场景的调用占比、异常参数。
16.可选地，所述根据所述接口调用所述待优化模型的历史数据确定所述实际应用场景中的异常参数包括：根据所述接口调用所述待优化模型的历史数据确定各参数的告警阈值；根据各参数的告警阈值确定所述实际应用场景中的异常参数。
17.可选地，所述方法还包括：根据对应各接口的监测报告中的异常参数生成训练样本；利用所述训练样本对所述待优化模型进行优化。
18.可选地，所述根据对应各接口的监测报告中的异常参数生成训练样本包括：根据对应各接口的监测报告确定不同应用场景的优先级；根据对应各接口的监测报告中优先级较高的应用场景中的异常参数生成训练样本。
19.另一方面，本发明实施例还提供一种协助模型优化的装置，所述装置包括：
20.监测模块，用于实时监测各接口，在所述接口调用待优化模型时，确定当前调用所述待优化模型的实际应用场景；
21.判断模块，用于确定所述实际应用场景中的异常参数；
22.记录模块，用于记录所述异常参数；
23.报告生成模块，用于生成对应所述接口的监测报告，所述监测报告包括一定时间内记录的异常参数。
24.可选地，所述记录模块，还用于记录各接口调用待优化模型的历史信息；所述判断模块，具体用于根据所述接口调用所述待优化模型的历史数据确定所述实际应用场景中的异常参数。
25.可选地，所述装置还包括：训练样本生成模块，用于根据对应各接口的监测报告中的异常参数生成训练样本；优化处理模块，用于利用所述训练样本对所述待优化模型进行优化。
26.可选地，所述装置还包括：优先级确定模块，用于根据对应各接口的监测报告确定不同应用场景的优先级；所述训练样本生成模块，具体用于根据对应各接口的监测报告中优先级较高的应用场景中的异常参数生成训练样本。
27.本发明实施例提供的协助模型优化的方法及装置，通过监测调用待优化模型的各接口，对上线的待优化模型进行数据监控，实时筛选出实际应用场景中的异常参数并记录，根据一定时间内记录的异常参数生成对应相应接口的监测报告，进而可以将监测报告及时反馈至相关研发，协助研发人员快速定位问题，推动对该模型的优化。由于异常参数的采集、记录、以及监测报告的生成都是通过对接口的实时监测自动完成，因此数据的时效性、完整性较好，可以使待优化模型在实际应用中存在的问题更清晰、有效，并且可以使问题得到有效、快速地反馈，推动模型的持续优化，提升模型性能和效果。
28.进一步地，本发明方案还可根据对应各接口的监测报告确定不同应用场景的优先级，进而可以优先针对高优先级的应用场景中的问题对模型进行优化，更好地满足对模型的实际应用需求。
附图说明
29.图1是本发明实施例协助模型优化的方法的一种流程图；
30.图2是本发明实施例协助模型优化的方法的另一种流程图；
31.图3是本发明实施例协助模型优化的方法的另一种流程图；
32.图4是本发明实施例协助模型优化的装置的一种结构示意图；
33.图5是本发明实施例协助模型优化的装置的另一种结构示意图；
34.图6是本发明实施例协助模型优化的装置的另一种结构示意图。
具体实施方式
35.为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
36.在现有技术中，对于模型的优化所需的训练集中的数据采集大都依赖于问题业务、用户反馈等信息，由此会带来一系列的问题。针对这些问题，本发明实施例提供一种协助模型优化的方法及装置，通过监测调用待优化模型的各接口，对上线的待优化模型进行数据监控，实时筛选出实际应用场景中的异常参数并记录，根据一定时间内记录的异常参数生成对应相应接口的监测报告，进而可以将监测报告及时反馈至相关研发，协助研发人员快速定位问题，推动对该模型的优化。
37.如图1所示，是本发明实施例协助模型优化的方法的一种流程图，包括以下步骤：
38.步骤101，实时监测各接口，在所述接口调用待优化模型时，确定当前调用所述待优化模型的实际应用场景。
39.步骤102，确定并记录所述实际应用场景中的异常参数。
40.具体地，可以根据所述接口调用所述待优化模型的历史数据确定所述实际应用场景中的异常参数。也就是说，在各接口每次调用所述待优化模型时，都要记录相关的信息，比如，记录各接口调用所述待优化模型的次数，并确定所述待优化模型的实际应用场景与所述待优化模型的适用场景是否一致；记录异常场景出现次数、以及异常参数。当然，根据实际需要，还可以有其它数据，对此本发明实施例不做限定。记录的这些信息，对于后续所述接口对该待优化模型的调用来说，即为该接口调用该待优化模型的历史信息。
41.其中，所述异常参数可以包括正常场景下的异常参数(比如正常场景下因模型自身问题出现的异常参数)、以及异常场景下的异常参数(比如因模型自身适用场景受限的问题出现的异常参数)。如果所述待优化模型的实际应用场景与所述待优化模型的适用场景一致，则确定实际应用场景为正常场景，否则，确定实际应用场景为异常场景。
42.需要说明的是，在确定待优化模型的实际应用场景与其适用场景是否一致时，可以根据调用该模型的接口的传输参数来确定，所述传输参数包括输入参数、和/或输出参数。具体地，可以根据参数的一种或多种特征来判断，所述特征可以包括但不限于：参数的数量、类型、参数是否为空、参数的数值范围等，判断调用接口传输参数的特征与模型适用场景要求的特征是否一致，如果一致，则确定模型的实际应用场景与其适用场景一致；否则表明该实际应用场景为异常场景。当然，对应不同的模型，判断方式可能会有所不同，对此本发明实施例不做限定。而且，根据各模型的不同业务需求，还可进一步综合业务调用方的一些检验逻辑来判断，对此同样不做限定。
43.在确定异常参数时，可以根据模型的输出结果即输出参数来确定。比如，对于ocr(optical character recognition，光学字符识别)模型，调用该模型的业务是用户信用评分，即利用ocr模型对用户信用评分进行识别，该业务要求识别结果即输出参数为非空、并且为数字类型，如果ocr模型针对信用评分的输出参数为中文、或者英文、或者空字符等，即可判断模型识别错误，相应的输出参数即为异常参数。
44.当然，上述异常参数的确定仅仅是针对ocr模型举例说明，对于其它模型，还可以有更多的判断方式，需要根据各具体模型自身的特点来确定，对此本发明实施例不做限定。
45.在本发明实施例中，接口调用所述待优化模型的历史数据可以包括但不限于以下数据：所述接口近期对所述待优化模型的调用量、异常场景的调用占比、异常参数。
46.其中，所述近期是指最近的一段时间，时间段的具体长度可以根据应用需要来设定，比如一周、一个月等，对此不做限定。
47.其中，可以将近期内记录的该接口调用所述待优化模型的次数作为对所述待优化模型的调用量；所述异常场景的调用占比可以根据统计数据计算得到，即近期内该接口调用所述待优化模型时的异常场景的次数与调用所述待优化模型的总次数的比值。
48.上述历史数据可在后续该接口调用所述待优化模型时，作为确定异常参数的参考信息。具体地，可以根据所述接口调用所述待优化模型的历史数据确定各参数的告警阈值；根据各参数的告警阈值确定所述实际应用场景中的异常参数。比如，参考历史数据得到某个参数在5分钟内出现10条异常属于正常情况，超过10条则为异常情况，则对应该参数的告警阈值为10；若该参数在5分钟内出现异常情况大于10条，则记录该参数的错误数据。
49.需要说明的是，对应不同的接口，调用所述待优化模型的实际应用场景可能会有不同，因此记录的历史信息也会不同。因此告警阈值的确定需要对应各接口分别计算。
50.另外，在确定告警阈值时，也可以综合考虑所述历史数据中的异常参数的占比，比如，业务要求某场景的通过率为99％，那么在历史数据中，该类场景中异常数据应小于等于1％；若有的业务对该场景没有明确规定，可统计其历史数据中的投诉量、调用量、异常量，如该场景过去一个月的总调用量10000，异常量200，相关投诉量10，异常占比为2％，因为有投诉，该异常数是不满足要求的，那么告警阈值可设置为2％以下。
51.另外，根据线上数据的存储方式不同，可以采用不同的方式来监控上述异常参数，比如采用数据库的存储方式时，所述异常参数可以用sql语句来监控；采用log日志的存储方式时，所述异常参数可以用python脚本来监控。当然，在此只是列举了两种常见的数据存储方式可用的监控方法，本发明实施例不限定数据的存储方法，只要能方便实现数据监控即可。
52.步骤103，生成对应所述接口的监测报告，所述监测报告包括一定时间内记录的异常参数。
53.所述监测报告可以采用html格式，而且可以标记监测报告对应的监控开始时间、结束时间等。当然，所述监测报告也可采用其它格式，只要能清晰记录监测的相关数据即可。
54.所述监测报告中除了上述异常参数之外，还可以包括但不限于以下任意一项或多项信息：userid(用户标识)、请求时间、输入参数、输出参数等。
55.进一步地，还可将所述监测报告存入本地或远程数据库，以方便在需要时被查看
或调用。
56.本发明实施例提供的协助模型优化的方法，通过监测调用待优化模型的各接口，对上线的待优化模型进行数据监控，实时筛选出实际应用场景中的异常参数并记录，根据一定时间内记录的异常参数生成对应相应接口的监测报告，进而可以将监测报告及时反馈至相关研发，协助研发人员快速定位问题，推动对该模型的优化。由于异常参数的采集、记录、以及监测报告的生成都是通过对接口的实时监测自动完成，因此数据的时效性、完整性较好，可以使待优化模型在实际应用中存在的问题更清晰、有效，并且可以使问题得到有效、快速地反馈，推动模型的持续优化，提升模型性能和效果。
57.进一步地，在本发明协助模型优化的方法另一实施例中，还可利用上述监测报告，对所述待优化模型进行优化。
58.如图2所示，是本发明实施例协助模型优化的方法的另一种流程图。
59.其中，步骤201至步骤203与图1中的步骤101至步骤103相同，在此不再赘述。除此之外，图2所示实施例还包括以下步骤：
60.步骤204，根据对应各接口的监测报告中的异常参数生成训练样本。
61.需要说明的是，训练样本的具体信息可以根据待优化模型训练时所需要的数据样本包含的信息来确定，对此本发明实施例不做限定。
62.步骤205，利用所述训练样本对所述待优化模型进行优化。
63.在对所述待优化模型进行优化训练时，可以单独使用根据监测报告中的异常参数生成的样本数据对所述待优化模型进行优化训练，也可以将这些样本数据加入之前的样本集中，与之前的样本数据一起对所述待优化模型进行优化训练，对此本发明实施例不做限定。
64.进一步地，由于本发明方案可以针对多个不同的接口分别进行监测，得到对应各接口的监测报告，从而可以得到所述待优化模型在多种不同应用场景的监测结果。相应地，在本发明协助模型优化的方法另一实施例中，还可会对不同应用场景进行区分，对优先级较高的应用场景的监测报告及时反馈，从而加快对所述模型的优化，使所述模型在高优先级的应用场景下能够具有更好的性能，提升用户对所述模型的使用体验。
65.如图3所示，是本发明实施例协助模型优化的方法的另一种流程图，包括以下步骤：
66.步骤301，实时监测各接口，在所述接口调用待优化模型时，确定当前调用所述待优化模型的实际应用场景。
67.步骤302，确定并记录所述实际应用场景中的异常参数。
68.步骤303，生成对应所述接口的监测报告，所述监测报告包括一定时间内记录的异常参数。
69.步骤304，根据对应各接口的监测报告确定不同应用场景的优先级。
70.比如，可以根据应用场景的占比来确定不同应用场景的优先级，占比越大，优先级越高；再比如，可以根据应用场景中的异常参数占比来确定不同应用场景的优先级，占比越大，优先级越高。当然，也可以综合考虑多种因素来确定各应用场景的优先级，对此本发明实施例不做限定。
71.步骤305，根据对应各接口的监测报告中优先级较高的应用场景中的异常参数生
成训练样本。
72.步骤306，利用所述训练样本对所述待优化模型进行优化。
73.同样，在对所述待优化模型进行优化训练时，可以单独使用根据监测报告中的异常参数生成的样本数据对所述待优化模型进行优化训练，也可以将这些样本数据加入之前的样本集中，与之前的样本数据一起对所述待优化模型进行优化训练，对此本发明实施例不做限定。
74.需要说明的是，对模型的优化周期也可以根据实际需要及对各接口的监测结果来确定，而且还可以动态调整。比如，近期所述待优化模型在高优先级场景中的错误较多，则缩短优化周期；如果只是在一些较少应用的场景中错误较多，而在一些常用的场景中错误很少，则可以延长优化周期。对此可以根据具体模型及其应用场景的多少、重要性等来确定，本发明实施例不做限定。
75.可见，利用本发明施例提供的协助模型优化的方法，不仅可以实时、自动完成模型在实际应用场景中异常参数的采集、记录及反馈，而且，本发明方案还可根据对应各接口的监测报告确定不同应用场景的优先级，进而可以优先针对高优先级的应用场景中的问题对模型进行优化，更好地满足对模型的实际应用需求。
76.相应地，本发明实施例还提供一种协助模型优化的装置，如图4所示，是该装置的一种结构示意图。
77.在该实施例中，协助模型优化的装置400包括以下各模块：
78.监测模块401，用于实时监测各接口，在所述接口调用待优化模型时，确定当前调用所述待优化模型的实际应用场景；
79.判断模块402，用于确定所述实际应用场景中的异常参数；
80.记录模块403，用于记录所述异常参数；
81.报告生成模块404，用于生成对应所述接口的监测报告，所述监测报告包括一定时间内记录的异常参数。
82.上述记录模块403还用于记录各接口调用待优化模型的历史信息，所述历史信息的内容以及其中一些数据的判断、记录等方式可参照前面本发明方法实施例中的描述，在此不再赘述。
83.相应地，所述判断模块402可以根据所述接口调用所述待优化模型的历史数据确定所述实际应用场景中的异常参数。
84.利用本发明实施例提供的协助模型优化的装置，可以实时监测各接口对待优化模型的调用情况，并生成对应各接口的监测报告，进而可以将监测报告及时反馈至相关研发，协助研发人员快速定位问题，推动对该模型的优化。由于异常参数的采集、记录、以及监测报告的生成都是通过对接口的实时监测自动完成，因此数据的时效性、完整性较好，可以使待优化模型在实际应用中存在的问题更清晰、有效，并且可以使问题得到有效、快速地反馈，推动模型的持续优化，提升模型性能和效果。
85.如图5所示，是本发明实施例协助模型优化的装置的另一种结构示意图。
86.与图4所示实施例不同的是，在该实施例中，协助模型优化的装置400还可进一步包括：训练样本生成模块501和优化处理模块502。其中：
87.训练样本生成模块501用于根据对应各接口的监测报告中的异常参数生成训练样
本；
88.优化处理模块502用于利用所述训练样本对所述待优化模型进行优化。
89.需要说明的是，在对所述待优化模型进行优化训练时，可以单独使用根据监测报告中的异常参数生成的样本数据对所述待优化模型进行优化训练，也可以将这些样本数据加入之前的样本集中，与之前的样本数据一起对所述待优化模型进行优化训练，对此本发明实施例不做限定。
90.如图6所示，是本发明实施例协助模型优化的装置的另一种结构示意图。
91.与图5所示实施例不同的是，在该实施例中，协助模型优化的装置400还可进一步包括：优先级确定模块503，用于根据对应各接口的监测报告确定不同应用场景的优先级。
92.相应地，在该实施例中，所述训练样本生成模块501可以根据对应各接口的监测报告中优先级较高的应用场景中的异常参数生成训练样本。
93.本发明施例提供的协助模型优化的装置，不仅可以实时、自动完成模型在实际应用场景中异常参数的采集、记录及反馈，而且，本发明方案还可根据对应各接口的监测报告确定不同应用场景的优先级，进而可以优先针对高优先级的应用场景中的问题对模型进行优化，更好地满足对模型的实际应用需求。
94.在具体实施中，关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。
95.例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
96.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1或图2或图3对应实施例提供的方法的步骤。
97.本发明实施例还提供了另一种协助模型优化的装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图1或图2或图3对应实施例所提供的方法的步骤。
98.本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图1或图2或图3对应实施例所提供的方法的步骤。
99.在本发明实施例中，所述处理器可以为中央处理单元(central processing unit，简称cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
100.还应理解，本发明实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称rom)、可编程只读存储器(programmable rom，简称prom)、可擦除可编程只读存储器(erasable prom，简称eprom)、电可擦除可编程只读存储器(electrically eprom，简称eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称ram)可用，例如静态随机存取存储器(static ram，简称sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram，简称sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，简称ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，简称esdram)、同步连接动态随机存取存储器(synchlink dram，简称sldram)和直接内存总线随机存取存储器(direct rambus ram，简称dr ram)。
101.应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
102.本发明实施例中出现的“多个”是指两个或两个以上。
103.本发明实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本发明实施例中对设备个数的特别限定，不能构成对本发明实施例的任何限制。
104.本发明实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，以实现设备间的通信，本发明实施例对此不做任何限定。
105.虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。