线上模型的更新方法、装置及电子设备与流程

1.本公开涉及人工智能技术领域，尤其涉及一种线上模型的更新方法、装置及电子设备。


背景技术：

2.相关技术中，在各种常用的机器学习框架中，对于机器学习模型的更新迭代，都提供了比较成熟的离线并行训练环境。传统上一般都是先训练离线模型，然后在线上环境中部署使用。将离线训练好的模型部署到线上环境中后，模型参数被固定，不会再变动，导致线上模型无法进一步改进。


技术实现要素：

3.本公开提供一种线上模型的更新方法、装置及系统，以至少解决相关技术中线上模型无法进一步改进的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种线上模型的更新方法，包括：根据针对线上模型的用户数据获取更新训练数据；根据所述更新训练数据训练所述线上模型，以获取更新模型；根据普适场景下的测试数据测试所述更新模型的预测准确率，根据所述预测准确率将所述更新模型上线。
4.可选的，所述根据普适场景下的测试数据测试所述更新模型的预测准确率具体包括：将所述普适场景下的测试数据输入所述更新模型进行推理运算以生成预测结果，其中，所述普适场景下的测试数据包括基础测试数据和预测测试数据；对比所述预测结果和所述普适场景下的测试数据对应的标签数据以获取所述预测准确率，其中所述普适场景下的测试数据对应的标签数据包括所述基础测试数据对应的标签数据和预测测试数据对应的标签数据。
5.可选的，所述基础测试数据为预设的数据，所述基础测试数据对应的标签数据为预先设置好的标签数据，所述预测测试数据为当前更新周期内的更新训练数据。
6.可选的，所述预测测试数据对应的标签数据的获取方法包括：将所述预测测试数据输入预先训练好的预测模型进行推理运算，将生成的结果作为所述预测测试数据对应的标签数据。
7.可选的，所述预测测试数据对应的标签数据的获取方法还包括：将所述预测测试数据输入当前更新周期之前第m个更新周期内的线上模型进行推理运算，将生成的结果作为所述预测测试数据对应的标签数据，其中，m为正整数。
8.可选的，所述预测测试数据对应的标签数据的获取方法还包括：将当前更新周期之前第n个更新周期内的更新训练数据作为所述预测测试数据对应的标签数据，其中，n为正整数。
9.可选的，所述根据所述预测准确率将所述更新模型上线具体包括：响应于所述预测准确率大于或等于预设的准确率阈值，将所述更新模型上线；响应于所述预测准确率小于所述准确率阈值，重新根据所述更新训练数据训练所述线上模型。
10.可选的，所述根据针对线上模型的用户数据获取更新训练数据，包括：采集输入至所述线上模型的用户数据，对所述用户数据进行清洗以获取更新训练数据。
11.可选的，所述根据所述更新训练数据训练所述线上模型，以获取更新模型，包括：将所述更新训练数据通过消息队列发送给训练模块，并指示所述训练模块根据所述更新训练数据训练所述线上模型中的模型参数直到对应的损失函数收敛；根据更新后的所述模型参数构建所述更新模型。
12.根据本公开实施例的第二方面，提供一种线上模型的更新装置，包括：数据获取模块，用于根据针对线上模型的用户数据获取更新训练数据；模型更新模块，用于根据所述更新训练数据训练所述线上模型，以获取更新模型；模型测试模块，用于根据普适场景下的测试数据测试所述更新模型的预测准确率，根据所述预测准确率将所述更新模型上线。
13.根据本公开实施例的第三方面，提供一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器;其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的方法。
14.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上述第一方面中任一项所述的方法。
15.根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述第一方面中任一项所述的方法。
16.本公开的实施例提供的技术方案至少带来以下有益效果：通过更新训练数据训练线上模型，以获取更新模型并通过普适场景下的测试数据决定是否将更新模型上线，实现了根据真实的用户反馈数据来更新线上模型，避免线上模型的滞后导致预测结果准确度降低，提高了线上模型的准确性。
17.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
18.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
19.图1是根据一示例性实施例示出的一种线上模型的更新方法的流程图。
20.图2是根据一示例性实施例示出的一种线上模型的更新方法的流程图。
21.图3是根据一示例性实施例示出的一种线上模型的更新方法的流程图。
22.图4是根据一示例性实施例示出的一种线上模型的更新系统的结构图。
23.图5是根据一示例性实施例示出的一种线上模型的更新方法的流程图。
24.图6是根据一示例性实施例示出的一种线上模型的更新装置的框图。
25.图7是根据一示例性实施例示出的一种装置的框图。
26.图8是根据一示例性实施例示出的一种装置的框图。
具体实施方式
27.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
28.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或 描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的本公开的一些方面相一致的装置和方法的例子。
29.需要说明的是，本公开所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等），均为经用户授权或者经过各方充分授权的信息。
30.本公开所述的线上模型为机器学习模型，所述线上模型的更新迭代多采用以下几种方式进行：一种方式是通过互联网上的众包业务来进行数据标注，也就是说，由众包平台上的数据标记员对数据进行标记，得到大量的带标签数据，以供机器学习系统进行模型训练。这种模型训练是离线进行的，训练完成后定期更新线上模型，从而提高线上模型的效果。这种方式的问题在于，众包平台上的每个数据标记员对标注标准的理解不一致，这种标记也并不是用户的真实反馈，因此数据准确性差，并且难以保障及时性。
31.另一种方式是根据线上反馈数据，实时快速地进行模型调整，使得模型及时反映线上的变化。这种方式可以及时对用户的行为数据进行反馈，并且重新生成新的模型。但是这种方式也存在一些问题，例如，这样训练得到算法模型在推理运算中得到的预测结果在当前场景中更为准确。但是在一些普适场景中预测结果的准确度可能较差。
32.图1是根据一示例性实施例示出的一种线上模型的更新方法的流程图，如图1所示，所述方法包括以下步骤。
33.步骤101，根据针对线上模型的用户数据获取更新训练数据；本技术实施例中，所述线上模型为机器学习模型，包括但不限于逻辑回归(lr)模型、支持向量机(svm)、梯度提升决策树或深度神经网络。所述线上模型在离线状态下通过经过训练后部署到线上，并可以接收用户数据，根据用户数据进行推理运算以生成预测结果。
34.但是用户数据是不断更新变化的，为了使线上模型适应用户数据的变化，需要对线上模型进行迭代。迭代训练所用的数据来源为：对输入所述线上模型的用户数据进行处理获取的更新训练数据。根据所述更新训练数据可以训练所述线上模型，对所述线上模型中的参数进行更新。
35.本技术实施例中的线上模型可以用于执行预测任务，在一种可能的实施例里，所述用户数据为用户在电商平台的商品浏览记录，线上模型根据一个时间段内的所述用户数据进行推理运算后生成预测结果，所述预测结果为商品属性推荐列表，表征了用户在以后可能浏览的商品的属性。根据所述预测结果可以更有针对性地为用户推送商品，以提高用户的使用体验。
36.但是用户在不同时期的商品浏览偏好不断发生变化的，为了让所述线上模型跟随用户的浏览偏好进行调整，需要定时对所述线上模型进行更新，预设一定的更新周期，在每个更新周期内采集所述用户数据，并在更新周期结束后根据更新周期内的用户数据对用户模型进行更新，可以保证线上模型能更好地适应用户的偏好。可选的，所述更新周期为一天。
37.步骤102，根据所述更新训练数据训练所述线上模型，以获取更新模型；本技术实施例中，根据所述更新数据训练调整所述线上模型，对其中的参数进行迭代更新，在经历一次或多次更新后得到的参数即可构成所述更新模型，所述更新模型的框架与所述线上模型相同，区别在于其中的一个或多个参数的值不同。
38.步骤103，根据普适场景下的测试数据测试所述更新模型的预测准确率，根据所述预测准确率将所述更新模型上线。
39.本技术实施例中，所述更新模型时根据更新训练数据进行训练的，针对更新数据对应的用户数据进行推理运算得到的预测结果较为准确。但是线上模型同时要考虑到在普适场景下的预测准确率，不能为了适应一段时间内的用户数据而丧失对一般场景下预测的准确度。所以在将所述更新模型上线前，会根据普适场景下的测试数据测试所述更新模型的预测准确率，如果所述预测准确率达标，说明更新模型对普适场景的预测准确率较好，可以将其上线。如果所述预测准确率不达标，说明更新模型对普适场景的预测准确率较差，不可以将其上线。
40.所述根据针对线上模型的用户数据获取更新训练数据，包括：采集输入至所述线上模型的用户数据，对所述用户数据进行清洗以获取更新训练数据。
41.本技术实施例中，输入至所述线上模型的用户数据较多，为了提高训练效率需要对数据进行清洗。数据清洗是将重复、多余的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或者删除，最后整理成为我们可以用于训练的数据，即更新训练数据。
42.对于出现数据缺失的用户数据可以使用最简单有效的方法处理缺失值的情况。那就是将出现有缺失值的样本直接丢弃。也可以根据缺失的属性相关系数最大的那个属性把数据分成几个组，然后分别计算每个组的均值，把这些均值放入到缺失的数值里面。
43.在清洗异常的用户数据，例如明显不符合常理的数据，可以设置一定的取值范围，将超出所述取值范围的用户数据删除。
44.图2是根据一示例性实施例示出的一种线上模型的更新方法的流程图，如图1所示，图中的步骤103包括以下步骤。
45.步骤201，将所述普适场景下的测试数据输入所述更新模型进行推理运算以生成预测结果，其中，所述普适场景下的测试数据包括基础测试数据和预测测试数据。
46.本技术实施例中，在根据普适场景下的测试数据对更新模型进行测试时，将所述
普适场景下的测试数据输入所述更新模型，所述更新模型对测试数据中的特征进行提取并分析，生成所述预测结果。
47.本实施例针对线上模型的一些普遍适用的应用场景设置所述普适场景下的测试数据，本实施例中的线上模型为具备预测功能的模型，则普适场景下的测试数据可以针对预测类模型普遍适用的应用场景来配置测试数据。如，在天气预报的应用场景下，测试数据可以为当天的多种气象数据，对应的标签数据为第二天的天气；在用户购物偏好预测的应用场景下，测试数据可以为当天用户浏览的商品的数据，对应的标签数据为第二天用户会浏览的商品。
48.步骤202，对比所述预测结果和所述普适场景下的测试数据对应的标签数据以获取所述预测准确率，其中所述普适场景下的测试数据对应的标签数据包括所述基础测试数据对应的标签数据和预测测试数据对应的标签数据。
49.本技术实施例中，所述普适场景下的测试数据对应的标签数据为理想的结果，如果所述预测结果和所述测试数据对应的标签数据相同，则说明更新模型的预测结果准确；如果所述预测结果和所述测试数据对应的标签数据不同，则说明更新模型的预测结果不准确，统计预测结果准确的次数，计算其占总预测总次数的比例，即可获取所述预测准确率。
50.可选的，所述基础测试数据为预设的数据，所述基础测试数据对应的标签数据为预先设置好的标签数据，所述预测测试数据为当前更新周期内的更新训练数据。
51.本技术实施例中，所述普适场景下的测试数据由基础测试数据和预测测试数据构成，所述基础测试数据为预先设置好的普适场景下的测试数据，其对应的标签数据也是预先设置好的。所述预测测试数据为当前更新周期内的更新训练数据。
52.可选的，所述预测测试数据对应的标签数据的获取方法包括：将所述预测测试数据输入预先训练好的预测模型进行推理运算，将生成的结果作为所述预测测试数据对应的标签数据。
53.本技术实施例中，由于当前更新周期内无法获取下一个更新周期内的数据作为预测测试数据的标签数据，所以需要采取预测的方式来获取预测测试数据的标签数据。本实施例根据预先训练好的预测模型对预测测试数据，也即当前更新周期内的更新训练数据进行推理运算，获取下一更新周期内的可能的结果，将所述结果作为所述预测测试数据对应的标签数据。
54.在一种可能的实施例中，所述更新周期为1天，将今天的更新训练数据作为所述预测测试数据输入预先训练好的预测模型，获取对明天数据的预测结果，将所述结果作为所述并根据所述预测数据测试所述更新模型的预测准确率。
55.可选的，所述预测测试数据对应的标签数据的获取方法还包括：将所述预测测试数据输入当前更新周期之前第m个更新周期内的线上模型进行推理运算，将生成的结果作为所述预测测试数据对应的标签数据，其中，m为正整数。
56.本技术实施例中，可以将之前训练周期内训练好的线上模型来对所述预测测试数据进行推理运算来获取预测的结果，并将所述结果作为所述预测测试数据对应的标签数据。
57.在一种可能的实施例中，所述更新周期为1天，则采用上周同日的线上模型对所述预测测试数据进行推理运算已生成预测的结果，此时m的取值为7，并将所述结果作为所述
预测测试数据对应的标签数据。
58.可选的，所述预测数据的获取方法还包括：将当前更新周期之前第n个更新周期内的更新训练数据作为所述预测测试数据对应的标签数据，其中，n为正整数。
59.本技术实施例中，可以将之前更新周期内的更新训练数据作为所述预测测试数据对应的标签数据。
60.在一种可能的实施例中，所述更新周期为1天，可以将上一周本天的明天，也即6天前的用户数据进行数据清洗后作为所述预测测试数据对应的标签数据，此时n的取值为6，并根据所述预测数据测试和对应的标签数据检测所述更新模型的预测准确率。
61.可选的，所述根据所述预测准确率将所述更新模型上线具体包括：响应于所述预测准确率大于或等于预设的准确率阈值，将所述更新模型上线；响应于所述预测准确率小于所述准确率阈值，重新根据所述更新训练数据训练所述线上模型。
62.在一种可能的实施例中，所述预设的准确率阈值为98%，只有在预测准确率达到98%或大于98%时才能将所述更新模型上线，否则需要重新根据所述更新训练数据训练所述线上模型。
63.图3是根据一示例性实施例示出的一种线上模型的更新方法的流程图，如图3所示，图1中的步骤102具体包括以下步骤。
64.步骤301，将所述更新训练数据通过消息队列发送给训练模块，并指示所述训练模块根据所述更新训练数据训练所述线上模型中的模型参数直到对应的损失函数收敛。
65.本技术实施例中，在清洗所述用户数据获取所述更新训练数据后，即可根据所述更新训练数据进行线上模型的训练，通过消息队列将更新训练数据发送给训练模块。所述训练模块为部署在线上的模块，用于进行模型的训练。训练模块将所述更新训练数据输入所述线上模型进行训练，调整其中的模型参数，直到损失函数收敛。
66.步骤302，根据更新后的所述模型参数构建所述更新模型。
67.损失函数收敛后，根据更新后的模型参数调整线上模型即可获取所述更新模型。
68.图4是根据一示例性实施例示出的一种线上模型的更新系统的结构图。如图4所示，所述系统包括：线上服务模块，消息队列，训练模块，测试模块。
69.在线上模型的更新系统的运行过程中，所述线上服务模块中包含所述线上模型，实时用户数据输入所述线上服务模块中的线上服务模块后会进行推理运算生成预测结果并反馈给用户。同时所述用户数据在清洗后生成的更新训练数据通过消息队列发送给训练模块，同时将线上模型发送至训练模块中。所述训练模块根据所述更新训练数据训练线上模型，生成新的模型参数，根据模型参数即可生成更新模型。将更新模型输入训练模块中，所述训练模块将普适场景下的测试数据输入所述更新模型进行推理运算生成预测的结果，并根据普适场景下的测试数据对应的标签统计预测结果的预测准确率，根据预测准确率确定是否要将更新模型上线，即将所述线上服务模块中的线上模型替换为更新模型。
70.可选的，所述消息队列为talos消息队列，用于将所述更新训练数据按顺序输入训练模块。
71.图5是根据一示例性实施例示出的一种线上模型的更新方法的流程图，如图5所
示，所述方法包括：开始训练后，测试模块更新模型中的参数，并计算损失函数，所述损失函数反映了模型的预测结果和真实结果之间的差距，当损失函数值大于或等于预设的阈值时，则继续进行模型训练；当损失函数小于预设的阈值时，停止模型训练，根据训练得到的模型参数生成更新模型。
72.将更新模块上传至测试模块，由测试模块根据普适场景下的测试数据和对应的标签数据对更新模型的预测准确率进行测试，当预测准确率大于或等于预设的准确率阈值时，则更新模型通过测试，将更新模型上线；当预测准确率低于预设的准确率阈值时，则更新模型未通过测试，需要重新对模型进行训练。
73.图6是根据一示例性实施例示出的一种线上模型的更新装置的框图。如图6所示，所述装置包括：数据获取模块610，用于根据针对线上模型的用户数据获取更新训练数据；模型更新模块620，用于根据所述更新训练数据训练所述线上模型，以获取更新模型；模型测试模块630，用于根据普适场景下的测试数据测试所述更新模型的预测准确率，根据所述预测准确率将所述更新模型上线。
74.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
75.图7是根据一示例性实施例示出的一种用于线上模型的更新的装置700的框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
76.参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出（i/ o）的接口712，传感器组件714，以及通信组件716。
77.处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
78.存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。
79.电源组件706为装置700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。
80.多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（lcd）和触摸面板（tp）。如果屏幕包括触摸面板，屏
幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
81.音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风（mic），当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
82.i/ o接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
83.传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
84.通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如wifi，运营商网络（如2g、3g、4g或5g），或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信（nfc）模块，以促进短程通信。例如，在nfc模块可基于射频识别（rfid）技术，红外数据协会（irda）技术，超宽带（uwb）技术，蓝牙（bt）技术和其他技术来实现。
85.在示例性实施例中，装置700可以被一个或多个应用专用集成电路（asic）、数字信号处理器（dsp）、数字信号处理设备（dspd）、可编程逻辑器件（pld）、现场可编程门阵列（fpga）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
86.在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器（ram）、cd-rom、磁带、软盘和光数据存储设备等。
87.图8是根据一示例性实施例示出的一种用于线上模型的更新的装置800的框图。例如，装置800可以被提供为一服务器。参照图8，装置800包括处理组件822，其进一步包括一个或多个处理器，以及由存储器832所代表的存储器资源，用于存储可由处理组件822的执行的指令，例如应用程序。存储器832中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件822被配置为执行指令，以执行上述方法。
88.装置800还可以包括一个电源组件826被配置为执行装置800的电源管理，一个有线或无线网络接口850被配置为将装置800连接到网络，和一个输入输出（i/o）接口858。装置800可以操作基于存储在存储器832的操作系统，例如windows servertm，mac os xtm，unixtm, linuxtm，freebsdtm或类似本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
89.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。