一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于半监督模型的分类预测方法、设备及存储介质与流程

2022-09-04 08:06:31 来源:中国专利 TAG:


1.本发明实施例涉及但不限于计算机技术领域,尤其涉及一种基于半监督模型的分类预测方法、设备及存储介质。


背景技术:

2.现有机器学习模型大多是基于有标记数据集的有监督模型进行监督训练,但在大部分真实业务数据中,往往存在着大量未标记数据集,基于监督模型无法进行有效学习。对于此类情况,相关技术中基于半监督模型进行半监督训练,以结合未标记数据集对半监督模型进行改善,但这些半监督模型普遍存在依赖特定类型数据或受引入数据偏差影响较大等问题,使得训练好的半监督模型难以在真实生产环境中进行使用。


技术实现要素:

3.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
4.本发明实施例提供了一种基于半监督模型的分类预测方法、设备及存储介质,能提升分类预测模型在实际应用场景进行分类预测的适用性。
5.第一方面,本发明实施例提供了一种基于半监督模型的分类预测方法,包括:
6.获取第一样本集,所述第一样本集包括第一标注样本集和未标注样本集;
7.根据预设的标签设置算法,为所述未标注样本集中每一未标注样本设置伪标签,得到第二标注样本集;
8.将所述第一标注样本集和所述第二标注样本集的集合作为第二样本集;
9.对所述第二样本集进行多次划分处理,并将每次划分处理时随机采样得到的多个待训练样本组合得到待训练样本集;
10.基于所述待训练样本集对预设的半监督模型进行分类训练,得到训练好的分类预测模型;
11.通过所述分类预测模型对采集得到的平台业务数据进行分类预测,得到所述平台业务数据对应的分类评分。
12.根据本发明第一方面的一些实施例,所述根据预设的标签设置算法,为所述未标注样本集中每一未标注样本设置伪标签,得到第二标注样本集,包括:
13.根据所述第一标注样本集的标签信息,确定所述未标注样本集的初始标签;
14.根据所述初始标签,为每一所述未标注样本设置伪标签,得到第二标注样本集。
15.根据本发明第一方面的一些实施例,在得到第二标注样本集之后,还包括:
16.获取所述第二标注样本集中每一第二标注样本的业务关联数据;
17.根据所述业务关联数据与预设的业务目标的业务相关性,将所述第二标注样本的伪标签进行调整,使得业务相关性高的所述第二标注样本的伪标签的值大于业务相关性低的所述第二标注样本的伪标签的值。
18.根据本发明第一方面的一些实施例,所述根据所述业务关联数据与预设的业务目标的业务相关性,将所述第二标注样本的伪标签进行调整,包括:
19.将所述业务关联数据与预设的业务目标进行相关性分析,得到各个所述第二标注样本对应的业务关联度;
20.按照多个所述第二标注样本的业务关联度的数值从大到小,将多个所述第二标注样本进行排序;
21.根据每一所述第二标注样本的排序,调整所述第二标注样本的伪标签的值。
22.根据本发明第一方面的一些实施例,所述获取所述第二标注样本集中每一第二标注样本的业务关联数据,包括:
23.获取预设时间段内,每一所述第二标注样本对应的业务数据;
24.将所述业务数据汇总作为对应的所述第二标注样本的业务关联数据。
25.根据本发明第一方面的一些实施例,所述对所述第二样本集进行多次划分处理,并将每次划分处理时随机采样得到的多个待训练样本组合得到待训练样本集,包括:
26.确定用于划分所述第二样本集的随机种子的值为k;
27.分别从所述第二样本集中选取k个样本数据作为一个待训练样本,直至所述第二样本集被划分成预设数量的待训练样本;
28.更换所述随机种子的值,并通过更换后的随机种子对所述第二样本集重新划分直至所述待训练样本的数量满足预设的样本数;
29.将所述第二样本集划分得到的多个所述待训练样本组合得到待训练样本集。
30.根据本发明第一方面的一些实施例,在得到待训练样本集之前,所述分类预测方法还包括:
31.对所述第一标注样本集进行多层级目标划分处理,使得所述第一标注样本集中每一第一标注样本均对应有一个层级目标;其中,所述层级目标的值越高表示与预设的业务目标的相关性越高;
32.对应的,所述基于所述待训练样本集对预设的半监督模型进行分类训练,得到训练好的分类预测模型,包括:
33.基于所述待训练样本集以及每一所述第一标注样本对应的层级目标,对预设的半监督模型进行分类训练,得到训练好的分类预测模型。
34.根据本发明第一方面的一些实施例,在得到待训练样本集之前,所述分类预测方法还包括:
35.对所述第二标注样本集进行多层级目标划分处理,使得所述第二标注样本集中每一所述第二标注样本均对应有一个预测的层级目标;
36.对应的,所述基于所述待训练样本集以及每一所述标注样本对应的层级目标,对预设的半监督模型进行分类训练,得到训练好的分类预测模型,包括:
37.基于所述待训练样本集、每一所述第一标注样本对应的层级目标以及每一所述第二标注样本对应的层级目标,对预设的半监督模型进行分类训练,得到训练好的分类预测模型。
38.第二方面,本发明实施例还提供了一种电子设备,包括:至少一个处理器,以及,与至少一个处理器通信连接的存储器;其中,存储器存储有指令,指令被至少一个处理器执
行,以使至少一个处理器执行指令时实现如第一方面任意一项所述的基于半监督模型的分类预测方法。
39.第三方面,本发明实施例还提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行第一方面任意一项所述的基于半监督模型的分类预测方法。
40.本发明上述实施例至少具有如下有益效果:通过对第二样本集多次划分处理时进行随机采样,使得待训练样本集中每一待训练样本的第一标注样本和设置了伪标签的未标注样本的比例是随机的,因此用于训练的待训练样本集更富有多变性,降低半监督模型在训练过程中对特定数据的依赖性。同时通过对未标注样本的伪标签设置,使得半监督模型可以通过标签值管理第二样本集中的每一第二标注样本,提升训练的效率进而可以采用更多的待训练样本集训练,因此,基于本发明实施例训练得到的分类预测模型兼容性更好且能在真实的生产环境中部署并更适合实际应用场景的分类预测。
41.本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
42.附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
43.图1是本发明实施例的基于半监督模型的分类预测方法的流程示意图;
44.图2是本发明实施例的第二样本集的组成示意图;
45.图3是本发明实施例的基于半监督模型的分类预测方法中伪标签精细化设置的流程示意图;
46.图4是本发明实施例的基于半监督模型的分类预测方法中步骤s400的子步骤流程示意图;
47.图5是本发明实施例的基于半监督模型的分类预测方法中待训练样本集的组成示意图;
48.图6是本发明实施例的基于半监督模型的分类预测方法对应的装置的模块示意图;
49.图7是本发明实施例提出的一种电子设备的硬件结构示意图。
具体实施方式
50.为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
51.除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
52.此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施
例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
53.附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
54.附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
55.在本发明的各个具体实施方式中,当涉及到需要根据用户信息、用户行为数据,用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时,都会先获得用户的许可或者同意,而且,对这些数据的收集、使用和处理等,都会遵守相关国家和地区的相关法律法规和标准。此外,当本发明实施例需要获取用户的敏感个人信息时,会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意,在明确获得用户的单独许可或者单独同意之后,再获取用于使本发明实施例能够正常运行的必要的用户相关数据。
56.下面是对本发明中用到的一些术语的解释。
57.半监督学习:半监督学习介于监督和无监督学习之间。半监督模型旨在使用少量标记的训练数据和大量未标记的训练数据。通常用于标签数据价格高昂和或有恒定数据流的情况下。
58.监督训练,就是通过已有的训练样本(即已知数据以及其对应的输出)去训练得到一个最优模型(这个模型属于某个函数的集合,最优则表示在某个评价准则下是最佳的),再利用这个模型将所有的输入映射为相应的输出,对输出进行简单的判断从而实现分类的目的,也就具有了对未知数据进行分类的能力。典型的例子就是knn、svm。
59.无监督训练(或者叫非监督训练)则是另一种。它与监督训练的不同之处,在于我们事先没有任何训练样本,而需要直接对数据进行建模。无监督训练里典型的例子就是聚类了。
60.现有机器学习模型大多是基于有标记数据集的有监督模型进行监督训练,但在大部分真实业务数据中,往往存在着大量未标记数据集,基于监督模型无法进行有效学习。对于此类情况,相关技术中基于半监督模型进行半监督训练,以结合未标记数据集对半监督模型进行改善,但这些半监督模型普遍存在依赖特定类型数据或受引入数据偏差影响较大等问题,使得训练好的半监督模型难以在真实生产环境中进行使用。基于此,本发明实施例提供了一种基于半监督模型的分类预测方法、设备及存储介质,能提升分类预测模型在实际应用场景进行分类预测的适用性。
61.第一方面,参照图1所示,本发明实施例提供了一种基于半监督模型的分类预测方法,包括:
62.步骤s100、获取第一样本集,第一样本集包括第一标注样本集和未标注样本集。
63.需说明的是,第一标注样本集中包括多个已设置了标签值的第一样本,未标注样
本集中也包含了多个未设置标签值的未标注样本。
64.步骤s200、根据预设的标签设置算法,为未标注样本集中每一未标注样本设置伪标签,得到第二标注样本集。
65.需说明的是,通过设置伪标签,可以使得未标注样本集可以在半监督模型中进行训练,进而使得训练好的分类预测模型能对未标注的业务数据进行分类。
66.需说明的是,标签设置算法可以是基于神经网络的模型、聚类算法等。对此,本技术实施例不做限制。需说明的是,未标注样本的伪标签值和标注样本的标签值不一样。
67.步骤s300、将第一标注样本集和第二标注样本集的集合作为第二样本集。
68.需说明的是,可以将第一标注样本集中每个第一标注样本和第二标注样本集中的第二标注样本(对应未标注样本)按照标签值大小组合得到第二样本集,也可以将第一标注样本和第二标注样本随机混合,进而得到乱序组合的第二标注样本集。对此,本发明实施例不做限制,此处不做过多赘述。
69.示例性的,第二样本集的组成参照图2所示。
70.步骤s400、对第二样本集进行多次划分处理,并将每次划分处理时随机采样得到的多个待训练样本组合得到待训练样本集。
71.需说明的是,划分处理表示,对第二样本集进行多次随机采样,直至第二样本集中剩余的第二样本无法组合形成新的训练样本或达到预设的样本数量。由于每个待训练样本均是随机采样得到的,因此,每个待训练样本中未标注样本和标注样本的比例是不同的且每个待训练样本中标签值均有所差异。此时,可以通过对第二样本集进行多次划分处理实现样本的增强,使得待训练样本集的数据量更多且更具有多变性。
72.步骤s500、基于待训练样本集对预设的半监督模型进行分类训练,得到训练好的分类预测模型。
73.需说明的是,本发明实施例对半监督模型的选项不做限制。本领域人员可以基于公知常识选取适合的半监督模型进行训练,如基于pairwise的模型,优选的,本发明实施例采用lambdarank模型。
74.步骤s600、通过分类预测模型对采集得到的平台业务数据进行分类预测,得到平台业务数据对应的分类评分。
75.需说明的是,平台业务数据是分类预测模型应用系统上所产生的用于预测评估的业务数据。分类评分是对业务数据进行二分类划分的依据。当需要分类的对象有多个时,则会输出多个分类评分,当需要分类的对象仅为一个,则会输出一个分类评分。以分类预测模型用于预测学生类型,业务目标为学生的优秀程度为例,对于待分类预测的学生a~e而言,平台业务数据包括学生a~e产生的业务数据,分类预测模型将对应输出学生a~e对应的分类评分,分别是a-10,b-5,c-4,d-6,e-8;此时可以根据该分类评分分布,对学生a~e进行二分类管理,如设定分类评分6及以上的为优秀学生,则学生a、学生d、学生e为优秀学生,其他为一般学生。
76.因此,通过对第二样本集多次划分处理时进行随机采样,使得待训练样本集中每一待训练样本的第一标注样本和设置了伪标签的未标注样本的比例是随机的,进而使得用于训练的待训练样本集更富有多变性,降低半监督模型在训练过程中对特定数据的依赖性。同时通过对未标注样本的伪标签设置,使得半监督模型可以通过标签值管理第二样本
集中的每一第二样本,提升训练的效率进而可以采用更多的待训练样本集训练,因此,基于本发明实施例训练得到的分类预测模型兼容性更好且能在真实的生产环境中部署并更适合实际应用场景的分类预测。
77.可理解的是,步骤s200、根据预设的标签设置算法,为未标注样本集中每一未标注样本设置伪标签,得到第二标注样本集,包括:根据第一标注样本集的标签信息,确定未标注样本集的初始标签;根据初始标签,为每一未标注样本设置伪标签,得到第二标注样本集。
78.需说明的是,第一标注样本集中的第一标注样本的标签值为正整数,伪标签值也设置为正整数,且第一标注样本的标签值和伪标签值均不相同,每一个未标注样本的伪标签的值均是不同的;通过将第一标注样本、未标注样本的标签值均设置为正整数,更加便于管理。需说明的是,可以依据第一标注样本的最大的标签值(即对应第一标注样本集的标签信息)确定出未标注样本集的初始标签。
79.需说明的是,伪标签的值可以是连续变化的正整数或以一定规律变化的正整数,通过不同的伪标签的值区分不同的未标注样本。对此,本发明实施例不做限制。
80.示例性的,以伪标签的值为连续变化的正整数为例,假设根据第一标注样本集的标签信息,确定出未标注样本的样本目标下限的标签值为ls,此时,未标注样本的初始标签为ls 1,因此,对于未标注样本集而言,未标注样本集中第n个未标注样本为ls n。此时,根据每一个未标注样本在未标注样本集中的顺序,可以初始化得到标签值为ls 1~ls m的第二标注样本集,其中,m为未标注样本的样本数量。
81.可理解的是,参照图3所示,在步骤s200之后,基于半监督模型的分类预测方法还包括:
82.步骤s700、获取第二标注样本集中每一第二标注样本的业务关联数据。
83.需说明的是,业务关联数据为应用系统上与用户行为相关的数据信息,如代理案件跟踪系统上,会产生代理人的案件撰写相关的数据以及代理人身份信息相关的数据,具体的案件撰写相关的数据如撰写案件量、返稿量、返稿时间;代理人身份信息如:证书情况等;则会采集一段时间内撰写案件量、返稿量、返稿时间等作为业务关联数据;当设置的业务目标为代理人评级分类时,可基于上述业务关联数据对半监督模型进行训练,进而可以基于分类预测模型持续更新预测每个代理人对应的分类评分,进而对代理人进行分类。
84.步骤s800、根据业务关联数据与预设的业务目标的业务相关性,将第二标注样本的伪标签进行调整,使得业务相关性高的第二标注样本的伪标签的值大于业务相关性低的第二标注样本的伪标签的值。
85.需说明的是,业务相关性对应的是业务目标的业务相关度区间,其依据业务相关性将业务数据按照相关度区间进行划分,如设定相关度区间在30%~40%为业务相关性偏低,相关度区间在50%~60%为业务相关性中。则在本发明实施例中,业务相关性对应的相关度区间为50%~60%中的伪标签的值要大于业务相关性在相关度区间为30%~40%内的伪标签的值。
86.需说明的是,本发明实施例通过将第二标注样本的伪标签的值与业务相关性关联起来,实现对伪标签的精细化设置,进而可以降低与业务目标关联性低的业务数据的干扰,在优化半监督模型的训练效率的同时,能实现更为准确的预测分类。
87.可理解的是,步骤s800、根据业务关联数据与预设的业务目标的业务相关性,将第二标注样本的伪标签进行调整,包括:将业务关联数据与预设的业务目标进行相关性分析,得到各个第二标注样本对应的业务关联度;按照多个第二标注样本的业务关联度的数值从大到小,将多个第二标注样本进行排序;根据每一第二标注样本的排序,调整第二标注样本的伪标签的值。
88.需说明的是,相关性分析可以是聚类算法或者是神经网络模型等方式获取出与预设业务目标的关联度。如基于一定的样本数据,对预设的神经网络模型进行业务相关性的训练,使其可以对输入的业务关联数据进行业务相关性的划分。在另一些实施例,也可以对业务关联数据进行聚类处理,进而得到多个分类的数据,将多个分类数据进行相关度设定。对此,本发明实施例不做限制。
89.需说明的是,将第二标注样本按照业务相关度排序后可以很快确定出每个第二标注样本对应业务相关度区间,进而可以判断出哪些第二标注样本需要调整伪标签的值。需说明的是,伪标签的值可以是连续或者非连续的,因此在调整时,可以直接将需要调整的第二标注样本的伪标签的值设置为较大的一个数值,以确保相关度低的伪标签的值小于相关度高的伪标签值,也可以直接将业务关联度高的第二标注样本与低业务关联度度的第二标注样本进行伪标签值互换,当进行多轮互换后,此时对于第二标注样本集而言,其业务相关性高的第二标注样本的伪标签的值均是高于业务相关性低的第二标注样本的伪标签的值。
90.示例性的,仍然以代理人管理系统为例,同样是3个月内留存的代理人,相对于以代理人评级作为业务目标而言,3个月内转正的代理人比三个月内未转正的代理人其相关性更高,因此3个月内转正代理人伪标签t
s1
均大于3个月内未转正代理人伪标签t
s2

91.可理解的是,获取第二标注样本集中每一第二标注样本的业务关联数据,包括:获取预设时间段内,每一第二标注样本对应的业务数据;将业务数据汇总作为对应的第二标注样本的业务关联数据。
92.需说明的是,预设时间段内获取的业务数据为实际应用过程中所产生的业务数据,因此,通过该业务数据能使得半监督模型可以基于实际的应用场景进行训练,其训练结果更偏向于真实的情况。
93.需说明的是,对于任意的系统,则可以通过少量标注已产生的业务数据生成第一标注样本集并结合其他未标注的业务数据,得到第一样本集。
94.需说明的是,以客户系统为例,对于新加入的用户,其所产生的业务数据均可以认为属于未标注的数据;根据该未标注的数据可生成对应的未标注样本。
95.需说明的是,预设时间段可以由用户动态设置,也可以是实际系统中根据业务数据产生量设定的观察期;对此,本发明实施例不做限制。
96.需说明的是,当训练好的模型应用于系统时,可以通过采集该预设时间段内的业务数据,并对该业务数据进行伪标签设置后输入到分类预测模型以预测业务数据对应的层级信息,以根据层级信息判断业务数据对应的二分类信息。
97.可理解的是,参照图4所示,步骤s400、对第二样本集进行多次划分处理,并将每次划分处理时随机采样得到的多个待训练样本组合得到待训练样本集,包括:
98.步骤s410、确定用于划分第二样本集的随机种子的值为k。
99.步骤s420、分别从第二样本集中选取k个样本数据作为一个待训练样本,直至第二
样本集被划分成预设数量的待训练样本。
100.步骤s430、更换随机种子的值,并通过更换后的随机种子对第二样本集重新划分直至待训练样本的数量满足预设的样本数。
101.步骤s440、将第二样本集划分得到的多个待训练样本组合得到待训练样本集。
102.需说明的是,预设数量可以由用户进行设定,也可以设置为第二样本集中样本数量与k的比值求整。如第二样本集中的样本数量为100,k为7,则预设数量为15;其中每个待训练样本的数量均为7。优选的,本发明实施例中,采用样本数量与k的比值求整。
103.需说明的是,当需要进行n次划分,会对第二样本集进行n次复制,得到n个第二样本集,此时,每个第二样本集对应一个随机种子k,且每个随机种子k的值均不相同。示例性的,参照图5所示,将n次划分得到的待训练样本组合得到了待训练样本集。
104.可理解的是,在得到待训练样本集之前,分类预测方法还包括:
105.对第一标注样本集进行多层级目标划分处理,使得第一标注样本集中每一第一标注样本均对应有一个层级目标;其中,层级目标的值越高表示与预设的业务目标的相关性越高;
106.对应的,步骤s500、基于待训练样本集对预设的半监督模型进行分类训练,得到训练好的分类预测模型,包括:
107.基于待训练样本集以及每一第一标注样本对应的层级目标,对预设的半监督模型进行分类训练,得到训练好的分类预测模型。
108.需说明的是,通过将第一标注样本集设置有多个层级目标,对第一标注样本进行精细化设置,以强化与业务目标相关性高的第一标注样本。因此,在半监督模型进行训练时,可以依据该层级目标以及第一标注样本快速对第二标注样本进行业务关联度的调整,进而确定第二标注样本的层级划分,实现分类。
109.需说明的是,层级目标表示样本与业务目标的相关性,其对应的是与业务目标的业务相关度区间,其划分方式可以与伪标签的业务相关度区间的划分相同也可以不同;如层级目标设置有5个区间,而伪标签的根据6个区间进行精细化设置。此时,由于伪标签的相关区区间划分更为精细,其伪标签值的变化也可与层级目标一一对应,进而可以对伪标签的值设置的同时提升半监督模型训练的效率。
110.需说明的是,层级目标的数量在本技术实施例中不做限制,以层级目标设置有5级为例,其被划分为偏高、高、中、偏低以及低五个区间,分别对应的相关度为[95%,100%],[85%~95%),[65%~85%),[45%~65%),[15%,45%),[0,15%)。优选的,本发明实施例中,将层级目标以及伪标签设置的相关度区间设置为一致。
[0111]
可理解的是,在得到待训练样本集之前,分类预测方法还包括:
[0112]
对第二标注样本集进行多层级目标划分处理,使得第二标注样本集中每一第二标注样本均对应有一个预测的层级目标;
[0113]
对应的,步骤s500、基于待训练样本集以及每一标注样本对应的层级目标,对预设的半监督模型进行分类训练,得到训练好的分类预测模型,包括:
[0114]
基于待训练样本集、每一第一标注样本对应的层级目标以及每一第二标注样本对应的层级目标,对预设的半监督模型进行分类训练,得到训练好的分类预测模型。
[0115]
需说明的是,将未标注样本集进行层级划分后作为半监督模型的输入,此时,可以
提升半监督模型的训练效率,半监督模型可以基于输入的层级目标对第二标注样本进行层级目标调整,进而实现高效分类。其中,在实际应用中,输出的层级目标对应步骤s700中的分类评分。
[0116]
需说明的是,第二标注样本集的多层级目标划分处理为参照第一标注样本集进行划分的。由于两者遵循的多层级目标划分的原则一致,因此,在半监督模型中,参照第一标注样本的层级目标,可以更为准确的对第二标注样本的层级目标进行调整,以确保得到每一未标注样本的分类更为准确。
[0117]
综上所述,本发明实施例的基于半监督模型的分类预测方法,基于多层级伪标签以及半监督模型架构,可以通过对训练集进行简便的改造实现半监督模型的输入数据的构造。相比其他半监督模型,其训练方法简单、不依赖特定类型数据,降低数据偏差带来的风险,适合实际生产上线使用。
[0118]
具体的,以智能客户系统为例,其训练过程如下:
[0119]
首先,搭建训练集,参照步骤s100,从智能客户系统中获得第一样本集。然后对第一样本集中第一标注样本划分多层级目标,具体的,层级目标的数量设置为6。此时可以得到划分了6级的第一标注样本集。然后参照步骤s200的子步骤以及步骤s600~步骤s700,对第一样本集中未标注的样本集进行伪标签设置;使得未标注样本集中每一未标注样本的伪标签的值其根据业务相关度对应的相关度区间呈降序设置,得到第二标注样本集。此时通过对第二标注样本集划分多层级目标,对第二标注样本集进行层级目标的设置,并参照步骤s300将第一标注样本集合以及第二标注样本集组合得到第二样本集。此时,第二样本集中每一第二标注样本均对应有标签值以及层级目标。此时,参照步骤s400及其子步骤对第二样本集进行样本分组和数据增强,具体如下,对第二样本集复制n次,对每一个第二样本集均设置一个不同的随机种子,并以该随机种子确定每一次对对应的第二样本集随机采样的样本数量,进而得到每个第二样本集对应的g个待训练样本;其中,g=num/k,num为第二样本集的数量,k为随机种子的值。因此,通过上述方式可以得到预设数量的待训练样本。并参照步骤s500进行半监督模型的训练,得到训练好的分类预测模型。
[0120]
将该分类预测模型发布在智能客服系统上,当用户存在了数据更新,则会在观察期内获取该用户对应的平台业务数据,然后将该平台业务数据输入到分类预测模型,不断更新该用户的分类信息,以对该用户进行持续分类预测和分类跟踪。
[0121]
此时,智能客户系统可以根据预测的分类信息向用户或者管理者推送相关的信息。
[0122]
需说明的是,本发明的方法可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0123]
可理解的是,参照图6所示的实施例,本发明实施例还提供一种电子装置,电子装置包括:
[0124]
采集模块100,采集模块100用于获取第一样本集,第一样本集包括第一标注样本集和未标注样本集;
[0125]
伪标签设置模块200,伪标签设置模块200用于根据预设的标签设置算法,为未标注样本集中每一未标注样本设置伪标签,得到第二标注样本集;
[0126]
样本集模块300,样本集模块300用于将第一标注样本集和第二标注样本集的集合作为第二样本集;
[0127]
训练样本获取模块400,训练样本获取模块400用于对第二样本集进行多次划分处理,并将每次划分处理时随机采样得到的多个待训练样本组合得到待训练样本集;
[0128]
训练模块500,训练模块500用于基于待训练样本集对预设的半监督模型进行分类训练,得到训练好的分类预测模型;
[0129]
预测模块600,预测模块600用于通过分类预测模型对采集得到的平台业务数据进行分类预测,得到平台业务数据对应的分类评分。
[0130]
需说明的是,在一些实施例中,采集模块100采集的为实际应用系统的业务数据。伪标签设置模块200、样本集模块300、训练样本获取模块400以及训练模块500可以与采集模块100远程连接,当训练模块500训练完成后,将分类预测模型发布到采集模块100所在的系统平台上,以进行实际应用的分类预测。
[0131]
需说明的是,在一些实施例中,电子装置还包括存储模块,存储模块用于存储训练样本集以供半监督模型进行训练。需说明的是,在一些实施例中,还包括发布模块,发布模块用于将训练好的分类预测模型发布到指定的系统平台,进而通过该分类预测模型进行实时分类预测。
[0132]
由于上述电子装置执行第一方面的基于半监督模型的分类预测方法,因此具备第一方面的基于半监督模型的分类预测方法的所有有益效果。
[0133]
本发明实施例还提供了一种电子设备,包括:
[0134]
至少一个处理器,以及,
[0135]
与至少一个处理器通信连接的存储器;其中,
[0136]
存储器存储有指令,指令被至少一个处理器执行,以使至少一个处理器执行指令时实现如本发明实施例上述实施例的基于半监督模型的分类预测方法。
[0137]
下面结合图7对计算机设备的硬件结构进行详细说明。该电子设备包括:处理器710、存储器720、输入/输出接口730、通信接口740和总线750。
[0138]
处理器710,可以采用通用的cpu(central processin unit,中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit,asic)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本公开实施例所提供的技术方案;
[0139]
存储器720,可以采用rom(read only memory,只读存储器)、静态存储设备、动态存储设备或者ram(random access memory,随机存取存储器)等形式实现。存储器720可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器720中,并由处理器710来调用执行本公开实施例的模型的分类预测方法;
[0140]
输入/输出接口730,用于实现信息输入及输出;
[0141]
通信接口740,用于实现本设备与其他设备的通信交互,可以通过有线方式(例如usb、网线等)实现通信,也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信;和总线750,在设备的各个组件(例如处理器710、存储器720、输入/输出接口730和通信接口740)之间传输信息;
[0142]
其中,处理器710、存储器720、输入/输出接口730和通信接口740通过总线750实现彼此之间在设备内部的通信连接。
[0143]
具体的,参照图1所示的实施例,处理器710执行步骤s100~s600进行分类预测。具体的,处理器710还执行步骤s200的子步骤进行伪标签的初始化,进一步,参照图3所示的实施例,处理器710还执行步骤s700~s800进行伪标签的精细化设置。
[0144]
存储器720作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器720可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0145]
可理解为,本发明还提供一种计算机可读存储介质,存储有计算机可执行指令,计算机可执行指令用于执行上述基于半监督模型的分类预测方法。
[0146]
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
[0147]
需说明的是,由于计算机存储介质存储的是第一方面的基于半监督模型的分类预测方法,因此,其具有第一方面的基于半监督模型的分类预测方法的全部有益效果。
[0148]
具体的,计算机存储介质可以存储参照如图1所示的步骤s100~步骤s600对应的程序指令,在另一些实施例中,还存储有步骤s200的子步骤,在另一些实施例中,还存储有步骤s700~步骤s800对应的程序指令。当终端设备加载上述程序指令时,可以通过输入的第一样本集进行训练,进而得到训练好的分类预测模型,并将其发布于系统上,进行持续分类更新预测。
[0149]
本发明实施例描述的实施例是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变
和新应用场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。
[0150]
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0151]
本发明的说明书中术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0152]
应当理解,在本发明中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:只存在a,只存在b以及同时存在a和b三种情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
[0153]
以上是对本发明的较佳实施进行了具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换,这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献