一种售后任务的审核方法及装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种售后任务的审核方法及装置。


背景技术：

2.在网络购物过程中，用户可能会因为各种原因会向电商平台发起售后审核，以通过购物平台保护其合理的权益。为了处理大量相关审核请求，平台通过一些分类算法对用户发起的售后审核进行模型判别。
3.发明人发现现有技术中至少存在如下问题：
4.在对模型进行训练时，通常需要业务人员对大量历史售后数据进行梳理并进行人工标注；标注的效率较低，训练样本的数量有限，进而降低了模型的准确度。


技术实现要素：

5.有鉴于此，本发明实施例提供一种售后任务的审核方法和装置，能够采用训练中的售后审核模型对未标注的第二样本数据进行自动标注，并利用自动标注后的第二样本数据以及已标注的第一样本数据继续对售后审核模型进行训练，利用训练后的售后审核模型对售后任务进行审核。由此，无需人工对样本数据进行标注，减少了样本标注的工作量，提高了样本标注的效率。并且还增加了模型训练样本的数量，提高了模型训练的性能，进而提高了售后审核模型的准确度。
6.进一步的，通过售后审核模型的特征选择层，可以确定一个或多个特征数据的权重系数，由此，可以高效地从多个特征数据中筛选出重要特征数据，减少了冗余特征数据对模型的干扰，提高了售后审核模型的鲁棒性。另外，通过反馈信息确定修正系数，并利用修正系数对模型输出的概率值进行修正，进一步提高了售后任务审核结果的准确度。
7.为实现上述目的，根据本发明实施例的第一方面，提供了一种售后任务的审核方法，包括：
8.获取待审核的售后任务；
9.将所述售后任务的任务信息作为预训练的售后审核模型的输入；其中，所述售后审核模型是通过已标注的第一样本数据和未标注的第二样本数据训练得到的，且所述未标注的第二样本数据是通过中间售后审核模型进行标注的；
10.根据所述售后审核模型的输出，确定所述售后任务是否通过；如果是，允许执行所述售后任务。
11.可选地，利用所述第一样本数据训练所述售后审核模型，得到所述中间售后审核模型；
12.利用所述中间售后审核模型确定所述第二样本数据对应的特征向量；
13.根据所述第二样本数据的特征向量与所述第一样本数据的特征向量的相似度，对所述第二样本数据进行标注。
14.可选地，将所述第二样本数据分为至少两个样本组，并从所述至少两个样本组中
确定当前样本组；
15.循环执行以下步骤，直至所述售后审核模型满足性能要求：
16.利用所述中间售后审核模型对所述当前样本组进行标注；
17.将标注后的所述当前样本组包括的第二样本数据与所述第一样本数据进行混合，并通过混合后的数据对所述中间售后审核模型进行训练，重新从所述至少两个样本组中确定当前样本组。
18.可选地，所述任务信息包括一个或多个特征数据；所述售后审核模型包括特征选择层和审核层；
19.利用所述特征选择层确定所述一个或多个特征数据分别对应的权重系数；
20.根据所述一个或多个特征数据以及所述一个或多个特征数据分别对应的权重系数，确定所述审核层的输入数据；
21.根据所述审核层的输出，确定所述售后任务是否通过。
22.可选地，所述特征选择层是基于senet算法训练的。
23.可选地，所述第一样本数据包括第一正样本和第一负样本；所述根据所述第二样本数据的特征向量与所述第一样本数据的特征向量的相似度，对所述第二样本数据进行标注，包括：
24.通过kl散度计算所述第二样本数据对应的特征向量与所述第一正样本和/或第一负样本之间的相似度；
25.根据所述相似度，将所述第二样本数据标注为第二正样本或第二负样本。
26.可选地，所述根据所述售后审核模型的输出，确定所述售后任务是否通过，包括：
27.根据针对历史售后任务的反馈信息确定所述售后审核模型的修正系数；所述反馈信息是根据指示所述历史售后任务不通过的模型输出得到的；
28.根据所述修正系数和所述售后审核模型的输出，确定所述售后任务是否通过的概率。
29.根据本发明实施例的第二方面，提供了一种售后任务的审核装置，包括：获取模块、审核模块和确定模块；其中，
30.所述获取模块，用于获取待审核的售后任务；
31.所述审核模块，用于将所述售后任务的任务信息作为预训练的售后审核模型的输入；其中，所述售后审核模型是通过已标注的第一样本数据和未标注的第二样本数据训练得到的，且所述未标注的第二样本数据是通过中间售后审核模型进行标注的；
32.所述确定模块，用于根据所述售后审核模型的输出，确定所述售后任务是否通过；如果是，允许执行所述售后任务。
33.根据本发明实施例的第三方面，提供了一种电子设备，包括：
34.一个或多个处理器；
35.存储装置，用于存储一个或多个程序，
36.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面提供的一种售后任务的审核方法中任一所述的方法。
37.根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面提供的一种售后任务的审核方法中任
一所述的方法。
38.上述发明中的一个实施例具有如下优点或有益效果：能够采用训练中的售后审核模型对未标注的第二样本数据进行自动标注，并利用自动标注后的第二样本数据以及已标注的第一样本数据继续对售后审核模型进行训练，利用训练后的售后审核模型对售后任务进行审核。由此，无需人工对样本数据进行标注，减少了样本标注的工作量，提高了样本标注的效率。并且还增加了模型训练样本的数量，提高了模型训练的性能，进而提高了售后审核模型的准确度。
39.进一步的，通过售后审核模型的特征选择层，可以确定一个或多个特征数据的权重系数，由此，可以高效地从多个特征数据中筛选出重要特征数据，减少了冗余特征对模型的干扰，提高了售后审核模型的鲁棒性。另外，通过反馈信息确定修正系数，并利用修正系数对模型输出的概率值进行修正，进一步提高了售后任务审核结果的准确度。
40.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
41.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
42.图1是本发明一个实施例提供的一种售后任务的审核方法的流程示意图；
43.图2是本发明一个实施例提供的一种售后审核模型的示意图；
44.图3是本发明一个实施例提供的一种利用第一样本数据对售后审核模型进行训练的流程示意图；
45.图4是本发明一个实施例提供的一种对第二样本数据进行标注的流程示意图；
46.图5是本发明一个实施例提供的一种售后审核模型训练的流程示意图；
47.图6是本发明一个实施例提供的另一种售后任务的审核方法的流程示意图。
48.图7是本发明一个实施例提供的一种售后任务的审核装置的结构示意图；
49.图8是本发明实施例可以应用于其中的示例性系统架构图；
50.图9是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
51.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
52.本发明技术方案中对用户信息的获取、存储、使用、处理等均符合国家法律法规的相关规定。
53.需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。
54.如图1所示，本发明实施例提供了一种售后任务的审核方法，该方法可以包括以下步骤s101至s103：
55.步骤s101：获取待审核的售后任务。
56.步骤s102：将所述售后任务的任务信息作为预训练的售后审核模型的输入；其中，所述售后审核模型是通过已标注的第一样本数据和未标注的第二样本数据训练得到的，且所述未标注的第二样本数据是通过中间售后审核模型进行标注的。
57.步骤s103：根据所述售后审核模型的输出，确定所述售后任务是否通过；如果是，允许执行所述售后任务。
58.可理解的是，售后任务的任务信息包括售后环节中相关状态信息以及用户信息。以电商平台为例，任务信息可以包括用户信息、售后信息、物品信息、订单信息、物流信息等。其中，用户信息包括用户脱敏信息以及用户画像，脱敏信息包括年龄、性别、地域等信息；售后信息包括售后记录、售后申请原因及用户诉求等；物品信息包括物品类别以及物品自身属性；订单信息包括订单状态；物流信息包括物流状态及物流时效等。
59.通过上述任务信息可以提取出售后任务对应的一个或多个特征数据，将这些特征数据进行预处理之后可以得到售后审核模型的输入。这些特征数据可以是离散特征数据、连续特征数据、文本特征数据以及多值离散特征数据等。
60.在对售后审核模型进行训练时，可以对多个历史售后任务的任务信息提取得到可供模型训练使用的特征数据。而在使用售后审核模型进行售后任务的审核时，可以对当前售后任务的任务信息提取得到售后审核模型的输入。
61.在本发明的一个实施例中，步骤s102中的售后审核模型可以如图2所示。在售后审核模型中，对任务信息中不同的特征数据做预处理时，可以使用不同的方式进行转换，从多个角度对特征数据进行加工及丰富，以提取出适应于模型的embedding需求。参考图2，对于连续特征可以采用reduce_mean函数提取出连续向量seq_embedding，对于文本特征采用textcnn网络提取出文本向量text_embedding，对于一些稠密特征采用deeplayer网络提取出稠密向量dense_embedding。对于离散特征，采用senet算法进行特征提取及特征选择，得到选择后的离散向量。
62.可理解的是，售后任务的任务信息中通常存在大量的离散特征，在这些离散特征中，有些离散特征对售后审核模型是重要特征，有些离散特征是冗余特征。为了提高售后审核模型的鲁棒性，在本发明的一个实施例中，优选地，在售后审核模型中嵌入senet算法层，通过senet算法层获得大量离散特征数据分别对应的权重系数，对大量的离散特征实现动态高效地选择，以减少冗余特征对模型的干扰。在售后审核模型中嵌入senet算法层作为特征选择层的情况下，售后审核模型还包括审核层。审核层的输入数据即为特征选择层的特征选择结果。具体地，特征选择层进行特征选择的实施方式可以如下：利用所述特征选择层确定所述任务信息包括的一个或多个特征数据分别对应的权重系数；根据所述一个或多个特征数据以及所述一个或多个特征数据分别对应的权重系数，确定所述审核层的输入数据。
63.在本发明的一个实施例中，特征选择层可以如图2中所示，对于离散特征进行向量化之后，通过增加特征选择层senet得到这些离散特征数据的权重系数。在得到离散特征数据分别对应的权重系数之后，将权重系数乘以离散特征向量化的向量，得到的结果作为审核层的输入数据，从而实现在模型中对于权重系数大的特征，也即重要特征给予更多的关注。而对于权重系数较小的特征，也即冗余特征给予较少关注。
64.可理解的是，在为审核层确定输入数据时，还可以选择权重系数大于预设权重阈值的特征作为审核层的输入，将权重系数小于或等于预设权重阈值的特征忽略，不将其作为审核层的输入。
65.可理解的是，senet是一种注意力机制，其通过gap(global average pooling，全局池化层)的方式实现离散特征向量化，然后通过两层全连接网络实现权重系数的学习。在本发明的一个实施例中，senet可以通过多个历史售后任务的任务信息中提取的特征数据进行学习训练，将训练后的senet算法层嵌入至售后审核模型中，在利用售后审核模型对售后任务进行审核时，先确定输入的特征数据的权重系数，从而实现动态选择重要特征数据的目的，减少了冗余特征数据对模型的干扰，进而提高了售后审核模型的鲁棒性。
66.在本发明的一个实施例中，在得到转换后的特征数据以及通过特征选择层对特征数据进行选择之后，还可以对特征数据进行拼接，如图2中的拼接层，并且可以通过cin(compressed interaction network，压缩交互网络)模型对特征进行显示交互，实现特征交叉，进一步增加特征的多样性，使得模型学习的信息更加丰富，从而提高模型的准确度。
67.在本发明的一个实施例中，售后审核模型的审核层可以如图2所示的全连接神经网络。通过lr算法和deeplayer网络将特征选择层输出的特征数据进行处理，作为全连接神经网络的输入，全连接神经网络的输出即为售后审核模型的输出概率值。
68.可理解的是，在使用售后审核模型进行审核之前，需要对模型进行训练。在对售后审核模型进行训练时，通常使用有监督的训练方式，也即使用带标签的样本数据对模型进行训练。
69.售后审核模型训练使用的样本数据可以从历史售后任务的任务信息中提取出来。样本数据包括：已标注的第一样本数据和未标注的第二样本数据。已标注的第一样本数据可以包括第一正样本和第一负样本，第一正样本即表示第一样本数据中审核通过的样本，第一负样本即第一样本数据中审核不通过的样本。
70.通常售后任务涉及的环节较多且较复杂，对历史售后任务的梳理难度较大，对样本数据进行人工标注的工作量较大，导致了已标注的样本数据数量不多，而大量的样本数据是未标注的。为了提高模型训练的样本数量，可以采用本发明实施例提供的以下方式对未标注的样本进行标注：利用所述第一样本数据训练所述售后审核模型，得到所述中间售后审核模型；利用所述中间售后审核模型确定所述第二样本数据对应的特征向量；根据所述第二样本数据的特征向量与所述第一样本数据的特征向量的相似度，对所述第二样本数据进行标注。
71.在本发明的一个实施例中，可以选取全连接神经网络的倒数第二层(也即多个神经元层)的输出作为一个多维向量，将该多维向量作为待计算相似度的特征向量。例如，全连接神经网络的倒数第二层有32个神经元，也就对应一个32维的向量，将这32维的向量作为特征向量。
72.在计算相似度时，可以先获取多个已标注的第一样本数据在中间售后审核模型中分别对应的特征向量，包括第一正样本分别对应的特征向量，以及第一负样本分别对应的特征向量。
73.再获取多个未标注的第二样本数据分别对应的特征向量。然后通过比较第二样本数据的特征向量与第一样本数据的特征向量的相似度来确定未标注的第二样本数据对应
的标签，也即对未标注的第二样本数据进行标注。
74.使用全连接神经网络的倒数第二层输出的特征向量进行相似度的计算，可以大幅度减少信息的损耗，从而提高相似度计算的可靠性和准确性，进而提高对未标注的样本标注的准确度。
75.为了较准确的计算第二样本数据的特征向量与第一样本数据的特征向量的相似度，在本发明的一个实施例中，优选地使用kl(kullback-leibler)散度来计算相似度，具体地，可以采用以下方式：通过kl散度计算所述第二样本数据对应的特征向量与所述第一正样本和/或第一负样本之间的相似度；根据所述相似度，将所述第二样本数据标注为第二正样本或第二负样本。
76.在使用kl散度进行相似度计算时，本发明的一个实施例优选地采用以下方式：计算多个第一样本特征向量的平均值，再通过kl散度计算第二样本数据分别对应的特征向量与第一样本特征向量的平均值的相似度。
77.在本发明的一个实施例中，利用已标注的第一样本数据对模型进行训练得到中间售后审核模型，然后对第一正样本特征向量以及第一负样本特征向量取平均值的过程，可以如图3所示，具体步骤如下：
78.步骤s301：使用已标注的第一样本数据作为输入，对售后审核模型m进行训练。
79.步骤s302：根据训练后的售后审核模型m获取已标注的第一样本数据分别对应的特征向量。
80.其中，训练后的售后审核模型m即为中间售后审核模型。特征向量是全连接神经网络的倒数第二层输出的。
81.步骤s303：对获取到的已标注的第一样本分别对应的特征取平均值。
82.例如，已标注的第一样本中有100个第一正样本，对应有100个32维特征向量，对100个第一正样本特征向量进行求和再除以100得到第一正样本特征向量的平均值s1。
83.已标注的第一样本中有50个第一负样本，对应可以得到50个32维特征向量，对50个第一负样本特征向量进行求和再除以50得到第一负样本特征向量的平均值s2。
84.在本发明的一个实施例中，在得到第一正样本特征向量的平均值s1以及第一负样本特征向量的平均值s2之后，获取未标注的第二样本数据分别对应的特征向量，以及对未标注的第二样本数据进行标注的过程可以如图4所示，具体步骤如下：
85.步骤s401：将未标注的第二样本数据输入至售后审核模型m。
86.其中售后审核模型m是在图3中通过已标注的第一样本数据训练得到中间售后审核模型。
87.步骤s402：从售后审核模型m中获取未标注的第二样分别对应的特征向量。
88.其中，特征向量是全连接神经网络的倒数第二层输出的。
89.步骤s403：将未标注的第二样分别对应的特征向量与第一正样本特征向量及第一负样本特征向量的平均值分别进行kl散度计算。
90.步骤s404：根据kl散度计算的结果，对未标注的第二样本数据进行标注。
91.可以将第二样本数据分别对应的特征向量与s1进行kl散度计算，计算结果z越小，表示越相似。可以设置一个kl散度阈值，当z小于kl散度阈值时，说明该第二样本数据与第一正样本相似，因此将该第二样本数据标注为第二正样本；当z大于或等于kl散度阈值时，
将该第二样本数据标注为第二负样本。例如，设置kl散度阈值为0.15，当z小于0.15时，对应的第二样本数据为第二正样本，当z大于或等于0.15时，对应的第二样本数据为第二负样本。
92.同样的，还可以利用第一负样本的平均值s2进行kl散度计算，计算结果越小，表示与第一负样本越相似，将相似度高的第二样本数据标注为第二负样本，将相似度低的样本标注为第二正样本。
93.当然，还可以同时使用平均值s1和平均值s2对第二样本数据分别对应的特征向量进行kl散度计算，与s1计算的kl散度结果小于kl散度阈值的则为第二正样本，与s2计算的kl散度结果小于kl散度阈值的则为第二负样本。还可能存在经过计算，与s1和s2均不相似的第二样本数据，也即计算得到的kl散度结果均大于或等于kl散度阈值，则可以不对这些第二样本进行标注，待售后审核模型训练的性能提高后，将这些未标注的第二样本数据作为图4中的输入，对这些数据进行标注。
94.可理解的是，可以将kl散度阈值随着模型训练的过程逐渐调整，逐渐将阈值设置为更小的值，例如在模型训练的开始阶段，可以将kl散度阈值设置为较大的一个数值，0.17，随着模型训练不断训练，逐渐将kl散度阈值从0.17调整到0.15，再调整到0.13。这样可以更准确的将相似度高的第二样本数据筛选出来，对模型进行训练，提高了模型训练的效率和准确度，也提高了对未标注的第二样本数据进行标注的准确性。
95.为了使模型在不断迭代训练中性能逐步提高，可以将未标注的第二样本数据分成多组，每次使用一组数据对售后审核模型进行训练。具体地，可以采用以下方式：将所述第二样本数据分为至少两个样本组，并从所述至少两个样本组中确定当前样本组；循环执行以下步骤，直至所述售后审核模型满足性能要求：利用所述中间售后审核模型对所述当前样本组进行标注；将标注后的所述当前样本组包括的第二样本数据与所述第一样本数据进行混合，并通过混合后的数据对所述中间售后审核模型进行训练，重新从所述至少两个样本组中确定当前样本组。
96.可理解的是，通过对未标注的第二样本数据分成多组，可以实现对售后审核模型进行多次迭代训练的目的，模型在不断的迭代训练中，性能会逐步提高，当模型的性能不再提高之后，则可以结束模型训练的流程。这样可以尽可能的充分利用未标注的第二样本数据，提高模型训练的准确度。当模型训练的性能没有达到要求时，可以将未标注的第二样本数据进行打乱再次重新分组，或者引入更多历史售后任务作为未标注的第二样本数据，从而增加模型训练的迭代次数以满足模型训练的性能要求。
97.在本发明的一个实施例中，对第二样本数据分组，并对售后审核模型进行多次迭代训练的过程可以如图5所示，其步骤如下：
98.步骤s501：输入已标注的第一样本数据至模型m。
99.步骤s502：通过训练得到模型m。
100.可以理解的是，根据已标注的第一样本数据训练后的模型m即为中间售后审核模型。此后，在模型满足性能要求之前，迭代过程中的模型m或模型m’均可称为中间售后审核模型。
101.步骤s503：利用训练后的模型m对未标注的第二样本数据进行标注。
102.其中，步骤s503中的未标注的第二样本数据是全部未标注的样本数据的其中一组
数据，对这一组第二样本数据进行标注的过程可以如图4步骤所示。
103.步骤s504：生成标注完成的第二样本数据。
104.步骤s505：将标注完成的第二样本数据与已标注的第一样本数据进行混合。
105.步骤s506:利用混合的数据对模型再次训练得到模型m’。
106.步骤s507：判断模型m’是否满足性能要求，如果是，结束当前流程，如果否，将模型m’作为模型m执行步骤s503。
107.将模型m’作为模型m，对新的一组未标注的第二样本数据进行标注，继续模型训练的过程，直至模型m的性能不再提高，则结束训练流程。
108.通过模型对未标注的第二样本进行标注，可以得到较多已标注的样本数据，减少了人工标注样本的工作量，增加了模型训练的样本数量，提高了模型训练的效率及性能，进而提高了售后审核模型的准确度。
109.在售后审核模型的性能不再提高时，模型训练完成。可以使用训练好的模型对待审核的售后任务进行审核。在本发明的一个实施例中，售后审核模型的输出是经过sigmoid函数归一化后的0到1之间的概率值。可以设置一个概率阈值，将模型输出大于等于概率阈值的售后任务确定为通过，将小于概率阈值的售后任务确定为不通过。
110.在得到售后审核模型的输出概率之后，还可以使用修正系数对输出概率进行修正从而确定售后任务是否通过的概率，以得到更加合理的审核结果，可以采用本发明实施例提供的以下方式来获取修正系数：根据针对历史售后任务的反馈信息确定所述售后审核模型的修正系数；所述反馈信息是根据指示所述历史售后任务不通过的模型输出得到的；根据所述修正系数和所述售后审核模型的输出，确定所述售后任务是否通过的概率。
111.其中，当历史售后任务经过售后审核模型的审核后，得到不通过的结果时，可以将该历史售后任务提交人工审核，由人工确定是否通过，同时可以由人工对售后审核模型进行打分，得到反馈信息，从而确定修正系数。在本发明的一个实施例中，可以使用十分制对售后审核模型进行打分，再通过非线性公式，得到一个修正系数。例如，可以使用以下非线性公式将打分分值进行转换：y＝log(1 x)/3，其中x为对售后审核模型的打分分值，y为修正系数。当存在多个不通过的历史售后任务时，可以获取到多个打分数据，可以将多个打分数据对应的多个打分分值取平均值，再根据转换公式确定一个修正系数。
112.将修正系数反馈给售后审核模型之后，在本发明的一个实施例中，可以将修正系数乘以售后审核模型输出的概率值，得到修正后的概率值，根据修正后的概率值，确定售后任务是否通过。对于审核通过的售后任务，则允许执行该售后任务。对于审核不通过的售后任务，则提交人工审核，得到当前售后任务的反馈信息(包括打分数据)，根据该反馈信息再次更新修正系数，从而将更新后的修正系数用于后续售后任务的审核结果计算中。
113.通过反馈信息可以实现对售后审核模型的修正，能够提高售后任何审核结果的准确率，进而可以提升用户体验。
114.下面结合图6，对本发明实施例提供的售后任务的审核方法进行详细描述。如图6所示，其具体流程可以如步骤s601至s606：
115.步骤s601:对任务信息进行预处理。
116.其中，任务信息是由当前售后任务关联的状态信息和用户信息得到的。状态信息包括：售后记录、订单状态、物流状态、售后记录及事件状态。用户信息包括用户脱敏信息及
用户画像。可以将这些任务信息存储于数据存储模块中。
117.预处理主要是对任务信息中提取的特征数据进行转换以满足售后审核模型的输入需求。
118.步骤s602:将处理后的特征数据输入至售后审核模型。
119.步骤s603:获取修正系数。
120.修正系数是由历史评价打分转换而来的，历史评价打分的数据存储于数据存储模块。
121.步骤s604:根据修正系数以及售后审核模型的输出，计算售后任务是否通过的概率值。
122.在发明的一个实施例中，可以将修正系数乘以售后审核模型输出的概率值，从而得到售后任务是否通过的概率值。
123.步骤s605:根据动态阈值进行判断。
124.当步骤s604计算得到的概率值大于或等于动态阈值时，确定售后任务审核通过，结束审核流程。
125.当步骤s604计算得到的概率值小于动态阈值时，确定售后任务审核不通过，执行步骤s606。
126.步骤s606:对于模型审核不通过的售后任务进行人工审核。
127.当人工审核为不通过时，即与售后审核模型的审核结果一致时，对售后任务提交审核意见。根据审核意见决定是否重新申请售后任务。将新申请的售后任务回流，以便继续使用售后审核模型进行审核。
128.当人工审核为通过时，即与售后审核模型的审核结果不一致时，对售后审核模型进行打分以提交反馈信息，并将评价打分数据存储至数据存储模块中，以便在后续售后任务审核时生成修正系数。
129.根据本发明实施例提供售后任务的审核方法，能够采用训练中的售后审核模型对未标注的第二样本数据进行自动标注，并利用自动标注后的第二样本数据以及已标注的第一样本数据继续对售后审核模型进行训练，利用训练后的售后审核模型对售后任务进行审核。由此，无需人工对样本数据进行标注，减少了样本标注的工作量，提高了样本标注的效率。并且还增加了模型训练样本的数量，提高了模型训练的性能，进而提高了售后审核模型的准确度。
130.进一步的，通过售后审核模型的特征选择层，可以确定一个或多个特征数据的权重系数，由此，可以高效地从多个特征数据中筛选出重要特征数据，减少了冗余特征对模型的干扰，提高了售后审核模型的鲁棒性。另外，通过反馈信息确定修正系数，并利用修正系数对模型输出的概率值进行修正，进一步提高了售后任务审核结果的准确度。
131.如图7所示，本发明实施例提供了一种售后任务的装置700，包括：获取模块701、审核模块702和确定模块703；其中，
132.所述获取模块701，用于获取待审核的售后任务；
133.所述审核模块702，用于将所述售后任务的任务信息作为预训练的售后审核模型的输入；其中，所述售后审核模型是通过已标注的第一样本数据和未标注的第二样本数据训练得到的，且所述未标注的第二样本数据是通过中间售后审核模型进行标注的；
134.所述确定模块703，用于根据所述售后审核模型的输出，确定所述售后任务是否通过；如果是，允许执行所述售后任务。
135.在本发明一个实施例中，所述审核模块702，用于利用所述第一样本数据训练所述售后审核模型，得到所述中间售后审核模型；利用所述中间售后审核模型确定所述第二样本数据对应的特征向量；根据所述第二样本数据的特征向量与所述第一样本数据的特征向量的相似度，对所述第二样本数据进行标注。
136.在本发明一个实施例中，所述审核模块702，用于将所述第二样本数据分为至少两个样本组，并从所述至少两个样本组中确定当前样本组；循环执行以下步骤，直至所述售后审核模型满足性能要求：利用所述中间售后审核模型对所述当前样本组进行标注；将标注后的所述当前样本组包括的第二样本数据与所述第一样本数据进行混合，并通过混合后的数据对所述中间售后审核模型进行训练，重新从所述至少两个样本组中确定当前样本组。
137.在本发明一个实施例中，所述审核模块702，用于确定所述任务信息包括一个或多个特征数据；所述售后审核模型包括特征选择层和审核层；利用所述特征选择层确定所述一个或多个特征数据分别对应的权重系数；根据所述一个或多个特征数据以及所述一个或多个特征数据分别对应的权重系数，确定所述审核层的输入数据；根据所述审核层的输出，确定所述售后任务是否通过；。
138.在本发明一个实施例中，所述审核模块702，用于确定所述特征选择层是基于senet算法训练的。
139.在本发明一个实施例中，所述审核模块702，用于确定所述第一样本数据包括第一正样本和第一负样本；通过kl散度计算所述第二样本数据对应的特征向量与所述第一正样本和/或第一负样本之间的相似度；根据所述相似度，将所述第二样本数据标注为第二正样本或第二负样本。
140.在本发明一个实施例中，所述确定模块703，用于根据针对历史售后任务的反馈信息确定所述售后审核模型的修正系数；所述反馈信息是根据指示所述历史售后任务不通过的模型输出得到的；根据所述修正系数和所述售后审核模型的输出，确定所述售后任务是否通过的概率。
141.根据本发明实施例提供的售后任务的审核装置，能够采用训练中的售后审核模型对未标注的第二样本数据进行自动标注，并利用自动标注后的第二样本数据以及已标注的第一样本数据继续对售后审核模型进行训练，利用训练后的售后审核模型对售后任务进行审核。由此，无需人工对样本数据进行标注，减少了样本标注的工作量，提高了样本标注的效率。并且还增加了模型训练样本的数量，提高了模型训练的性能，进而提高了售后审核模型的准确度。
142.进一步的，通过售后审核模型的特征选择层，可以确定一个或多个特征数据的权重系数，由此，可以高效地从多个特征数据中筛选出重要特征数据，减少了冗余特征对模型的干扰，提高了售后审核模型的鲁棒性。另外，通过反馈信息确定修正系数，并利用修正系数对模型输出的概率值进行修正，进一步提高了售后任务审核结果的准确度。
143.图8示出了可以应用本发明实施例的售后任务的审核方法或售后任务的审核装置的示例性系统架构800。
144.如图8所示，系统架构800可以包括终端设备801、802、803，网络804和服务器805。
网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
145.用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。
146.终端设备801、802、803可以是具有显示屏并且支持信息浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
147.服务器805可以是提供各种服务的服务器，例如对用户利用终端设备801、802、803提出的售后任务提供支持的后台管理服务器。后台管理服务器可以对接收到的售后任务进行审核等处理，并将审核结果反馈给终端设备。
148.需要说明的是，本发明实施例所提供的售后任务的审核方法一般由服务器805执行，相应地，售后任务的审核装置一般设置于服务器805中。
149.应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
150.下面参考图9，其示出了适于用来实现本发明实施例的终端设备的计算机系统900的结构示意图。图9示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
151.如图9所示，计算机系统900包括中央处理单元(cpu)901，其可以根据存储在只读存储器(rom)902中的程序或者从存储部分908加载到随机访问存储器(ram)903中的程序而执行各种适当的动作和处理。在ram 903中，还存储有系统900操作所需的各种程序和数据。cpu 901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
152.以下部件连接至i/o接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至i/o接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
153.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(cpu)901执行时，执行本发明的系统中限定的上述功能。
154.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、
或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
155.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
156.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块，审核模块，确定模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取售后任务的模块”。
157.作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取待审核的售后任务；将所述售后任务的任务信息作为预训练的售后审核模型的输入；其中，所述售后审核模型是通过已标注的第一样本数据和未标注的第二样本数据训练得到的，且所述未标注的第二样本数据是通过中间售后审核模型进行标注的；根据所述售后审核模型的输出，确定所述售后任务是否通过；如果是，允许执行所述售后任务。
158.根据本发明实施例的技术方案，能够采用训练中的售后审核模型对未标注的第二样本数据进行自动标注，并利用自动标注后的第二样本数据以及已标注的第一样本数据继续对售后审核模型进行训练，利用训练后的售后审核模型对售后任务进行审核。由此，无需人工对样本数据进行标注，减少了样本标注的工作量，提高了样本标注的效率。并且还增加了模型训练样本的数量，提高了模型训练的性能，进而提高了售后审核模型的准确度。
159.进一步的，通过售后审核模型的特征选择层，可以确定一个或多个特征数据的权重系数，由此，可以高效地从多个特征数据中筛选出重要特征数据，减少了冗余特征对模型的干扰，提高了售后审核模型的鲁棒性。另外，通过反馈信息确定修正系数，并利用修正系数对模型输出的概率值进行修正，进一步提高了售后任务审核结果的准确度。
160.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。