数据处理方法、装置、计算机设备及存储介质与流程

1.本技术涉及人工智能技术领域，更具体地，涉及一种数据处理方法、装置、计算机设备及存储介质。


背景技术：

2.智能终端和移动互联网的迅速发展，使得网络应用产品层出不穷，随着产品多样性以及用户基数的不断增大，服务商在提供业务服务的过程中受到的投诉频率也急剧增长。由于投诉处理是服务商工作中尤为重要的环节，同时也是发现问题和提升服务质量的重要途径，所以减少用户投诉，提升用户满意度已经成为服务商重点关注的一个方面。
3.为了能够及时预测业务中将会出现的投诉问题，现阶段，大多数公司主要利用有关投诉预测的算法模型来对用户的投诉意图进行预测，从而对投诉可能性较高的用户进行提前介入，例如，服务商会根据预测的客户投诉概率，针对性地向用户提供解决方案。然而，由于大多投诉预测模型的网络结构仅能从用户信息中提取低阶特征，从而导致投诉预测模型对客户投诉意图的预测准确率不高。


技术实现要素：

4.本技术实施例提供一种数据处理方法、装置、计算机设备以及存储介质。用于提升用户意图预测的准确率。
5.第一方面，本技术实施例提供一种数据处理方法，该方法包括：获取用户关联的多源数据；对多源数据进行特征数据提取，得到特征数据；将特征数据输入至预先训练得到的目标预测模型，输出用户的目标意图预测结果，目标预测模型包括因子分解机模块和注意力网络模块，因子分解机模块用于对特征数据进行低阶特征处理，注意力网络模块用于对特征数据进行高阶特征处理；根据目标意图预测结果进行意图处理操作。
6.可以看出，在本技术实施例中，先获取用户关联的多源数据，并对该多源数据进行特征数据提取，得到特征数据，进一步地，将特征数据输入至预先训练得到的目标预测模型，输出用户的目标意图预测结果，该目标预测模型包括因子分解机模块和注意力网络模块，由于，目标预测模型中的注意力网络模块可在从用户关联的多源数据中学习到对应的高阶特征，从而增强对用户意图预测的准确率，进而根据目标意图预测结果进行意图处理操作，有效提升用户对投诉处理的满意度。
7.第二方面，本技术实施例提供一种模型训练方法，该方法包括：先获取多源样本数据，其中，多源样本数据包括工单样本数据、风控样本数据、征信样本数据以及资源管控样本数据，进而对工单样本数据、风控样本数据、征信样本数据以及资源管控样本数据进行预处理，得到第一训练特征数据，并对工单样本数据进行关键词提取得到第二训练特征数据，进一步地，将第一训练特征数据和第二训练特征数据输入预设预测模型，得到意图预测训练结果，该预设预测模型包括因子分解机模块和注意力网络模块，并基于意图预测训练结果和真实意图预测结果计算出损失值，进而根据损失值对预设预测模型进行迭代训练，直
至预设预测模型满足预设条件，得到目标预测模型。
8.可以看出，在本技术实施例中，获取多源样本数据后，对该多源样本数据进行预处理得到第一训练特征数据，并对多源样本数据中的工单样本数据进关键词提取得到第二训练特征数据，从而捕获更多有关用户投诉的信息便于为模型训练增加有效的训练数据。进一步地，将第一训练特征数据和第二训练特征数据输入预设预测模型，得到意图预测训练结果，并基于意图预测训练结果和真实意图预测结果计算出损失值，进而根据损失值对预设预测模型进行迭代训练，直至预设预测模型满足预设条件，得到目标预测模型。由于，该预设预测模型包括因子分解机模块和注意力网络模块，训练所得的目标预测模型可以提取到训练特征数据的低阶特征与高阶特征，从而增强预设预测模型对用户意图预测的准确率。
9.第三方面，本技术实施例还提供一种数据处理装置，该装置包括：获取模块，用于获取用户关联的多源数据；提取模块，用于对多源数据进行特征数据提取，得到特征数据；计算模块，用于将所述特征数据输入至预先训练得到的目标预测模型，输出所述用户的目标意图预测结果，所述目标预测模型包括因子分解机模块和注意力网络模块，所述因子分解机模块用于对所述特征数据进行低阶特征处理，所述注意力网络模块用于对所述特征数据进行高阶特征处理；处理模块，用于根据目标意图预测结果进行意图处理操作。
10.第四方面，本技术实施例还提供一种计算机设备，该计算机设备包括处理器以及存储器，存储器存储有计算机程序指令，计算机程序指令被处理器调用时执行上述的数据处理方法。
11.第五方面，本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，其中，在程序代码被处理器运行时执行上述的数据处理方法。
12.第六方面，本技术实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取计算机指令，处理器执行计算机指令，使得计算机执行上述数据处理方法中的步骤。
附图说明
13.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1示出了本技术实施例提供的一种数据处理系统架构示意图。
15.图2示出了本技术实施例提供的一种数据处理方法的流程示意图。
16.图3示出了本技术实施例提供的一种目标预测模型的网络架构示意图。
17.图4示出了本技术实施例提供的一种因子分解机模块的网络架构示意图。
18.图5示出了本技术实施例提供的一种注意力网络模块的网络架构示意图。
19.图6示出了本技术实施例提供的另一种数据处理方法的流程示意图。
20.图7示出了本技术实施例提供的一种数据处理装置的模块框图。
21.图8是本技术实施例提供的一种计算机设备的模块框图。
22.图9是本技术实施例提供的一种计算机可读存储介质的模块框图。
具体实施方式
23.下面详细描述本技术的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性地，仅用于解释本技术，而不能理解为对本技术的限制。
24.为了使本技术领域的人员更好地理解本技术的方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.客户投诉管理是改善企业与用户的关系、提升客户体验借以提升客户满意度的重要举措。现今许多投诉预测方案都引入大数据挖掘技术，采用大数据建模的思路建立投诉预测系统。例如，消费金融公司通过意图预测模型能够识别客户监管投诉倾向，以供服务部门采取应对策略，降低投诉量。
26.现有的投诉预测模型大多采用机器学习(machine learning)的方法来构建网络模型，这种方式构建的网络模型仅能从客户数据中提取到低阶特征，然而仅靠低阶特征无法准确地对用户投诉意图进行预测，也即无法满足对多种投诉场景下客户意图预测的需求。
27.为了解决上述问题，发明人提出了本技术实施例提供的数据处理方法，该方法可以获取用户关联的多源数据，并对该多源数据进行特征数据提取，得到特征数据，进一步地，将特征数据输入至预先训练得到的目标预测模型，输出用户的目标意图预测结果，由于目标预测模型可以从多源数据中提取到高阶特征，因此，有效提高用户意图预测的准确率。
28.下面先对本技术所涉及到的数据处理方法的环境架构图进行介绍。
29.如图1所示，在一些实施例中，本技术实施例提供的数据处理方法可以应用在图1所示的数据处理系统300中，数据处理系统300可以包括客户进线模块301、工单生成模块303、工单跟进模块305、特征调度模块302、意图预测模块304、工单数据库306、风控数据库308、资源数据库310以及第三方数据库312。
30.其中，客户进线模块301用于对客户进行投诉处理，工单生成模块303用于创建客户工单，工单跟进模块305用于主动呼叫客户进行投诉升级处理，特征调度模块302用于启动意图预测流程以及获取特征数据，意图预测模块304用于预测用户的投诉意图，工单数据库306用于存储由工单生成模块303创建生的客户工单，风控数据库308用于存储客户关联的风控数据，资源数据库310用于存储客户关联的资源管控数据以及第三方数据库312用于存储用户的用户征信数据。
31.示例性地，消费金融服务场景中，由于客户资金周转等原因，客户会发生还款逾期的情况，此时，消费金融服务企业会对客户进行情况问询并提醒客户尽快还款。在这个过程中很容易滋生矛盾，导致客户提出投诉的情况发生，为此可以将数据处理系统300应用到解决客户投诉的场景中。数据处理系统300的客户进线模块301检测到客户进行投诉时，可以传呼客服坐席根据客户诉求对该客户进行投诉处理，当客服坐席无法解决该客户的投诉时，工单生成模块303对应生成该客户的客户工单，并将客户工单存储于工单数据库306。
32.进一步地，特征调度模块302检测到工单数据库306中新增有客户工单时，可以启动意图预测流程，从工单数据库306、风控数据库308、资源数据库310以及第三方数据库312中获取特征数据，并将特征数据传至意图预测模块304，意图预测模块304输出客户投诉的意图预测结果，并将该意图预测结果写入客户工单，以及将客户工单传至工单跟进模块305，工单跟进模块305根据意图预测结果生成和解策略进行客户的投诉处理，从而与用户达成一致。
33.在本实施例中，将数据处理装置的角度进行描述，该数据处理装置具体可以集成在具备储存单元并安装有微处理器而具有运算能力的计算机设备中，计算机设备可以是服务器或者终端。下面将结合附图具体描述本技术中的各实施例。
34.请参阅图2，图2示出了本技术实施例提供的一种数据处理方法，该数据处理方法可以包括步骤s110至步骤s140。
35.步骤s110：获取用户关联的多源数据。
36.当前大多有关用户投诉预测的网络模型仅通过分析用户信息、消费记录等单一数据源进行投诉意图的预测，考虑到单一数据源无法能够获取到更多用于反映用户实际诉求的信息，本技术实施例基于多源数据进行投诉意图预测，从数据来源多样化的角度分析用户的投诉诉求，以便提高投诉处理的准确性。
37.其中，多源数据指的是来自多个数据源的数据，该多源数据中每类数据之间的数据结构可以存在差异，多源数据的获取，需要经过用户的授权许可。例如，源于第三方提供的用户征信数据，或者源于用户投诉电话投诉记录提取的关键词数据，其中，用户征信数据可为结构化的数值型数据，关键词数据可为文本类型的数据。
38.作为一种实施方式，可以从存储有不同的数据源的数据库中获取用户关联的多源数据，例如，从工单数据库、风控数据库、资源数据库以及第三方数据库中分别获取工单数据、风控数据、征信数据以及资源管控数据。从而依据多个数据源的数据来提高用户意图预测的准确率。
39.步骤s120：对多源数据进行特征数据提取，得到特征数据。
40.其中，多源数据可为工单数据、风控数据、征信数据以及资源管控数据，资源管控数据可以包括提醒用户尽快还款的数据。多源数据的获取可以根据业务场景进行人工设定，在此不做限定。特征数据指的是包含特征信息，且能够直输入至网络模型进行计算的数据。
41.在一些实施例中，该对多源数据进行特征数据提取，得到特征数据的步骤可以包括：
42.(1)对工单数据、风控数据、征信数据以及资源管控数据进行预处理，得到第一特征数据。
43.(2)对工单数据进行关键词提取得到第二特征数据。
44.其中，第一特征数据指的是对一些多源数据进行数据预处理后得到的类别特征数据、数值型特征数据。第二特征数据指的是对一些多源数据进行关键词提取的关键词型特征数据。由于多源数据均为宽表数据，无法直接作为网络模型的输入数据，所以需要对该多源数据进行数据预处理。
45.作为一种实施方式，可以对工单数据、风控数据、征信数据以及资源管控数据进行
缺失值处理、异常值处理以及one-hot处理得到第一特征数据。具体地，可以对该多源数据中的缺失值进行定值填充，例如，用-9999进行替代。对数值型特征中的异常值处理，例如，将超过99.5％分位的特征值缩小为99.5％分位值。针对类别属性和关键词属性进行one-hot处理。例如，类别特征(性别)，处理为男-[0,0,1]、女-[0,1,0]、空值-[1,0,0]；关键词特征(银监会)，处理为描述包含关键词时该特征为1，描述不包含关键词时该特征为0。
[0046]
为了提高网络模型对用户投诉意图预测的准确率，可以通过增加关键词特征来捕获更多有关用户投诉的信息。因此，可以从工单标签和工单描述中提取主要的关键词作为关键词特征也即第二特征数据。
[0047]
作为另一种实施方式，可以使用词频-逆向文件频率(term frequency
–
inverse document frequency，tf-idf)方法基于工单数据进行关键词抽取得到关键词特征，也即第一特征数据。具体地，可以利用tf-idf方法提取多个主要关键词，进一步地，按照按tf-idf值降序排序，并选择top-k个的关键词作为第二特征数据。
[0048]
步骤s130：将特征数据输入至预先训练得到的目标预测模型，输出用户的目标意图预测结果。
[0049]
考虑到现有的大多数意图预测模型仅能提取到数据中的低阶特征，所以导致对意图进行预测的结果不够准确，为此，本技术提出在提取低阶特征的基础上，增加高阶特征提取的方案，以便提高意图预测模型进行意图预测的准确率。
[0050]
在一些实施例中，该将特征数据输入至预先训练得到的目标预测模型，输出用户的目标意图预测结果的步骤可以包括：
[0051]
(1)将特征数据输入至因子分解机模块进行低阶特征处理，得到第一意图预测结果。
[0052]
(2)将特征数据输入至注意力网络模块进行高阶特征处理，得到第二意图预测结果。
[0053]
(3)根据第一意图预测结果与第二意图预测结果，计算出目标意图预测结果。
[0054]
示例性地，如图3所示，图3示出了本技术提供的一种目标预测模型的网络架构示意图。其中，目标预测模型可以包括因子分解机模块和注意力网络模块，因子分解机模块可以用于捕获低阶(low-order)特征特征，注意力网络模块可以用于捕获高阶(high-order)特征。
[0055]
注意力网络模块包括输入层、嵌入层、全连接层、注意力层以及输出层。因子分解机模块输入层、嵌入层、因子分解层以及输出层。输出层可以联合第一意图预测结果与第二意图预测结果，计算出目标意图预测结果。需要说明的是，为了同时利用低阶特征和高阶特征，目标预测模型中因子分解机模块和注意力网络模块可以共享输入层和嵌入层。根据第一意图预测结果与第二意图预测结果，计算出目标意图预测结果,目标意图预测结果以根据以下公式获取：
[0056][0057]
其中，y1为第一意图预测结果，y2为第二意图预测结果。意图预测结果可以为对意图预测的评分，例如，用户在未来30天发生外部投诉的评分值。
[0058]
作为一种实施方式，该将特征数据输入至因子分解机模块进行低阶特征处理，得到第一意图预测结果的步骤可以包括：
[0059]
(1.1)通过输入层将获取的特征数据传至嵌入层。
[0060]
(1.2)通过嵌入层对特征数据进行特征向量化得到特征向量，以及嵌入层将特征向量传至因子分解层。
[0061]
(1.3)通过因子分解层对特征向量进行低阶特征提取得到低阶特征。
[0062]
(1.4)通过输出层对基于因子分解层提取的低阶特征进行计算，得到第一意图预测结果。
[0063]
示例性地，如图4所示，图4示出了本技术提供的一种因子分解机模块的网络架构示意图。其中，输入层(sparse features)可以获取特征数据，并将该特征数据传至嵌入层(dense embeddings)，嵌入层可以对特征数据进行特征向量化得到特征向量，以便将原始的稀疏表示特征映射为稠密的特征向量。
[0064]
进一步地，嵌入层可以将特征向量传至因子分解层进行低阶特征提取得到低阶特征，并将低阶特征输入输出层，从而输出层计算得到第一意图预测结果，第一意图预测结果y1可以根据以下公式获取：
[0065][0066]
其中，n表示特征数量，xi(xj)为第i(j)个特征的特征值，wi以及w
ij
为模型参数。由于因子分解机模块在线性表达式后面加入了新的交叉项特征及对应的权值，因此其可以学到二阶交叉特征。
[0067]
考虑到不同的数据特征在整个网络模型进行意图预测中所起到的作用存在差异性，也即，部分特征对预测结果的准确影响较大或者较小。此外，为了减小网络模型的计算负担，只需要把重要的数据特征挑选出来让后续的神经网络来处理，而不需要把所有数据特征都输入给网络模型，也即使得目标预测模型将注意力集中在重要信息的学习上，而忽视不重要的信息。
[0068]
因此，在本技术实施例中，将注意力机制引入目标预测模型，由此得到的注意力网络模块除了能够捕获特征数据的高阶特征之外，还可以学习到特征的重要分布，从而提高对用户投诉意图的预测准确率。
[0069]
作为另一种实施方式，该将特征数据输入至注意力网络模块进行高阶特征处理，得到第二意图预测结果的步骤可以包括：
[0070]
(2.1)通过输入层将获取的特征数据传至嵌入层。
[0071]
(2.2)通过嵌入层对特征数据进行特征向量化得到特征向量，以及嵌入层将特征向量传至注意力层和全连接层。
[0072]
(2.3)通过注意力层对特征向量进行权重计算得到权重参数。
[0073]
(2.4)通过全连接层基于特征向量和权重参数进行高阶特征提取得到高阶特征。
[0074]
(2.5)通过输出层对基于全连接层提取的高阶特征进行计算，得到第二意图预测结果。
[0075]
示例性地，如图5所示，图5示出了本技术提供的一种注意力网络模块的网络架构示意图。其中，输入层(sparse features)可以获取特征数据，并将该特征数据传至嵌入层(dense embeddings)，嵌入层可以对特征数据进行特征向量化得到特征向量，以便将原始
的稀疏表示特征映射为稠密的特征向量。
[0076]
进一步地，嵌入层可以将特征向量传至注意力层和全连接层，注意力层可以对特征向量进行权重计算得到权重参数，其中，权重参数用于表征某一特征的权重，权重参数ai可以根据以下公式获取：
[0077]ai
＝e
t
wz
[0078]
其中，e为嵌入层的输出，z为全连接层的输出，w为网络模型参数。
[0079]
进一步地，注意力层计算得到的权重参数传至全连接层，全连接层基于特征向量和权重参数进行高阶特征提取得到高阶特征，并将高阶特征传至输出层，进而输出层基于高阶特征计算得到第二意图预测结果，具体地，将全连接层的输出z与权重参数ai进行加权求和得到并将c0传至输出层的sigmoid函数中，计算出第二意图预测结果y2，也即，y2＝sigmoid(c0)。
[0080]
步骤s140：根据目标意图预测结果进行意图处理操作。
[0081]
在一些实施例中，目标意图预测结果可以包括预测意图的得分，该根据目标意图预测结果进行意图处理操作的步骤可以包括：
[0082]
(1)根据预测意图的得分确定用户的意图等级。
[0083]
(2)根据意图等级确定并进行对应的意图处理操作。
[0084]
其中，意图等级可以指的是用户具有投诉意图的风险等级，不同的预测意图的得分对应不同的意图等级。
[0085]
作为一种实施方式，可以为不同预测意图的得分匹配对应的用户的意图等级，进一步地，根据意图等级确定并进行对应的意图处理操作。例如，客户投诉风险等级为高风险时，执行对高风险用户进行1％～20％的费率减免的处理操作。客户投诉风险等级为低风险时，执行不进行费率减免的处理操作。
[0086]
本技术实施例中，可以获取用户关联的多源数据，并对该多源数据进行特征数据提取，得到特征数据，进一步地，将特征数据输入至预先训练得到的目标预测模型，输出用户的目标意图预测结果，该目标预测模型为基于因子分解机和注意力网络训练得到，由此，目标预测模型能够从用户关联的多源数据中提取到高阶特征以及学到特征间的重要分布，进而根据目标意图预测结果进行意图处理操作，从而提高用户意图预测的准确率。
[0087]
结合上述实施例所描述的方法，以下将举例作进一步详细说明。
[0088]
在本实施例中，将以该数据处理装置具体集成在计算机设备中为例进行说明。
[0089]
如图6所示，图6示意性地示出本技术实施例提供的另一种数据处理方法，该数据处理方法可以包括步骤s201至步骤s210。
[0090]
步骤s201：计算机设备获取待训练的多源样本数据。
[0091]
针对前述实施例中的目标预测模型，本技术实施例中还包括对该目标预测模型的训练方法，值得说明的是，对目标预测模型的训练可以是根据获取的训练数据集合预先进行的，后续在每次需要对客户的投诉意图进行预测时，可以利用训练得到的目标预测模型生成目标意图预测结果，而无需每次进行意图预测时对目标预测模型进行训练。
[0092]
在本技术实施例中，训练样本集合可以包括多个样本数据，该样本数据为多源样本数据，至少包括工单样本数据、风控样本数据、征信样本数据以及资源管控样本数据。作为一种实施方式，计算机设备可以获取待训练的工单样本数据、风控样本数据、征信样本数
据以及资源管控样本数据。
[0093]
步骤s202：计算机设备对工单样本数据、风控样本数据、征信样本数据以及资源管控样本数据进行预处理，得到第一训练特征数据。
[0094]
步骤s203：计算机设备对工单样本数据进行关键词提取得到第二训练特征数据。
[0095]
其中，第一训练特征数据指的是对一些多源样本数据进行数据预处理后得到的类别特征数据、数值型特征数据。第二训练特征数据指的是对一些多源样本数据进行关键词提取的关键词型特征数据。由于多源样本数据均为宽表数据，无法直接作为网络模型的输入数据，所以需要对该多源样本数据进行数据预处理。
[0096]
作为一种实施方式，计算机设备可以对工单样本数据、风控样本数据、征信样本数据以及资源管控样本数据进行缺失值处理、异常值处理以及one-hot处理。对工单样本数据进行关键词提取得到第二特征训练数据。
[0097]
例如，基于统计学的词频-逆向文件频率(tf-idf)进行关键词提取，得到第二特征训练数据。其中，tf-idf是一种统计方法，用以评估词对于一个语料库中的其中一份文件的重要程度。词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
[0098]
在申请实施例中，基于正负样本将多源样本数据分类两个文档，正样本为一个文档，负样本为一个文档。关键词型特征数据(第二特征训练数据)是一个样本中的部分特征，每个样本包含多个维度的特征，每个样本都包含有一个标签(label)，该标签用“1”和“0”表示。“1”表示为该样本为正样本，“0”表示该样本为负样本。可选地，基于大量的客户历史数据可以设置，若样本数据在未来30天发生外部投诉，则该样本的label为“1”，若样本数据在未来30天未发生外部投诉，则该案件样本的label为“0”。
[0099]
计算词频。考虑到文章有长短之分，为了便于不同文档的比较，进行"词频"标准化。词频：tf＝文章中某词出现的频数/文章中该词出现的总次数。计算逆文档频率。如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。idf＝log(语料库文档总数/包含该词的文档数)。计算tf-idf，tf-idf与一个词在文档中的出现次数成正比，与该词在整个语言中的出现次数成反比，tf-idf＝tf*idf。按tf-idf值降序排序，选择top-k(如，k＝50)个关键词作为第二特征训练数据。
[0100]
步骤s204：计算机设备将第一训练特征数据和第二训练特征数据输出至预设预测模型，得到意图预测训练结果。
[0101]
步骤s205：计算机设备基于意图预测训练结果和真实意图预测结果计算出损失值。
[0102]
其中，预设预测模型包括因子分解机模块和注意力网络模块，计算机设备可以基于因子分解机模块和注意力网络模块得到意图预测训练结果。真实意图预测结果为训练所用样本的标签值。作为一种实施方式，计算机设备可以将第一训练特征数据和第二特征训练数据输出至预设预测模型，得到意图预测训练结果y，并基于意图预测训练结果y和真实意图预测结果计算出损失值l，该损失值l可以根据以下公式获取：
[0103]
[0104]
步骤s206：计算机设备根据损失值对预设预测模型进行迭代训练，直至预设预测模型满足预设条件，得到目标预测模型。
[0105]
其中，预设条件可以为：损失值小于预设值、损失值不再变化、或者训练次数达到预设次数等。
[0106]
作为一种实施方式，在根据训练样本集合对预设预测模型进行多个训练周期的迭代训练后，其中，每个训练周期包括多次的迭代训练，不断对预设预测模型的参数进行优化，则以上损失值越来越小，最后变小为一个固定值，或者小于以上预设值，此时，则表示预设预测模型已收敛；当然也可以是在训练次数达到预设次数后，确定预设预测模型已经收敛。
[0107]
可选地，可以利用梯度下降法(gradient descent)求损失函数对特征(输入项)的导数计算出梯度，从而更新预设预测模型各个参数权重值。
[0108]
步骤s207：计算机设备获取用户关联的多源数据。
[0109]
作为一种实施方式，计算机设备可以从存储有不同的数据源的数据库中获取用户关联的多源数据，例如，工单数据库、风控数据库、资源数据库以及第三方数据库中分别获取工单数据、风控数据、征信数据以及资源管控数据。从而依据多个数据源的数据来提高用户意图预测的准确率。
[0110]
步骤s208：计算机设备对多源数据进行特征数据提取，得到特征数据。
[0111]
在一些实施例中，该计算机设备对多源数据进行特征数据提取，得到特征数据的步骤可以包括：
[0112]
(1)计算机设备对工单数据、风控数据、征信数据以及资源管控数据进行预处理，得到第一特征数据。
[0113]
(2)计算机设备对工单数据进行关键词提取得到第二特征数据。
[0114]
作为一种实施方式，计算机设备可以对工单数据、风控数据、征信数据以及资源管控数据进行缺失值处理、异常值处理以及one-hot处理得到第一特征数据。
[0115]
作为一另种实施方式，计算机设备可以使用tf-idf方法基于工单数据进行关键词抽取得到关键词特征，也即第一特征数据。
[0116]
步骤s209：计算机设备将特征数据输入至预先训练得到的目标预测模型，输出用户的目标意图预测结果。
[0117]
在一些实施例中，该计算机设备将特征数据输入至预先训练得到的目标预测模型，输出用户的目标意图预测结果的步骤可以包括：
[0118]
(1)计算机设备将特征数据输入至因子分解机模块进行低阶特征处理，得到第一意图预测结果。
[0119]
(2)计算机设备将特征数据输入至注意力网络模块进行高阶特征处理，得到第二意图预测结果。
[0120]
(3)计算机设备根据第一意图预测结果与第二意图预测结果，计算出目标意图预测结果。
[0121]
其中，目标预测模型可以包括因子分解机模块和注意力网络模块，因子分解机模块可以用于捕获低阶特征特征，注意力网络模块可以用于捕获高阶特征。注意力网络模块包括输入层、嵌入层、全连接层、注意力层以及输出层。因子分解机模块输入层、嵌入层、因
子分解层以及输出层。输出层可以联合第一意图预测结果与第二意图预测结果，计算出目标意图预测结果。目标预测模型中因子分解机模块和注意力网络模块可以共享输入层和嵌入层。
[0122]
作为一种实施方式，该计算机设备将特征数据输入至因子分解机模块进行低阶特征提取，得到第一意图预测结果的步骤可以包括：
[0123]
(1.1)计算机设备利用输入层将获取的特征数据传至嵌入层。
[0124]
(1.2)计算机设备利用嵌入层对特征数据进行特征向量化得到特征向量，以及嵌入层将特征向量传至因子分解层。
[0125]
(1.3)计算机设备利用因子分解层对特征向量进行低阶特征提取得到低阶特征。
[0126]
(1.4)计算机设备利用输出层对基于因子分解层提取的低阶特征进行计算，得到第一意图预测结果。
[0127]
计算机设备通过输入层可以获取特征数据，并将该特征数据传至嵌入层，嵌入层可以对特征数据进行特征向量化得到特征向量，以便将原始的稀疏表示特征映射为稠密的特征向量。进一步地，嵌入层可以将特征向量传至因子分解层进行进行低阶特征提取得到低阶特征，并将低阶特征输入输出层，从而输出层计算得到第一意图预测结果。
[0128]
作为一另种实施方式，该计算机设备将特征数据输入至注意力网络模块进行高阶特征提取，得到第二意图预测结果的步骤可以包括：
[0129]
(2.1)计算机设备利用输入层将获取的特征数据传至嵌入层。
[0130]
(2.2)计算机设备利用嵌入层对特征数据进行特征向量化得到特征向量，以及嵌入层将特征向量传至注意力层和全连接层。
[0131]
(2.3)计算机设备利用注意力层对特征向量进行权重计算得到权重参数。
[0132]
(2.4)计算机设备利用全连接层基于特征向量和权重参数进行高阶特征提取得到高阶特征。
[0133]
(2.5)计算机设备利用输出层对基于全连接层提取的高阶特征进行计算，得到第二意图预测结果。
[0134]
计算机设备可以利用输入层可以获取特征数据，并将该特征数据传至嵌入层，嵌入层可以对特征数据进行特征向量化得到特征向量，以便将原始的稀疏表示特征映射为稠密的特征向量。进一步地，嵌入层可以将特征向量传至注意力层和全连接层，注意力层可以对特征向量进行权重计算得到权重参数，进而通过全连接层的输出和权重参数进行高阶特征提取得到高阶特征，并将高阶特征输入输出层，基于输出层计算得到第二意图预测结果。
[0135]
步骤s210：计算机设备根据目标意图预测结果进行意图处理操作。
[0136]
在一些实施例中，计算机设备根据目标意图预测结果可以包括预测意图的得分，该根据目标意图预测结果进行意图处理操作的步骤可以包括：
[0137]
(1)计算机设备根据预测意图的得分确定用户的意图等级。
[0138]
(2)计算机设备根据意图等级确定并进行对应的意图处理操作。
[0139]
其中，意图等级可以指的是用户具有投诉意图的风险等级，不同的预测意图的得分对应不同的意图等级。如下表所示的预测意图的得分与风险等级的对应关系：
[0140]
预测得分风险等级0.85-1.0高风险
0.75-0.85中高风险0.6-0.75中风险0.5-0.6中低风险0-0.5低风险
[0141]
例如，计算机设备获取的预测意图的得分为0.9时，可以判定该客户投诉风险等级为高风险，从而执行对高风险用户进行1％～20％的费率减免的处理操作。客户投诉风险等级为低风险时，执行不进行费率减免的处理操作。具体地，计算机设备可以根据不同的处理操作，通知客服坐席主动呼叫客户与用户达成一致，完成解决投诉问题。
[0142]
本技术实施例中，计算机设备获取待训练的多源样本数据，并对多源样本数据中的工单样本数据、风控样本数据、征信样本数据以及资源管控样本数据进行预处理，得到第一训练特征数据，以及对多源样本数据中的工单样本数据进行关键词提取得到第二特征训练数据。进一步地，计算机设备将第一训练特征数据和第二特征训练数据输出至预设预测模型，得到意图预测训练结果，并基于意图预测训练结果和真实意图预测结果计算出损失值，进而根据损失值对预设预测模型进行迭代训练，直至预设预测模型满足预设条件，得到目标预测模型。
[0143]
进一步地，计算机设备可以获取用户关联的多源数据，并对该多源数据进行特征数据提取，得到特征数据，进一步地，将特征数据输入至预先训练得到的目标预测模型，输出用户的目标意图预测结果，该目标预测模型为基于因子分解机模块和注意力网络模块训练得到，由此，目标预测模型能够从用户关联的多源数据中提取到高阶特征以及学到特征间的重要分布，进而根据目标意图预测结果进行意图处理操作，从而提高用户意图预测的准确率。
[0144]
请参阅图7，其示出了本技术实施例提供的一种数据处理装置400的结构框图。该数据处理装置400包括：获取模块410，用于获取用户关联的多源数据；提取模块420，用于对多源数据进行特征数据提取，得到特征数据；计算模块430，用于将特征数据输入至预先训练得到的目标预测模型，输出用户的目标意图预测结果，目标预测模型包括因子分解机模块和注意力网络模块，因子分解机模块用于对特征数据进行低阶特征处理，注意力网络模块用于对特征数据进行高阶特征处理；处理模块440，用于根据目标意图预测结果进行意图处理操作。
[0145]
在一些实施例中，多源数据包括工单数据、风控数据、征信数据以及资源管控数据，特征数据至少包括第一特征数据以及第二特征数据，提取模块420可以包括：数据处理单元以及关键词提取单元。数据处理单元，用于对工单数据、风控数据、征信数据以及资源管控数据进行预处理，得到第一特征数据；关键词提取单元，用于对工单数据进行关键词提取得到第二特征数据。
[0146]
在一些实施例中，目标预测模型包括因子分解机模块和注意力网络模块，计算模块430可以包括：第一计算单元、第二计算单元、第三计算单元。第一计算单元，用于将特征数据输入至因子分解机模块进行低阶特征处理，得到第一意图预测结果，低阶特征处理用于提取特征数据的低阶特征，以及基于低阶特征计算出第一意图预测结果；第二计算单元，用于将特征数据输入至注意力网络模块进行高阶特征处理，得到第二意图预测结果，高阶特征处理用于提取特征数据的高阶特征，以及基于高阶特征计算出第二意图预测结果；第
三计算单元，用于根据第一意图预测结果与第二意图预测结果，计算出目标意图预测结果。
[0147]
在一些实施例中，注意力网络模块包括输入层、嵌入层、全连接层、注意力层以及输出层，第二计算单元可以具体用于：输入层将获取的特征数据传至嵌入层；嵌入层对特征数据进行特征向量化得到特征向量，以及嵌入层将特征向量传至注意力层和全连接层；注意力层对特征向量进行权重计算得到权重参数，以及注意力层将权重参数传至全连接层；全连接层基于特征向量和权重参数进行高阶特征提取得到高阶特征；输出层对基于全连接层提取的高阶特征进行计算，得到第二意图预测结果。
[0148]
在一些实施例中，因子分解机模块包括输入层、嵌入层、因子分解层以及输出层，第一计算单元可以具体用于：输入层将获取的特征数据传至嵌入层；嵌入层对特征数据进行特征向量化得到特征向量，以及嵌入层将特征向量传至因子分解层；因子分解层对特征向量进行低阶特征提取得到低阶特征；输出层对基于因子分解层提取的低阶特征进行计算，得到第一意图预测结果。
[0149]
在一些实施例中，意图预测结果包括预测意图的得分，处理模块440可以具体用于：根据预测意图的得分确定用户的意图等级；根据意图等级确定并进行对应的意图处理操作。
[0150]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0151]
在本技术所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
[0152]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0153]
本技术提供的方案，可以获取用户关联的多源数据，并对该多源数据进行特征数据提取，得到特征数据，进一步地，将特征数据输入至预先训练得到的目标预测模型，输出用户的目标意图预测结果，该目标预测模型为基于因子分解机和注意力机制训练得到，由此能够从用户关联的多源数据中提取到高阶特征以及学到特征间的重要分布，进而根据目标意图预测结果进行意图处理操作，从而提高用户意图预测的准确率。
[0154]
本技术实施例还提供一种模型训练装置，该模型训练装置可以包括：样本数据获取模块，用于获取待训练的多源样本数据，多源样本数据至少包括工单样本数据、风控样本数据、征信样本数据以及资源管控样本数据；预处理模块，用于对工单样本数据、风控样本数据、征信样本数据以及资源管控样本数据进行预处理，得到第一训练特征数据；训练特征提取模块，用于对工单样本数据进行关键词提取得到第二特征训练数据；模型计算模块，用于将第一训练特征数据和第二特征训练数据输入预设预测模型，得到意图预测训练结果，预设预测模型包括因子分解机模块和注意力网络模块；损失计算模型，用于基于意图预测训练结果和真实意图预测结果计算出损失值；模型训练模块，用于根据损失值对预设预测模型进行迭代训练，直至预设预测模型满足预设条件，得到目标预测模型。
[0155]
本技术提供的方案，在获取多源样本数据后，可以对该多源样本数据进行预处理得到第一训练特征数据，并对多源样本数据中的工单样本数据进关键词提取得到第二训练特征数据，从而捕获更多有关用户投诉的信息便于为模型训练增加有效的训练数据。进一
步地，将第一训练特征数据和第二训练特征数据输入预设预测模型，得到意图预测训练结果，并基于意图预测训练结果和真实意图预测结果计算出损失值，进而根据损失值对预设预测模型进行迭代训练，直至预设预测模型满足预设条件，得到目标预测模型。由于，该预设预测模型包括因子分解机模块和注意力网络模块，训练所得的目标预测模型可以提取到训练特征数据的低阶特征与高阶特征，从而增强预设预测模型对用户意图预测的准确率。
[0156]
如图8所示，本技术实施例还提供一种计算机设备500，该计算机设备500包括处理器510、存储器520、电源530和输入单元540，存储器520存储有计算机程序指令，计算机程序指令被处理器510调用时，可实执行上述的实施例提供的各种方法步骤。本领域技术人员可以理解，图中示出的计算机设备的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0157]
处理器510可以包括一个或多个处理核。处理器510利用各种接口和线路连接整个电池管理系统内的各种部分，通过运行或执行存储在存储器520内的指令、程序、代码集或指令集，调用存储在存储器520内的数据，执行电池管理系统的各种功能和处理数据，以及执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选地，处理器510可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器510可集成中央处理器510(central processing unit，cpu)、图像处理器510(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器510中，单独通过一块通信芯片进行实现。
[0158]
存储器520可以包括随机存储器520(random access memory，ram)，也可以包括只读存储器520(read-only memory)。存储器520图可用于存储指令、程序、代码、代码集或指令集。存储器520可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各种方法实施例的指令等。存储数据区还可以存储计算机设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。相应地，存储器520还可以包括存储器控制器，以提供处理器510对存储器520的访问。
[0159]
电源530可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源530还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0160]
输入单元540，该输入单元540可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0161]
尽管未示出，计算机设备500还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器510会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器520中，并由处理器510来运行存储在存储器520中的应用程序，从而实现前述实施例提供的各种方法步骤。
[0162]
如图9所示，本技术实施例还提供一种计算机可读存储介质600，该计算机可读存
储介质600中存储有计算机程序指令610，计算机程序指令610可被处理器调用以执行上述实施例中所描述的方法。
[0163]
计算机可读存储介质可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质包括非易失性计算机可读存储介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。
[0164]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
[0165]
以上，仅是本技术的较佳实施例而已，并非对本技术作任何形式上的限制，虽然本技术已以较佳实施例揭示如上，然而并非用以限定本技术，任何本领域技术人员，在不脱离本技术技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本技术技术方案内容，依据本技术的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本技术技术方案的范围内。