一种基于工单文本信息感知的业务预测方法及系统与流程

1.本发明涉及电力客服业务预测技术领域，尤其涉及一种基于工单文本信息感知的业务预测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.电力客户服务系统在提升服务质量、改善服务形象等方面发挥着非常重要的作用。业务预测是电力客户服务系统规划建设的重要依据，准确的业务预测能够更好地了解各个业务的发展趋势，提高精细化管理水平，降低整体运营成本，对保证高水平的客户服务质量和服务水平发挥着重要的决策作用。因此，如何根据历史数据进行业务预测是目前一个热点。通过业务预测，实现对重点业务模式和构成的分析定位，实现客服数据的多维分析，预测一段时间内各项业务的变化情况，实现客服工作“提前准备”与“精准发力”。
4.目前，人工智能技术被广泛的应用到电力客户服务的各个业务中。通过将人工智能和大数据技术应用于电力客户服务系统中，充分利用历史数据预测未来趋势，为电力客服系统及业务提高辅助研判作用。尽管这些方法在电力客服的业务研究方面取得了不错的效果，但是却难以充分地捕获客服数据中隐藏的语义信息以及数据之间的依赖关系，从而导致预测结果并不准确。


技术实现要素：

5.为了解决上述问题，本发明提出了一种基于工单文本信息感知的业务预测方法及系统，使用一维卷积网络(1d-cnn，1-dimensional convolutional neural networks)和自注意力机制(self-attention)对工单数据中的文本信息进行充分的挖掘，并利用transformer模型来捕获工单序列的全局时序依赖，对工单数据进行充分的表示学习，从而提高业务预测的准确性。
6.在一些实施方式中，采用如下技术方案：
7.一种基于工单文本信息感知的业务预测方法，包括：
8.获取待预测的电力客服数据；基于所述客服数据，利用训练好的业务预测模型，得到业务预测结果；
9.其中，所述业务预测模型的构建过程包括：
10.对电力客服历史数据并进行预处理，对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量；
11.对于所述嵌入向量，采用一维卷积来学习局部信息，并采用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；
12.基于所述局部向量表示，采用transformer模型来捕获数据间的全局时序依赖，获得工单文本信息的综合向量表示；
13.基于所述综合表示向量，构建softmax函数业务预测模型，对所述业务预测模型进行训练。
14.作为进一步地方案，获取电力客服历史数据，所述电力客服历史数据包括：历史工单数据和客户信息，其中，历史工单数据包括工单标题、工单描述和工单解决方案。
15.作为进一步地方案，对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量，具体包括：
16.将历史工单数据中的各种文本信息进行向量化，生成工单标题序列l、工单描述序列d和解决方案序列s；
17.对工单中的文本信息进行嵌入表示学习，分别得到相应的嵌入向量。
18.作为进一步地方案，所述嵌入向量具体包括：
19.e
l
＝lw
l
20.ed＝dwd21.es＝sws22.其中，e
l
、ed、es分别表示工单标题序列l的嵌入向量、工单描述序列d的嵌入向量和解决方案序列s的嵌入向量；w
l
、wd、ws分别表示工单标题序列l、工单描述序列d和解决方案序列s的权重向量。
23.作为进一步地方案，获得工单文本信息的局部向量表示，具体包括：
24.采用一维卷积和自注意力机制来对工单文本进行局部信息挖掘，分别得到工单标题序列l的局部信息表示向量，工单描述序列d的局部信息表示向量和解决方案序列s的局部信息表示向量；
25.将获得的文本上下文局部信息采用张量拼接操作与归一化操作进行融合，获得工单数据的局部信息表示。
26.作为进一步地方案，采用transformer来捕获数据间的全局时序依赖，获得工单文本信息的综合向量表示out，具体包括：
27.out＝softmax(fc(transformer(ln(dp(fc(cat(l,d,s,p,c)))))))
28.其中，l为生成工单标题序列，d为工单描述序列，s为解决方案序列；p表示客户的动态偏好信息，c为工单数据的局部信息表示；cat()表示张量拼接操作，fc()表示全连接操作，dp()表示深度学习模型的dropout操作，ln()表示归一化操作，softmax()表示的激活映射函数。
29.作为进一步地方案，将得到预测结果与实际结果进行对比，将对比结果反馈至预测模型，不断优化数据的权重值。
30.在另一些实施方式中，采用如下技术方案：
31.一种基于工单文本信息感知的业务预测系统，包括：
32.数据获取模块，用于获取待预测的电力客服数据；
33.业务预测模块，用于基于所述客服数据，利用训练好的业务预测模型，得到业务预测结果；
34.其中，所述业务预测模型的构建过程包括：
35.对电力客服历史数据并进行预处理，对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量；
36.对于所述嵌入向量，采用一维卷积来学习局部信息，并采用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；
37.基于所述局部向量表示，采用transformer来捕获数据间的全局时序依赖，获得工单文本信息的综合向量表示；
38.基于所述综合表示向量，构建softmax函数业务预测模型，对所述业务预测模型进行训练。
39.在另一些实施方式中，采用如下技术方案：
40.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的基于工单文本信息感知的业务预测方法。
41.在另一些实施方式中，采用如下技术方案：
42.一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于工单文本信息感知的业务预测方法。
43.与现有技术相比，本发明的有益效果是：
44.(1)本发明以历史电力客服数据为基础，利用嵌入向量将工单文本转换为信息嵌入向量，并引入一维卷积神经网络来挖掘工单文本数据的局部信息，同时利用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；根据获得的局部信息表示向量，利用transformer来捕获工单文本信息的全局时序依赖，对工单数据将进行充分的表示学习，从而提高业务预测的性能。
45.本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
46.图1为本发明实施例提供的业务预测方法的整体流程图；
47.图2为本发明实施例提供的以融合工单文本信息和transformer为核心的数据流处理过程图。
具体实施方式
48.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
49.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
50.实施例一
51.在一个或多个实施方式中，公开了一种基于工单文本信息感知的业务预测方法，参照图1，具体包括如下过程：
52.(1)对海量电力信息进行相关电力客服数据的采集，所述电力客服数据包含历史
工单数据、客户信息等，对获取的客服数据预处理，包含数据清洗、缺失数据补全、数据定义并存储。
53.具体地，基于某电力公司186客服系统中获取的客服数据，包括从2021年1月1日到2021年6月31日17729名客户共计97568条工单数据，其中业务种类60类。该数据中包含工单标题、工单描述、客户偏好信息和对应的解决方案等数据信息。
54.(2)对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量；
55.本实施中，客服数据由工单标题、工单描述、工单解决方案和客户信息这四部分信息组成。工单的标题信息、描述信息和解决方案信息属于文本信息，而客户信息属于数值型信息。
56.将工单数据中的各种文本信息进行向量化，生成工单标题序列工单描述序列和解决方案序列其中m，n，u分别表示的是标题序列、描述序列和解决方案序列中，最长语句的单词数量。表示客户的动态偏好信息，t，v分别表示该客户的工单数目和客户偏好信息的特征数目。
57.首先对工单中的文本信息进行嵌入表示学习，方式如下：
58.e
l
＝lw
l
59.ed＝dwd60.es＝sws61.其中，其中，e
l
、ed、es分别表示工单标题序列l的嵌入向量、工单描述序列d的嵌入向量和解决方案序列s的嵌入向量；w
l
、wd、ws分别表示工单标题序列l、工单描述序列d和解决方案序列s的权重向量，d
embedding
表示的是嵌入维度，m，n，u分别表示的是标题序列、描述序列和解决方案序列中，最长语句的单词数量；t表示该客户的工单数目。
62.(3)对于所述的工单标题、工单描述信息和解决方案的嵌入向量，首先采用一维卷积来学习局部信息，并采用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；然后使用transformer模型将客户动态的偏好信息与工单上下文信息进行融合，捕获工单数据的全局时序依赖，最终进行客户服务业务预测，如图2所示。其中，transformer模型是一种深度学习模型。
63.①
基于获得的嵌入向量，采用一维卷积和自注意力机制来对工单文本进行局部信息挖掘，方式如下：
64.c
l
＝sa(cd(dp(fc(e
l
))))
65.cd＝sa(cd(dp(fc(ed))))
66.cs＝sa(cd(dp(fc(es))))
67.其中，c
l
代表的是工单标题序列l的局部信息表示向量，cd代表的是工单描述序列d的局部信息表示向量，cs代表的是解决方案序列s的局部信息表示向量；fc表示全连接层；dp表示深度学习模型的dropout操作，本实施设置dropout＝0.5。cd与sa分别表示一维卷积
操作和自注意力操作。
68.其中，fc()，cd()，sa()的表示如下：
69.fc(x)＝max(0,xw
fc
b
fc
)
70.cd(x)＝conv1d(x,kernel
size
＝2,kernel
number
＝d
embedding
)
[0071][0072]
其中，表示层的输入，表示层的输入，w
fc
表示的是全连接操作中的权重向量，b
fc
表示的是全连接操作中的偏置矩阵，d
embedding
表示是嵌入维度，kernel
size
表示的是卷积核的大小，kernel
number
表示的是卷积核的数量。
[0073]
②
然后，将获得的文本上下文信息进行融合，获得工单数据的局部信息表示：
[0074]
c＝ln(cat(c
l
,cd,cs))
[0075]
其中cat()和ln()分别表示的是张量拼接操作与归一化操作。
[0076]
③
基于获得的数据局部信息表示，采用transformer来捕获数据间的全局时序依赖，从而获得工单数据的综合向量表示out：
[0077]
out＝softmax(fc(transformer(ln(dp(fc(cat(l,d,s,p,c)))))))
[0078]
其中transformer的实现过程如下：
[0079]
q＝k＝v＝x
[0080][0081]
multihead(q,k,v)＝concat(head1,head2,
…
,headn)wo[0082]
transformer-block(x)
[0083] ＝ln(ffn(ln(multihead(q,k,v) x)) ln(multihead(q,k,v) x))
[0084]
其中，表示transformer的输入；wq,wk,wv,wo均代表的是权重参数矩阵，ffn()表示一层前馈神经网络；fc()表示的是全连接操作；softmax()表示的激活映射函数。
[0085]
q、k、v表示的transformer模型机制中的查询向量，head1,head2,
…
,headn分别表示的是经过注意力操作得到的头注意力向量表示，multihead(q,k,v)表示的是将头注意力向量表示进行拼接操作得到的多头注意力向量表示，transformer-block(x)表示是transformer计算模块。
[0086]
(4)基于获得的工单数据的综合表示向量，构建softmax函数业务预测模型，对所述业务预测模型进行训练。
[0087]
获取待预测的电力客服数据；基于所述客服数据，利用训练好的业务预测模型，得到业务预测结果；本实施例中，业务预测的结果是预测属于哪个业务。业务分类包括用电采集、员工报销、生产管理等业务。
[0088]
对待检测样本进行电力客服业务预测，输入softmax层进行结果预测：
[0089]
y＝softmax(fc(out))
[0090]
其中，表示最终的业务预测结果；fc()表示的是全连接操作；softmax()表示的激活映射函数；n_class表示的是业务种类。
[0091]
对待测试样本进行电力客服业务预测，将预测结果进行推送，并与实际用情况进行结果对比，本实施例采用准确性、micro f1、macro f1、auroc和auprc来作为业务预测方法的评价指标，对比结果如表1所示。
[0092]
表1业务预测方法对比情况
[0093]
模型准确性micro f1macro f1aurocauprcmlp0.80760.13760.0040.8960.1079rnn0.90020.52730.09770.95090.5993lstm0.82430.3880.04180.92680.395gru0.92510.57020.11550.96250.6482bigru0.89850.55360.10420.95950.6291gru-att0.92810.59730.12220.96520.6844conv-gru0.91480.4620.07330.94560.4929conv-bigru0.9090.44050.0670.94510.4662transformer-e0.97420.80160.23950.98450.8817本专利方法0.98830.84860.35690.98710.9202
[0094]
基于表1中的结果可得，本实施例所提出的业务预测方法的性能优于其他方法。
[0095]
实施例二
[0096]
在一个或多个实施方式中，公开了一种基于工单文本信息感知的业务预测系统，包括：
[0097]
数据获取模块，用于获取待预测的电力客服数据；
[0098]
业务预测模块，用于基于所述客服数据，利用训练好的业务预测模型，得到业务预测结果；
[0099]
其中，所述业务预测模型的构建过程包括：
[0100]
对电力客服历史数据并进行预处理，对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量；
[0101]
对于所述嵌入向量，采用一维卷积来学习局部信息，并采用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；
[0102]
基于所述局部向量表示，采用transformer来捕获数据间的全局时序依赖，获得工单文本信息的综合向量表示；
[0103]
基于所述综合表示向量，构建softmax函数业务预测模型，对所述业务预测模型进行训练。
[0104]
作为可选的实施例，还包括：
[0105]
反馈更新模块，其用于模型训练完成后，输出实验样本集的预测结果，与实际情况进行对比，反馈更新底层数据信息，不断优化数据的权重值，从而不断完善电力客服业务预测。
[0106]
作为可选的实施例，还包括：
[0107]
预处理模块，其用于对海量电力客服数据进行数据预处理，包含数据清洗、缺失数
据补全、数据定义以及规范化处理。
[0108]
需要说明的是，上述各模块的具体实现过程已经在实施例一中进行了说明，此处不再详述。
[0109]
实施例三
[0110]
在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的基于工单文本信息感知的业务预测方法。为了简洁，在此不再赘述。
[0111]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0112]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0113]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
[0114]
实施例四
[0115]
在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一中所述的基于工单文本信息感知的业务预测方法。
[0116]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。