一种端到端语音客服工单智能分类方法及装置与流程

技术特征：
1.一种端到端的智能语音工单分类方法，其特征在于，该方法包括如下步骤：s1：接收客户输入的语音信息；s2：提取语音信息中的语音特征；s3：构建语音分类模型，并对模型进行训练；s4：将所述语音特征输入到分类模型中，输出分类的结果。2.根据权利要求1所述的方法，其特征在于，所述步骤2采用梅尔倒谱系数特征提取方法，将接收到的一定采样频率下的语音信号经过mfcc特征提取，得到二维特征，包括叠帧和下采样；叠帧将n个连续的帧拼接在一起作为一个新帧；下采样指每间隔m帧，仅保留一帧信息；经过叠帧和下采样的处理，原始语音信号(t,p)变换为(t/m，p*n)。3.根据权利要求2所述的方法，其特征在于，所述分类模型采用的是基于transformer的网络结构，其中语音特征经过四层网络，每一层都是由自注意力层和前馈层构成；文本特征经过六层网络，每层包括自注意力层、注意力层和前馈层；经过深度神经网络架构后，提取到语音特征的抽象高阶特征，然后经过线性层，得到每帧语音特征对应的音素概率特征。4.根据权利要求3所述的方法，其特征在于，所述语音分类模型在输出特征的维度增加一维特征，作为分类向量，所述分类向量经过线性层变化后，得到各类别的概率。5.根据权利要求4所述的方法，其特征在于，所述语音分类模型针对每一帧语音特征的输入，输出对应音素的概率和分类概率，为二维矩阵，其中长度为输入帧 1，其中1是增加的分类向量，宽度为所识别语音的音素个数和分类个数中较大的值。6.根据权利要求5所述的方法，其特征在于，通过设置特定的损失函数，训练分类模型，让分类模型模型输出正确的分类结果。7.根据权利要求6所述的方法，其特征在于，所述损失函数定义为loss＝loss_k ctc_loss。8.根据权利要求7所述的方法，其特征在于，ctc_loss＝-log p(y|x)p(y|x)其中a表示模型输出的一条长度为t的音素序列，p(a|x)表示形成一个长度为t的音素序列a的概率，表示第t帧语音音素预测音素为n的概率，p(y|x)表示给定输入语音x，预测输出为标签序列y的条件概率，定义多对一映射b(a)＝l，l为去除序列a中的连续和空输入后的序列。9.根据权利要求7所述的方法，其特征在于，
其中，p＝[p0,p1,p2...p
c
]是一个概率分布，每个元素pi表示样本属于第i类的概率y＝[y1,y2,y3...y
c-1
]是样本标签的one-hot表示，当样本属于第i类别时，y
i
＝1，否则y
i
＝0。10.根据权利要求9所述的方法，其特征在于，所述步骤s4包括：s1：向语音分类模型输入一条待识别音频特征序列和启动标签，所述模型输出初始时刻预测结果；s2：将启动标签同初始时刻预测结果拼接，作为解码下一时刻历史预测结果；s3：向语音分类模型输入下一时刻待识别音频特征序列和历史预测结果，通过解码器计算解码各时刻预测结果序列；s4：将各时刻预测结果序列同该时刻预测结果做拼接，更新历史预测结果；s5：重复步骤上述，直至语音识别模型预测出终止标签，此时解码完成。11.根据权利要求10所述的方法，其特征在于，最终的历史预测结果中第一个位置为分类标签，将该分类标签输入到后续的全连接层，进行分类结果的预测，输出分类结果；最终历史预测结果中的其他位置对应各个时刻的音素识别结果，经过解码后可获取语音预测结果。12.一种端到端的智能语音工单分类装置，用于实现权利要求1-11所述的方法，其特征在于，该装置包括：信息接收模块：接收客户输入的语音信息；特征提取模块：提取语音信息中的语音特征；模型构建模块：构建语音分类模型，并对模型进行训练；分类模块：将所述语音特征输入到分类模型中，输出分类的结果。13.一种终端，其特征在于，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据权利要求1-11任一项所述方法的步骤。14.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-11任一项所述方法的步骤。

技术总结
本发明公开了一种端到端的智能语音工单分类方法，通过接收客户输入的语音信息，提取语音信息中的语音特征，构建语音分类模型，并对模型进行训练，将所述语音特征输入到分类模型中，输出分类的结果。相比于先语音识别，后进行文本分类，本发明通过端到端的建模技术，将该问题进行整体优化，已达到全局最优；相比于先由人工进行语音信息的初步分析整体成文字后，在进行工单分类建模，本发明通过直接对语音信息进行分析处理，减少人为介入的工作量，进一步降低基层服务人员的工作量；相比于其他语音分类技术，本发明构建的多任务针模型，其中一个任务针对语音信息中的文本内容，更加符合工单分类的任务。进一步地，到后期模型应用部署阶段，本发明的模型部署占用更小的空间。本发明的模型部署占用更小的空间。本发明的模型部署占用更小的空间。


技术研发人员：左强 何维民 赵双双 杨美蓉 王贺 刘颖 赵新宇 周家亿 陈奕彤 尹泽然
受保护的技术使用者：国网江苏省电力有限公司
技术研发日：2022.01.19
技术公布日：2022/5/6