一种数据处理方法、数据处理装置、电子设备及存储介质与流程

技术特征：
1.一种数据处理方法，其特征在于，包括：获取目标交互场景对应的微调训练样本集，所述微调训练样本集包括微调训练样本和所述微调训练样本对应的意图标签；通过意图识别模型中第一模块对所述微调训练样本进行语义编码，并通过所述意图识别模型中的第二模块对语义编码结果进行意图预测，得到所述微调训练样本对应的意图预测结果，所述第一模块是预先基于所述目标交互场景的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的；基于所述微调训练样本对应的意图标签和所述微调训练样本对应的意图预测结果对所述第二模块进行微调训练。2.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本对应的意图标签和所述训练样本对应的意图预测结果对所述第二模块进行微调训练，包括：确定所述意图标签和所述意图预测结果之间的差异；基于所述意图标签和所述意图预测结果之间的差异确定所述意图识别模型对应的微调训练损失函数；基于所述意图识别模型对应的微调训练损失函数确定微调训练的梯度，并按照所述微调训练的梯度，对所述第二模块的网络参数进行调整。3.根据权利要求1所述的方法，其特征在于，所述第一模块包括相互耦合的第一子网络和第二子网络，在所述通过意图识别模型中的第一模块对所述微调训练样本进行语义编码前，所述方法还包括：获取预训练样本集，所述预训练样本集包括所述目标交互场景相关的关联场景中历史对话数据对，所述历史对话数据对包括提问数据和回答数据；通过所述第一子网络对所述预训练样本集中的提问数据进行特征提取，得到第一文本特征，以及通过所述第二子网络对所述预训练样本集中的回答数据进行特征提取，得到第二文本特征；确定所述第一文本特征和所述第二文本特征之间的匹配度；基于所述第一文本特征和所述第二文本特征之间的匹配度，确定所述第一模块对应的预训练损失函数；基于所述第一模块对应的预训练损失函数，确定预训练的梯度，并按照所述预训练的梯度，对所述第一模块的网络参数进行调整。4.根据权利要求3所述的方法，其特征在于，所述第一子网络包括第一编码子模块和第一单头自注意力子模块，所述第二子网络包括第二编码子模块和第二单头自注意力子模块，所述第一单头自注意力模块和所述第二自注意力模块之间共享参数；所述通过所述第一子网络对所述预训练样本中的提问数据进行特征提取，得到第一文本特征，包括：通过所述第一子网络的第一子编码模块对所述预训练样本中的提问数据进行文本编码处理，并通过所述第一子网络中的第一单头自注意力子模块对提问数据的文本编码处理结果进行特征提取，得到所述第一文本特征；所述通过所述第二子网络对所述预训练样本中的回答数据进行特征提取，得到第二文本特征，包括：
通过所述第二子网络的第二编码子模块对所述预训练样本中的回答数据进行文本编码处理，并通过所述第二子网络中的第二单头自注意力子模块对回答数据的编码处理结果进行特征提取处理，得到所述第二文本特征。5.根据权利要求3所述的方法，其特征在于，所述获取目标交互场景对应的微调训练样本集，包括：确定所述目标交互场景对应的定制微调训练样本集，所述定制微调训练样本集包括定制微调训练样本和所述定制微调训练样本对应的意图标签；从公用样本知识库中获取公用微调训练样本集，所述公用微调训练样本集包括公用微调训练样本和所述公用微调训练样本对应的意图标签；将所述定制训练样本集和所述公用训练样本集组成所述目标场景对应的微调训练样本集。6.如权利要求5所述的方法，其特征在于，所述确定所述目标交互场景对应的定制训练样本集，包括：获取针对所述目标交互场景输入的基础微调训练样本和所述基础微调训练样本对应的意图标签；采用数据扩充方式对所述基础微调训练样本进行数据扩充处理，得到扩充微调训练样本和所述扩充微调训练样本对应的意图标签；其中，所述数据扩充方式包括如下任意一种或多种：引入标签的扩充方式、引入口语化用词的扩充方式以及引入符号的扩充方式；将所述基础微调训练样本集和所述扩充微调训练样本集组成为所述定制微调训练样本集。7.根据权利要求5所述的方法，其特征在于，在所述基于所述训练样本对应的意图标签和所述训练样本对应的意图预测结果对所述第二模块进行微调训练后，所述方法还包括：获取目标对象在所述目标交互场景中产生的交互数据；通过所述意图识别模型对所述交互数据进行意图识别，得到所述交互数据对应的目标意图；基于所述目标意图输出所述交互数据对应的响应数据。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：将所述交互数据和所述响应数据作为一个数据对存储至对话日志中；当到达上传条件时，将所述对话日志中存储的数据对上传至数据管理平台，以由所述数据管理平台将所述对话日志中数据对作为历史对话数据对添加至所述预训练样本集合，以当对所述第一模块进行预训练时，基于所述新的预训练样本对所述第一模块进行预训练。9.如权利要求8所述的方法，其特征在于，所述方法还包括：确定所述意图识别模型针对所述目标意图的置信率；若所述目标意图对应的置信率不满足置信率阈值，则将所述交互数据上传至数据分析平台，以由所述数据分析平台对所述交互数据标注意图标签，并将标注后的所述交互数据作为基础微调训练样本添加至所述定制微调训练样本集中。10.一种数据处理装置，其特征在于，包括：样本获取单元，用于获取目标交互场景对应的微调训练样本集，所述微调训练样本集
包括微调训练样本和所述微调训练样本对应的意图标签；预测单元，用于通过意图识别模型中第一模块对所述微调训练样本进行语义编码，并通过所述意图识别模型中的第二模块对语义编码结果进行意图预测，得到所述微调训练样本对应的意图预测结果，所述第一模块是基于所述目标交互场景的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的；微调训练单元，用于基于所述微调训练样本对应的意图标签和所述微调训练样本对应的意图预测结果对所述第二模块进行微调训练。11.一种电子设备，其特征在于，包括：存储器，用于存储一条或多条计算机程序；处理器，用于加载所述一条或多条计算机程序以执行如权利要求1-9任一项所述的方法。12.一种计算机可读存储介质，所述计算机可读存储介质上存储一条或多条有计算机程序，其特征在于，所述一条或多条计算机程序被处理器执行时实现如权利要求1-9任一项所述的方法。

技术总结
本发明提供一种数据处理方法、数据处理装置及电子设备。方法包括：获取目标交互场景对应的微调训练样本集，微调训练样本集包括微调训练样本和微调训练样本对应的意图标签。通过意图识别模型中第一模块对所述微调训练样本进行语义编码，通过意图识别模型中的第二模块对语义编码结果进行意图预测，得到微调训练样本对应的意图预测结果，第一模块是基于目标交互场景的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的。基于微调训练样本的意图标签和微调训练样本的意图预测结果对第二模块进行微调训练。本发明能够快速完成用于意图识别模型的训练，并减小对于标注样本的依赖，特别适用于冷启动和小样本支持的应用场景。应用场景。应用场景。


技术研发人员：丁隆耀 王洪斌 权佳成 李宽
受保护的技术使用者：马上消费金融股份有限公司
技术研发日：2022.04.27
技术公布日：2022/7/29