一种数据处理方法、数据处理装置、电子设备及存储介质与流程

1.本技术属于人工智能技术领域，尤其涉及一种数据处理方法、数据处理装置、电子设备及存储介质。


背景技术：

2.人机交互的核心是机器识别用户的意图，以针对用户的意图输出准确的反馈信息。机器识别用户的意图通常是基于语言模型实现的，目前常用的几种语言模型的结构都极为复杂，以主流的基于转换器的双向编码器表征(bidirectional encoder representations from transformers，bert)模型为例，型中的各种功能层可以高达数百个，参数更是达到了上亿数量级，这导致此类语言模型的运算量十分庞大，训练效率相对较低。
3.为此，如何在不影响模型性能的基础上，更加快捷地训练得到意图识别模型，是当前亟需解决的技术问题。


技术实现要素：

4.本技术目的是提供一种数据处理方法、数据处理装置、电子设备及存储介质，在不影响模型性能的基础上，更加快捷地对意图识别模型完成训练。
5.为了实现上述目的，本技术实施例是这样实现的：
6.第一方面，提供一种数据处理方法，包括：
7.获取目标交互场景对应的微调训练样本集，所述微调训练样本集包括微调训练样本和所述微调训练样本对应的意图标签；
8.通过意图识别模型中的第一模块对所述微调训练样本进行语义编码，并通过所述意图识别模型中的第二模块对语义编码结果进行意图预测，得到所述微调训练样本对应的意图预测结果，所述第二模块不同于所述第一模块；
9.基于所述微调训练样本对应的意图标签和所述微调训练样本对应的意图预测结果对所述第二模块进行微调训练。
10.第二方面，提供一种数据处理装置，包括：
11.样本获取单元，获取目标交互场景对应的微调训练样本集，所述微调训练样本集包括微调训练样本和所述微调训练样本对应的意图标签；
12.预测单元，通过意图识别模型中的第一模块对所述微调训练样本进行语义编码，并通过所述意图识别模型中的第二模块对语义编码结果进行意图预测，得到所述微调训练样本对应的意图预测结果，所述第二模块不同于所述第一模块；
13.微调训练单元，基于所述微调训练样本对应的意图标签和所述微调训练样本对应的意图预测结果对所述第二模块进行微调训练。
14.第三方面，提供一种电子设备包括：存储器，用于存储一条或多条计算机程序；处理器，用于加载上述第一方面的方法。
15.第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有一条或多条计算机程序，所述一条或多条计算机程序被处理器执行时实现上述第一方面的方法。
16.本技术考虑到不管是哪种交互场景的意图识别模型，其底层的将交互数据语义编码为机器语言的逻辑是相互通用的，只有基于语义编码结果进行意图预测的过程才会涉及具体应用场景的意图分类，因此将意图识别模型划分为负责进行语义编码的第一模块和负责进行意图预测的第二模块，并只对第二模块使用已标注的训练样本集进行微调训练。相比于传统的对全模型进行微调训练的方式，本发明只对意图识别模型中的第二模块进行微调训练，能够在不影响模型性能的基础上，大幅简化了运算量，从而提高了训练效率。同时，第一模块不需要进行微调训练可以减少对于标注的训练样本的使用量，特别适用于冷启动和小样本支持这类没有条件完成训练样本标注的环境。并且，本技术中第一模块是基于目标交互场景相关的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的，应当理解的，采用关联场景中历史对话数据对进行无监督预训练不仅可以省去数据标注，还可以保证预训练完成的第一模块更好的适用于目标交互场景。另外，单头注意力机制与传统的双头注意力机制相比，可以降低训练过程中数据维度，从而提升训练速度。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例提供的一种机器人语音外呼场景的示意图。
19.图2为本发明实施例提供的数据处理方法的流程示意图。
20.图3为本发明实施例提供的一种多头注意力机制与单头注意机制之间的结构对比示意图。
21.图4为本发明实施例提供的意图识别模型的第一种结构示意图。
22.图5为本发明实施例提供的意图识别模型的第二种结构示意图。
23.图6为本发明实施例提供的意图识别模型投用于交互场景的流程示意图。
24.图7为本发明实施例提供的意图识别模型投用于机器人语音外呼场景的流程示意图。
25.图8为本发明实施例提供的数据处理装置的结构示意图。
26.图9为本发明实施例提供的电子设备的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
28.人机交互是指用户与机器之间交互过程中，机器理解用户的意图并执行的技术。人机交互常应用在自助业务办理、机器人语音外呼、自助驾驶等领域。
29.这里以机器人语音外呼场景为例，目前的机器人语音外呼常见应用是机器人通过致电的方式核实用户的业务操作是否为本人执行，对应的大致流程如图1所示，包括：
30.1)机器人外呼用户，询问业务操作是否为本人执行。
31.2)用户直接回答机器人的询问，或者，在不信任情况下反问机器人的身份；如果用户反问机器人的身份，则继续执行下述步骤：
32.3)如果用户反问机器的人身份，则机器人回答用户的反问；以及，
33.4)用户在机器人回答后，确定机器人的致电目的，并告知业务操作是否为本人执行。
34.从图1所示的语音外呼场景可以看出，当机器人致电用户询问业务操作后，用户可能回答机器人的询问，也有可能不回答而反问机器人的身份。如果机器人不能准确理解用户回复的意图，比如用户反问机器人的身份时，机器人无法正确回答，则很大可能用户会直接挂断来电，导致本次针对用户的业务操作的核实失败。
35.可见，人机交互的核心是机器识别用户的意图，并按照用户的意图反馈信息。
36.现阶段几种常见的意图识别模型都具有十分复杂的结构，以主流的基于转换器的双向编码器表征(bidirectional encoder representations from transformers，bert)模型为例，模型采用注意力机制的transformer来作为编码器。transformer基于注意力机制，可以结合上下文信息将文本语义编码为机械识别的文本特征，其涉及到的具体功能层可以高达数百个，整个bert的网络参数更是达到了上亿数量级，导致训练此类意图识别模型需要投入十分庞大的运算量，训练效率相对较低。
37.针对上述问题，本发明旨在不较多影响模型性能的基础上，提出一种数据处理方案，能够更加高效的训练意图识别模型。在本技术中，意图识别模型可以包括已预训练完成的第一模块和未经过预训练的第二模块。本技术数据处理方案可以概括为如下步骤：获取目标交互场景对应的微调训练样本集，该微调训练样本集包括微调训练样本和该微调训练样本对应的意图标签；进一步的，通过意图识别模型中已预训练的第一模块对微调训练样本进行语义编码，并通过第二模块对语义编码界面进行意图预测得到微调训练样本对应的意图预测结果；最后，基于微调训练样本对应的意图标签和意图预测结果对意图识别模型中的第二模块进行微调训练。
38.本技术考虑到不管是哪种交互场景的意图识别模型，其底层的将交互数据语义编码为机器语言的逻辑是相互通用的，只有基于语义编码结果进行意图预测的过程才会涉及具体应用场景的意图分类，因此将意图识别模型划分为负责进行语义编码的第一模块和负责进行意图预测的第二模块，并只对第二模块使用已标注的训练样本集进行微调训练。相比于传统的对全模型进行微调训练的方式，本发明只对意图识别模型中的第二模块进行微调训练，能够在不影响模型性能的基础上，大幅简化了运算量，从而提高了训练效率。同时，第一模块不需要进行微调训练可以减少对于标注的训练样本的使用量，特别适用于冷启动和小样本支持这类没有条件完成训练样本标注的环境。并且，本技术中第一模块是基于目标交互场景相关的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的，应当理解的，采用关联场景中历史对话数据对进行无监督预训练不仅可以省去数据标
注，还可以保证预训练完成的第一模块更好的适用于目标交互场景。并且，本技术中第一模块是基于目标交互场景相关的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的，应当理解的，采用关联场景中历史对话数据对进行无监督预训练不仅可以省去数据标注，还可以保证预训练完成的第一模块更好的适用于目标交互场景。另外，单头注意力机制与传统的双头注意力机制相比，可以降低训练过程中数据维度，从而提升训练速度。
39.在前述的机器人语音外呼场景中，可以利用本技术训练完成的意图识别模型根据用户的回答对用户进行意图识别，较为准确的识别到用户的意图后，根据用户的意图输出相应的反馈信息。
40.本技术的数据处理方案可由电子设备执行，具体可以由电子设备的处理器执行。所谓的电子设备可以包括终端设备，比如智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电、智能手表、车载终端、飞行器等；或者，电子设备还可以包括服务器，比如独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。
41.基于前述，本技术实施例提供一种数据处理方法，参见图2是本技术实施例提供的一种数据处理方法的流程图示意图。图2所示的数据处理方法可包括包括如下步骤：
42.s202，获取目标交互场景对应的微调训练样本集，微调训练样本集包括微调训练样本和微调训练样本对应的意图标签。
43.目标交互场景是指人机交互的具体业务场景，可以但不限于是上文举例的自助业务办理、机器人语音外呼和自助驾驶等场景。标注有意图标签的微调训练样本集用于对目标交互场景下的意图识别模型进行有监督训练的。
44.其中，微调训练样本集中的微调训练样本可以是基于历史时间内目标交互场景下用户向机器人发送的交互数据确定的(也可以称为语料)。其中，用户向机器人发送的交互数据可以包括如下格式中任意一种：文本格式、语音格式、视频格式或者动图格式。
45.在一个实施例中，基于历史时间内目标交互场景下用户向机器人发送的交互数据确定微调训练样本，可以包括：确定交互数据所属格式；并采用与所属格式相匹配的处理方式对交互数据进行处理，得到微调训练样本。
46.具体实现中，采用与所属格式相匹配的处理方式对交互数据进行处理，得到微调训练样本，包括：如果用户发送的交互数据所属格式是文本格式，则处理方式是指直接将交互数据作为微调训练样本；如果用户发送的交互数据所属格式是语音格式，则处理方式是指采用语音转文本技术将交互数据转换为文本数据，将转换得到的文本数据作为微调训练样本；如果交互数据所属格式为视频格式或者动图格式，则处理方式可以是指采用文本提取技术从交互数据中提取文本内容，将提取到的文本内容作为微调训练样本。
47.微调训练样本对应的意图标签可以反映微调训练样本出的用户所想要表达的真实想法，比如微调训练样本为“你是干什么的”，微调训练样本对应的意图标签可以是反问机器人身份或者对机器人身份表示质疑等等。
48.可选的，在机器人语音外呼场景中，经常用到的意图包括是否为本人执行和反问机器人身份。针对前者，用户的意图可能是肯定是本人操作，比如“是本人操作”和否定是本人操作，比如“不是本人操作”的意图，为此需要提供用户回复是本人操作的微调训练样本
和用户回复不是本人操作的微调训练样本，来作为微调训练样本，并对回复是本人操作的语料标注“是本人操作”的标签，以作为意图识别模型在微调训练时针对是本人操作的语料的输出期望。同理，对于回复不本人操作的语料，则标注“不是本人操作”的标签。
49.针对后者，用户可能是想要向机器人“询问身份”的意图，为此需要提供用户回复询问身份的语料，以作为微调训练样本，并对用户回复询问身份的语料标注“询问身份”的标签。
50.s204，通过意图识别模型中第一模块对所述微调训练样本进行语义编码，并通过意图识别模型中的第二模块对语义编码结果进行意图预测，得到微调训练样本对应的意图预测结果，第一模块是预先基于目标交互场景的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的。
51.其中，语义编码是指将微调训练样本编码为符合目标交互场景的语义特征，意图预测是指以语义编码得到的语义特征为因子，来预测微调训练样本的意图。
52.本技术中，第一模块基于注意力机制进行语义编码。注意力机制定义了q(query)、k(key)和v(value)三种参数。q、k、v来均同一个文本的向量表征，q是目标词矩阵，k是关键词矩阵，v是原始特征。注意力机制是计算q和k之间的相似度，并按照相似度作为权重对v进行加权求和，得到一个强化表征，该强化表征即为特征编码结果。传统的注意力是指多头注意力机制结构，运算相对复杂，这里为了对第一模块进行适当简化，本技术提出了一种基于单头注意力机制进行语义编码的改进。参见图3所示的多头注意力机制与单头注意力机制的结构对比示意图。多头注意力机制具有多种注意力模块，每种注意力模块都有各自的输入层，v、k、q会通过各个输入层对应的通道，分别在各个注意力模块下进行特征提取，不同注意力模块具有不同的注意力机制参数，因此会提取出不同维度的特征编码结果，这些不同维度的特征提取结果再经拼接层按照进行拼接，得到一个最终的特征提取结果。而单头注意力机制中只有一个注意力模块，v、k、q只需要经这一个注意力模块进行特征提取，即可得到最终的特征提取结果。相较于多头注意力机制中，本技术第一模块采用单头注意机制，可以使特征提取的维度简化为一个，从而大度降低了训练中的计算难度，同时也省去拼接层的融合过程，可显著提升训练速度。
53.理想情况下，意图识别模型整体均采用有监督的微调训练完成深度学习。但对于冷启动和小样本支持(few-shot learning)的应用场景，标注有意图标签的训练样本属于稀缺资源，为了减少对于标注训练样本的依赖，本发明实施例只对意图识别模型中高度关联应用场景的部分模块进行微调训练，而其他模块则可以采用无监督的预训练完成深度学习。
54.这里，考虑到不管是应用于哪种交互场景的意图识别模型，其底层的将交互数据语义编码为机器语言的逻辑是通用的，而负责进行意图预测的模块才会涉及具体应用场景的意图分类，为此，可以将意图识别模型划分为负责进行语义编码的第一模块和负责进行意图预测的第二模块，并只对第二模块进行微调训练。
55.在本技术实施例中，意图识别模型属于分类模型，分类模型的基础结构包括编码器、感知层和分类器，图4是本技术实施例意图识别模型按照分类模型的基础结构划分第一模块41和第二模块42的结构示意图。其中，第一模块41可以包括分类模型的编码器411，第二模块42可以包括分类模型的感知层421和分类器422。
56.用户的交互数据在输入意图识别模型后，先经编码器411进行语义编码，编码器411输出的语义编码结果再经感知层421映射至不同维度的向量空间中以文本特征的向量形式进行表示，这些特征向量再经分类器422完成意图的分类计算，分类器422分类输出的意图即为交互数据所对应的意图预测结果。
57.可以看出，在使用微调训练样本对第二模块进行微调训练前，需要利用第一模块(编码器)将微调训练样本语义编码为适用于第二模块(感知层和分类器)的输入格式。为此，本发明实施例预先对第一模块进行无监督预训练，以使其具备语义编码能力。
58.下面对第一模块的无监督预训练进行介绍：
59.本发明实施例可以从目标交互场景和/或与目标交互场景业务相关的其他交互场景的业务记录中，提取用户与机器人之间的对话内容，并将对话内容中机器人的提问数据与用户针对提问数据交互的回答数据组成历史数据对，以作为第一模块的预训练样本。
60.其中，预训练样本分为正确的历史数据对(作为正例预训练样本)和错误的历史数据对(作为反例预训练样本)。
61.正确的历史数据对是指目标交互场景的业务逻辑下，提问数据和回答数据之间相互匹配的数据对。比如在前述的机器人语音外呼场景中，与机器人向用户提问“是否本人操作”相匹配的用户回答有“是本人操作”、“不是本人操作”、“反问身份”这三种。因此，机器人“是否本人操作”的提问数据与用户“是本人操作”、“不是本人操作”、“反问身份”中的任意一者均可以组成正确的历史数据对。
62.反之，错误的历史数据对是指目标交互场景的业务逻辑下，提问数据和回答数据之间不匹配的数据对。比如将机器人“是否本人操作”的提问数据可以与用户“我没吃饭”、“我想出去”这类业务不相关的回答数据组成错误的历史数据对。
63.无监督预训练的目的是最大化第一模块对正确的历史数据对的语义编码表征，并最小化第一模块对错误的历史数据对的语义编码表征，从而使第一模块在没有标注样本支持的情况下，能够训练出符合目标交互场景的业务逻辑的语义编码能力。
64.为此，本技术可以针对第一模块构建孪生神经网络，该孪生神经网络包括同时耦合第一模块的网络参数的第一子网络和第二子网络。
65.其中，第一子网络作为提问数据的通道，第二子网络作为回答数据的通道，当一个历史数据对形式的预训练样本输入至孪生神经网络后，通过第一子网络对历史数据对中的提问数据进行语义编码，并同时通过第二子网络络负责对历史数据对中的回答数据进行语义编码。
66.这里本文将第一子网络针对提问数据输出的语义编码结果称为第一文本特征，将第二子网络针对回答数据输出的语义编码结果称为第二文本特征。
67.一个历史数据对中的提问数据与回答数据之间的匹配度，即为通过孪生神经网络所确定到的第一文本特征和第二文本特征之间的匹配度。对应地，最大化第一模块对正确的数据对的语义编码表征是指：将正确的数据对输入至孪生神经网络后，第一文本特征和第二文本特征之间的匹配度越高越好，同理，最小化第一模块对错误的数据对的语义编码表征是指：将错误的数据对输入至孪生神经网络后，第一文本特征和第二文本特征之间的匹配度越小越好。
68.因此，可以基于第一文本特征和所述第二文本特征之间的匹配度，确定一个同时
符合最大化第一模块对正确的数据对的语义编码表征和最小化第一模块对错误的数据对的语义编码表征的预训练损失函数，从而利用预训练损失函数，确定出无监督预训练的梯度，并按照无监督预训练的梯度，对第一子网络和第二子网络的网络参数进行调整，以完成针对第一模块的预训练。
69.示例性地，预训练损失函数的公式为：其中，i表示预训练样本的序数；k表示预训练样本的总数，也就是预训练样本集中预训练样本的数量；x表示提问数据，y表示x对应的回答数据，s(x,y)表示x与y之间的匹配度，(xi,yi)表示正确数据对的预训练样本，(xi,yj)表示错误数据对的预训练样本。
70.上述预训练损失函数的公式体现出：预训练损失函数的取值与正确的历史数据对的预训练样本的匹配度s(xi,yi)呈正相关，并与错误的历史数据对的预训练样本的匹配度s(xi,yj)呈负相关。
71.为此，可以按照预训练损失函数的取值越大越好的梯度方向，对第一模块的网络参数调整，从而实现上文所述的无监督预训练目的。
72.这里需要说明的是，本技术实施例是将第一模块转换为孪生神经网络进行预训练，第一模块并不要求采用孪生神经网络的结构。第一模块可以是现有的用于语言类模型的编码器，这里本文不对第一模块的结构作具体限定。
73.作为示例性介绍，本发明实施例的第一模块为前文所述的bert模型中的transformer模型，则图5为针对transformer模型所构建的孪生神经网络结构。
74.图5中的第一子网络51和第二子网络52耦合transformer模型的网络参数，分别包括：嵌入层(embedding)、文本位置编码层、自注意力层(self-attention)、残差归一化层(add&norm)、前馈神经网络、残差归一化层(add&norm)。
75.其中，第一子网络51中的嵌入层和编码层组成第一编码子模块511，第一子网络51中的自注意力层、残差归一化层、前馈神经网络、残差归一化层组成组成第一单头自注意力子模块512。当提问数据x输入至第一子网络51后，先通过第一子编码模块511对提问数据x进行文本编码处理，之后再通过第一单头自注意力子模块512结合提问数据x中的上下文信息，对提问数据x的文本编码处理结果进行特征提取，得到第一文本特征hx，该第一文本特征hx可以经平方根规约层和前馈神经网络进行解码，以适用于匹配度计算。
76.同样地，第二子网络52中的嵌入层和编码层组成第二编码子模块522，第二子网络52中的自注意力层、残差归一化层、前馈神经网络、残差归一化层组成组成第二单头自注意力子模块522。当回答数据x输入至第二子网络52后，先通过第二子编码模块521对回答数据y进行文本编码处理，之后再通过第二单头自注意力子模块522结合回答数据y中的上下文信息，对回答数据y的文本编码处理结果进行特征提取，得到第二文本特征hy，该第二文本特征hy可以经平方根规约层和前馈神经网络进行解码，以适用于匹配度计算。
77.这里，为了削弱transformer模型针对文本长度较短、逻辑简单语句的注意力，可以将第一单头自注意力子模块512和第二单头自注意力子模块522的最大相对注意力为[3,5,24,24,24,24]，同时，为了降低运算量，第一单头自注意力子模块512和第二单头自注意力子模块522采用6层并行的结构，并以[批次，时间，文本特征]这三个维度按照注意力设置进行文本特征的提取。
[0078]
基于上述结构简化的单头自注意力的transformer模型，可以使整个bert模型的
大小缩减至100m以内，只有原先bert模型大小的1/4，结合孪生神经网络进行无监督预训练，可以使训练阶段的耗时就可以缩减至原先耗时的1/10。
[0079]
应理解，在完成预训练后，即可使用第一模块将微调训练样本语义编码为第二模块所支持的输入数据，从而在后续步骤可以使用微调训练样本对第二模块进行微调训练。
[0080]
s206，基于微调训练样本对应的意图标签和微调训练样本对应的意图预测结果对第二模块进行微调训练。
[0081]
本发明实施例中，微调训练是使用标注的微调训练样本，对第二模块(还可包感知层)进行有监督训练。
[0082]
微调训练的目的是让第二模块提供的微调训练样本的意图预测结果与微调训练样本的意图标签一致。
[0083]
为此，可以基于第二模块提供的微调训练样本的意图预测结果与意图标签之间的差异，确定微调训练损失函数，并使用微调训练损失函数，按照第二模块提供的微调训练样本的意图预测结果与意图标签之间的差异越小越好的梯度方向，对第二模块的网络参数进行调整，通过多轮迭代的微调训练，可以逐渐使第二模块针对微调训练样本的意图预测结果向意图标签的上收敛。
[0084]
此外，在上述基础之上，还可以每当执行完一定轮次的微调训练时，对前最新一轮的低分数意图预测结果的微调训练样本重新标注意图标签。
[0085]
这里，低分数意图预测结果的微调训练样本是指：意图预测结果与意图标签不一致的微调训练样本；
[0086]
以及，意图预测结果的置信值未达到有效阈值的微调训练样本，也就是意图预测结果模棱两可的微调训练样本。比如，本发明实施例的意图识别模型用于识别3种意图，第二模块针对某一微调训练样本，给出的这3种意图的置信值分别为：为13％、17％和23％，并将其中置信值最大(23％)意图作为意图预测结果，但这个意图预测结果的概率只有23％，远低于有效阈值(80％)，属于不确定性的意图预测结果。
[0087]
通常情况，造成低分数意图预测结果的是微调训练样本标注的意图标签出现错误(人工标注常见问题)，因此，在进行一定轮次的微调训练后，如3轮微调训练或5轮微调训练，即可暴露出标注出现错误的微调训练样本，从而对这类微调训练样本的意图标签进行及时修正。
[0088]
此外，在上述基础之上，本发明实施例还可以选择不同的方式，尝试获取微调训练样本以进行微调训练。这里，可以将正常积累到的微调训练样本(也即前述步骤s202中提到的微调训练样本)定义为基础微调训练样本，如果标注的基础微调训练样的数量难以支撑微调训练，则可以采用数据扩充方式，对基础微调训练样本进行数据扩充处理，得到标注有意图标签的微调训练样本。
[0089]
作为示例性介绍，数据扩充方式包括以下任意一种或多种：
[0090]
1)引入口语化用词的扩充方式；
[0091]
具体地，可以从先检测基础微调训练样本中是否有口语词，若有则不再进行扩充，若没有则从微调训练样本中每个句子的起始位置到预设位置中，随机选择如：“呃”、“喂”、“呀”中的口语词插入。其中，具体插入的位置和插入数量不作限定。该方法可以对每个句子都插入一定数量的口语词，以增加句子的复杂性，同时这些标点符号的插入也不会改变基
础微调训练样本原有的语义，避免引入噪声信息对微调训练产生负面影响。
[0092]
2)以及引入符号的扩充方式；
[0093]
具体地，可以从基础微调训练样本中每个句子的起始位置到预设位置(如句子三分之一处)中，随机选择如：“.”、“；”、“？”、“:”、“！”、“,”中的标点符号插入。这里具体插入的位置和标点符号数量不作限定。该方法可以对每个句子都插入一定数量的标点符号，以增加句子的复杂性，且这些标点符号的插入也不会改变基础微调训练样本原有的语义，避免引入噪声信息对微调训练产生负面影响。
[0094]
3)引入标签的扩充方式；
[0095]
引入标签的扩充方式是指对标注有意图标签的微调训练样本，在标注新的意图标签，从而获得该新的意图标签的微调训练样本。该扩充方式所应用的微调训练样本一般具有较大的文本信息量，包含了不止一种意图。
[0096]
需要说明的是，上述方式1)和方式2)所插入的标点符号和口语词本身没有实际性的语义，适当添加在基础微调训练样本中，也不会对基础微调训练样本的原有意图产生过多干扰，因此，扩展微调训练样本可以沿用基础微调训练样本的意图标签，从而在无人工标注的前提，获得了更丰富的完成标注的微调训练样本。
[0097]
基于上述数据扩充方式，本发明实施例可以将正常积累的基础微调训练样本集和扩充得到的扩充微调训练样本集组成为用于对第二模块进行微调训练的定制微调训练样本集。
[0098]
此外，本发明实施还可以从开源的公用样本知识库中获取更多的已标意图标签的公用微调训练样本，并与定制训练样本集组成目标场景对应的微调训练样本集。其中，公用样本知识库中的公用微调训练样本可以是多方安全计算、联邦学习等联合建模架构下的成员对象所上传分享的，这里本文不作具体限定。
[0099]
基于上述内容可知，本发明实施例的数据处理方法考虑到不管是哪种交互场景的意图识别模型，其底层的将交互数据语义编码为机器语言的逻辑是相互通用的，只有基于语义编码结果进行意图预测的过程才会涉及具体应用场景的意图分类，因此将意图识别模型划分为负责进行语义编码的第一模块和负责进行意图预测的第二模块，并只对第二模块使用已标注的训练样本集进行微调训练。相比于传统的对全模型进行微调训练的方式，本发明只对意图识别模型中的第二模块进行微调训练，能够在不影响模型性能的基础上，大幅简化了运算量，从而提高了训练效率。同时，第一模块不需要进行微调训练可以减少对于标注的训练样本的使用量，特别适用于冷启动和小样本支持这类没有条件完成训练样本标注的环境。
[0100]
应理解，在完成第二模块的微调训练后，即可将意图识别模型即投用于目标交互场景。
[0101]
基于上述的数据处理方法，本技术实施例提供了一种意图识别模型的应用，参见图6是本发明实施例的意图识别模型应用于目标交互场景的流程示意图，包括，图6所示的流程图可包括如下步骤：
[0102]
s602，获取目标对象在目标交互场景中产生的交互数据。
[0103]
其中，交互数据可以是语音数据也可以是文本数据，这里本文不作具体限定。本发明实施例的意图识别模型的输入数据为本文数据，如果本步骤获取到的交互数据是语音数
据，则可以在使用意图识别模型识别交互数据的意图前，先将通过语音转文本技术，将交互数据转换文本数据。
[0104]
s604，通过意图识别模型对交互数据进行意图识别，得到交互数据对应的目标意图。
[0105]
具体地，本步骤中可以将目标对象的交互数据输入至意图识别模型，交互数据先通过意图识别模型中的第一模块完成语义编码，之后第一模块输出的语义编码结果在经第二模块完成意图预测。
[0106]
s606，基于目标意图输出交互数据对应的响应数据。
[0107]
其中，响应数据是与目标意图相关的数据，取决于具体的交互场景。
[0108]
以问答交互场景为例，目标意图可以是目标对象的提问意图，响应数据则是该提问意图对应的回答内容，本步骤输出响应数据是指对提问意图对应的回答内容进行语音播报。再或者，以自助业务办理的互场景为例，标意图可以是目标对象的办理业务相关的指令意图，响应数据则是该指令意图所对应的办理业务的控制指令，本步骤输出响应数据是值：执行办理业务的控制指令，以为目标用户办理业务。
[0109]
从外，在意图识别模型投用后，目标用户的交互数据也可以作为后续第一模块进行预训练的样本。即，本发明实施例还可以将目标用户的交互数据和响应数据作为一个数据对存储至对话日志中；当到达上传条件时，将对话日志中存储的数据对上传至数据管理平台，以由数据管理平台将对话日志中数据对作为一个新的预训练样本(历史数据对)添加至预训练样本集合中。后续可以基于新的预训练样本对第一模块进行新一轮次的预训练，即，在意图识别模型投用后，也可以根据业务中不断产生的用户交互数据来完善第一模块的语义编码性能，从而形成第一模块的闭环优化。
[0110]
此外，如果意图识别模型提供的目标意图对应的置信率不满足置信率阈值，则如前文所述，表示意图识别模型无法对目标对象的交互数据进行有效的意图识别，即，目标对象的交互数据属于意图识别模型的训练盲区。针对这一问题，可以将目标对象的交互数据上传至数据分析平台，以由数据分析平台对目标对象的交互数据标注意图标签，并将注后的交互数据添加至定制微调训练样本集，以下之后对于意图识别模型的第二模块进行更加的完善微调训练。此外，目标对象的注后的交互数据还可以上传至公用样本知识库中以实现分享。
[0111]
基于上述各个实施例的介绍，下面以机器人语音外呼场景为示例，对本发明实施例的意图识别模型的应用进行详细介绍。
[0112]
本应用场景中，业务方机器人在接收到用户账户的交易请求后，会致电用户，确认交易是否为用户本人行为。如果在致电过程中，识别出用户回答内容是“肯定本人操作”的意图，则受理该交易请求；对应地，识别出用户回答内容为“否定本人操作”的意图，则拒绝该交易请求。
[0113]
针对机器人语音外呼场景，可以提前配置一个已标注知识库和一个未标注知识库。本应用场景中，已标注知识库作为微调训练样本的数据库，负责记录已标注了意图标签的用户回答样本(即，用户针对机器提问数据所回复的回答数据)，未标注知识库作为预训练样本的数据库，负责记录未标注意图标签的用户回答样本。
[0114]
这里以识别“用户反问致电目的”和“用户否定本人操作”两个意图为例，已标注知
识库中的用户回答样本采用如下表所示的数据结构：
[0115][0116]
上表所示数据结构下，已标注知识库会针对每种意图，记录相对应的各种用户回答样本。
[0117]
比如针对“用户反问致电目的”的意图，记录有“你要干嘛”、“你是做什么的”、“哦你有事吗”等类似的用户回答样本。也就是“你要干嘛”、“你是做什么的”、“哦你有事吗”均为标注有“用户反问致电目的”标签的用户回答样本。这里需说明的是，本应用场景实际需要机器人识别的意图还可以有“用户肯定本人操作”、“用户反问交易信息”等，这里不再举例赘述。本应用场景会缓存用户与机器人之间的对话日志，并定期从对话日志抽取用户回答样本进行意图标注，标注后的用户回答样本会上传至已标注知识库中以作为微调训练样本。
[0118]
而未标注知识库中的用户回答样本包含了机器人的提问数据和户的回答数据，属于上文所述的历史数据对的结构。其中，未标注知识库中的用户回答样本也可以是从本应用场景的机器人与用户的对话日志中提取得到的，比如在一个对话场景中，当机器人提问“是否为本人操作”后，用户回答“你有事吗”，此时的对话日志包含了“是否为本人操作”与“你有事吗”所组成的历史数据对。本应用场景定期将从对话日志提取机器人的提问数据和户的回答数据作为未标注的用户回答样本，未标注的用户回答样本会上传至未标注知识库中以作为预训练样本。
[0119]
参考图7所示，当已标注知识库和未标注知识库各自积累到一定程度的用户回答样本后，便可进入预训练阶段和自动微调训练阶段。
[0120]
预训练阶段
[0121]
本阶段从未标注知识库中提取未标注的用户回答样本，对意图识别模型的编码器(属于第一模块)进行无监督预训练。无监督预训练方法可以参考上文介绍，这里不再赘述。
[0122]
可选地，编码器的预训练可以是定期执行，这里本文不作具体限定。每当编码器完成预训练完，即可将当前最新的编码器替换掉意图识别模型中原有的编码器，以实现针对意图识别模型的自动更新。
[0123]
微调训练阶段
[0124]
本阶段定期从已标注知识库中提取标注的用户回答样本，对意图识别模型的感知层和分类器(第二模块)进行有监督的微调训练。
[0125]
具体地，本阶段除了从已标注知识库中提取标注的用户回答样本外，还可以结合实际场景需求，加入一些之前未准备的特定意图的用户回答样本来训练意图识别模型的感知层和分类器，比如说“用户质问来电方身份”的用户回答样本。
[0126]
此外，还可以通过前文所介绍的数据扩充方式，生成更多相似的用户回答样本。例如：“问我的身份证干嘛”经引入符号的扩充方式后，可以扩展为：“问我，的身。份证干嘛”，或者也可以经引入口语化用词的扩充方式，扩展为：“我问的身份证干嘛呀”，再或者可以结合上述引入符号和引入口语化用词的扩充方式，扩展为“问我，的身。份证干嘛呀”。
[0127]
在获得各种方式得到的标注意图的用户回答样本后，即可使用预训练的编码器对用户回答样本进行语义编码，并基于语义编码结果和用户回答样本对应标注的意图，对意图识别模型的分类器进行有监督的微调训练。微调训练的方法可以参考上文介绍，这里不再赘述。
[0128]
在微调训练完成后，意图识别模型即可投用于在机器人上。在本场景中，机器人接收到用户账户的交易请求后，会外呼致电用户，语音播报交易请求是否是本人发起，对应地，如果用户进行回复，机器人将用户回复的语音内容转换为文本格式数据后输入至意图识别模型。如果意图识别模型给出的意图为“肯定本人操作”，则受理该交易请求；如果意图识别模型给出的意图为“肯定本人操作”，则拒绝该交易请求。如果意图识别模型给出的意图为“反问致电目的”，则对预先准备的告知致电目的的回复内容进行语音播报。
[0129]
基于上述应用场景的介绍可知，本发明实施例实现了针对意图识别模型的闭环迭代流程。机器人上线后会不断生成对话日志，对话日志生成后先缓存到本地。一方面，将话日志生中的用户回答样本会上传至未标注知识库以支持对编码器进行定期的预训练。另一方面，定期分析对话日志生中的用户回答样本所对应的意图，并进行标注，标注后的用户回答样本会上传至知识库进行完善。
[0130]
即，本应用场景先从相似回答样本的收集、编码器的预训练、分类器的微调训练，再到数据收集实现了机器人闭环的自适应迭代优化流程。对于冷启动或小样本支持的业务环境，可以先利用有限的用户回答样本，对意图模型进行初步训练(即编码器的预训练和分类器的微调训练)，并将初步训练的意图识别模上限投用在外呼场景中，通过实际业务来不断积累用户回答样本，并在之后的时间使用积累到的用户回答样本对意图识别模再进行完善训练。
[0131]
与上述图3所示方法相对应地，本发明实施例还提供一种数据处理装置。图8是该数据处理装置800的结构示意图，包括：
[0132]
样本获取单元810，用于获取目标交互场景对应的微调训练样本集，所述微调训练样本集包括微调训练样本和所述微调训练样本对应的意图标签。
[0133]
预测单元820，用于通过意图识别模型中第一模块对所述微调训练样本进行语义编码，并通过所述意图识别模型中的第二模块对语义编码结果进行意图预测，得到所述微调训练样本对应的意图预测结果，所述第一模块是基于所述目标交互场景的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的。
[0134]
微调训练单元830，用于基于所述微调训练样本对应的意图标签和所述微调训练样本对应的意图预测结果对所述第二模块进行微调训练。
[0135]
可选地，微调训练单元830具体用于：确定所述意图标签和所述意图预测结果之间的差异；基于所述意图标签和所述意图预测结果之间的差异确定所述意图识别模型对应的微调训练损失函数；基于所述意图识别模型对应的微调训练损失函数确定微调训练的梯度，并按照所述微调训练的梯度，对所述第二模块的网络参数进行调整。
[0136]
可选地，所述第一模块包括相互耦合的第一子网络和第二子网络，本发明实施例的装置还包括：
[0137]
预训练单元，在所述通过意图识别模型中的第一模块对所述微调训练样本进行语义编码前，预训练单元用于对第一模块进行预训练，包括：获取预训练样本集，所述预训练样本集包括所述目标交互场景相关的关联场景中历史对话数据对，所述历史对话数据对包括提问数据和回答数据；通过所述第一子网络对所述预训练样本集中的提问数据进行特征提取，得到第一文本特征，以及通过所述第二子网络对所述预训练样本集中的回答数据进行特征提取，得到第二文本特征；确定所述第一文本特征和所述第二文本特征之间的匹配度；基于所述第一文本特征和所述第二文本特征之间的匹配度，确定所述第一模块对应的预训练损失函数；基于所述第一模块对应的预训练损失函数，确定预训练的梯度，并按照所述预训练的梯度，对所述第一模块的网络参数进行调整。
[0138]
其中，所述第一子网络包括第一编码子模块和第一单头自注意力子模块，所述第二子网络包括第二编码子模块和第二单头自注意力子模块，所述第一单头自注意力模块和所述第二自注意力模块之间共享参数；预训练单元具体通过所述第一子网络的第一子编码模块对所述预训练样本中的提问数据进行文本编码处理，并通过所述第一子网络中的第一单头自注意力子模块对提问数据的文本编码处理结果进行特征提取，得到所述第一文本特征；此外，预训练单元具体通过通过所述第二子网络的第二编码子模块对所述预训练样本中的回答数据进行文本编码处理，并通过所述第二子网络中的第二单头自注意力子模块对回答数据的编码处理结果进行特征提取处理，得到所述第二文本特征。
[0139]
可选地，样本获取单元810具体用于：确定所述目标交互场景对应的定制微调训练样本集，所述定制微调训练样本集包括定制微调训练样本和所述定制微调训练样本对应的意图标签；从公用样本知识库中获取公用微调训练样本集，所述公用微调训练样本集包括公用微调训练样本和所述公用微调训练样本对应的意图标签；将所述定制训练样本集和所述公用训练样本集组成所述目标场景对应的微调训练样本集。
[0140]
其中，样本获取单元810确定所述目标交互场景对应的定制训练样本集，包括：获取针对所述目标交互场景输入的基础微调训练样本和所述基础微调训练样本对应的意图标签；采用数据扩充方式对所述基础微调训练样本进行数据扩充处理，得到扩充微调训练样本和所述扩充微调训练样本对应的意图标签；其中，所述数据扩充方式包括如下任意一种或多种：引入标签的扩充方式、引入口语化用词的扩充方式以及引入符号的扩充方式；将所述基础微调训练样本集和所述扩充微调训练样本集组成为所述定制微调训练样本集。
[0141]
其中，在所述基于所述训练样本对应的意图标签和所述训练样本对应的意图预测结果对所述第二模块进行微调训练后，样本获取单元810还用于：
[0142]
获取目标对象在所述目标交互场景中产生的交互数据；通过所述意图识别模型对
所述交互数据进行意图识别，得到所述交互数据对应的目标意图；基于所述目标意图输出所述交互数据对应的响应数据。
[0143]
其中，本发明实施例的装置还包括：
[0144]
数据上传单元，用于将所述交互数据和所述响应数据作为一个数据对存储至对话日志中，并当到达上传条件时，将所述对话日志中存储的数据对上传至数据管理平台，以由所述数据管理平台将所述对话日志中数据对作为一个新的预训练样本添加至所述预训练样本集合，其中，当所述预训练单元对所述第一模块进行预训练时，基于所述预训练样本对所述第一模块进行预训练。
[0145]
可选地，数据上传单元还用于：确定所述意图识别模型针对所述目标意图的置信率；若所述目标意图对应的置信率不满足置信率阈值，则将所述交互数据上传至数据分析平台，以由所述数据分析平台对所述交互数据标注意图标签，并将标注后的所述交互数据作为基础微调训练样本添加至所述公用样本知识库中。
[0146]
根据本技术的另一个实施例，图8所示的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本技术的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本技术的其它实施例中，基于数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0147]
根据本技术的另一个实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3以及图6所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图7中所示的数据处理装置，以及来实现本技术实施例数据处理方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于数据处理设备中，并在其中运行。
[0148]
本发明实施例的装置，考虑到不管是哪种交互场景的意图识别模型，其底层的将交互数据语义编码为机器语言的逻辑是相互通用的，只有基于语义编码结果进行意图预测的过程才会涉及具体应用场景的意图分类，因此将意图识别模型划分为负责进行语义编码的第一模块和负责进行意图预测的第二模块，并只对第二模块使用已标注的训练样本集进行微调训练。相比于传统的对全模型进行微调训练的方式，本发明只对意图识别模型中的第二模块进行微调训练，能够在不影响模型性能的基础上，大幅简化了运算量，从而提高了训练效率。同时，第一模块不需要进行微调训练可以减少对于标注的训练样本的使用量，特别适用于冷启动和小样本支持这类没有条件完成训练样本标注的环境。
[0149]
图9是本说明书的一个实施例电子设备的结构示意图。请参考图9，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
[0150]
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa
(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industrystandard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0151]
存储器，用于存放计算机程序程序。具体地，计算机程序程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
[0152]
可选地，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成上述图9所示的数据处理装置。对应地，处理器，执行存储器所存放的程序，并具体用于执行以下操作：
[0153]
获取目标交互场景对应的微调训练样本集，所述微调训练样本集包括微调训练样本和所述微调训练样本对应的意图标签；
[0154]
通过意图识别模型中第一模块对所述微调训练样本进行语义编码，并通过所述意图识别模型中的第二模块对语义编码结果进行意图预测，得到所述微调训练样本对应的意图预测结果，所述第一模块是预先基于所述目标交互场景的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的；
[0155]
基于所述微调训练样本对应的意图标签和所述微调训练样本对应的意图预测结果对所述第二模块进行微调训练。
[0156]
上述如本说明书所示实施例揭示的数据交互方法或者浏览器页面更新方法可以应用于处理器中，由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0157]
当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
[0158]
此外，本发明实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令。
[0159]
可选地，上述指令当被包括多个应用程序的便携式电子设备执行时，能够使该便
携式电子设备执行图3所示方法的步骤，包括：
[0160]
获取目标交互场景对应的微调训练样本集，所述微调训练样本集包括微调训练样本和所述微调训练样本对应的意图标签；
[0161]
通过意图识别模型中第一模块对所述微调训练样本进行语义编码，并通过所述意图识别模型中的第二模块对语义编码结果进行意图预测，得到所述微调训练样本对应的意图预测结果，所述第一模块是预先基于所述目标交互场景的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的；
[0162]
基于所述微调训练样本对应的意图标签和所述微调训练样本对应的意图预测结果对所述第二模块进行微调训练。
[0163]
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0164]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0165]
以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。此外，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。