基于孪生交互和微调表示的中文语义匹配方法与流程

技术特征：
1.一种基于孪生交互和微调表示的中文语义匹配方法，其特征在于，所述方法包括以下步骤：(1)将两个待匹配的文本s1、s2接入roberta-wwm-ext预训练模型，完成文本s1、s2的向量初始化，提取roberta-wwm-ext预训练模型的pooler_out层，公式描述为s1vec＝[robertawe([s1])]
pooler_out
、s2vec＝[robertawe([s2])]
pooler_out
，其中s1vec、s2vec分别为文本s1、s2的初步特征向量表示；(2)将向量s1vec、s2vec交叉输入内嵌了软对齐注意力机制、bilstm训练层的孪生结构；在软对齐注意力机制处理过程中，首先计算s1vec、s2vec的注意力打分函数，然后利用softmax函数计算最终的注意力分布函数p，再分别与向量s1vec、s2vec求积计算得出相应的加权分布向量和向量向量分别与原始向量s1vec、s2vec相加，最终输出向量表示为avec1、avec2；将输出向量avec1、avec2分别接入bilstm网络层，最终经过融合产生文本s1、s2在两个孪生子通道所分别对应的特征向量表示siavec1、siavec2；针对向量siavec1、siavec2进行对应项相减、相乘，并将结果连接，公式描述为siavec＝[|siavec1-siavec2|,siavec1
⊙
siavec2]，siavec为文本s1、s2经过孪生结构产生的交互向量；(3)将文本s1、s2连接为单句文本，公式为sen＝[[cls]s1[sep]s2[sep]]，[cls]为文本的开头标识，[sep]为两文本的间隔标识，sen即为两文本连接的单句型文本；将sen输入到roberta-we模型，提取模型的pooler_out输出层向量pvec作为sen的向量表示；将向量pvec接入lstm层，得到向量lvec；将向量lvec与原始向量pvec连接，然后将此连接向量接入bilstm层，最终得到文本s1、s2经过lstm-bilstm结构产生的特征向量lbvec；(4)在roberta-wwm-ext预训练模型的基础上添加线性转换层和softmax激活层，搭建一个可微调文本s1、s2的初始向量的表示参数的句对预分类模型；首先提取roberta-wwm-ext的pooler_out输出层向量pvec，然后将pvec接入一个线性转换层，公式为lwvec＝pvec
·
w
t
bias,其中w为向量pvec进行线性转换的权重矩阵，bias为函数的偏置，lwvec为pvec经过线性转换后的向量表示；然后将向量lwvec经过softmax激活层，公式为其中p
lwvec
为最终的文本对匹配结果；将数据集接入搭建完成的句对预分类结构，训练产生句对预分类模型ptm，提取logits输出层作为文本对的微调型的特征向量，公式为lgvec＝[ptm([sen])]
logits
，其中lgvec为文本s1、s2的微调表示型特征向量；(5)在前面的步骤中，文本s1、s2经过孪生结构、lstm-bilstm网络层以及微调结构，分别产生了相应的向量表示siavec、lbvec和lgvec；首先将向量siavec、lbvec连接，参与mlp的layer1、layer2前两个全连接层的训练，公式为r
l2
为两个全连接层的输出向量；然后再将向量lgvec与r
l2
连接，接入mlp的layer3全连接层产生向量r
l3
，针对向量r
l3
使用激活函数sigmoid，公式为r为中文文本s1、s2的语义匹配结果。

技术总结
本发明公开了一种基于孪生交互和微调表示的中文语义匹配方法，首先以RoBERTa-WWM-EXT预训练模型完成文本的向量初始化，针对初始特征向量构造内嵌了软对齐注意力机制(SA-Attention)和BiLSTM训练层的孪生结构，用以增强句对之间的语义交互性。其次将两个待匹配文本连接起来接入RoBERTa-WWM-EXT预训练模型进行向量化，将连接的向量化结果输入LSTM-BiLSTM网络层做增强训练，用以强化句子内部的上下语义关系。然后搭建可微调RoBERTa-WWM-EXT初始向量的训练模型，用以产生经过标签监督微调的文本向量，从而进一步增强向量对文本间语义关系的表示力度，最终达到提升中文语义匹配准确率的目的。匹配准确率的目的。匹配准确率的目的。


技术研发人员：强保华 席广勇 王玉峰 李宝莲 陈金勇
受保护的技术使用者：中国电子科技集团公司第五十四研究所
技术研发日：2022.09.06
技术公布日：2022/11/15