一种基于Transformer模型的文本处理方法、装置、设备及存储介质与流程
本技术涉及计算机领域,尤其涉及一种基于transformer模型的文本处理方法、装置、设备及存储介质。
背景技术:
1、文本处理是指通过对文本中的词语、语句及其语义关系进行分析,以完成文本分类和机器翻译等任务的过程。transformer型作为文本处理任务的基石模型,已经被广泛应用于各类文本处理任务中。该模型通常将输入文本信息转换为实值向量,并利用实值化的查询向量与键向量之间的点积计算注意力得分,再根据注意力得分生成对应的输出向量,并将多个注意力头的输出向量直接拼接,得到文本特征。
2、然而,实值向量中的点积计算主要用于表征查询向量与键向量之间的线性相似关系,难以充分表征复杂文本的语义关系,同时,直接拼接多个注意力头的输出,也没有考虑不同注意力头之间的关联关系,导致现有的基于transformer的文本处理方法在进行文本处理任务时表达能力不足,进而影响最终的文本处理结果。
技术实现思路
1、本技术实施例提供了一种基于transformer模型的文本处理方法、装置、设备及存储介质,以提升transformer模型在进行文本处理时的表达能力。
2、第一方面,本技术实施例提供了一种基于transformer模型的文本处理方法,包括:
3、获取输入文本信息的复值嵌入矩阵,所述复值嵌入矩阵通过所述输入文本信息对应的振幅向量和相位向量得到;
4、基于所述复值嵌入矩阵,生成transformer模型的多个注意力头中的每个注意力头所对应的复值查询向量、复值键向量和复值值向量;
5、基于所述每个注意力头对应的复值查询向量和复值键向量计算所述每个注意力头对应的注意力得分;
6、基于所述每个注意力头对应的注意力得分和复值值向量,生成所述每个注意力头对应的输出向量;
7、将所述每个注意力头对应的输出向量两两分组,得到多个分组;
8、对属于同一分组的两个注意力头的输出向量进行融合处理,得到所述同一分组对应的输出向量,所述同一分组对应的输出向量用于指示所述属于同一分组的两个注意力头之间的关联关系;
9、将所述多个分组分别对应的输出向量进行拼接,得到融合输出向量;
10、基于所述融合输出向量,按照文本处理任务信息生成文本处理结果。
11、可选地,所述获取输入文本信息的复值嵌入矩阵,包括:
12、对所述输入文本信息进行分词处理,得到多个输入词元;
13、对所述多个输入词元分别进行编码,得到所述多个输入词元分别对应的振幅向量和相位向量;
14、基于所述多个输入词元分别对应的振幅向量和相位向量,得到所述复值嵌入矩阵。
15、可选地,所述基于所述复值嵌入矩阵,生成transformer模型的多个注意力头中的每个注意力头所对应的复值查询向量、复值键向量和复值值向量,包括:
16、将所述复值嵌入矩阵映射为初始复值查询向量、初始复值键向量和初始复值值向量;
17、按照所述多个注意力头的数量,将所述初始复值查询向量、初始复值键向量和初始复值值向量分配到所述每个注意力头中,得到所述每个注意力头对应的复值查询向量、复值键向量和复值值向量。
18、可选地,所述基于所述每个注意力头对应的复值查询向量和复值键向量计算所述每个注意力头对应的注意力得分,包括:
19、对所述每个注意力头对应的复值查询向量和复值键向量进行归一化处理,得到所述每个注意力头对应的查询纯态向量和键纯态向量;
20、基于所述每个注意力头对应的键纯态向量,构建所述每个注意力头对应的密度矩阵;
21、确定所述每个注意力头对应的初始注意力得分,所述每个注意力头对应的初始注意力得分为所述每个注意力头对应的查询纯态向量和密度矩阵之间的相似度;
22、对所述每个注意力头对应的初始注意力得分进行归一化处理,得到所述每个注意力头对应的注意力得分。
23、可选地,所述对属于同一分组的两个注意力头的输出向量进行融合处理,包括:
24、对属于同一分组的两个注意力头的输出向量进行张量积运算,得到张量积运算结果;
25、对所述张量积运算结果进行酉正变换,得到所述同一分组对应的输出向量。
26、可选地,所述文本处理任务信息用于指示所述transformer模型执行文本分类任务得到文本分类结果;
27、所述基于所述融合输出向量,按照文本处理任务信息生成文本处理结果,包括:
28、对所述融合输出向量进行实值化运算,得到实值文本特征;
29、对所述实值文本特征进行平均池化处理,得到所述输入文本信息对应的文本表示;
30、基于所述输入文本信息对应的文本表示,确定多个候选类别和每个候选类别所对应的分类概率;
31、将所述多个候选类别中分类概率最大的候选类别确定为所述文本分类结果。
32、可选地,所述文本处理任务信息用于指示所述transformer模型执行机器翻译任务得到机器翻译结果;
33、所述基于所述融合输出向量,按照文本处理任务信息生成文本处理结果,包括:
34、获取第i输入序列,i为正整数,i=1时所述第i输入序列包括预设起始词元,i>1时所述第i输入序列包括所述预设起始词元以及已生成的前i-1个目标翻译词元;
35、对所述第i输入序列进行嵌入处理,得到第i嵌入表示;
36、对所述第i嵌入表示进行解码处理,得到第i解码结果;
37、基于所述第i解码结果与所述融合输出向量,确定多个第i候选翻译词元和所述多个第i候选翻译词元分别对应的生成概率;
38、将所述多个第i候选翻译词元中生成概率最大的候选翻译词元确定为第i目标翻译词元;
39、在所述第i目标翻译词元为预设结束词元或者i达到预设阈值的情况下,基于已生成的i个目标翻译词元得到所述机器翻译结果。
40、第二方面,本技术实施例提供了一种基于transformer模型的文本处理装置,包括:
41、复值嵌入矩阵获取模块,用于获取输入文本信息的复值嵌入矩阵,所述复值嵌入矩阵通过所述输入文本信息对应的振幅向量和相位向量得到;
42、复值向量生成模块,用于基于所述复值嵌入矩阵,生成transformer模型的多个注意力头中的每个注意力头所对应的复值查询向量、复值键向量和复值值向量;
43、注意力得分计算模块,用于基于所述每个注意力头对应的复值查询向量和复值键向量计算所述每个注意力头对应的注意力得分;
44、注意力头输出模块,用于基于所述每个注意力头对应的注意力得分和复值值向量,生成所述每个注意力头对应的输出向量;
45、分组模块,用于将所述每个注意力头对应的输出向量两两分组,得到多个分组;
46、分组输出模块,用于对属于同一分组的两个注意力头的输出向量进行融合处理,得到所述同一分组对应的输出向量,所述同一分组对应的输出向量用于指示所述属于同一分组的两个注意力头之间的关联关系;
47、向量融合模块,用于将所述多个分组分别对应的输出向量进行拼接,得到融合输出向量;
48、文本处理模块,用于基于所述融合输出向量,按照文本处理任务信息生成文本处理结果。
49、第三方面,本技术实施例提供了一种电子设备,所述设备包括:处理器、存储器、系统总线;
50、所述处理器以及所述存储器通过所述系统总线相连;
51、所述存储器用于存储程序,所述程序包括指令,所述指令当被所述处理器执行时使所述处理器执行上述基于transformer模型的文本处理方法的任一实现步骤。
52、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在电子设备上运行时,使得所述电子设备执行上述基于transformer模型的文本处理方法的任一实现步骤。
53、从以上技术方案可以看出,本技术实施例具有以下优点:
54、在本技术实施例中,可以获取输入文本信息的复值嵌入矩阵,该复值嵌入矩阵通过输入文本信息对应的振幅向量和相位向量得到。随后,基于复值嵌入矩阵生成transformer模型中各注意力头对应的复值查询向量、复值键向量和复值值向量,并基于各注意力头对应的复值查询向量和复值键向量,计算相应的注意力得分。进一步地,基于各注意力头对应的注意力得分和复值值向量,生成各注意力头对应的输出向量。接着,将各注意力头对应的输出向量两两分组,对同一分组内两个注意力头的输出向量进行融合处理,得到同一分组对应的输出向量。最后,将多个分组对应的输出向量进行拼接,得到融合输出向量,并基于该融合输出向量,按照文本处理任务信息生成文本处理结果。
55、由此可见,本技术实施例利用复值查询向量和复值键向量计算注意力得分,由于复值嵌入矩阵是通过振幅向量和相位向量生成的,因此可以捕捉语义幅度与位置相位之间的复合关系。并且,对各注意力头的输出向量进行分组,并对同组输出向量进行融合处理,使两个注意力头中的特征相互组合,可形成反映二者关联关系的组合特征,也就是能够挖掘出不同注意力头之间的关联关系,有助于增强不同注意力头之间关联关系的表达能力。这样一来,最终得到的融合输出向量既包含语义幅度与位置相位之间的复合关系,又包含不同注意力头之间的组合关系,从而能够提高文本处理时的表达能力,提高最终的文本处理效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com