判断查询文本与目标文本相似度的方法及装置与流程

1.本技术涉及自然语言处理领域，特别是涉及一种判断查询文本与目标文本相似度的方法及装置。


背景技术：

2.在自然语言处理领域，文本匹配技术，通常以文本相似度计算、文本相关性计算的形式，在一些应用系统中起核心支撑作用。这些应用系统例如包括搜索引擎、智能问答、知识检索、信息流推荐等。
3.举例来说，智能问答系统一般是从大量存储的文本(document)中，选取与用户输入查询内容(query)最匹配的那个文本(document)，从而根据最匹配的文本获得关联的答案，给出针对用户输入的查询文本对应的答案。
4.查询文本(document)对应常见问题解答(foa)中的“问题”，“查询内容”对应用户的问题，“最匹配”对应语义相似度最高。例如，用户输入的查询内容为“训练机器学习模型的方法”(句子a)，大量存储的文本中与之最匹配的文本为“怎样训练机器学习模型”(句子b)，当计算处理系统能够从大量存储的文本中找到句子b时，则可以获取其对应的解答。
5.bert语言模型作为一种预训练的语言模型，已经在句子对回归任务上取得了最新最好的效果。然而，bert语言模型使用交叉编码器，这需要将上述句子a和句子b都输入transformer网络对目标值进行预测，这将引起大量的计算消耗。
6.为了解决计算消耗量大的问题，传统的解决的方法就是将句子a和句子b映射到向量空间，这样语义相似的句子就会离得很近，可用余弦距离作为句子对回归任务的评估，提高匹配的效率。
7.研究人员已经开始将单个句子输入到bert语言模型中，然后生成固定大小的句向量。最常见的方法就是将bert的输出层平均化或者通过使用第一个token作为句向量。然而研究表示这种常见的方法会产生效果很差的句向量，通常比全局词向量(global vectors for word representation,(glove))的平均更差。
8.预训练bert语言模型的改进版sentence-bert(sbert)语言模型使用二元或者三元网络结构来获得有语义意义的句向量，该向量可用于预选相似度计算。这能使寻找句子相似对的工作从bert的65小时减少到sbert的5秒，同时保证bert的正确率。但是，此类改进是由高质量的监督学习引起的，并且在目标任务的标记数据极为匮乏或测试集的分布与用于训练的数据集明显不同的情况下，其性能会显着下降。
9.因此，需要提出一种新的方法以解决现有技术存在的问题。


技术实现要素：

10.鉴于上述问题，本发明一实施例提出一种判断查询文本与目标文本相似度的方法及装置，以解决现有技术存在的问题。
11.为了解决上述问题，本技术一实施例公开一种文本匹配方法，用于确定与查询文
本匹配的目标文本，所述方法包括：
12.提供查询文本对应的第一标记表示信息和至少一个候选文本对应的第二标记表示信息；
13.获得所述第一标记表示信息对应的多个第一序列信息和所述第二标记表示信息对应的多个第二序列信息；
14.串联所述多个第一序列信息，获得第一串联序列信息；串联所述多个第二序列信息，获得第二串联序列信息；
15.获得针对所述第一串联序列信息的第一全局表示信息和多个第一局部表示信息，获得针对所述第二串联序列信息的第二全局表示信息和多个第二局部表示信息；
16.最大化所述第一全局表示信息和所述多个第一局部表示信息组成的第一信息对，并最大化所述第二全局表示信息和所述多个第二局部表示信息组成的第二信息对；
17.从多个候选文本中确定与所述查询文本匹配的目标文本。
18.为了解决上述问题，本技术一实施例还公开一种电子装置，该电子装置包括：
19.存储器，用于存储计算机可读程序；
20.处理器，当所述处理器读取所述存储器中的计算机可读程序时，所述电子装置执行如下操作：
21.提供查询文本对应的第一标记表示信息和至少一个候选文本对应的第二标记表示信息；
22.获得所述第一标记表示信息对应的多个第一序列信息和所述第二标记表示信息对应的多个第二序列信息；
23.串联所述多个第一序列信息，获得第一串联序列信息；串联所述多个第二序列信息，获得第二串联序列信息；
24.获得针对所述第一串联序列信息的第一全局表示信息和多个第一局部表示信息，获得针对所述第二串联序列信息的第二全局表示信息和多个第二局部表示信息；
25.最大化所述第一全局表示信息和所述多个第一局部表示信息组成的第一信息对，并最大化所述第二全局表示信息和所述多个第二局部表示信息组成的第二信息对；
26.从多个候选文本中确定与所述查询文本匹配的目标文本。
27.为了解决上述问题，本技术一实施例公开一种一种文本匹配装置，用于确定与查询文本匹配的目标文本，包括：
28.提供模块，用于提供查询文本对应的第一标记表示信息和至少一个候选文本对应的第二标记表示信息；
29.第一获取模块，用于获得所述第一标记表示信息对应的多个第一序列信息和所述第二标记表示信息对应的多个第二序列信息；
30.串联模块，用于串联所述多个第一序列信息，获得第一串联序列信息；串联所述多个第二序列信息，获得第二串联序列信息；
31.第二获取模块，用于获得针对所述第一串联序列信息的第一全局表示信息和多个第一局部表示信息，获得针对所述第二串联序列信息的第二全局表示信息和多个第二局部表示信息；
32.最大化莫模块，用于最大化所述第一全局表示信息和所述多个第一局部表示信息
组成的第一信息对，并最大化所述第二全局表示信息和所述多个第二局部表示信息组成的第二信息对；
33.匹配模块，用于从多个候选文本中确定与所述查询文本匹配的目标文本。
34.本技术一实施例还公开一种终端设备，包括：
35.一个或多个处理器；和
36.其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述终端设备执行上述的方法。
37.本技术一实施例还公开一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得终端设备执行上述的方法。
38.由上述可知，本技术实施例提出的文本匹配方法和装置，至少具有以下优点：
39.本方案提出了一种文本匹配方法和装置，可以实现轻量级的无监督句子表示学习，从而判断出与查询文本最接近的目标文本。相比于现有技术，本发明提出的方案不用依赖于高质量的数据标注，而是基于最大互信息理论，直接使用无监督的方法改进预训练模型。本发明提出的模型可以应用于任何领域，同时保证其在比如语义文本相似等任务上的正确率和效率。
附图说明
40.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本技术第一实施例的模型架构的示意图。
42.图2是本技术第一实施例的文本匹配方法的流程图。
43.图3是本技术第二实施例的文本匹配方法的流程图。
44.图4是本技术第三实施例的文本匹配装置的方框图。
45.图5是本技术第三实施例的文本匹配装置的方框图。
46.图6示意性地示出了用于执行根据本发明的方法的终端设备的框图；以及
47.图7示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。
具体实施方式
48.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本技术保护的范围。
49.本技术的核心思想之一在于，提出一种文本匹配方法，用于确定与查询文本匹配的目标文本，所述方法包括：提供查询文本对应的第一标记表示信息和至少一个候选文本对应的第二标记表示信息；获得所述第一标记表示信息对应的多个第一序列信息和所述第二标记表示信息对应的多个第二序列信息；串联所述多个第一序列信息，获得第一串联序
列信息；串联所述多个第二序列信息，获得第二串联序列信息；获得针对所述第一串联序列信息的第一全局表示信息和多个第一局部表示信息，获得针对所述第二串联序列信息的第二全局表示信息和多个第二局部表示信息；最大化所述第一全局表示信息和所述多个第一局部表示信息组成的第一信息对，并最大化所述第二全局表示信息和所述多个第二局部表示信息组成的第二信息对；从多个候选文本中确定与所述查询文本匹配的目标文本。
50.图1所示为本发明一实施例的模型示意图。如图1所示，将两个句子a“a girl is playing a guitar”和b“a women is cutting an onion”输入神经网络模型(例如为bert神经网络模型)，经过步骤s01的标记嵌入(token embedding)步骤和步骤s02的多窗口分词，获得两个句子分别对应的局部表示信息20和全局表示信息30；针对局部表示信息和全局表示信息组成的信息对进行互信息的最大化，利用最大化后的第一信息对和最大化后的第二信息对，在步骤s03中依据得分选出与句子a匹配的目标文本。
51.第一实施例
52.本发明第一实施例提出一种文本匹配方法。图2所示为本发明第一实施例的文本匹配方法的步骤流程图。如图2所示，本发明实施例的文本匹配方法包括如下步骤：
53.s101，提供查询文本对应的第一标记表示信息和至少一个候选文本对应的第二标记表示信息；
54.智能问答系统一般是在用户输入查询文本之后，从大量存储的文本(document)中，选取与用户输入查询内容最匹配的那个文本，从而根据最匹配的文本获得关联的答案，给出针对用户输入的查询文本对应的答案。
55.假设用户将查询文本(句子a：“where can i buy a guitar”)输入机器学习系统，智能问答系统需要从大量存储的多个文本(例如包含句子b“a women is cutting an onion”，句子c”what is the time now”,句子d：“there is a bird on the tree.句子e：“the nearest shop to buy a guitar
””
等等大量的候选文本)中挑选出与用户的查询文本最匹配的目标文本(例如句子e)。最后根据目标文本关联的答案(例如数据库中句子e对应的答案“the nearest guitar shop is at no.31 zhongguancun south street”.)给出针对用户的查询文本的回答。
56.在这一步骤中，类似于前述步骤s01，将用户查询的查询文本(句子a)和多个候选文本(句子b、句子c、句子d、句子e)输入智能问答系统中的bert语言模型，经过标记嵌入(token embedding)的步骤，获得针对查询文本(句子a)的标记表示信息，和针对数据库中多个候选的标记表示信息。
57.在这一步骤中，标记嵌入(token embedding)也叫词嵌入(word embedding)，其作用是将人类的语言映射到几何空间中。具体来说，针对一个文本，在字典里查找得到它对应的数字下标即为token，然后用该数字下标去查表获得该词对应的词向量(词嵌入)就是嵌入的过程。在输入bert语言模型之后，可以获得针对查询文本(句子a)的第一标记表示信息，和针对数据库中每一个候选文本(句子b/c/d/e等)的第二标记表示信息。其中每一个候选文本均对应一个第二标记表示信息。
58.在执行步骤s101之后，可以执行步骤s102如下：
59.s102，获得所述第一标记表示信息对应的多个第一序列信息和所述第二标记表示信息对应的多个第二序列信息；
60.在这一步骤中，可以将目标文本(句子a)对应的第一标记表示信息通过多个卷积神经网络(cnn)，将候选文本(句子b/c/d/e等)分别对应的多个第二标记表示信息，分别通过多个卷积神经网络(cnn)，这里多个卷积神经网络可以具有相同或者不同大小的窗口。比如第一卷积神经网络的窗口为1，第二卷积神经网络的窗口为3，第三卷积神经网络的窗口为5，每经过一个卷积神经网络，均可以获得针对该句子a或句子b的n-gram序列信息。
61.n-gram(有时也称为n元模型)是自然语言处理中的概念。假设有一个字符串s，那么该字符串的n-gram就表示按长度n切分原词得到的词段，也就是s中所有长度为n的子字符串。随着窗口的不同，n-gram切分后的字符串的长度不同。例如，“我爱科学课“这一字符串，如果n为1，则可以切分为5个子字符串：“我”、“爱”、“科”、“学”和“课”；如果n为3，则可以切分为3个子字符串：“我爱科”、“爱科学”、“科学课”。如果n为5，则可以切分为1个子字符串“我爱科学课“。
62.将查询文本和多个候选文本分别输入卷积神经网络模型之后，可以得到针对查询文本和多个候选文本的每一者的n-gram序列信息。上述序列信息例如包括：窗口为1时查询文本的序列、窗口为3时查询文本的序列、窗口为5时查询文本的序列、窗口为n时查询文本的序列
……
针对每一个候选文本的n-gram序列信息，例如包括窗口为1时该候选文本的序列、窗口为3时该候选文本的序列、窗口为5时该候选文本的序列、窗口为n时该候选文本的序列
……
63.在执行步骤s102之后，可以执行步骤s103如下：
64.s103，串联所述多个第一序列信息，获得第一串联序列信息；串联所述多个第二序列信息，获得第二串联序列信息；
65.在这一步骤中，可以将查询文本对应的多个序列进行合并，例如利用concat()函数对前述的窗口为1时查询文本的序列、窗口为3时查询文本的序列、窗口为5时查询文本的序列、窗口为n时查询文本的序列
……
进行合并，获得查询文本对应的第一合并序列信息和多个候选文本分别对应的第二合并序列信息。
66.在执行步骤s103之后，可以执行步骤s104如下：
67.s104，获得针对所述第一串联序列信息的第一全局表示信息和多个第一局部表示信息，获得针对所述第二串联序列信息的第二全局表示信息和多个第二局部表示信息；
68.在这一步骤中，针对查询文本对应的第一串联序列信息，将每一个n-gram的表示信息叫做第一局部表示(local representation)信息，而将第一局部表示信息通过平均池化(mean pooling)得到的表示信息叫做全局表示(global representation)。
69.前述平均池化的方式有多种，在此并不特别限定。利用池化的方式可以保证平移不变性、降低优化难度和参数。平均池化可以保留背景信息，用于后续与局部表示信息进行匹配计算。
70.在执行步骤s104之后，可以执行步骤s105如下：
71.s105，最大化所述第一全局表示信息和所述多个第一局部表示信息组成的第一信息对，并最大化所述第二全局表示信息和所述多个第二局部表示信息组成的第二信息对，从多个候选文本中确定与所述查询文本匹配的目标文本。
72.为了得到一个更适合分类的表示，本发明实施例中用“互信息”来衡量提取出来的信息的样本独特性。本发明实施例中将每一个查询文本和候选文本的全局表示信息与局部
表示信息之间的平均互信息值(mutual information，mi值)最大化。理由在于，对于一个表示信息，它与所有对应的局部mi应该是很高的，相反，它与非对应的局部mi应该是很低的。
73.在这一步骤中，可以用鉴别器(discriminator)接受所有的信息表示对(局部表示，全局表示)，并确定它们是否来自同一句子。即，信息表示对包括该文本的局部表示信息和全局表示信息，通过鉴别器对信息对的鉴别，可以确定这一信息对是否来自同一个句子。
74.本发明实施例中将查询文本作为正样本，将多个候选文本分别作为负样本，则本发明实施例中将查询文本的n-gram表示鉴别器为来自的所有局部表示生成分数“a”和“b”来最大化mi估计量。
75.具体的，本发明实施例中采用jensen-shannon估计函数。并通过最大化jensen-shannon估计函数,与其局部表示将会有很高mi，这将使句子表示可以捕获与输入相关的所有局部信息，使其与其他句子表示不同，从而达到更适合分类的表示。通过这种训练得到的编码(encoder),可将查询文本和候选文本分别编码成向量，再通过向量之间相似度来找到最匹配的目标文本。
76.在一可选实施例中，所述提供查询文本对应的第一标记表示信息和至少一个候选文本对应的第二标记表示信息的步骤，包括：
77.将查询文本和多个候选文本分别输入语言模型，进行标记嵌入操作，获得所述查询文本对应的第一标记表示信息和所述候选文本对应的第二标记表示信息。
78.在一可选实施例中，所述语言模型为bert语言模型。
79.在一可选实施例中，所述获得所述第一标记表示信息对应的多个第一序列信息和所述第二标记表示信息对应的多个第二序列信息的步骤，包括：
80.将所述第一标记表示信息和所述第二标记表示信息通过多个神经网络模型，获得针对所述查询文本的多个第一序列信息和针对每一个所述候选文本的多个第二序列信息。
81.在一可选实施例中，所述多个神经网络模型为具有不同大小的窗口的多个卷积神经网络模型。
82.在一可选实施例中，所述第一序列信息和所述第二序列信息分别为n-gram序列。
83.在一可选实施例中，所述第一全局表示信息通过将第一局部表示信息通过池化操作获得；所述第二全局表示信息通过将第二局部表示信息通过池化操作获得。
84.在一可选实施例中，所述池化操作包括平均池化操作。
85.在一可选实施例中，所述最大化所述第一全局表示信息和所述多个第一局部表示信息组成的第一信息对和所述最大化所述第二全局表示信息和所述多个第二局部表示信息组成的第二信息对的操作包括：
86.最大化所述第一信息对的互信息值，以及最大化所述第二信息对的互信息值。
87.由上述可知，本发明第一实施例提出的文本匹配方法，至少具有如下技术效果：
88.本方案提出了一种文本匹配方法，可以实现轻量级的无监督句子表示学习，从而判断出与查询文本最接近的目标文本。相比于现有技术，本发明提出的方案不用依赖于高质量的数据标注，而是基于最大互信息理论，直接使用无监督的方法改进预训练模型。本发明提出的模型可以应用于任何领域，同时保证其在比如语义文本相似等任务上的正确率和效率。
89.除此之外，本实施例提出的文本匹配方法至少还包括如下优点：
90.1.本发明实施例提出了一种轻量级的无监督句子表示学习模型:即通过最大化全局表示(句子表示)与局部表示(n-gram表示)之间互信息进行自监督地训练更适合分类的句子表示。
91.2.本发明实施例提出的方法对使用环境的限制少，基准任务上正确率和效率高：本发明提出的模型不受数据标注和数据领域的限制，在各种语义基准任务上都优于之前无监督的句子表示方法，相比有监督的句子表示学习模型(sbert)的正确率和效率差距更小。本发明提出的模型在这种情况下取得了明显更好的结果因为它可以具有针对特定任务语料进行训练的灵活性，并且没有语料标签的限制。
92.3.可用于丰富的文本匹配应用：包括文本相似度计算、自然语言推理、智能问答系统、信息检索等。
93.第二实施例
94.本发明第二实施例提出一种问答方法。图3所示为本发明第二实施例的问答方法的步骤流程图。如图3所示，本发明实施例的问答方法用于确定与查询文本匹配的答案信息，包括如下步骤：
95.s201，提供查询文本对应的第一标记表示信息和至少一个候选文本对应的第二标记表示信息；
96.s202，获得所述第一标记表示信息对应的多个第一序列信息和所述第二标记表示信息对应的多个第二序列信息；
97.s203，串联所述多个第一序列信息，获得第一串联序列信息；串联所述多个第二序列信息，获得第二串联序列信息；
98.s204，获得针对所述第一串联序列信息的第一全局表示信息和多个第一局部表示信息，获得针对所述第二串联序列信息的第二全局表示信息和多个第二局部表示信息；
99.s205，最大化所述第一全局表示信息和所述多个第一局部表示信息组成的第一信息对，并最大化所述第二全局表示信息和所述多个第二局部表示信息组成的第二信息对；
100.s206，从多个候选文本中确定与所述查询文本匹配的目标文本；以及
101.s207，返回目标文本对应的答案信息。
102.前述的步骤s201到步骤s206可以参考第一实施例的步骤s101到步骤s106，在本实施例提出的问答方法中，还包括步骤s207，即返回目标文本对应的答案信息的步骤。
103.在该步骤中，在获得了目标文本之后，可以从存储目标文本和对应的答案信息的数据库中，获得目标文本关联的答案信息，并将答案信息返回，供用户查看。通过这一方式，用户在输入了查询文本之后，可以匹配到最接近的目标文本并返回对应的答案，具有返回结果准确，计算消耗量小，反馈迅速的优点。
104.在一可选实施例中，所述提供查询文本对应的第一标记表示信息和至少一个候选文本对应的第二标记表示信息的步骤，包括：
105.将查询文本和多个候选文本分别输入语言模型，进行标记嵌入操作，获得所述查询文本对应的第一标记表示信息和所述候选文本对应的第二标记表示信息。
106.在一可选实施例中，所述语言模型为bert语言模型。
107.在一可选实施例中，所述获得所述第一标记表示信息对应的多个第一序列信息和所述第二标记表示信息对应的多个第二序列信息的步骤，包括：
108.将所述第一标记表示信息和所述第二标记表示信息通过多个神经网络模型，获得针对所述查询文本的多个第一序列信息和针对每一个所述候选文本的多个第二序列信息。
109.在一可选实施例中，所述多个神经网络模型为具有不同大小的窗口的多个卷积神经网络模型。
110.在一可选实施例中，所述第一序列信息和所述第二序列信息分别为n-gram序列。
111.在一可选实施例中，所述第一全局表示信息通过将第一局部表示信息通过池化操作获得；所述第二全局表示信息通过将第二局部表示信息通过池化操作获得。
112.在一可选实施例中，所述池化操作包括平均池化操作。
113.在一可选实施例中，所述最大化所述第一全局表示信息和所述多个第一局部表示信息组成的第一信息对和所述最大化所述第二全局表示信息和所述多个第二局部表示信息组成的第二信息对的操作包括：
114.最大化所述第一信息对的互信息值，以及最大化所述第二信息对的互信息值。
115.综上所述，本实施例提出的问答方法至少具有如下优点：
116.本方案提出了一种文本匹配方法和装置，可以实现轻量级的无监督句子表示学习，从而判断出与查询文本最接近的目标文本。相比于现有技术，本发明提出的方案不用依赖于高质量的数据标注，而是基于最大互信息理论，直接使用无监督的方法改进预训练模型。本发明提出的模型可以应用于任何领域，同时保证其在比如语义文本相似等任务上的正确率和效率。
117.除此之外，本实施例提出的问答方法至少还包括如下优点：
118.1.本发明实施例提出了一种轻量级的无监督句子表示学习模型:即通过最大化全局表示(句子表示)与局部表示(n-gram表示)之间互信息进行自监督地训练更适合分类的句子表示。
119.2.本发明实施例提出的方法对使用环境的限制少，基准任务上正确率和效率高：本发明提出的模型不受数据标注和数据领域的限制，在各种语义基准任务上都优于之前无监督的句子表示方法，相比有监督的句子表示学习模型(sbert)的正确率和效率差距更小。本发明提出的模型在这种情况下取得了明显更好的结果因为它可以具有针对特定任务语料进行训练的灵活性，并且没有语料标签的限制。
120.3.可用于丰富的文本匹配应用：包括文本相似度计算、自然语言推理、智能问答系统、信息检索等。
121.第三实施例
122.本发明第三实施例提出一种文本匹配装置，用于确定与查询文本匹配的目标文本，如图4所示，该装置300包括：
123.提供模块301，用于提供查询文本对应的第一标记表示信息和至少一个候选文本对应的第二标记表示信息；
124.第一获取模块302，用于获得所述第一标记表示信息对应的多个第一序列信息和所述第二标记表示信息对应的多个第二序列信息；
125.串联模块303，用于串联所述多个第一序列信息，获得第一串联序列信息；串联所述多个第二序列信息，获得第二串联序列信息；
126.第二获取模块304，用于获得针对所述第一串联序列信息的第一全局表示信息和
多个第一局部表示信息，获得针对所述第二串联序列信息的第二全局表示信息和多个第二局部表示信息；
127.最大化模块305，用于最大化所述第一全局表示信息和所述多个第一局部表示信息组成的第一信息对，并最大化所述第二全局表示信息和所述多个第二局部表示信息组成的第二信息对；
128.匹配模块306，用于从多个候选文本中确定与所述查询文本匹配的目标文本。
129.在一可选实施例中，所述提供模块用于：
130.将查询文本和多个候选文本分别输入语言模型，进行标记嵌入操作，获得所述查询文本对应的第一标记表示信息和候选文本对应的第二标记表示信息。
131.在一可选实施例中，所述语言模型为bert语言模型。
132.在一可选实施例中，所述第一获取模块用于：
133.将所述第一标记表示信息和所述第二标记表示信息通过多个神经网络模型，获得针对所述查询文本的多个第一序列信息和针对每一个所述候选文本的多个第二序列信息。
134.在一可选实施例中，所述多个神经网络模型为具有不同大小的窗口的多个卷积神经网络模型。
135.在一可选实施例中，所述第一序列信息和所述第二序列信息为n-gram序列。
136.在一可选实施例中，所述第一全局表示信息是通过将第一局部表示信息通过池化操作获得；所述第二全局表示信息是通过将第二局部表示信息通过池化操作获得。
137.在一可选实施例中，所述池化操作包括平均池化操作。
138.在一可选实施例中，所述最大化模块用于：
139.最大化所述第一信息对的互信息值和最大化所述第二信息对的互信息值。
140.对装置项中各模块的描述可以参考前述实施例对方法项对应的描述，在此不再赘述。
141.综上所述，本实施例提出的文本匹配装置至少具有如下优点：
142.本方案提出了一种文本匹配方法，可以实现轻量级的无监督句子表示学习，从而判断出与查询文本最接近的目标文本。相比于现有技术，本发明提出的方案不用依赖于高质量的数据标注，而是基于最大互信息理论，直接使用无监督的方法改进预训练模型。本发明提出的模型可以应用于任何领域，同时保证其在比如语义文本相似等任务上的正确率和效率。
143.除此之外，本实施例提出的文本匹配装置至少还包括如下优点：
144.1.本发明实施例提出了一种轻量级的无监督句子表示学习模型:即通过最大化全局表示(句子表示)与局部表示(n-gram表示)之间互信息进行自监督地训练更适合分类的句子表示。
145.2.本发明实施例提出的方法对使用环境的限制少，基准任务上正确率和效率高：本发明提出的模型不受数据标注和数据领域的限制，在各种语义基准任务上都优于之前无监督的句子表示方法，相比有监督的句子表示学习模型(sbert)的正确率和效率差距更小。本发明提出的模型在这种情况下取得了明显更好的结果因为它可以具有针对特定任务语料进行训练的灵活性，并且没有语料标签的限制。
146.3.可用于丰富的文本匹配应用：包括文本相似度计算、自然语言推理、智能问答系
统、信息检索等。
147.第四实施例
148.本发明第四实施例提出一种问答装置，用于确定与查询文本匹配的答案信息，如图5所示，该装置400包括：
149.提供模块401，用于提供查询文本对应的第一标记表示信息和至少一个候选文本对应的第二标记表示信息；
150.第一获取模块402，用于获得所述第一标记表示信息对应的多个第一序列信息和所述第二标记表示信息对应的多个第二序列信息；
151.串联模块403，用于串联所述多个第一序列信息，获得第一串联序列信息；串联所述多个第二序列信息，获得第二串联序列信息；
152.第二获取模块404，用于获得针对所述第一串联序列信息的第一全局表示信息和多个第一局部表示信息，获得针对所述第二串联序列信息的第二全局表示信息和多个第二局部表示信息；
153.最大化模块405，用于最大化所述第一全局表示信息和所述多个第一局部表示信息组成的第一信息对，并最大化所述第二全局表示信息和所述多个第二局部表示信息组成的第二信息对；
154.匹配模块406，用于从多个候选文本中确定与所述查询文本匹配的目标文本；以及
155.返回模块407，用于返回目标文本对应的答案信息。
156.综上所述，本实施例提出的问答装置至少具有如下优点：
157.本方案提出了一种文本匹配方法和装置，可以实现轻量级的无监督句子表示学习，从而判断出与查询文本最接近的目标文本。相比于现有技术，本发明提出的方案不用依赖于高质量的数据标注，而是基于最大互信息理论，直接使用无监督的方法改进预训练模型。本发明提出的模型可以应用于任何领域，同时保证其在比如语义文本相似等任务上的正确率和效率。
158.除此之外，本实施例提出的问答装置至少还包括如下优点：
159.1.本发明实施例提出了一种轻量级的无监督句子表示学习模型:即通过最大化全局表示(句子表示)与局部表示(n-gram表示)之间互信息进行自监督地训练更适合分类的句子表示。
160.2.本发明实施例提出的方法对使用环境的限制少，基准任务上正确率和效率高：本发明提出的模型不受数据标注和数据领域的限制，在各种语义基准任务上都优于之前无监督的句子表示方法，相比有监督的句子表示学习模型(sbert)的正确率和效率差距更小。本发明提出的模型在这种情况下取得了明显更好的结果因为它可以具有针对特定任务语料进行训练的灵活性，并且没有语料标签的限制。
161.3.可用于丰富的文本匹配应用：包括文本相似度计算、自然语言推理、智能问答系统、信息检索等。
162.对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
163.图6为本技术一实施例提供的终端设备的硬件结构示意图。如图6所示，该终端设备可以包括输入设备90、处理器91、输出设备92、存储器93和至少一个通信总线94。通信总
线94用于实现元件之间的通信连接。存储器93可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，存储器93中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
164.可选的，上述处理器91例如可以为中央处理器(central processing unit，简称cpu)、应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，该处理器91通过有线或无线连接耦合到上述输入设备90和输出设备92。
165.可选的，上述输入设备90可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如usb接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；可选的，上述收发信机可以是具有通信功能的射频收发芯片、基带处理芯片以及收发天线等。麦克风等音频输入设备可以接收语音数据。输出设备92可以包括显示器、音响等输出设备。
166.在本实施例中，该终端设备的处理器包括用于执行各设备中数据处理装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
167.图7为本技术另一实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图7所示，本实施例的终端设备包括处理器101以及存储器102。
168.处理器101执行存储器102所存放的计算机程序代码，实现上述实施例中图2至图3的文本匹配方法。
169.存储器102被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。存储器102可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
170.可选地，处理器101设置在处理组件100中。该终端设备还可以包括：通信组件103，电源组件104，多媒体组件105，音频组件106，输入/输出接口107和/或传感器组件108。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
171.处理组件100通常控制终端设备的整体操作。处理组件100可以包括一个或多个处理器101来执行指令，以完成上述图2至图3方法的全部或部分步骤。此外，处理组件100可以包括一个或多个模块，便于处理组件100和其他组件之间的交互。例如，处理组件100可以包括多媒体模块，以方便多媒体组件105和处理组件100之间的交互。
172.电源组件104为终端设备的各种组件提供电力。电源组件104可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
173.多媒体组件105包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(lcd)和触摸面板(tp)。如果显示屏包括触摸面
板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
174.音频组件106被配置为输出和/或输入音频信号。例如，音频组件106包括一个麦克风(mic)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件103发送。在一些实施例中，音频组件106还包括一个扬声器，用于输出音频信号。
175.输入/输出接口107为处理组件100和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
176.传感器组件108包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件108可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件108可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件108还可以包括摄像头等。
177.通信组件103被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个实施例中，该终端设备中可以包括sim卡插槽，该sim卡插槽用于插入sim卡，使得终端设备可以登录gprs网络，通过互联网与服务端建立通信。
178.由上可知，在图7实施例中所涉及的通信组件103、音频组件106以及输入/输出接口107、传感器组件108均可以作为图6实施例中的输入设备的实现方式。
179.本技术实施例提供了一种终端设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述终端设备执行如本技术实施例中一个或多个所述的视频摘要的生成方法。
180.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
181.尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
182.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
183.以上对本技术所提供的一种判断查询文本与目标文本相似度的方法及装置，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内
容不应理解为对本技术的限制。