文本处理方法、装置、电子设备及存储介质与流程

1.本技术涉及自然语言处理技术领域，更具体地，涉及一种文本处理方法、装置、电子设备及存储介质。


背景技术：

2.随着自然语言处理技术的发展，计算机可以对于获取到的文本内容进行处理以获取到具有相似或者相同语义的文本内容。在该过程中需要获取文本之间的语义相似性，但是，在相关的获取文本之间语义相似性的方式中，获取语义相似性的效率还有待提升。


技术实现要素：

3.鉴于上述问题，本技术提出了一种文本处理方法、装置、电子设备及存储介质，以改善上述问题。
4.第一方面，本技术提供了一种文本处理方法，所述方法包括：获取第一文本内容以及第一词向量，所述第一词向量为所述第一文本内容对应的词向量；获取第二文本内容以及第二词向量，所述第二文本内容为当前用于与所述第一文本内容进行语义匹配的文本内容，所述第二词向量为预先存储的与所述第二文本内容对应的词向量；基于注意力机制、所述第一词向量以及所述第二词向量获取目标概率，所述目标概率表征所述第一文本内容与所述第二文本内容之间的语义匹配程度；若所述目标概率值大于概率阈值，确定所述第一文本内容与第二文本内容语义匹配。
5.第二方面，本技术提供了一种文本处理方法，所述方法包括：获取信息查询界面输入的文本作为第一文本内容，获取第一词向量，所述第一词向量为所述第一文本内容对应的词向量；获取第二文本内容以及第二词向量，所述第二文本内容为用于与所述第一文本内容进行匹配的文本内容，所述第二词向量为预先存储的与所述第二文本内容对应的词向量；基于注意力机制、所述第一词向量以及所述第二词向量获取目标概率，所述目标概率表征所述第一文本内容和所述第二文本内容之间的语义匹配程度；若所述目标概率值大于概率阈值，确定所述第一文本内容与第二文本内容语义匹配；将与所述第二文本内容关联的信息输出到所述信息查询界面。
6.第三方面，本技术提供了一种文本处理装置，所述装置包括：第一数据获取单元、第二数据获取单元、概率获取单元以及文本匹配单元。其中，第一数据获取单元，用于获取第一文本内容以及第一词向量，所述第一词向量为所述第一文本内容对应的词向量；第二数据获取单元，用于获取第二文本内容以及第二词向量，所述第二文本内容为当前用于与所述第一文本内容进行语义匹配的文本内容，所述第二词向量为预先存储的与所述第二文本内容对应的词向量；概率获取单元，用于基于注意力机制、所述第一词向量以及所述第二词向量获取目标概率，所述目标概率表征所述第一文本内容与所述第二文本内容之间的语义匹配程度；文本匹配单元，用于若所述目标概率值大于概率阈值，确定所述第一文本内容与第二文本内容语义匹配。
7.第四方面，本技术提供了一种文本处理装置，所述装置包括：查询数据获取单元、第二数据获取单元、概率获取单元、文本匹配单元以及信息输出单元。其中，查询数据获取单元，用于获取信息查询界面输入的文本作为第一文本内容，获取第一词向量，所述第一词向量为所述第一文本内容对应的词向量；第二数据获取单元，用于获取第二文本内容以及第二词向量，所述第二文本内容为用于与所述第一文本内容进行匹配的文本内容，所述第二词向量为预先存储的与所述第二文本内容对应的词向量；概率获取单元，用于基于注意力机制、所述第一词向量以及所述第二词向量获取目标概率，所述目标概率表征所述第一文本内容和所述第二文本内容之间的语义匹配程度；文本匹配单元，用于若所述目标概率值大于概率阈值，确定所述第一文本内容与第二文本内容语义匹配；信息输出单元，用于将与所述第二文本内容关联的信息输出到所述信息查询界面。
8.第五方面，本技术提供了一种电子设备，包括处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述的方法。
9.第六方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述的方法。
10.本技术提供的一种文本处理方法、装置、电子设备及存储介质，通过先获取第一文本内容以及第一文本内容对应的词向量作为第一词向量，以及获取当前用于与所述第一文本内容进行语义匹配的第二文本内容以及第二文本内容对应的第二词向量，然后基于注意力机制、所述第一词向量以及所述第二词向量获取目标概率，所述目标概率表征所述第一文本内容与所述第二文本内容之间的语义匹配程度；若所述目标概率值大于概率阈值，确定所述第一文本内容与第二文本内容语义匹配。从而在需要将第一文本内容和第二文本内容进行语义匹配的过程中，通过将用于与第一文本内容进行语义匹配的第二文本内容的词向量进行预先存储的方式，使得在实际的语义匹配过程中，不用再将第二文本内容输入到模型中进行词向量的获取，而是可以直接利用之前预存储的词向量，进而降低了文本处理过程中的耗时，提升了进行语义匹配的效率。
附图说明
11.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1示出了本技术实施例所涉及的一种应用环境的示意图；
13.图2示出了本技术一实施例提出的一种文本处理方法的流程图；
14.图3示出了本技术另一实施例提出的一种文本处理方法的流程图；
15.图4示出了图3中s250所包括的步骤的流程图；
16.图5示出了本技术又一实施例提出的一种文本处理方法的流程图；
17.图6示出了本技术再一实施例提出的一种文本处理方法的流程图；
18.图7示出了本技术中提出的一种文本处理方法所包括的三个阶段的示意图；
19.图8示出了本技术再一实施例提出的一种文本处理方法的流程图；
20.图9示出了本技术实施例中信息查询界面的示意图；
21.图10示出了本技术实施例中信息查询界面中输出有第二文本关联的信息的示意图；
22.图11示出了本技术实施例提出的一种文本处理装置的结构框图；
23.图12示出了本技术另一实施例提出的一种文本处理装置的结构框图；
24.图13示出了用于执行根据本技术实施例的文本处理方法的一种电子设备的结构框图；
25.图14示出了本技术实施例的用于保存或者携带实现根据本技术实施例的文本处理方法的程序代码的存储单元。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
28.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
29.其中，随着人工智能技术中的文本处理技术的发展，出现了许多的涉及基于文本处理技术以及自然语言处理技术进行文本识别的场景。例如，智能问答场景。在智能问答场景中，用户可以通过文本的形式输入自己所期望了解的问题，智能问答系统则可以根据用户输入的问题来查询对应的回答以反馈给用户。再例如，新闻资讯搜索场景中，用户可以通过文本的形式输入所期望了解的主题，而搜索系统这可以根据该主题来搜索对应的信息反馈给用户。
30.但是，发明人在对文本识别场景中的相关文本识别方法进行研究后发现，相关文本识别方法还存在识别效率有待提升的问题。在相关的文本识别方法中，会通过语义匹配的方式来识别用户所输入的文本具体的含义，而在该语义匹配的过程中，会将需要进行语义匹配的两个文本(用户输入的文本以及用于与用户输入的文本进行匹配的文本)内容均输入到模型中，然后根据模型的输出向量来计算进行语义匹配的两个文本是否相似，进而在该相关的识别方法中，每次都需要将进行匹配的两个文本均输入到模型中以得到模型的输出向量来进行语义匹配，而模型在运行过程中是有一定的耗时的，从而会造成对文本识别的延迟并对识别效率造成影响。并且，在需要进行比对的文本较多的情况下会造成更大的延迟，例如，需要从100个文本中查找出与用户输入的文本在语义上匹配的文本，则需要将用户输入的文本与该100个文本分别进行一次语义匹配。
31.因此，为了改善上述问题，发明人提出了本技术提供的文本处理方法、装置、电子设备及存储介质，在该方法中，会先获取第一文本内容以及第一文本内容对应的词向量作为第一向量，以及获取当前用于与第一文本内容进行语义匹配的第二文本内容以及第二文本内容对应的第二向量，然后基于注意力机制、第一向量以及第二向量获取目标概率，目标概率表征第一文本内容与第二文本内容之间的语义匹配程度；若目标概率值大于概率阈值，确定第一文本内容与第二文本内容语义匹配。
32.从而在需要将第一文本内容和第二文本内容进行语义匹配的过程中，通过将用于与第一文本内容进行语义匹配的第二文本内容的词向量进行预先存储的方式，使得在实际的语义匹配过程中，不用再将第二文本内容输入到模型中进行词向量的获取，而是可以直接利用之前预存储的词向量，进而降低了文本处理过程中的耗时，提升了进行语义匹配的效率。
33.在对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及一种应用环境进行介绍。
34.如图1所示，图1所示为本技术实施例所涉及的应用环境的示意图。其中，包括有客户端110以及服务器120。其中，客户端110用于采集用户输入的文本，然后将所采集的文本发送给服务器120。服务器120接收到用户输入的文本后会进一步的获取第一向量、第二文本内容以及第二向量进而执行本技术实施例提供的文本处理方法。服务器120在通过该文本处理方法识别到第一文本内容与第二文本内容语义匹配的情况下，将与第二文本内容关联的信息返回给客户端110。客户端110在接收到返回的信息后则会进行显示。
35.需要说明的是，图1是一种示例性的应用环境，本技术实施例所提供的方法还可以运行于其他的应用环境中。例如，本技术实施例提供的文本处理方法可以均由客户端110来执行。
36.需要说明的是，其中，服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。客户端110所在的电子设备可以为智能手机外、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
37.下面先对本技术实施例中涉及的专业术语进行说明。
38.词向量：词向量(word embedding)为文本内容中的单词或短语所对应向量。其中，词向量表征的是单个单词或者短语本身的含义。
39.句向量：局向量(sentence embedding)为文本内容整体上所对应的向量，局向量表征的是文本内容整体上所表达的含义。
40.例如，对于“我们去运动”这个文本内容所对应的词向量则可以包括“我”对应的词向量、“们”对应的词向量、“去”对应的词向量、“运”对应的词向量以及“动”对应的词向量。而对于“我们去运动”所对应的句向量则为基于前述的每个字所对应的词向量经过线性变换后的向量，其中，该经过线性变换后的向量则可以表征“我们去运动”这个文本的整体含义。其中，整体含义可以理解为文本内容中每个字组合得到的文本在整体上所表达的含义。
41.下面将结合附图具体描述本技术的各实施例。
42.请参阅图2，图2所示为本技术一实施例提出的一种文本处理方法的流程图，该方法包括：
43.s110：获取第一文本内容以及第一词向量，第一词向量为第一文本内容对应的词向量。
44.需要说明的是，在本技术实施例中第一文本内容为需要进行语义匹配的文本内容。在本技术实施例中，可以有多种的获取到第一文本内容的方式。
45.作为一种方式，可以由客户端触发的语义匹配请求触发执行本实施例提供的文本处理方法，若在该语义匹配请求中携带有需要进行语义匹配的文本内容，则可以对该语义匹配请求进行解析，以获取到该语义匹配请求中携带的文本内容作为第一文本内容。
46.作为另外一种方式，在可以不用在前述的语义匹配请求中携带需要进行语义匹配的文本内容。那么在这种方式下，在接收到语义匹配请求后，可以向发送该语义匹配请求的客户端返回应答信息，客户端在接收到该应当信息后再发送需要进行语义匹配的文本内容，以便将接收到的需要进行语义匹配的文本内容作为第一文本内容。
47.在获取到第一文本内容后则可以进一步的获取到该第一文本内容对应的词向量作为第一词向量。在本实施例中，第一文本内容对应的词向量包括第一文本内容中每个字对应的词向量。示例性的，若第一文本内容为“申请周转”，那么“申请周转”所对应的第一词向量则会包括“申”对应的词向量、“请”对应的词向量、“周”对应的词向量以及“转”对应的词向量。
48.s120：获取第二文本内容以及第二词向量，第二文本内容为当前用于与第一文本内容进行语义匹配的文本内容，第二词向量为预先存储的与第二文本内容对应的词向量。
49.其中，在本实施例中第二文本内容为用于与第一文本内容进行语义匹配的文本内容。在本实施例中，在将第二文本内容与第一文本内容进行语义匹配的过程中，会基于第一文本内容的词向量和第二文本内容的词向量来进行匹配的，那么在获取到第二文本内容后则会对应的获取第二文本内容对应的词向量。其中，对于第二文本内容所对应的词向量为预先计算得到并存储在指定存储区域中的，那么在这种方式下，在需要获取第二文本内容对应的词向量时，可以直接从该指定存储区域中进行读取即可获取到，而不用再实时的通过计算的方式来获取得到第二文本内容对应的词向量。
50.s130：基于注意力机制、第一词向量以及第二词向量获取目标概率，目标概率表征第一文本内容与第二文本内容之间的语义匹配程度。
51.需要说明的是，注意力机制可以使得机器能够更为关注文本内容中影响文本语义的关键内容，进而对文本内容对应的词向量进行更新，以便更新后的词向量可以准确的表达对应的文本内容的含义。在本实施例中，基于注意力机制、第一词向量以及第二词向量获取目标概率可以理解为将第一词向量和第二词向量输入到基于注意力机制的模型(注意力模型)中，然后再基于注意力机制的模型所输出的向量来对第一词向量以及第二词向量进行更新，进而使得更新后的第一词向量能够更加准确的表达第一文本内容的含义，对应的也使得更新后的第二词向量能够更加准确的表达第二文本内容的含义。
52.s140：若目标概率值大于概率阈值，确定第一文本内容与第二文本内容语义匹配。
53.作为一种方式，可以预先设置表征两个文本的语义匹配的概率阈值，进而在得到表征第一文本内容与第二文本内容语义匹配程度的目标概率后，将该目标概率与概率阈值
进行比对，若目标概率值大于概率阈值，确定第一文本内容与第二文本内容语义匹配。
54.本实施例提供的一种文本处理方法，通过先获取第一文本内容以及第一文本内容对应的词向量作为第一词向量，以及获取当前用于与第一文本内容进行语义匹配的第二文本内容以及第二文本内容对应的第二词向量，然后基于注意力机制、第一词向量以及第二词向量获取目标概率，目标概率表征第一文本内容与第二文本内容之间的语义匹配程度；若目标概率值大于概率阈值，确定第一文本内容与第二文本内容语义匹配。从而在需要将第一文本内容和第二文本内容进行语义匹配的过程中，通过将用于与第一文本内容进行语义匹配的第二文本内容的词向量进行预先存储的方式，使得在实际的语义匹配过程中，不用再将第二文本内容输入到模型中进行词向量的获取，而是可以直接利用之前预存储的词向量，进而降低了文本处理过程中的耗时，提升了进行语义匹配的效率。
55.请参阅图3，图3所示为本技术一实施例提出的一种文本处理方法的流程图，该方法包括：
56.s210：获取第一文本内容以及第一词向量，第一词向量为第一文本内容对应的词向量。
57.可选的，在本实施例中可以通过指定的模型来获取得到第一文本内容的词向量。例如，该指定的模型可以为bert模型、albert模型或者robert模型。作为一种方式，在通过指定的模型获取第一词向量的过程中，可以先将第一文本内容中的每个字转换各自对应为一维向量，得到第一文本内容中每个字各自对应的初始一维向量。其中，需要说明的是，这里的初始一维向量可以理解为第一文本内容中每个字的初始的字向量。然后，将每个字各自对应的初始一维向量输入到该指定的模型中，从而得到该指定的模型输出的第一文本内容中每个字对应的词向量，进而基于指定的模型输出的每个字对应的字向量来组合得到第一文本内容对应第一词向量。可选的，该组合得到第一文本内容对应第一词向量可以为序列形式。
58.需要说明的是，该指定的模型所输出的第一文本内容中每个字对应的词向量，相比第一文本内容中每个字各自对应的初始一维向量能够更多的融合第一文本内容的语境的含义，进而使得指定的模型所输出的第一文本内容中每个字对应的词向量能够更为准确的表达对应的含义。示例性的，第一文本内容为“我喜欢用苹果”，那么其中的苹果可以理解为一种水果，也可以理解为手机品牌，而结合语境可知对于苹果用户采用的是“用”这个动作而不是“吃”，所以其结合语音含义所对应的实际要表达的意图可以确定苹果为手机品牌。那么在得到前述的初始的一维向量中，苹果所对应的一维向量可能表征的是一种水果，而再进行前述的指定的模型进行处理并输出后，苹果所对应的词向量则可以表征的是一个品牌。
59.s220：获取第二文本内容以及第二词向量，第二文本内容为当前用于与第一文本内容进行语义匹配的文本内容，第二词向量为预先存储的与第二文本内容对应的词向量。
60.其中，第二文本内容为用于与第一文本内容进行语义匹配的文本内容。需要说明的是，在本实施例中，可以基于第一文本内容来获取得到第二文本内容，然后再对第二文本内容和第一文本内容的语义进行匹配。
61.在本实施例中可以有多种的基于第一文本内容获取第二文本内容的方式。
62.作为一种方式，在基于第一文本内容获取第二文本内容的过程中，可以将与第一
文本内容具有相同或者相似内容的文本作为第二文本内容。需要说明的是，具有相同或者相似内容的两个文本之间实际上语义可能并不相同的，那么再经过后续的步骤确定第一文本内容和第二文本内容是否实际上语义匹配。例如，对于“申请周转”和“周转申请不了”这两个文本，具有“申请”和“周转”这两个相同的内容，但是，“申请周转”和“周转申请不了”这两个文本本身的语义是不相同的，而通过本实施例后续的步骤则可以识别出这两个文本实际上是否语义相同。
63.s230：基于第一词向量以及第二词向量得到注意力矩阵中的每个元素。
64.需要说明的是，在基于注意力机制的模型中可以包括有注意力矩阵，在本实施例中可以先基于第一词向量以及第二词向量来构建该注意力矩阵。示例性的，其中的第一词向量和第二词向量均为序列形式。例如，第一词向量为第二词向量为其中，a
la
表征第一文本内容中对应的字的词向量。例如，a1表征第一文本内容中第一个字对应的词向量，a2表征第一文本内容中第二个字对应的词向量，而表征第一文本内容中第la个字对应的词向量。类似的，b1表征第一文本内容中第一个字对应的词向量，b2表征第一文本内容中第二个字对应的词向量，而表征第一文本内容中第lb个字对应的词向量。
65.可选的，可以基于下列公式获取得到注意力矩阵中的每个元素，该公式为：
66.e
ij
：＝f
′
(ai,bj)：＝(ai)
tbj
,
67.其中，e
ij
表征注意力矩阵中处于第i行且处于第j列的元素。对应的，注意力矩阵中处于第i行且处于第j列的元素，由序列形式的第一词向量中第i个词向量转置后与序列形式的第二词向量中的第j个词向量的乘积得到。
68.s240：基于注意力矩阵中的每个元素以及第二词向量得到参考向量。
69.其中，该参考向量可以理解为注意力矩阵所在模型所输出的向量，该参考向量表征了第一文本内容中每个字和第二文本内容中每个字之间的注意力关系，进而该参考向量可以用于对第一词向量以及第二词向量进行更新，以使得更新后的第一词向量能够更加准确的表达第一文本内容的实际含义，使得更新后的第二词向量能够更加准确的表达第二文本内容的实际含义。
70.可选的，可以基于下列公式来计算得到基于注意力机制生成的参考向量，该公式为：
[0071][0072]
其中，lhs_alignedi表征的是得到的参考向量，exp函数表征的是以自然常数e为底的指数函数，例如，其中的exp(e
ij
)表征的是以e为底，指数为(e
ij
)的函数。在该公式中会先计算exp(e
ij
)与的比值，然后将该比值与第二词向量
中的第j个词向量计算乘积，然后将该乘积基于方式进行累加，则可以得到参考向量。
[0073]
s250：基于参考向量、第一词向量以及第二词向量计算得到目标概率。
[0074]
作为一种方式，如图4所示，基于参考向量、第一词向量以及第二词向量计算得到目标概率，包括：
[0075]
s251：将参考向量与第一词向量进行拼接得到第一待处理向量。
[0076]
其中，将参考向量与第一词向量进行拼接，可以理解为前述的基于参考向量对第一词向量进行更新，那么对应的第一待处理向量可以理解为对第一词向量进行更新后的向量。因为经过前述注意力机制的处理，第一待处理向量相比第一词向量能够更为准确的表达第一文本内容实际要表达的语义内容。
[0077]
需要说明的是，在本实施例中在进行向量拼接时，可以是将两个向量中位置对应的向量元素进行拼接。其中，向量中包括有多个向量元素。例如，第一词向量中，其中的a1、a2一直到均为第一词向量中的向量元素，第二词向量中，b1、b2一直到均为第二词向量中的向量元素，那么位置对应的向量元素可以理解为在各自的向量中位置相同的两个向量元素。例如，在第一词向量中，a1为第一个位置的向量元素，而若参考向量中第一个位置的向量元素为c1，那么该向量元素a1和向量元素c1为位置对应的向量元素，进而会在s251中将向量元素c1和向量元素a1进行拼接。那么通过将参考向量与第一词向量中位置对应的向量元素进行拼接，则可以得到第一待处理向量。
[0078]
其中，需要说明的是，对于向量元素进行拼接可以理解为将两个向量元素中各自所包括的内容均作为拼接后的向量元素中的内容。示例性的，一个向量元素为[a
11
，a
12
，a
13
，a
14
]，另一个向量元素为[b
11
，b
12
，b
13
，b
14
]，那么所拼接得到的向量元素为[a
11
，a
12
，a
13
，a
14
，b
11
，b
12
，b
13
，b
14
]。
[0079]
s252：将参考向量转置后的向量与第二词向量进行拼接得到第二待处理向量。
[0080]
对应的，将参考向量与第二词向量进行拼接，可以理解为前述的基于参考向量对第二词向量进行更新，那么对应的第二待处理向量可以理解为第二词向量进行更新后的向量。因为经过前述注意力机制的处理，第二待处理向量相比第二词向量能够更为准确的表达第二文本内容实际要表达的语义内容。其中，在生成第二待处理向量的过程中，会先对前述生成的参考向量进行转置，然后将转置后的向量与第二词向量进行拼接得到第二待处理向量。
[0081]
s253：对第一待处理向量以及第二待处理向量进行池化处理，并对池化处理的结果进行非线性处理得到目标概率。
[0082]
需要说明的是，对于前述的第一待处理向量以及第二待处理向量依然包括的是文本内容中每个字各自所对应的词向量。例如，第一待处理向量中包括的依然是第一文本内容中每个字对应的词向量，但是，第一待处理向量中所包括的每个字对应的词向量，相比第一词向量中包括的每个字对应的词向量能够更为准确的表达每个字在第一文本内容的语
境中的实际含义。对应的，第二待处理向量中包括的依然是第二文本内容中每个字对应的词向量，但是，第二待处理向量中所包括的每个字对应的词向量，相比第二词向量中包括的每个字对应的词向量能够更为准确的表达每个字在第二文本内容的语境中的实际含义。
[0083]
在本实施例中，对第一待处理向量进行池化处理是为了将第一文本内容中每个字的特征综合为第一文本内容整体上的特征，进而得到能够表征第一文本内容整体含义的向量。对应的，对第二待处理向量进行池化处理是为了将第二文本内容中每个字的特征综合为第二文本内容整体上的特征，进而得到能够表征第二文本内容整体含义的向量。
[0084]
可选的，对第一待处理向量以及第二待处理向量进行池化处理，并对池化处理的结果进行非线性处理得到目标概率，包括：对第一待处理向量进行第一池化处理，得到第一待计算向量；对第二待处理向量进行第二池化处理，得到第二待计算向量；将第一待计算向量经过非线性处理得到第一概率值，以及将第二待计算向量经过非线性处理得到第二概率值；计算第一概率值和第二概率值的平均值作为目标概率。
[0085]
其中，第一池化处理和第二池化处理可以相同。可选的，对第一待处理向量进行第一池化处理，得到第一待计算向量，包括：对第一待处理向量进行全局最大池化处理，得到第一最大池化向量；对第一待处理向量进行全局平均池化处理，得到第一平均池化向量；将第一最大池化向量与第一平均池化向量进行拼接，得到第一待计算向量。
[0086]
其中，可选的，对第二待处理向量进行第二池化处理，得到第二待计算向量，包括：对第二待处理向量进行全局最大池化处理，得到第二最大池化向量；对第二待处理向量进行全局平均池化处理，得到第二平均池化向量；将第二最大池化向量与第二平均池化向量进行拼接，得到第二待计算向量。
[0087]
s260：将目标概率与概率阈值进行比对。
[0088]
s261：若目标概率值大于概率阈值，确定第一文本内容与第二文本内容语义匹配。
[0089]
s262：若目标概率值不大于概率阈值，获取下一个第二文本内容，将下一个第二文本内容与该第一文本内容进行语义匹配。
[0090]
需要说明的是，在每次将第二文本内容与第一文本内容进行语义匹配的过程中，都可以基于前述的s230到s260进行。
[0091]
本实施例提供的一种文本处理方法，从而在需要将第一文本内容和第二文本内容进行语义匹配的过程中，通过将用于与第一文本内容进行语义匹配的第二文本内容的词向量进行预先存储的方式，使得在实际的语义匹配过程中，不用再将第二文本内容输入到模型中进行词向量的获取，而是可以直接利用之前预存储的词向量，进而降低了文本处理过程中的耗时，提升了进行语义匹配的效率。并且，在本实施例中，会先基于第一词向量和第二词向量构建得到注意力矩阵中的每个元素，进而再基于所构建的注意力矩阵来得到表征第一文本内容和第二文本内容之间相似度的目标概率，从而基于注意力机制本身能够更为聚焦关键内容的特性，使得在计算目标概率的过程中，所计算得到的目标概率更加能表征的是第一文本内容中的关键内容和第二文本内容中的关键内容之间的相似的概率，进而提升了对第一文本内容和第二文本内容进行语义匹配的准确性。
[0092]
请参阅图5，图5所示为本技术一实施例提出的一种文本处理方法的流程图，该方法包括：
[0093]
s310：获取第一文本内容以及第一词向量，第一词向量为第一文本内容对应的词
向量。
[0094]
s320：基于第一文本内容的句向量，从指定存储区域中获取待匹配文本内容以及待匹配文本内容对应预先存储的词向量。
[0095]
需要说明的是，在本技术实施例中第二文本内容可以为从待匹配文本内容中获取的。那么则可以先获取到待匹配文本内容，以便实现第二文本内容的获取。可选的，该指定存储区域为预先建立的知识库所对应的存储区域，该待匹配文本内容可以通过召回的方式从该知识库中获取得到。可选的，可以通过第一文本内容的句向量作为召回待匹配文本内容的参考，在这种方式下，基于第一文本内容的句向量，从指定存储区域中获取待匹配文本内容以及待匹配文本内容对应预先存储的词向量，包括：将第一文本内容的句向量与指定存储区域中的文本内容的句向量进行相似匹配；将匹配成功的文本内容作为待匹配文本内容，并从指定存储区域中获取待匹配文本内容对应的词向量。
[0096]
其中，在将第一文本内容的句向量与指定存储区域中的文本内容的句向量进行相似匹配的过程中，可以基于余弦相似度或者曼哈顿距离来计算文本之间的相似程度，进而将相似程度较高的文本作为待匹配文本进行召回。示例性的，若配置将相似程度排序靠前的100个文本作为相似程度较高的文本，那么在获取待匹配文本时，则会获取到100个文本，进而将该100个文本分别作为第二文本内容，以分别获取到该100个文本与第一文本内容之间的目标概率。
[0097]
在本实施例中，待匹配文本内容对应的词向量也是预先存储在该指定存储区域中的，例如，待匹配文本内容和对应的词向量均存储在知识库中，进而使得在对待匹配文本内容进行召回的同时，就可以获取到待匹配文本对应的词向量，而不用再获取到待匹配文本内容之后，再实时的通过模型来获取待匹配文本对应的词向量，或者再到知识库以外的其他存储区域去获取待匹配文本内容的词向量，而对于与待匹配文本内容一起召回的词向量则可以直接同待匹配文本内容一起缓冲在本地的内存中，进而使得在确定第二文本内容而对应获取第二词向量时，可以直接从本地内存中读取第二词向量，进而提升了获取到第二词向量的速率，也进一步的提升了完整语义匹配的速度。
[0098]
需要说明的是，虽然在进行待匹配文本的召回过程中，会使用第一文本内容的句向量，但是在召回过程中所使用的句向量是较为粗略的表达第一文本内容的整体含义，而经过本实施例中s253的池化处理所得到的向量(例如，第一待计算向量)是较为准确的表达第一文本内容的整体含义，因此，该第一待计算向量相比在召回过程中所使用的句向量能够更为准确的表达第一文本内容的整体含义。
[0099]
作为一种方式，基于第一文本内容的句向量从指定存储区域中获取待匹配文本内容之前，还包括：基于字典获取第一文本内容中每个字的标识；基于bert模型以及每个字的标识，得到第一文本内容的词向量以及句向量。
[0100]
s330：将待匹配文本内容中当前用于与第一文本内容进行匹配的文本内容作为第二文本内容，并获取第二文本内容的词向量作为第二词向量。
[0101]
s340：基于注意力机制、第一词向量以及第二词向量获取目标概率，目标概率表征第一文本内容与第二文本内容之间的语义匹配程度。
[0102]
s350：若目标概率值大于概率阈值，确定第一文本内容与第二文本内容语义匹配。
[0103]
本实施例提供的一种文本处理方法，从而在需要将第一文本内容和第二文本内容
进行语义匹配的过程中，通过将用于与第一文本内容进行语义匹配的第二文本内容的词向量进行预先存储的方式，使得在实际的语义匹配过程中，不用再将第二文本内容输入到模型中进行词向量的获取，而是可以直接利用之前预存储的词向量，进而降低了文本处理过程中的耗时，提升了进行语义匹配的效率。并且在本实施例中，第二文本内容可以为基于第一文本内容从指定存储区域中召回的待匹配文本内容中选择得到的，并且在该指定存储区域中已经预先存储得到了每个文本内容的词向量和句向量，从而使得在召回待匹配文本内容时也可以同时的召回得到待匹配文本内容对应的词向量，以使得在获取第二文本内容对应的预先存储的词向量时，不仅不用输入到模型中来获取到词向量，而且还可以直接从本地读取词向量，进而进一步的提升了语义匹配的效率。
[0104]
请参阅图6，图6所示为本技术一实施例提出的一种文本处理方法，方法包括：
[0105]
s410：获取预定义文本内容。
[0106]
需要说明的是，预定义文本内容为用于和用户输入的第一文本内容进行匹配的文本内容。在生成预定义文本内容的过程中，还可以生成每个预定义文本内容关联的信息，以便在识别到有预定义文本内容与第一文本内容语义匹配时，将该预定义文本内容关联的信息反馈给用户。
[0107]
例如，在智能问答场景中，可以获取预定义问题作为预定义文本内容，并生成预定义问题所对应的回答。其中，该回答可以理解为预定义问题关联的信息。在智能问答场景下，用户所输入的问题作为第一文本内容，进而可以将与用户输入的问题在语义上匹配的预定义问题所关联的答案，反馈给用户。再例如，在新闻资讯搜索场景中，可以获取预定义新闻主题作为预定义内容，并生成每个预定义新闻主题所对应的咨询内容。其中，该咨询内容可以理解为预定义新闻主题关联的信息。进而在将用户输入的新闻主题作为第一文本内容后，可以将在语义上与用户输入的新闻主题匹配的预定义新闻主题所对应的咨询内容反馈给用户。
[0108]
s420：获取该预定义文本内容对应的词向量以及句向量。
[0109]
可选的，可以通过前述实施例中所指出的bert模型来获取得到预定义文本内容对应的词向量以及句向量。
[0110]
s430：将该预定义文本内容、对应的词向量以及句向量存储到知识库中。
[0111]
s440：获取第一文本内容。
[0112]
s450：获取第一文本内容的第一词向量以及第一文本内容的句向量。
[0113]
s460：基于第一文本内容的句向量从该知识库中召回待匹配文本内容以及待匹配文本内容对应的词向量。
[0114]
其中，从知识库中进行文本内容召回可以理解为从知识库对应的存储区域中进行文本内容的获取。在本实施例中，知识库中的文本内容则为前述的预定义文本内容。那么在从知识库中召回待匹配文本内容则可以理解为从前述的预定义文本内容中召回待匹配文本内容。
[0115]
s470：从该待匹配文本内容中获取第二文本内容，并获取第二词向量。
[0116]
s480：基于注意力机制、第一词向量以及第二词向量获取目标概率，目标概率表征第一文本内容与第二文本内容之间的语义匹配程度；
[0117]
s490：若目标概率值大于概率阈值，确定第一文本内容与第二文本内容语义匹配。
[0118]
下面在通过图7来对本实施例所涉及的处理流程再次进行说明。
[0119]
对于图7中所示的处理流程可以包括有三个阶段，分别是阶段80、阶段81以及阶段82。其中，最先执行的为阶段80，该阶段80对应于前述的s410到s430。进而在阶段80中会将预定义文本内容输入到模型(例如，bert模型)中，并获取到模型输出的预定义文本内容的词向量12以及句向量，并且会将该词向量12以及句向量存储到知识库中。
[0120]
之后会执行阶段81，在阶段81对应于前述的s450到s470。对应的，在阶段81中可以获取到第一文本内容，并将第一文本内容输入到模型例如，bert模型)中得到第一文本内容对应的第一词向量10以及句向量。可选的，可以基于第一文本内容的句向量从知识库中进行第二文本内容的召回，进而可以获取到前述的词向量12。
[0121]
在执行阶段82的过程中，会将第一词向量10基于箭头13所示的方向，以及将第二词向量12基于箭头14所示的方向输入到注意力矩阵中，进而得到注意力矩阵所在模型输出的参考向量15。
[0122]
之后，会再将第一词向量10基于箭头20所示的方向，以及将参考向量15基于箭头21所示的方向输入到拼接层进行拼接得到前述实施例中的第一待处理向量。以及，会将第二词向量12基于箭头22所示的方向，以及将参考向量15转置后的向量16基于箭头23所示的方向输入到拼接层进行拼接得到前述实施例中的第二待处理向量。
[0123]
可选的，若第一词向量10的尺寸为sa×
m，第二词向量12的尺寸为sb×
m，那么参考向量15尺寸则可以为sa×
sb，而经过参考向量15转置后的向量16的尺寸可以为sb×
sa。在将第一词向量10和参考向量15进行拼接后，得到的第一待处理向量的尺寸则可以为sa×
(m sb)，对应的，第二待处理向量的尺寸则可以为sb×
(m sa)。
[0124]
对于第一待处理向量，会基于箭头30所方向输入全局最大池化层40进行池化处理得到第一最大池化向量，以及基于箭头31所示的方向输入全局平均池化层41进行池化处理得到第一平均池化向量。对于第二待处理向量，会基于箭头32所示的方向输入全局最大池化层40进行池化处理得到第二最大池化向量，以及基于箭头33所示的方向输入全局平均池化层41进行池化处理得到第二平均池化向量。
[0125]
将第一最大池化向量会基于箭头42所示方向，以及将第一平均池化向量基于箭头48所示输入到拼接层进行拼接后，将拼接得到的第一待计算向量分别沿箭头43以及箭头49所示的方向输入到聚合层(aggregate)51。将第二最大池化向量会基于箭头46所示方向，以及将第二平均池化向量基于箭头44所示输入到拼接层进行拼接后，将拼接得到的第二待计算向量分别沿箭头45以及箭头47所示的方向输入到聚合层52。其中，在聚合层50中会基于第一待计算向量在前，第二待计算向量在后的方式进行聚合。而在在聚合层(aggregate)51中会基于第二待计算向量在前，第一待计算向量在后的方式进行聚合。
[0126]
对于聚合层50得到的向量则会再依次经过全连接层(dense)60以及非线性层(sigmoid)70得到前述的第一概率值，对于聚合层51得到的向量则会再依次经过全连接层60以及非线性层70得到前述的第二概率值，进而再经过对第一概率值和第二概率值求平均则得到了前述实施例中的目标概率，若目标概率大于概率阈值，则确定第一文本内容和第二文本内容语义匹配。其中，全连接层60用于对接收到的向量进行全连接以及降维，并将降维后的向量输出到非线性层70。
[0127]
请参阅图8，图8所示为本技术一实施例提出的一种文本处理方法，方法包括：
[0128]
s510：获取信息查询界面输入的文本作为第一文本内容，获取第一词向量，第一词向量为第一文本内容对应的词向量。
[0129]
其中，信息查询界面在不同的场景中所对应查询的信息可以不同。例如，在智能问答场景中，信息查询界面可以为用于问题输入的界面，那么所对应查询的信息可以为问题所对应的答案。再例如，在新闻资讯搜索场景中，信息查询界面可以为用于新闻主题输入的界面，那么所对应查询的信息可以为新闻主题所对应的咨询内容。
[0130]
示例性的，如图9所示，在图9所示的信息查询界面中，用户输入了“我赎回的产品怎么还没到账”，进而会将“我赎回的产品怎么还没到账”作为第一文本内容。
[0131]
s520：获取第二文本内容以及第二词向量，第二文本内容为用于与第一文本内容进行匹配的文本内容，第二词向量为预先存储的与第二文本内容对应的词向量。
[0132]
s530：基于注意力机制、第一词向量以及第二词向量获取目标概率，目标概率表征第一文本内容和第二文本内容之间的语义匹配程度。
[0133]
s540：若目标概率值大于概率阈值，确定第一文本内容与第二文本内容语义匹配。
[0134]
s550：将与第二文本内容关联的信息输出到信息查询界面。
[0135]
示例性的，如图10所示，若当前第二文本内容为“取出到账时间”，且识别到该“取出到账时间”与第一文本内容语义匹配，则会将“取出到账时间”所关联的信息输出到前述图9所示的信息查询界面，进而会转换为图10所示的显示状态。在图10所示的界面中，会将“取出到账时间”所对应的回答进行显示。
[0136]
本实施例提供的一种文本处理方法，在从信息查询界面获取输入的第一文本内容后，在需要将第一文本内容和第二文本内容进行语义匹配的过程中，通过将用于与第一文本内容进行语义匹配的第二文本内容的词向量进行预先存储的方式，使得在实际的语义匹配过程中，不用再将第二文本内容输入到模型中进行词向量的获取，而是可以直接利用之前预存储的词向量，进而降低了文本处理过程中的耗时，提升了进行语义匹配的效率，进而使得可以在用户在信息查询界面输入需要查询的内容后，可以更加快速的显示对应的反馈信息。
[0137]
请参阅图11，图11所示为本技术一实施例提出的一种文本处理装置600，装置600包括：
[0138]
第一数据获取单元610，用于获取第一文本内容以及第一词向量，第一词向量为第一文本内容对应的词向量。
[0139]
第二数据获取单元620，用于获取第二文本内容以及第二词向量，第二文本内容为当前用于与第一文本内容进行语义匹配的文本内容，第二词向量为预先存储的与第二文本内容对应的词向量。
[0140]
作为一种方式，第二数据获取单元620，具体用于基于第一文本内容的句向量，从指定存储区域中获取待匹配文本内容以及待匹配文本内容对应预先存储的词向量；将待匹配文本内容中当前用于与第一文本内容进行匹配的文本内容作为第二文本内容。
[0141]
可选的，第二数据获取单元620，具体用于将第一文本内容的句向量与指定存储区域中的文本内容的句向量进行相似匹配；将匹配成功的文本内容作为待匹配文本内容，并从指定存储区域中获取待匹配文本内容对应的词向量。
[0142]
此外，第一数据获取单元610，还用于基于字典获取第一文本内容中每个字的标
识；基于bert模型以及每个字的标识，得到第一文本内容的词向量以及句向量。
[0143]
概率获取单元630，用于基于注意力机制、第一词向量以及第二词向量获取目标概率，目标概率表征第一文本内容与第二文本内容之间的语义匹配程度。
[0144]
文本匹配单元640，用于若目标概率值大于概率阈值，确定第一文本内容与第二文本内容语义匹配。
[0145]
作为一种方式，概率获取单元630，具体用于基于第一词向量以及第二词向量得到注意力矩阵中的每个元素；基于注意力矩阵中的每个元素以及第二词向量得到参考向量；基于参考向量、第一词向量以及第二词向量计算得到目标概率。
[0146]
可选的，概率获取单元630，具体用于将参考向量与第一词向量进行拼接得到第一待处理向量；将参考向量转置后的向量与第二词向量进行拼接得到第二待处理向量；对第一待处理向量以及第二待处理向量进行池化处理，并对池化处理的结果进行非线性处理得到目标概率。
[0147]
其中，可选的，概率获取单元630，具体用于对第一待处理向量进行第一池化处理，得到第一待计算向量；对第二待处理向量进行第二池化处理，得到第二待计算向量；将第一待计算向量经过非线性处理得到第一概率值，以及将第二待计算向量经过非线性处理得到第二概率值；计算第一概率值和第二概率值的平均值作为目标概率。
[0148]
作为一种方式，概率获取单元630，具体用于对第一待处理向量进行全局最大池化处理，得到第一最大池化向量；对第一待处理向量进行全局平均池化处理，得到第一平均池化向量；将第一最大池化向量与第一平均池化向量进行拼接，得到第一待计算向量。
[0149]
作为一种方式，概率获取单元630，具体用于对第二待处理向量进行全局最大池化处理，得到第二最大池化向量；对第二待处理向量进行全局平均池化处理，得到第二平均池化向量；将第二最大池化向量与第二平均池化向量进行拼接，得到第二待计算向量。
[0150]
请参阅图12，图12所示为本技术一实施例提出的一种文本处理装置700，装置700包括：
[0151]
查询数据获取单元710，用于获取信息查询界面输入的文本作为第一文本内容，获取第一词向量，第一词向量为第一文本内容对应的词向量。
[0152]
第二数据获取单元620，用于获取第二文本内容以及第二词向量，第二文本内容为用于与第一文本内容进行匹配的文本内容，第二词向量为预先存储的与第二文本内容对应的词向量。
[0153]
概率获取单元630，用于基于注意力机制、第一词向量以及第二词向量获取目标概率，目标概率表征第一文本内容和第二文本内容之间的语义匹配程度。
[0154]
文本匹配单元640，用于若目标概率值大于概率阈值，确定第一文本内容与第二文本内容语义匹配。
[0155]
信息输出单元720，用于将与第二文本内容关联的信息输出到信息查询界面。
[0156]
本技术提供的一种文本处理装置，从而在需要将第一文本内容和第二文本内容进行语义匹配的过程中，通过将用于与第一文本内容进行语义匹配的第二文本内容的词向量进行预先存储的方式，使得在实际的语义匹配过程中，不用再将第二文本内容输入到模型中进行词向量的获取，而是可以直接利用之前预存储的词向量，进而降低了文本处理过程中的耗时，提升了进行语义匹配的效率。
[0157]
需要说明的是，本技术中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。
[0158]
下面将结合图13对本技术提供的一种电子设备进行说明。
[0159]
请参阅图13，基于上述的文本处理方法，本技术实施例还提供的另一种包括可以执行前述文本处理方法的处理器104的电子设备200，该电子设备200可以为智能手机、平板电脑、计算机或者便携式计算机等设备。电子设备200还包括存储器104以及网络模块106。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。
[0160]
其中，处理器102可以包括一个或者多个用于处理数据的核以及消息矩阵单元。处理器102利用各种接口和线路连接整个电子设备200内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备200的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器102可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。
[0161]
存储器104可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
[0162]
网络模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如网络模块106可以发送广播数据，也可以对其他设备发送的广播数据进行解析。所述网络模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(sim)卡、存储器等等。所述网络模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块106可以与基站进行信息交互。
[0163]
请参考图14，其示出了本技术实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1100中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
[0164]
计算机可读存储介质1100可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序
代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。
[0165]
本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的文本处理方法。
[0166]
在问题对匹配以及语义相似度计算两个任务(分别针对中英文)，进行测试，结果如下表：
[0167] lcqmc(中文)test(acc)google bert-base原生模型86.90％google bert-base siamese network84.08％本技术实施例中的文本处理方法86.30％ sts-b(英文)test(pearson/spearman)google bert-medium原生模型81.9％/80.6％google bert-medium siamese network78.4％/77.6％本技术实施例中的文本处理方法81.3％/80.1％
[0168]
其中，lcqmc为前述测试所使用的中文数据集，sts-b为前述测试所使用的英文数据集。其中，在基于lcqmc数据集的测试中，本技术实施例中的文本处理方法的准确性可以达到86.30％。在基于sts-b数据集的测试中，在以及皮尔森(pearson)相关性系数为判断基准的情况下，准确性可以达到81.3％，在以斯皮尔曼(spearman)相关性系数为判断基准的情况下，准确性可以达到80.1％。
[0169]
在耗时的测试上，在智能客服环境中对一个用户的问句，以及100个候选问题(可以理解为预定义问题)进行语义相似度计算操作，耗时如下表：
[0170]
模型or算法耗时(ms)albert-zh-tiny原生模型1048本技术实施例中的文本处理方法234albert-zh-tiny siamese network26
[0171]
综上所述，本技术提供的一种文本处理方法、装置、电子设备及存储介质，通过先获取第一文本内容以及第一文本内容对应的词向量作为第一词向量，以及获取当前用于与所述第一文本内容进行语义匹配的第二文本内容以及第二文本内容对应的第二词向量，然后基于注意力机制、所述第一词向量以及所述第二词向量获取目标概率，所述目标概率表征所述第一文本内容与所述第二文本内容之间的语义匹配程度；若所述目标概率值大于概率阈值，确定所述第一文本内容与第二文本内容语义匹配。从而在需要将第一文本内容和第二文本内容进行语义匹配的过程中，通过将用于与第一文本内容进行语义匹配的第二文本内容的词向量进行预先存储的方式，使得在实际的语义匹配过程中，不用再将第二文本内容输入到模型中进行词向量的获取，而是可以直接利用之前预存储的词向量，进而降低了文本处理过程中的耗时，提升了进行语义匹配的效率。
[0172]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员当理解：其依然可以
对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。