编码向量的语义验证方法、装置、电子设备及产品与流程
本技术属于自然语言处理，尤其涉及一种编码向量的语义验证方法、装置、电子设备及产品。
背景技术：
1、智能终端设备（如家庭服务机器人、智能语音助手、车载智能系统等）在与用户交互的过程中，会将与用户的日常对话内容以文本的形式进行记录，将其作为后续响应用户提问、执行关联任务的决策依据。比如，终端可以记录用户的健康档案（如食物过敏原等）、特殊群体的照护信息（如慢性病禁忌等）、日常安全参数（如用药规范）等。
2、相关技术中，终端设备会采用文本编码模型，将用户的日常对话内容对应的文本转换为向量表示，以支持后续的语义检索和匹配。然而，在采用文本编码模型处理个性化、口语化的输入文本时，极易产生隐蔽的语义偏差，导致编码模型输出的向量未能准确反映输入文本的真实语义。该语义偏差在后续检索或匹配环节被放大后，终端可能会基于失真的语义做出错误决策。
技术实现思路
1、本技术实施例提供了一种编码向量的语义验证方法、装置、电子设备及产品，可以准确地确定原始文本的编码向量的语义与所述原始文本的语义是否相匹配。
2、第一方面，本技术实施例提供了一种编码向量的语义验证方法，包括：
3、获取用户输入的原始文本；
4、对所述原始文本进行特征提取，得到第一结构化文本，所述第一结构化文本包括所述原始文本的描述对象、所述描述对象的属性及所述属性对应的属性值；
5、在所述原始文本的编码向量与所述第一结构化文本的编码向量之间的语义距离小于或等于第一阈值的情况下，确定所述原始文本的编码向量的语义与所述原始文本的语义相匹配；
6、在所述语义距离大于所述第一阈值的情况下，确定所述原始文本的编码向量的语义与所述原始文本的语义不匹配。
7、在第一方面的一种可能的实现方式中，在对所述原始文本进行特征提取，得到第一结构化文本之后，还包括：
8、在所述语义距离小于第二阈值、且所述第一结构化文本中还包括除所述描述对象、所述属性及所述属性对应的属性值之外的其他文本的情况下，去除所述第一结构化文本中的所述其他文本，得到新的第一结构化文本，所述第二阈值小于所述第一阈值；
9、在所述原始文本的编码向量与所述新的第一结构化文本的编码向量之间的语义距离小于所述第二阈值的情况下，确定所述原始文本的编码向量的语义与所述原始文本的语义相匹配。
10、在第一方面的一种可能的实现方式中，所述方法还包括：
11、获取多个样本文本及每个所述样本文本的编码向量，所述样本文本的语义与所述样本文本的编码向量的语义相匹配；
12、对每个所述样本文本进行特征提取，得到第二结构化文本，所述第二结构化文本包括所述样本文本的样本描述对象、所述样本描述对象的样本属性及所述样本属性对应的样本属性值；
13、基于所述样本文本的编码向量与所述第二结构化文本的编码向量之间的语义距离，确定所述第一阈值及所述第二阈值，其中，所述第一阈值大于所述多个样本文本的语义距离的第一均值、且小于所述多个样本文本的语义距离中的最大值，所述第二阈值大于所述多个样本文本的语义距离中的最小值、且小于所述第一均值。
14、在第一方面的一种可能的实现方式中，在所述确定所述原始文本的编码向量的语义与所述原始文本的语义相匹配之后，所述方法还包括：
15、基于多个文本对应的语义距离，确定新的第一阈值及新的第二阈值，所述多个文本包括多个所述样本文本、及所述原始文本，所述新的第一阈值大于所述多个文本的语义距离的第二均值、且小于所述多个文本的语义距离中的最大值，所述第二阈值大于所述多个文本的语义距离中的最小值、且小于所述第二均值。
16、在第一方面的一种可能的实现方式中，所述原始文本的编码向量为通过第一编码模型对所述原始文本编码后输出的向量，所述第一结构化文本的编码向量为通过第二编码模型对所述第一结构化文本进行编码后输出的向量，所述方法还包括：
17、将多个原始文本中的第一原始文本的第一结构化文本，输入所述第二编码模型中，得到预测编码向量，所述第一原始文本的编码向量与对应的第一结构化文本的编码向量之间的语义距离大于所述第一阈值、且已由用户验证所述第一原始文本的语义与第一原始文本的编码向量的语义相匹配；
18、确定所述预测编码向量与所述第一原始文本的编码向量之间的第一相似度，所述预测编码向量与所述多个原始文本中的第二原始文本的编码向量之间的第二相似度；
19、将所述第一相似度及所述第二相似度输入对比学习损失函数中，确定损失值；
20、基于所述损失值，对所述第二编码模型进行修正。
21、在第一方面的一种可能的实现方式中，所述对所述原始文本进行特征提取，得到第一结构化文本，包括以下任一项：
22、接收用户的查询语句，在所述查询语句的编码向量与所述原始文本的编码向量之间的相似度大于相似度阈值的情况下，对所述原始文本进行特征提取，得到第一结构化文本；
23、响应于接收到用户发送的目标指令，对所述原始文本进行特征提取，得到第一结构化文本，所述目标指令用于指示对原始文本的编码向量的语义进行验证；
24、响应于任务指令，在所述任务指令对应的检索条件的编码向量与所述原始文本的编码向量之间的相似度大于相似度阈值的情况下，对所述原始文本进行特征提取，得到第一结构化文本。
25、在第一方面的一种可能的实现方式中，在所述确定所述原始文本的编码向量的语义与所述原始文本的语义不匹配之后，还包括以下至少一项：
26、生成验证请求，所述验证请求用于请求用户验证所述原始文本的编码向量的语义与所述原始文本的语义是否匹配；
27、在用户的查询语句的编码向量与所述原始文本的编码向量之间的相似度大于相似度阈值的情况下，基于除所述原始文本之外的其他文本生成所述查询语句的答复语句；
28、降低所述原始文本的编码向量的搜索优先级。
29、第二方面，本技术实施例提供了一种编码向量的语义验证装置，包括：
30、获取模块，用于获取用户输入的原始文本；
31、提取模块，用于对所述原始文本进行特征提取，得到第一结构化文本，所述第一结构化文本包括所述原始文本的描述对象、所述描述对象的属性及所述属性对应的属性值；
32、确定模块，用于在所述原始文本的编码向量与所述第一结构化文本的编码向量之间的语义距离小于或等于第一阈值的情况下，确定所述原始文本的编码向量的语义与所述原始文本的语义相匹配；
33、所述确定模块，还用于在所述语义距离大于所述第一阈值的情况下，确定所述原始文本的编码向量的语义与所述原始文本的语义不匹配。
34、在一种可能的实现方式中，还包括第一处理模块，用于：
35、在所述语义距离小于第二阈值、且所述第一结构化文本中还包括除所述描述对象、所述属性及所述属性对应的属性值之外的其他文本的情况下，去除所述第一结构化文本中的所述其他文本，得到新的第一结构化文本，所述第二阈值小于所述第一阈值；
36、在所述原始文本的编码向量与所述新的第一结构化文本的编码向量之间的语义距离小于所述第二阈值的情况下，确定所述原始文本的编码向量的语义与所述原始文本的语义相匹配。
37、在一种可能的实现方式中，还包括第二处理模块，用于：
38、获取多个样本文本及每个所述样本文本的编码向量，所述样本文本的语义与所述样本文本的编码向量的语义相匹配；
39、对每个所述样本文本进行特征提取，得到第二结构化文本，所述第二结构化文本包括所述样本文本的样本描述对象、所述样本描述对象的样本属性及所述样本属性对应的样本属性值；
40、基于所述样本文本的编码向量与所述第二结构化文本的编码向量之间的语义距离，确定所述第一阈值及所述第二阈值，其中，所述第一阈值大于所述多个样本文本的语义距离的第一均值、且小于所述多个样本文本的语义距离中的最大值，所述第二阈值大于所述多个样本文本的语义距离中的最小值、且小于所述第一均值。
41、在一种可能的实现方式中，第二处理模块，还用于：
42、基于多个文本对应的语义距离，确定新的第一阈值及新的第二阈值，所述多个文本包括多个所述样本文本、及所述原始文本，所述新的第一阈值大于所述多个文本的语义距离的第二均值、且小于所述多个文本的语义距离中的最大值，所述第二阈值大于所述多个文本的语义距离中的最小值、且小于所述第二均值。
43、在一种可能的实现方式中，所述原始文本的编码向量为通过第一编码模型对所述原始文本编码后输出的向量，所述第一结构化文本的编码向量为通过第二编码模型对所述第一结构化文本进行编码后输出的向量，所述装置还包括修正模块，用于：
44、将多个原始文本中的第一原始文本的第一结构化文本，输入所述第二编码模型中，得到预测编码向量，所述第一原始文本的编码向量与对应的第一结构化文本的编码向量之间的语义距离大于所述第一阈值、且已由用户验证所述第一原始文本的语义与第一原始文本的编码向量的语义相匹配；
45、确定所述预测编码向量与所述第一原始文本的编码向量之间的第一相似度，所述预测编码向量与所述多个原始文本中的第二原始文本的编码向量之间的第二相似度；
46、将所述第一相似度及所述第二相似度输入对比学习损失函数中，确定损失值；
47、基于所述损失值，对所述第二编码模型进行修正。
48、在一种可能的实现方式中，提取模块502，用于：
49、接收用户的查询语句，在所述查询语句的编码向量与所述原始文本的编码向量之间的相似度大于相似度阈值的情况下，对所述原始文本进行特征提取，得到第一结构化文本；
50、响应于接收到用户发送的目标指令，对所述原始文本进行特征提取，得到第一结构化文本，所述目标指令用于指示对原始文本的编码向量的语义进行验证；
51、响应于任务指令，在所述任务指令对应的检索条件的编码向量与所述原始文本的编码向量之间的相似度大于相似度阈值的情况下，对所述原始文本进行特征提取，得到第一结构化文本。
52、在一种可能的实现方式中，还包括第三处理模块，用于：
53、生成验证请求，所述验证请求用于请求用户验证所述原始文本的编码向量的语义与所述原始文本的语义是否匹配；
54、在用户的查询语句的编码向量与所述原始文本的编码向量之间的相似度大于相似度阈值的情况下，基于除所述原始文本之外的其他文本生成所述查询语句的答复语句；
55、降低所述原始文本的编码向量的搜索优先级。
56、第三方面，本技术实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，使得所述电子设备实现如上述第一方面中任一项所述方法的步骤。
57、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被计算机执行时实现如上述第一方面中任一项所述的方法步骤。
58、第五方面，本技术实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序被运行时，实现如上述第一方面中任一项所述的方法步骤。
59、本技术实施例与现有技术相比存在的有益效果是：通过对原始文本进行特征提取，使得特征提取后的第一结构化文本中包括原始文本的描述对象、描述对象的属性及属性对应的属性值，从而第一结构化文本在去除原始文本中与描述对象无关的信息的同时，也可以准确、清楚地表达原始文本的语义。进而在原始文本的编码向量与第一结构化文本的编码向量之间的语义距离小于或等于第一阈值的情况下，确定原始文本的编码向量的语义与原始文本的语义相匹配；在语义距离大于第一阈值的情况下，确定原始文本的编码向量的语义与原始文本的语义不匹配。由此，基于第一结构化文本的语义与原始文本的语义相匹配，原始文本的编码向量与第一结构化文本的编码向量之间的语义距离应接近的原理，将原始文本的编码向量与第一结构化文本的编码向量之间的语义距离与第一阈值进行比较，可以准确地确定原始文本的编码向量的语义是否聚焦在与描述对象相关的信息上，及时发现原始文本的编码向量未能准确反映原始文本的语义的情况，避免因对原始文本编码错误导致后续应答或决策失误。