一种基于特征向量构建的智能交互知识库问答匹配方法与流程

本发明涉及智能问答系统的，尤其涉及一种基于特征向量构建的智能交互知识库问答匹配方法。

背景技术：

1、智能交互知识库已广泛应用于智能客服、智能助手等场景，其核心工作机制是：将用户查询文本转换为特征向量，并与知识库中预设的标准问特征向量进行相似度匹配，返回相似度最高的标准问所对应的答案。然而，在实际工程实践中，为提升知识库的覆盖率，开发者通常采用模板化方式批量生成大量句法形式各异但核心语义高度相似的标准问。例如，针对同一业务意图“办理宽带”，可能衍生出“如何办理宽带”、“宽带业务怎么办”、“怎样开通宽带”等多种标准问表述。由于这些标准问的语义本质上一致，其特征向量在向量空间中高度聚集，形成密集的“语义簇”。当用户查询落入该语义簇附近时，查询向量与簇内多个标准问向量的相似度得分极为接近，难以有效区分优先级，即产生相似度平局现象。

2、在分布式、高并发的线上服务环境中，相似度平局会引发严重的结果稳定性问题。具体而言，多种微观层面的不确定性因素，如近似最近邻索引的图搜索路径在不同实例间的差异、浮点数运算的舍入误差、多服务实例结果归并时的顺序不一致等，均可能导致系统在多次处理同一查询时，从平局候选集中随机选取不同的答案作为top-1结果返回。这种随机跳动现象严重损害了用户体验和系统可信度，同时给系统的回归测试、效果评估和问题定位带来极大困难。由于该现象在表象上呈现为模型输出的不一致，这种不稳定现象不仅降低了用户体验和信任度，也给系统的回归测试和问题排查带来了极大困难，常被误判为模型本身的缺陷。

技术实现思路

1、为解决背景技术中存在的技术问题，本发明提出一种基于特征向量构建的智能交互知识库问答匹配方法，具体方案如下：

2、一种基于特征向量构建的智能交互知识库问答匹配方法，包括以下步骤：

3、s1、接收用户查询文本，并利用预设文本特征提取模型将所述用户查询文本转换为查询特征向量；

4、s2、基于所述查询特征向量，在预先构建的存储有标准问特征向量的索引库中进行向量相似度检索，按相似度得分降序排序，召回排序靠前的k个候选答案，形成初步候选集，其中k为大于或等于2的整数；

5、s3、计算所述初步候选集中各候选答案与所述查询特征向量的相似度得分，当检测到所述初步候选集中存在相似度得分平局时，将构成平局的候选答案确定为平局候选集；

6、s4、在检测到所述相似度得分平局时，生成所述用户查询文本的鲁棒语义范式标识，所述鲁棒语义范式标识是对所述用户查询文本的词汇和句法变化不敏感且表征其核心语义意图的标识；

7、s5、基于所述鲁棒语义范式标识与所述平局候选集中各候选答案的文档标识符，执行确定性消歧操作，以从所述平局候选集中唯一选定一个目标答案，并返回所述目标答案对应的答案内容。

8、进一步的，s1中，所述预设文本特征提取模型是通过以下方式训练得到的：

9、获取包含相似句对和不相似句对的训练数据；

10、利用所述训练数据，以对比学习或三元组损失为目标函数，对预训练语言模型进行微调，得到所述预设文本特征提取模型。

11、进一步的，s1中，接收用户查询文本，并利用预设文本特征提取模型将所述用户查询文本转换为查询特征向量，包括：

12、对所述用户查询文本进行分词处理和去除停用词，得到预处理后的查询文本；

13、将所述预处理后的查询文本输入所述预设文本特征提取模型，输出所述预设文本特征提取模型输出的向量，并作为所述查询特征向量。

14、进一步的，s2中，所述向量相似度检索利用的相似度度量函数为余弦相似度函数或欧氏距离函数，所述索引库是基于所述标准问特征向量和预设的近似最近邻搜索图结构预先构建的。

15、进一步的，s3中，当检测到所述初步候选集中存在相似度得分平局时，将构成平局的候选答案确定为平局候选集，包括：

16、从所述初步候选集中选取相似度得分最高的n个候选答案，计算所述n个候选答案的相似度得分之间的最大差值；

17、若所述最大差值小于预设的平局判定阈值，则判定检测到所述相似度得分平局，并将所述n个候选答案确定为所述平局候选集，其中n为大于或等于2的整数。

18、进一步的，所述预设的平局判定阈值是根据系统历史查询的相似度得分分布而设定的自适应阈值。

19、进一步的，s4中，在检测到所述相似度得分平局时，生成所述用户查询文本的鲁棒语义范式标识，包括：

20、利用预设的语义角色与关系解析模型，将所述用户查询文本解析为结构化语义图，所述结构化语义图以实体和谓词为节点，以语义角色为边；

21、对所述结构化语义图中的所有节点和边，按照节点标签的字典序进行排序，并将排序后的节点与边序列化为字符串，得到语义结构范式字符串；

22、将所述语义结构范式字符串作为所述鲁棒语义范式标识。

23、进一步的，所述预设的语义角色与关系解析模型是通过以下方式训练得到的：

24、获取包含查询文本样本及其对应的结构化语义图标注的训练数据；

25、以最小化所述预设的语义角色与关系解析模型预测的结构化语义图与标注的所述结构化语义图之间的差异为训练目标，对初始语义解析模型进行训练，得到所述预设的语义角色与关系解析模型。

26、进一步的，s5、基于所述鲁棒语义范式标识与所述平局候选集中各候选答案的文档标识符，执行确定性消歧操作，包括：

27、获取所述平局候选集中各候选答案的文档标识符，并对获取的文档标识符按字符串字典序进行升序排序，得到排序后的文档标识符列表；

28、将所述鲁棒语义范式标识的字符串表示与所述排序后的文档标识符列表的序列化表示进行组合，形成消歧键字符串；

29、利用预设的确定性哈希函数对所述消歧键字符串进行哈希计算，得到哈希值；

30、基于所述哈希值和所述平局候选集的候选答案数量n，从所述排序后的文档标识符列表中选取目标文档标识符，并将该目标文档标识符对应的候选答案确定为所述目标答案，其中2≤n≤k。

31、进一步的，s5中，将所述鲁棒语义范式标识的字符串表示与所述排序后的文档标识符列表的序列化表示进行组合，形成消歧键字符串，包括：

32、将所述鲁棒语义范式标识的字符串、冒号字符、以及由所述排序后的文档标识符列表中的各文档标识符通过逗号字符连接形成的字符串，按序拼接，得到所述消歧键字符串。

33、与现有技术相比，本发明至少可实现如下有益效果：

34、1、本发明通过在检测到相似度得分平局时触发确定性消歧操作，将决策依据从存在不确定性的相似度得分排序，转变为基于鲁棒语义范式标识和候选集文档标识符的确定性哈希计算，由于哈希函数对相同输入始终产生相同输出，且文档标识符经过字典序排序确保了输入顺序的唯一性，因此只要用户查询的核心语义和平局候选集相同，能够在多种分布式环境、执行多少次，返回的答案始终唯一且稳定，从而消除了匹配结果随机跳动的问题；

35、通过生成鲁棒语义范式标识来表征用户查询的核心语义意图，该标识对词汇替换、语序调整等表层变化不敏感，对于核心语义相同但表达方式不同的多个查询，其生成的鲁棒语义范式标识保持一致，进而在触发相同平局候选集时产生相同的消歧结果，这种语义平滑性保证了相似查询能够获得一致的答案选择，避免了传统确定性规则因查询文本微小变化导致选择结果剧烈跳变的脆性问题；

36、确定性消歧操作完全基于输入信息进行计算，不依赖外部有状态存储或历史判例库，通过语义解析、字符串排序、哈希计算和取模运算均可在极短时间内完成，对在线服务的响应延迟影响极小，同时，无状态设计避免了分布式系统中多实例间状态同步的复杂性，使得方案可直接集成于现有的无状态服务架构中，具备优异的可扩展性；

37、作为独立的平局决策模块，与上游的向量检索模型、下游的答案获取模块之间完全解耦，无需对现有的文本特征提取模型、向量索引库或知识库结构进行任何改造，仅需在召回和排序步骤之后增加平局检测与消歧决策环节，即可显著提升系统输出结果的稳定性，这种高度兼容性使得本发明具有极强的工程实用价值和推广应用前景。

38、2、本发明针对智能交互知识库中因模板化标准问导致相似度平局、进而引发匹配结果随机跳动的技术问题，通过引入鲁棒语义范式标识和确定性消歧操作两大核心机制，实现了平局状态下答案选择的确定性与语义平滑性，具体而言，当检测到多个候选答案的相似度得分无法可靠区分时，首先生成对用户查询词汇和句法变化不敏感、但能稳定表征其核心语义意图的鲁棒语义范式标识，再将该标识与排序后的平局候选集文档标识符共同构建消歧键，通过确定性哈希计算唯一选定目标答案，该方案在不修改现有向量检索模型和索引库的前提下，以无状态、低延迟的计算方式从根本上消除了结果随机跳动问题，确保相同语义意图的查询始终获得稳定一致的答案，同时保持了语义匹配的灵活性，具有良好的工程兼容性和实用性。