搜索评分知识版本控制与向量准入方法及系统与流程

摘要: 本发明涉及人工智能,尤其是涉及一种搜索评分知识版本控制与向量准入方法及系统。背景技术:1、在互联网搜索与检索增强生成(rag)系统中,结构化评分案例被用于对搜索...
搜索评分知识版本控制与向量准入方法及系统与流程

本发明涉及人工智能,尤其是涉及一种搜索评分知识版本控制与向量准入方法及系统。

背景技术:

1、在互联网搜索与检索增强生成(rag)系统中,结构化评分案例被用于对搜索结果进行人工校准与知识沉淀。典型流程包括:接收包含查询词、意图场景及有序搜索结果条目的输入,通过rag服务检索历史评分案例,将匹配案例作为上下文输入大语言模型,生成评分结果。现有技术中,已存在对评分案例进行内容哈希去重、基于语义相似度检测冲突、支持人工反馈回写、记录请求追踪标识(trace)、以及开展参数化策略评测的方案。然而,上述方案在处理结构化评分案例时,采用整条记录哈希方式计算唯一性标识,将人工分数或评分原因的变更视为新案例,导致同一评分上下文因版本修订产生冗余存储与向量重复写入。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种搜索评分知识版本控制与向量准入方法及系统,能够按确定性规则区分不同的案例,避免整条记录哈希方法或语义相似判断导致的冗余存储与向量重复写入。

2、为了实现上述目的,本发明采用的技术方案如下:

3、第一方面,本发明提供了一种搜索评分知识版本控制与向量准入方法,包括:对接收到的历史评分案例进行拆分,得到结构化评分提交;对结构化评分提交执行确定性规范化处理,并基于规范化后的结构化评分提交生成评分上下文指纹和评分版本指纹;基于评分上下文指纹和评分版本指纹,确定各历史评分案例的提交类型;基于提交类型创建或复用案例主体、建立或更新案例版本记录,并设置对应版本的状态标识和向量准入标识,为状态标识为当前有效且向量准入标识为允许的版本创建在线向量。

4、可选的,结构化评分提交包含项目范围、查询词、意图场景、保持原始相对顺序的多个搜索结果条目、人工分数和评分原因;基于规范化后的结构化评分提交生成评分上下文指纹和评分版本指纹,包括:对规范化后的项目范围、查询词、意图场景及各搜索结果条目进行拼接生成第一摘要值,作为评分上下文指纹;在评分上下文指纹基础上,结合规范化后的人工分数与评分原因,执行确定性摘要运算生成第二摘要值,作为评分版本指纹。

5、可选的,基于评分上下文指纹和评分版本指纹,确定各历史评分案例的提交类型,包括:基于项目范围内是否存在相同的评分上下文指纹,以及是否存在相同的评分版本指纹,依次判断提交类型为新案例、完全重复、同分修订或异分冲突。

6、可选的,依次判断提交类型为新案例、完全重复、同分修订或异分冲突,包括:如果项目范围内不存在相同的评分上下文指纹,则判定历史评分案例的提交类型为新案例;如果项目范围内存在相同的评分上下文指纹且任一历史版本的评分版本指纹与历史评分案例的评分版本指纹相同,则判定历史评分案例的提交类型为完全重复;如果项目范围内存在相同的评分上下文指纹、无相同的评分版本指纹、且本次的人工分数等于当前有效版本的人工分数,则判定历史评分案例的提交类型为同分修订;如果项目范围内存在相同的评分上下文指纹、无相同的评分版本指纹、且本次的人工分数不等于当前有效版本的人工分数,则判定历史评分案例的提交类型为异分冲突。

7、可选的,设置对应版本的状态标识和向量准入标识,包括:将新案例对应版本的状态标识设为当前有效,向量准入标识设为允许;对于完全重复的版本不新增版本,且不变更对应版本的状态标识和向量准入标识;将同分修订对应的版本的状态标识设为当前有效、原版本设为已替代,新版本的向量准入标识设为允许;将异分冲突对应的版本的状态标识设为冲突待裁决,向量准入标识设为阻断。

8、可选的,该方法还包括:在rag增强评分过程中,生成唯一追踪标识,并关联评分请求、检索到的案例版本标识、评分模型输出及人工分数;其中,追踪标识用于在策略评测中固定知识快照、绑定模型与提示词版本,并确保策略评测所用案例版本与向量存储中实际可检索版本一致。

9、可选的,该方法还包括:在策略评测服务启动前,筛选状态标识为当前有效且向量准入标识为允许的评分案例版本,并按案例标识升序对筛选出的评分案例版本进行排列,提取各评分案例版本的评分上下文指纹与评分版本指纹,生成知识快照摘要;响应评测请求,根据预设意图场景与人工标准分对当前有效且允许准入的评分案例版本进行分层抽样,固定所选案例的版本标识、搜索结果条目顺序、人工标准分、随机种子及模型标识;在相同的知识快照摘要、相同的模型标识、相同的提示词配置版本及相同的rag服务配置参数条件下,分别执行多个预设检索策略,对每个策略记录实际命中的案例版本标识、排名、相似度、评分偏差、rag服务响应时延及实际参与检索的知识条目数量;针对每个策略,基于项目预先设定的硬约束条件,逐项校验所记录的指标是否超出对应的硬约束阈值,如果任意指标超出对应的硬约束阈值,则将策略标记为不合格;对标记为合格的策略,基于预设权重对各项校验通过的指标进行加权计算,生成综合效用值;将综合效用值最高且处于待确认状态的策略推荐结果输出至授权人员操作界面,并在接收到授权人员确认指令后,更新生产环境中的默认检索策略配置。

10、第二方面,本发明提供了一种搜索评分知识版本控制与向量准入系统,包括:案例拆分模块,用于对接收到的历史评分案例进行拆分,得到结构化评分提交;双指纹生成模块,用于对结构化评分提交执行确定性规范化处理,并基于规范化后的结构化评分提交生成评分上下文指纹和评分版本指纹;双指纹判定模块,用于基于评分上下文指纹和评分版本指纹,确定各历史评分案例的提交类型;向量准入模块,用于基于提交类型创建或复用案例主体、建立或更新案例版本记录,并设置对应版本的状态标识和向量准入标识,为状态标识为当前有效且向量准入标识为允许的版本创建在线向量。

11、第三方面,本发明提供了一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的计算机可执行指令,处理器执行计算机可执行指令以实现上述第一方面提供的任一项的方法的步骤。

12、第四方面,本发明提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述第一方面提供的任一项的方法的步骤。

13、本发明带来了以下有益效果:

14、本发明提供的上述搜索评分知识版本控制与向量准入方法及系统,首先对接收到的历史评分案例进行拆分,得到结构化评分提交;其次对结构化评分提交执行确定性规范化处理,并基于规范化后的结构化评分提交生成评分上下文指纹和评分版本指纹;然后基于评分上下文指纹和评分版本指纹,确定各历史评分案例的提交类型;最后基于提交类型创建或复用案例主体、建立或更新案例版本记录,并设置对应版本的状态标识和向量准入标识,为状态标识为当前有效且向量准入标识为允许的版本创建在线向量。上述方法中,通过评分上下文指纹和评分版本指纹分离评分案例的评分上下文身份和评分版本身份,并根据评分上下文指纹和评分版本指纹确定各历史评分案例的提交类型,按照提交类型创建或复用案例主体、建立或更新案例版本记录,从而能够按确定性规则区分不同的案例,避免整条记录哈希方法或语义相似判断导致的冗余存储与向量重复写入;同时,仅为状态标识为当前有效且向量准入标识为允许的版本创建在线向量,从而使异分冲突版本在保留证据和审计链的同时保持阻断,原状态标识为当前有效且向量准入标识为允许的版本继续服务,降低冲突知识污染在线rag和引起评分漂移的风险。

15、本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

16、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳,并配合所附附图,作详细说明如下。