大模型对话的定位方法及装置与流程

摘要: 本说明书一个或多个实施例涉及计算机,尤其涉及一种大模型对话的定位方法及装置,一种计算机可读存储介质,以及一种计算设备。背景技术:1、随着人工智能技术的飞速发展,...
大模型对话的定位方法及装置与流程

本说明书一个或多个实施例涉及计算机,尤其涉及一种大模型对话的定位方法及装置,一种计算机可读存储介质,以及一种计算设备。

背景技术:

1、随着人工智能技术的飞速发展,大语言模型(large language model, llm)凭借其强大的自然语言理解与生成能力,已广泛应用于智能客服、虚拟助手、代码辅助、内容创作以及各类对话式交互系统中。在这些应用场景中,大模型能够根据用户的输入提供即时、个性化的响应,极大地提升了用户体验和服务效率。

2、然而,尽管大模型表现较优,但其固有的概率生成特性导致输出结果具有一定的随机性,且常伴随幻觉(hallucination)现象,即模型可能生成看似合理但事实错误、逻辑矛盾或完全虚构的内容。此外,大模型在面对复杂指令、长上下文或多轮交互时,也可能出现指令遵循偏差、上下文遗忘或格式错误等问题。这些非预期的输出通常被称为不良案例(bad case)。为了持续优化模型性能,提升服务可靠性,开发团队需要对这些不良案例进行深入的根因分析、数据标注及模型迭代等,而这一过程的前提是能够准确找到引发问题的原始对话记录。

3、在此背景下,大模型对话定位指的是将用户反馈的问题片段(通常表现为截图)与后端存储的海量会话日志中的特定会话id及具体对话轮次建立精确映射关系的过程。

4、然而,目前缺乏高效的机制来将用户的反馈截图与原始对话日志进行匹配,导致大模型对话定位的效率低下、成本高。

技术实现思路

1、本说明书实施例描述大模型对话的定位方法及装置,能够解决上述技术问题。

2、根据第一方面,提供了一种大模型对话的定位方法。该方法包括:

3、接收第一用户上传的针对大模型对话界面的反馈截图,通过提取所述反馈截图中的预定界面特征生成目标结构指纹,所述目标结构指纹用于表征所述反馈截图对应的界面内容及结构布局。将所述目标结构指纹归入检索条件,根据检索条件从对话库中召回一条或多条候选对话;其中,所述对话库包括大模型会话日志以及对应构建的若干种索引,所述若干种索引包括,为至少一部分对话建立的结构指纹索引,所述结构指纹索引基于用户端侧的大模型对话界面可视区域生成。基于所述一条或多条候选对话,定位与所述反馈截图匹配的目标对话。

4、在一个实施例中,所述结构指纹索引包括以下子指纹中的至少一项:文本序列子指纹,由可视区域内的文本块按序排列形成;角色序列子指纹,由可视区域内消息发送方的角色标识按序排列形成;气泡拓扑子指纹,记录可视区域内消息气泡之间的相对位置关系;轮次窗口子指纹,记录可视区域所覆盖的对话轮次范围;页面元素子指纹,记录可视区域内页面元素的类型及其位置;归一化坐标子指纹,记录文本块和页面元素相较可视区域宽高的归一化坐标。

5、在一个实施例中,所述结构指纹索引的建立包括:响应于用户端侧的预设触发事件,采集大模型对话界面中当前可视区域的感知数据,所述感知数据包括大模型对话、界面元素及布局信息;基于所述感知数据生成对应的结构指纹索引,存入所述对话库。其中,所述预设触发事件包括以下中的至少一种:用户截图操作、页面滚动静止状态持续达到预设时长、达到预设的周期性采集时间点。

6、在一个实施例中,所述候选对话和目标对话均包括对话的追踪标识,所述追踪标识包括会话标识和对话轮次标识。

7、在一个实施例中,所述若干种索引还包括以下中的至少一种:基于对话内容生成的语义向量索引;基于对话关键词或实体生成的倒排索引;基于对话对应的结构化信息生成的结构化索引。其中,所述检索条件包括基于所述反馈截图生成的、对应于所述若干种索引中的至少一部分的多维查询特征;其中,根据检索条件从对话库中召回一条或多条候选对话,包括:根据所述多维查询特征,在所述对话库进行检索匹配,得到所述一条或多条候选对话。

8、进一步,在一个具体的实施例中,根据所述多维查询特征,在所述对话库进行检索匹配,包括:针对对话库中的各条对话,分别计算与所述多维查询特征对应的多个匹配度,并对所述多个匹配度进行加权求和,得到该对话的综合评分;基于所述综合评分对各条对话进行排序,并基于排序结果确定所述一条或多条候选对话。

9、在一个实施例中,基于所述一条或多条候选对话,定位与所述反馈截图匹配的目标对话,包括:确定各条候选对话对应的各候选可视窗口和各候选结构指纹,其中,针对没有关联结构指纹索引的第一候选对话,对应的第一可视窗口根据所述大模型会话日志中对应的页面布局信息而重建,对应的第一结构指纹根据重建的第一可视窗口而确定;基于各候选结构指纹与所述目标结构指纹之间的匹配度,确定所述目标对话。

10、进一步地,在一个具体的实施例中,基于各候选结构指纹与所述目标结构指纹之间的匹配度,确定所述目标对话,包括:保留与所述目标结构指纹的匹配度大于预设阈值或者位于预设排序范围的若干候选结构指纹对应的若干候选可视窗口;利用大模型分析所述反馈截图的解析结果和所述若干候选可视窗口,得到分析结果;基于所述分析结果,确定所述目标对话。

11、更进一步地,在一个例子中,基于所述分析结果,确定所述目标对话,包括:在所述分析结果满足多个预定条件之一的情况下,识别出匹配成功的候选可视窗口,并将该候选可视窗口对应的对话确定为目标对话;其中,所述多个预定条件包括以下中的至少一个:所述分析结果中指示与所述反馈截图匹配成功的候选可视窗口的数量为1;所述分析结果中候选可视窗口与所述反馈截图相匹配的最高置信度大于第一阈值;所述分析结果中候选可视窗口与所述反馈截图相匹配的最高和次高置信度之间的差值大于第二阈值;所述分析结果指示某个候选可视窗口与所述反馈截图之间在多维一致性上均超过对应阈值,所述多维一致性包括以下中的至少一类:文本一致性、轮次一致性、角色一致性、结构一致性。

12、在一个例子中,所述方法还包括:在所述分析结果对所述多个预定条件均不满足的情况下,扩大候选对话的召回范围,或者进入人工确认队列。

13、根据第二方面,提供了一种大模型对话的定位装置。该装置包括:反馈截图接收模块,配置为接收第一用户上传的针对大模型对话界面的反馈截图,通过提取所述反馈截图中的预定界面特征生成目标结构指纹,所述目标结构指纹用于表征所述反馈截图对应的界面内容及结构布局。候选对话召回模块,配置为将所述目标结构指纹归入检索条件,根据检索条件从对话库中召回一条或多条候选对话;其中,所述对话库包括大模型会话日志以及对应构建的若干种索引,所述若干种索引包括,为至少一部分对话建立的结构指纹索引,所述结构指纹索引基于用户端侧的大模型对话界面可视区域生成。目标对话定位模块,配置为基于所述一条或多条候选对话,定位与所述反馈截图匹配的目标对话。

14、根据第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当该计算机程序在计算机中执行时,令计算机执行第一方面提供的方法。

15、根据第四方面,提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,该处理器执行所述可执行代码时,实现第一方面提供的方法。

16、综上,采用本说明书实施例披露的上述方法及装置,可以大幅提升大模型对话定位的效率和准确度。