一种基于用户后续语义的隐式反馈采集与增量训练方法及系统与流程

本发明涉及计算机，具体涉及一种基于用户后续语义的隐式反馈采集与增量训练方法及系统。

背景技术：

1、目前，大模型在对话问答、内容生成、代码辅助和知识服务等场景中被广泛应用。为了使大模型在部署后持续适应真实用户需求，通常需要将用户与模型之间的交互数据回流为训练样本，再通过增量训练或参数高效微调方式更新模型参数。

2、现有数据回流方案多依赖显式反馈，例如在模型输出界面设置同意、不同意、点赞、点踩等反馈入口，由用户主动点击反馈按钮表达对基础大模型输出文本的认可程度。该类方式能够形成较直接的监督信号，但用户主动反馈意愿较低，导致显式反馈样本数量稀疏，难以覆盖真实交互中的多样问题类型和输出状态。同时，显式反馈会增加用户操作负担，影响自然对话流程的连续性。

3、部分方案尝试利用隐式反馈，例如根据用户是否继续提问、是否复制答案、是否点击重新生成、阅读时长等行为推断用户对基础大模型输出文本的满意程度。然而，后续提问往往具有多种语义含义：用户继续追问可能表示认可前序回答后继续获取信息，也可能表示质疑前序回答；用户给出局部修正时，前序基础大模型输出文本中可能只有部分内容存在问题。若仅将后续询问处理为有或无的二元行为标志，或者仅以绝对阅读时长参与判断，容易将不同反馈状态混为同一训练标签，造成样本误标。

4、此外，现有隐式反馈方案对会话延续性、基础大模型输出文本长度、响应时间、复制行为、重新生成行为和后续文本语义之间的联合利用不足，显式反馈与隐式反馈之间也缺少稳定校准机制。由此形成的回流样本质量波动较大，正负样本比例容易失衡，进而影响后续大模型增量训练的可靠性。

5、因此，本技术提供一种基于用户后续语义的隐式反馈采集与增量训练方法及系统以解决上述技术问题。

技术实现思路

1、本发明的目的在于提供一种基于用户后续语义的隐式反馈采集与增量训练方法及系统，用以解决现有技术中显式反馈样本稀疏、隐式反馈噪声较高、后续交互语义未被充分利用以及回流样本影响增量训练质量的技术问题。

2、为了解决上述技术问题，本发明提供了一种基于用户后续语义的隐式反馈采集与增量训练方法，包括：

3、获取对话片段，所述对话片段包含基础大模型输出文本、用户后续文本、复制行为、重新生成行为、新会话开启行为、输出完成到用户后续文本产生的时间间隔和当前会话累计轮次；

4、对用户后续文本执行语义分类，得到意图类别和第一置信度，将意图类别的极性基准值与第一置信度相乘形成意图倾向分数；

5、将复制行为、重新生成行为和新会话开启行为按方向和强度映射为行为综合评分，将时间间隔与基础大模型输出文本长度的比值映射为时间间隔评分，将当前会话累计轮次输入饱和增长函数形成会话延续评分；

6、将意图倾向分数、行为综合评分、时间间隔评分和会话延续评分基于可学习权重加权后输入激活函数，得到隐式反馈综合评分和第二置信度；

7、基于隐式反馈综合评分、第二置信度、第一阈值和第二阈值筛选对话片段并生成训练标签，构建微调数据集，基于微调数据集中正样本和负样本的数量关系调整样本入选条件或训练损失权重，并基于微调数据集对基础大模型执行增量训练。

8、在其中一些具体实施例中，获取对话片段，进一步包括：

9、从交互系统事件记录或服务端日志读取同一会话标识下的基础大模型输出完成时刻、用户后续文本产生时刻、复制触发记录、重新生成触发记录和新会话开启记录；

10、基于用户首次输入后的轮次累计规则计算当前会话累计轮次；

11、将基础大模型输出文本、用户后续文本、时间间隔和各项交互行为记录组合为待评分对话片段。

12、在其中一些具体实施例中，对用户后续文本执行语义分类，进一步包括：

13、将用户后续文本和基础大模型输出文本输入文本意图分类模型；

14、由文本意图分类模型在明确认可、隐含认可、部分修正、质疑追问、明确否定和无关输入之间输出意图类别；

15、读取意图类别的预测概率作为第一置信度；

16、当预测概率低于预设置信条件时，将包含用户后续文本的对话片段送入暂不训练区。

17、在其中一些具体实施例中，将意图类别的极性基准值与第一置信度相乘形成意图倾向分数，进一步包括：

18、为明确认可、隐含认可、部分修正、质疑追问、明确否定和无关输入分别设置由正向到负向分布的极性基准值；

19、选取意图类别命中的极性基准值与第一置信度相乘形成意图倾向分数。

20、在其中一些具体实施例中，将复制行为、重新生成行为和新会话开启行为按方向和强度映射为行为综合评分，进一步包括：

21、基于复制内容占基础大模型输出文本长度的比例将复制行为映射为正向行为评分；

22、基于重新生成触发次数和重新生成触发时点将重新生成行为映射为负向行为评分；

23、基于新会话开启行为形成弱负向行为评分；

24、基于预设内部权重汇集正向行为评分、负向行为评分和弱负向行为评分，得到行为综合评分。

25、在其中一些具体实施例中，将时间间隔与基础大模型输出文本长度的比值映射为时间间隔评分，进一步包括：

26、将输出完成到用户后续文本产生的时间间隔除以基础大模型输出文本长度，得到相对阅读时间比；

27、将相对阅读时间比分别与未读阈值、正常阅读区间和超时阈值进行比较；

28、对低于未读阈值的相对阅读时间比、位于正常阅读区间的相对阅读时间比和超过超时阈值的相对阅读时间比分别执行分段映射，得到时间间隔评分。

29、在其中一些具体实施例中，将当前会话累计轮次输入饱和增长函数形成会话延续评分，进一步包括：

30、将当前会话累计轮次与尺度常数相加得到轮次归一化分母；

31、将当前会话累计轮次除以轮次归一化分母得到会话延续评分；

32、在当前会话累计轮次增加时基于饱和增长函数更新会话延续评分。

33、在其中一些具体实施例中，基于隐式反馈综合评分、第二置信度、第一阈值和第二阈值筛选对话片段并生成训练标签，进一步包括：

34、当隐式反馈综合评分高于第一阈值且第二置信度满足预设置信条件时，将对话片段标记为正样本；

35、当隐式反馈综合评分低于第二阈值且第二置信度满足预设置信条件时，将对话片段标记为负样本；

36、当隐式反馈综合评分位于第一阈值和第二阈值之间或第二置信度未满足预设置信条件时，将对话片段送入暂不训练区。

37、在其中一些具体实施例中，可学习权重、第一阈值和第二阈值的更新，包括：

38、从同时包含显式反馈记录和完整隐式行为记录的对话片段中构建锚点样本；

39、将显式同意记录和显式不同意记录转换为监督目标；

40、以意图倾向分数、行为综合评分、时间间隔评分、会话延续评分和隐式反馈综合评分作为校准输入，对可学习权重执行监督校准；

41、基于新增显式反馈与训练标签的一致比例调整第一阈值和第二阈值。

42、基于同一构思，本发明还提供一种基于用户后续语义的隐式反馈采集与增量训练系统，包括：

43、片段获取模块，配置为获取对话片段，所述对话片段包含基础大模型输出文本、用户后续文本、复制行为、重新生成行为、新会话开启行为、输出完成到用户后续文本产生的时间间隔和当前会话累计轮次；

44、意图评分模块，配置为对用户后续文本执行语义分类，得到意图类别和第一置信度，将意图类别的极性基准值与第一置信度相乘形成意图倾向分数；

45、行为时间评分模块，配置为将复制行为、重新生成行为和新会话开启行为按方向和强度映射为行为综合评分，将时间间隔与基础大模型输出文本长度的比值映射为时间间隔评分，将当前会话累计轮次输入饱和增长函数形成会话延续评分；

46、融合筛选模块，配置为将意图倾向分数、行为综合评分、时间间隔评分和会话延续评分基于可学习权重加权后输入激活函数，得到隐式反馈综合评分和第二置信度；

47、训练控制模块，配置为基于隐式反馈综合评分、第二置信度、第一阈值和第二阈值筛选对话片段并生成训练标签，构建微调数据集，基于微调数据集中正样本和负样本的数量关系调整样本入选条件或训练损失权重，并基于微调数据集对基础大模型执行增量训练。

48、与现有技术相比，其有益效果在于：

49、本发明公开了一种基于用户后续语义的隐式反馈采集与增量训练方法及系统，获取基础大模型输出文本之后自然产生的用户后续文本、复制行为、重新生成行为、新会话开启行为、时间间隔和当前会话累计轮次，并将上述数据组合为待评分对话片段，能够在用户不额外点击反馈按钮的情况下形成隐式反馈采集数据源，减少显式反馈稀疏对数据回流的限制。

50、对用户后续文本执行明确认可、隐含认可、部分修正、质疑追问、明确否定和无关输入的语义分类，并根据意图类别和第一置信度形成意图倾向分数，能够区分认可后的继续追问、质疑性追问、局部修正和无关输入等不同语义状态，降低将不同用户态度混入同一训练标签的风险。

51、将复制行为、重新生成行为和新会话开启行为分别映射为具有方向和强度的行为评分，并将行为评分汇集为行为综合评分，能够把用户对基础大模型输出文本的采用、放弃或重新请求等操作转化为可计算的反馈分量，使行为信号参与训练标签生成。

52、将输出完成到用户后续文本产生的时间间隔除以基础大模型输出文本长度得到相对阅读时间比，并通过分段映射形成时间间隔评分，能够减少基础大模型输出文本长度差异对绝对响应时间判断的干扰，使阅读时间信息更适合与语义意图和交互行为共同参与反馈判定。

53、将当前会话累计轮次输入饱和增长函数形成会话延续评分，能够表达同一会话内持续交互对隐式反馈的参考价值，同时通过饱和增长限制长会话轮次对综合评分的过度影响。

54、将意图倾向分数、行为综合评分、时间间隔评分和会话延续评分基于可学习权重加权后输入激活函数，得到隐式反馈综合评分和第二置信度，能够把文本语义、行为操作、相对阅读时间和会话延续信息统一为可筛选的反馈结果，为正样本、负样本和暂不训练样本的划分提供一致的数据处理依据。

55、利用同时具有显式反馈记录和完整隐式行为记录的对话片段构建锚点样本，并以显式同意记录和显式不同意记录作为监督目标校准可学习权重、第一阈值和第二阈值，能够使隐式反馈评分与用户主动反馈之间保持校准关系，降低隐式评分自身循环训练造成的偏差。

56、在构建微调数据集时基于隐式反馈综合评分、第二置信度、第一阈值和第二阈值筛选对话片段，并将中间区间或置信度不足的对话片段送入暂不训练区，能够减少低置信或倾向不明样本进入增量训练流程，降低噪声样本对基础大模型更新的影响。

57、基于微调数据集中正样本和负样本的数量关系调整样本入选条件或训练损失权重，能够在自然采集样本比例失衡时对多数类样本和少数类样本进行处理，使增量训练过程获得更稳定的样本标签输入。