双智能体的训练方法、装置、设备、存储介质及程序产品

本发明涉及人工智能，具体涉及一种双智能体的训练方法、装置、设备、存储介质及程序产品。

背景技术：

1、随着大语言模型在复杂问答、开放域检索和多步推理等智能体任务中的应用不断扩展，工具增强型大语言模型已具备调用搜索引擎和外部知识库的能力。在当前智能问答、题库生成等场景中，多是围绕单一智能体展开，其问题来源依赖人工构造，自动生成的问题缺乏有效筛选，解题过程的训练信号通常仅以最终答案正确性作为奖励，忽略了多轮搜索行为和推理链条质量，难以同时兼顾出题质量与答题准确性。而且，出题环节与答题环节都是相互独立的，难以形成闭环优化。

技术实现思路

1、本发明提供了一种双智能体的训练方法，以解决单一智能体难以兼顾出题质量和答题质量的问题。

2、第一方面，本发明提供了一种双智能体的训练方法，包括：

3、获取出题信息；

4、基于第一智能体，生成对应于所述出题信息的多个候选问题；

5、从所述多个候选问题中筛选出目标问题；

6、基于第二智能体，生成对应于所述目标问题的目标答案信息；

7、基于所述目标问题与所述目标答案信息的匹配度，更新所述第一智能体的第一参数和所述第二智能体的第二参数；

8、其中，所述第一参数和所述第二参数用于指示所述目标问题与所述目标答案信息相匹配。

9、本发明实施例提供的双智能体的训练方法，利用第一智能体基于出题信息进行候选问题的生成，实现了第一智能体自动生成问题。继而，从第一智能体所生成的候选问题中筛选问题以供第二智能体进行解答，结合问题与答案信息的匹配度对第一智能体的第一参数和第二智能体的第二参数进行参数联合优化，实现针对第一智能体和第二智能体的协同训练。由此，通过第一智能体基于出题信息自动生成问题，第二智能体自动对这些问题进行解答，形成出题、答题的闭环训练，有效提升问题与答案的适配性。结合问答匹配度进行双向更新参数，使得第一智能体和第二智能体相互监督、协同迭代，无需大量人工标注数据，降低了训练成本，丰富了问题多样性，实现了双智能体的自博弈训练闭环，提升了智能体的出题质量与推理能力。

10、在一种可选的实施方式中，利用第一智能体，生成对应于所述出题信息的多个候选问题，包括：

11、获取所述出题信息对应的链式知识数据，利用所述第一智能体，根据所述链式知识数据对应的知识上下文，生成多个所述候选问题；和/或，

12、获取所述出题信息对应的种子信息，利用所述第一智能体，根据所述种子信息对应的知识上下文，生成多个所述候选问题。

13、本发明实施例提供的双智能体的训练方法，第一智能体基于链式知识数据对应的知识上下文进行候选问题的生成，使得候选问题能够结合知识上下文跨越多个知识节点，显著增强候选问题的多样性与复杂性。第一智能体还可以利用种子信息对应的知识上下文进行候选问题的生成，以使得候选问题的生成具备语义相关但视角不同，从而在丰富训练样本的同时，限制候选问题的随机性。

14、在一种可选的实施方式中，从所述多个候选问题中筛选出待解问题，包括：

15、对各个所述候选问题进行格式检测，得到格式检测结果；

16、对各个所述候选问题进行答案泄露检测，得到答案泄露检测结果；

17、对各个所述候选问题进行搜索依赖检测，得到依赖检测结果；

18、对各个所述候选问题的问题质量进行检测，得到质量检测结果；

19、基于所述格式检测结果、所述答案泄露检测结果、所述依赖检测结果、所述质量检测结果中的一种或多种，对多个所述候选问题进行筛选，获得所述待解问题。

20、本发明实施例提供的双智能体的训练方法，通过对多个候选问题进行多维检测，并综合多维度检测结果对候选问题进行筛选以获得待解问题，能够有效剔除格式错误、答案直接泄露、无需搜索即可回答以及质量低下的无效问题，从而显著提升待解问题的可用性与训练价值，保证了待解问题具有良好的可解析性、搜索必要性和难度合理性，降低了无效样本对第二智能体训练的干扰。

21、在一种可选的实施方式中，利用第二智能体，生成对应于所述待解问题的第一答案信息，包括：

22、利用所述第二智能体解析所述待解问题，生成所述待解问题对应的第一搜索信息；

23、基于所述第一搜索信息，检索与所述待解问题相匹配的第二答案信息；

24、若所述第二答案信息与所述待解问题之间相匹配，则将所述第二答案信息确定为所述待解问题的第一答案信息；

25、若所述第二答案信息与所述待解问题之间不匹配，则继续生成所述待解问题的第二搜索信息，并基于所述第二搜索信息，检索所述待解问题的第一答案信息。

26、本发明实施例提供的双智能体的训练方法，通过第二智能体解析待解问题，以确定相应的第一搜索信息，从而以该第一搜索信息作为基准，进行第二答案信息的检索，提升答案内容的准确性与合理性。同时，能够有效利用搜索服务，避免第二答案信息的解题路径过度依赖内部知识，减少了第二智能体自主生成答案的偏差，保证问题解答能够贴合智能体的问答应用场景。当第二智能体检索获得的第二答案信息与待解问题不匹配时，可以基于第二搜索信息进行继续检索，保证第二智能体具备调整检索策略并开展多轮搜索与验证的能力，提升第二智能体针对复杂问题或多跳问题的求解成功率以及第二智能体的答案信息生成可靠性。

27、在一种可选的实施方式中，利用第二智能体，生成对应于所述待解问题的第一答案信息，包括：

28、获取检索到所述第一答案信息的检索轮数；

29、若所述检索轮数达到预设轮数阈值，则生成第三答案信息。

30、本发明实施例提供的双智能体的训练方法，通过获取检索轮数，在检索轮数达到预设轮数阈值时停止针对第一答案信息的检索，并生成第三答案信息，由此能够有效控制第二智能体求解过程的计算开销与响应时间，避免第二智能体因陷入无效搜索或反复尝试而导致的推理停滞。

31、在一种可选的实施方式中，基于所述待解问题与所述第一答案信息的匹配度，更新所述第一智能体的第一参数和所述第二智能体的第二参数，包括：

32、获取所述待解问题对应的指定答案信息；

33、基于所述指定答案信息与所述第一答案信息之间的匹配度，确定出题奖励信息和解题奖励信息；

34、基于所述出题奖励信息和所述解题奖励信息，更新所述第一智能体的第一参数和所述第二智能体的第二参数。

35、本发明实施例提供的双智能体的训练方法，结合指定答案信息与第一答案信息之间的匹配度，确定相应的出题奖励信息和解题奖励信息，从而利用出题奖励信息和解题奖励信息对第一智能体和第二智能体的参数进行更新，实现了针对第一智能体与第二智能体实现协同优化，使第一智能体的出题能力与第二智能体的解题能力相互适配。

36、在一种可选的实施方式中，基于所述指定答案信息与所述第一答案信息之间的匹配度，确定出题奖励信息和解题奖励信息，包括：

37、基于所述指定答案信息与所述第一答案信息的匹配度，确定结果奖励；

38、获取所述候选问题对应的问题生成轨迹以及所述第一答案信息对应的解题轨迹，并基于所述问题生成轨迹与所述解题轨迹的一致性，确定过程一致性奖励；

39、基于所述候选问题的格式检测结果，确定格式奖励；

40、基于对同一所述待解问题的求解成功率，确定难度奖励；

41、其中，所述出题奖励信息包括所述格式奖励和所述难度奖励； 所述解题奖励信息包括所述结果奖励和所述过程一致性奖励。

42、本发明实施例提供的双智能体的训练方法，利用结果奖励提升第二智能体的答案准确率，利用过程一致性奖励增强答案的可解释性与可信度，利用格式奖励控制第一智能体生成格式规范的问题，利用难度奖励鼓励第一智能体持续生成具有训练价值，而不是过易或不可解的问题。由此，使得双智能体训练过程中的奖励信号更加稠密，有效约束双智能体训练过程中的问题有效性、答案一致性、检索价值与难度分布。

43、在一种可选的实施方式中，基于所述出题奖励信息和所述解题奖励信息，更新所述第一智能体的第一参数和所述第二智能体的第二参数，包括：

44、按照预设顺序，基于所述出题奖励信息更新所述第一智能体的第一参数，并基于所述解题奖励信息更新所述第二智能体的第二参数；或，

45、基于所述出题奖励信息和所述解题奖励信息的融合结果，联合更新所述第一智能体的第一参数和所述第二智能体的第二参数。

46、本发明实施例提供的双智能体的训练方法，采用顺序更新的方式，分别利用出题奖励信息更新第一智能体的第一参数，利用解题奖励信息更新第二智能体的第二参数，使得第一智能体和第二智能体在各自奖励信号的独立驱动下，实现差异性优化。联合更新的方式，结合出题奖励信息和解题奖励信息的融合结果同时对第一智能体的第一参数和第二智能体的第二参数进行更新，能够同时兼顾出题与解题两个方向的优化目标，促进双智能体的协同演化。

47、第二方面，本发明提供了一种双智能体的训练装置，包括：

48、信息获取模块，用于获取出题信息；

49、问题生成模块，用于利用第一智能体，生成对应于所述出题信息的多个候选问题；

50、问题筛选模块，用于从所述多个候选问题中筛选出待解问题；

51、答案生成模块，用于利用第二智能体，生成对应于所述待解问题的第一答案信息；

52、参数更新模块，基于所述待解问题与所述第一答案信息的匹配度，更新所述第一智能体的第一参数和所述第二智能体的第二参数；其中，所述第一参数和所述第二参数用于指示所述待解问题与所述第一答案信息相匹配。

53、第三方面，本发明提供了一种电子设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的双智能体的训练方法。

54、第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的双智能体的训练方法。

55、第五方面，本发明提供了一种计算机程序产品，包括计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的双智能体的训练方法。