基于群组相对策略优化的单语生成式检索方法

本发明涉及基于群组相对策略优化的单语生成式检索方法，属于信息检索。

背景技术：

1、生成式信息检索（generative information retrieval，gir）是近年来受到关注的一类信息检索方法，其基本思想是将文档检索过程建模为条件序列生成任务，使模型能够根据输入查询直接生成目标文档对应的文档标识符（document identifier，docid），从而实现查询到文档的端到端定位。与基于倒排索引的稀疏检索方法或基于向量相似度计算的密集检索方法相比，生成式检索通过生成模型学习查询与文档标识符之间的映射关系，使检索过程能够在统一的生成框架下完成。

2、在现有生成式检索模型中，文档通常被预先分配为离散的文档标识符序列。模型在训练阶段学习在给定查询条件下生成标注相关文档标识符序列的概率。该类模型通常被建模为自回归生成模型，并采用最大似然估计（maximum likelihood estimation，mle）进行监督训练。具体而言，最大似然估计通过逐步最大化真实文档标识符序列中各标识符单元的生成概率，使模型学习从查询到目标文档标识符序列的条件概率分布。该训练方式能够实现查询到文档标识符的直接映射，是现有生成式检索模型中较为常用的训练方法。

3、然而，现有基于最大似然估计的训练方式仍存在一定局限。最大似然估计主要关注文档标识符序列中各标识符单元的生成概率，其优化目标属于逐标识符级别的生成目标。而实际信息检索任务的核心目标在于文档级相关性排序，例如相关文档是否被召回、相关文档在候选结果中的排序位置以及整体排序质量等。因此，生成式检索模型的训练目标与文档级排序目标之间存在不一致，导致模型在训练过程中难以直接根据文档级检索评价目标进行优化。

4、进一步地，在同一查询条件下，可能存在多个候选文档标识符序列对应不同相关程度的候选文档。传统基于最大似然估计的训练方式通常仅强化标注相关文档标识符序列的生成概率，而难以显式建模多个候选文档之间的相对优劣关系。当多个候选结果在文档级相关性上存在差异时，逐标识符级别的训练目标难以充分利用这些候选结果之间的排序信息，从而导致模型生成概率分布与实际检索排序目标之间存在偏差。

5、此外，最大似然估计训练方式往往倾向于将生成概率集中于单一标注文档标识符序列，使模型在训练过程中更关注单一目标序列的准确生成，而缺少对同一查询下多个潜在相关文档的分布式建模能力。由此，模型难以在生成概率空间中体现不同候选文档之间的相对相关性差异，进而影响生成式检索模型在文档级排序任务中的表现。

6、因此，如何在单语生成式检索模型训练过程中引入文档级相关性信号和候选结果之间的相对排序关系，使模型能够在训练阶段感知文档级排序目标，缓解逐标识符级生成目标与文档级排序目标不一致的问题，成为本领域亟需解决的技术问题。

技术实现思路

1、本发明要解决的技术问题是：现有单语生成式检索模型通常采用最大似然估计进行训练，其优化目标集中于文档标识符序列中各标识符单元的逐步生成概率，而信息检索任务实际关注的是文档级排序质量，包括相关文档能否被召回、相关文档在候选结果中的排序位置以及整体排序效果。逐标识符级训练目标与文档级排序目标之间存在不一致，使模型难以在训练阶段直接利用文档级排序信号，也难以建模同一查询下多个候选文档标识符序列之间的相对优劣关系，从而影响生成式检索模型的检索效果和训练稳定性。

2、为解决上述技术问题，本发明提供了基于群组相对策略优化的单语生成式检索方法。该方法将生成式检索模型的训练过程建模为策略优化过程，针对同一输入查询采样生成多个候选文档标识符序列，形成候选群组；基于候选结果对应的文档级相关性信号构建奖励函数；根据候选群组内部奖励分布估计组内优势；再结合策略概率比、概率比裁剪约束以及参考模型约束，对生成式检索模型的生成策略进行优化。相比仅依赖最大似然估计的训练方式，本发明不再只围绕单一标注文档标识符序列进行逐标识符拟合，而是利用候选结果之间的相对奖励关系，引导模型在训练阶段感知文档级排序目标，所述方法包括如下步骤：

3、step1、针对训练样本中的同一输入查询，利用生成式检索模型采样生成多个候选文档标识符序列，形成候选群组。

4、训练样本包括输入查询以及与该查询对应的标注相关文档，所述标注相关文档具有对应的标注相关文档标识符序列。在训练阶段，生成式检索模型根据输入查询输出文档标识符概率分布，并基于该概率分布进行多次采样，得到多个候选文档标识符序列。所述多个候选文档标识符序列构成候选群组，用于表示模型在同一查询条件下的多种生成结果。

5、在一种实施方式中，候选群组包括 g 个候选文档标识符序列，g 为大于 1 的整数。每个候选文档标识符序列由多个文档标识符单元组成，生成式检索模型以自回归方式逐步生成各文档标识符单元。候选群组中的不同候选序列对应不同候选文档，这些候选文档在相关性和排序质量上可能存在差异，为后续奖励计算和组内优势估计提供基础。

6、step2、基于所述候选群组中各候选文档标识符序列对应文档的文档级相关性信号构建奖励函数。所述文档级相关性信号包括候选文档标识符序列与所述训练样本中的标注相关文档标识符序列之间的匹配信号，以及候选文档对应的排序评价信号中的至少一种；

7、具体的，文档级相关性信号包括匹配信号和排序评价信号。匹配信号用于衡量候选文档标识符序列与标注相关文档标识符序列之间的一致性；排序评价信号用于衡量候选文档在文档级检索评价指标下的排序质量。两类信号可以单独使用，也可以组合使用。

8、在一种实施方式中，匹配信号为精确匹配信号。当候选文档标识符序列与标注相关文档标识符序列一致时，精确匹配信号取第一数值；当二者不一致时，精确匹配信号取第二数值，且第一数值大于第二数值。这样，命中标注相关文档的候选结果能够获得更高奖励，从而保证生成结果的基本准确性。

9、所述排序评价信号为基于检索评价指标的排序奖励，第  个候选文档标识符序列  对应的排序奖励  按照如下方式确定：

10、

11、其中， 表示第  个候选文档标识符序列 在评价截断位置  下对应的归一化折损累计增益排序评价值；

12、所述文档级相关性信号同时包括所述匹配信号和所述排序评价信号；将所述精确匹配信号记为精确匹配奖励  ，将所述排序奖励记为  ，第  个候选文档标识符序列对应的最终奖励值  按照如下方式确定：

13、

14、其中， 为权重系数，用于平衡精确匹配奖励和排序奖励在训练过程中的相对影响。

15、在一种实施方式中，采用归一化折损累计增益 ndcg@k 作为排序奖励信号，用于衡量候选文档标识符序列对应文档在候选结果中的排序质量。该排序奖励弥补了精确匹配信号只能反映是否命中标注文档、难以刻画排序贡献的问题，使训练过程能够引入更接近实际检索任务的文档级评价信息。

16、在同时采用精确匹配信号和排序评价信号时，可以对精确匹配奖励和排序奖励进行加权融合，得到每个候选文档标识符序列对应的最终奖励值。由此，奖励函数既考虑候选文档标识符序列的生成准确性，也考虑候选文档在排序结果中的质量，使生成式检索模型的训练目标更接近实际检索任务中的文档级排序目标。

17、step3、根据所述候选群组中各候选文档标识符序列对应的奖励值，以所述候选群组内奖励值的组内统计量为基准进行归一化处理，得到各候选文档标识符序列对应的组内优势值。

18、获得各候选序列的奖励值后，计算候选群组内奖励值的均值和标准差，并以均值为中心、标准差为尺度对各奖励值进行归一化处理，得到对应的组内优势值。组内优势值反映某一候选文档标识符序列相对于同一候选群组中其他候选序列的相对表现。优势值为正，表示该候选结果优于组内平均水平；优势值为负，表示该候选结果劣于组内平均水平。

19、该组内优势估计方式直接利用同一查询下候选结果之间的相对奖励关系，无需额外构建显式价值函数网络。相比依赖价值函数网络估计优势值的策略优化方式，本发明能够简化训练流程，并减少价值函数估计误差对策略优化方向的影响。

20、所述组内统计量包括所述候选群组内各候选文档标识符序列对应奖励值的均值和标准差；将所述候选群组内奖励值的均值记为  ，将所述候选群组内奖励值的标准差记为  ，第  个候选文档标识符序列对应的归一化奖励值  按照如下方式确定：

21、

22、并将所述归一化奖励值作为对应的组内优势值：

23、

24、其中， 表示第  个候选文档标识符序列对应的奖励值， 表示第  个候选文档标识符序列对应的组内优势值。

25、step4、基于当前生成策略与采样时的旧生成策略在各候选文档标识符序列上的策略概率比、所述组内优势值以及概率比裁剪约束，构建群组相对策略优化目标，其中，所述群组相对策略优化目标根据所述策略概率比与所述组内优势值的乘积，以及经裁剪后的策略概率比与所述组内优势值的乘积中的较小值确定，并基于所述群组相对策略优化目标对所述生成式检索模型的生成策略进行优化。

26、其中，旧生成策略为采样生成候选群组时生成式检索模型对应的生成策略，当前生成策略为待更新的生成策略。策略概率比用于表示当前生成策略相对于旧生成策略在同一候选文档标识符序列上的生成概率变化幅度。结合组内优势值后，策略更新方向可以被区分为：提高高优势候选结果的生成概率，降低低优势候选结果的生成概率，从而使生成概率分布逐步向文档级排序目标靠近。

27、为避免策略更新幅度过大，本发明引入概率比裁剪约束，将策略概率比限制在预设裁剪范围内，并基于裁剪前后的策略概率比与组内优势值构建群组相对策略优化目标。该约束使模型在利用文档级奖励信号调整生成概率分布的同时，保持单次策略更新的稳定性。

28、在一种实施方式中，还可以在优化过程中引入参考模型约束项。所述参考模型约束项为当前生成策略与参考生成策略之间的 kl 散度约束项，所述参考生成策略为训练开始前的生成式检索模型对应的生成策略。该约束用于限制当前生成策略相对于参考生成策略的分布偏移，防止模型在强化学习优化过程中偏离原有生成能力过远。概率比裁剪约束和 kl 散度约束分别从单次更新幅度和整体分布偏移两个角度对策略优化过程进行约束，从而提高训练稳定性。

29、训练完成后，可以利用所述生成式检索模型执行检索任务。具体地，将待检索查询输入训练后的生成式检索模型，模型生成目标文档标识符序列，并根据目标文档标识符序列返回对应的检索结果。所述目标文档标识符序列可以为模型在待检索查询条件下生成概率最高或近似最高的文档标识符序列。

30、所述当前生成策略与采样时的旧生成策略在第  个候选文档标识符序列上的策略概率比  按照如下方式确定：

31、

32、其中， 表示输入查询，  表示第  个候选文档标识符序列， 表示当前生成策略， 表示采样时的旧生成策略；所述概率比裁剪约束将所述策略概率比限制在预设裁剪范围内，所述预设裁剪范围为：

33、

34、其中，为预设裁剪系数；所述群组相对策略优化目标中的裁剪目标项  按照如下方式确定：

35、

36、其中，  表示候选群组中候选文档标识符序列的数量， 表示第  个候选文档标识符序列对应的组内优势值， 表示裁剪函数。

37、进一步地，在对所述生成策略进行优化时，在所述群组相对策略优化目标的基础上还引入参考模型约束项，并以所述裁剪目标项与所述参考模型约束项的组合作为最终优化目标，所述最终优化目标用于对所述生成式检索模型的生成策略进行优化；所述参考模型约束项为当前生成策略与参考生成策略之间的kl散度约束项，所述参考生成策略为训练开始前的生成式检索模型对应的生成策略；所述最终优化目标  按照如下方式确定：

38、

39、其中， 表示权利要求7中所述的裁剪目标项， 表示kl散度约束项的权重系数， 表示当前生成策略， 表示参考生成策略， 表示当前生成策略与参考生成策略之间的kl散度。

40、进一步地，重复执行候选群组生成、奖励函数构建、组内优势值计算以及生成策略优化，以迭代更新所述生成式检索模型的模型参数，直到满足预设训练停止条件。

41、进一步地，所述生成式检索模型为自回归生成模型，所述候选文档标识符序列由所述生成式检索模型根据输入查询逐步生成的多个文档标识符单元组成；其中，第  个候选文档标识符序列  表示为：

42、

43、其中， 表示第  个候选文档标识符序列中的第  个文档标识符单元， 表示第  个候选文档标识符序列的长度。

44、本发明的有益效果包括以下几个方面：

45、1、针对同一输入查询采样形成候选群组，使训练过程能够显式利用多个候选结果之间的相对关系，克服了最大似然估计仅围绕单一标注文档进行逐标识符优化的局限。

46、2、奖励函数综合引入精确匹配信号和排序评价信号，前者关注候选序列是否命中标注文档，后者反映候选文档在排序层面的贡献。两类信号结合后，训练目标更接近检索任务中的文档级综合评价标准。

47、3、组内优势估计直接基于候选群组内部的奖励分布关系完成，无需额外构建价值函数网络，既简化了训练流程，也减少了价值函数估计误差对策略优化方向的干扰。

48、4、概率比裁剪约束限制单次策略更新幅度，kl 散度参考模型约束限制当前策略相对于参考策略的分布偏移，两者协同保障强化学习优化阶段的训练稳定性。

49、5、上述机制共同作用，使生成式检索模型的生成概率分布更贴近实际检索任务的排序需求，有助于提升单语生成式检索模型在文档级排序任务中的检索效果。