一种基于长文档检索与多智能体辩论的问答方法

本发明属于自然语言处理，具体涉及一种基于长文档检索与多智能体辩论的问答方法。

背景技术：

1、长文档检索与问答是面向篇幅较长、结构复杂且信息分散的文档集合，通过检索与阅读推理生成问题答案的任务。在大模型快速发展的背景下，该任务通常以检索增强生成为基本框架，并进一步延伸为长上下文检索增强生成。由于其同时涉及信息检索、长文本建模和证据约束生成，长文档问答已成为自然语言处理领域的重要研究方向，并在企业知识库问答、科研文献检索、法律金融辅助分析等场景中具有较高的应用价值。

2、与短文本问答相比，长文档问答的难点在于证据往往分散于多个段落甚至多个文档之中，系统不仅要召回相关文本，还需要在长上下文中识别实体、事件与属性之间的关联关系，并据此完成多跳推理。然而，现有研究在长文档问答场景下仍存在若干不足：

3、第一，传统检索增强生成常以短段落为检索单元，导致检索空间过大、召回开销高。稠密检索与重排方法虽然提升了语义匹配能力，但仍以较短段落为基本检索单元，容易将完整证据链切碎为大量局部片段，从而带来检索空间膨胀、噪声累积和计算开销上升等问题。

4、第二，候选证据排序通常主要依赖相关性或相似度信号，尚难进一步区分“语义相关”与“对正确作答真正有贡献”的证据。当长单元内部同时包含关键事实与无关细节时，噪声仍可能被一并送入读者模型，并被生成模型放大，产生事实性幻觉。

5、第三，迭代式或动态式检索方法通过在生成过程中反复触发检索来改善证据补充，但这类方法往往围绕较短片段展开查询更新，推理成本较高，在长文档场景下也未必能够稳定保持跨段关系链的完整性。

6、第四，基于自反思、答案约束或检索摘要压缩的证据利用方法推动了证据选择从“相关性”向“有用性”演进，但其大多面向段落级证据组织或生成后校验，且主要依赖单一模型内部的自校验能力，当模型对噪声证据形成共享偏差时，其纠错效果往往受到限制。

7、第五，现有多智能体辩论方法主要围绕候选答案与推理过程展开协同，多面向闭卷或弱证据约束场景，角色之间往往共享相同输入或相近先验。在长文档问答中，若多个智能体建立在同一批检索证据之上，辩论过程仍可能围绕同一错误前提展开，难以真正面向证据链可靠性进行质疑与裁决。

8、因此，如何在固定检索预算与上下文窗口下保留关键关系结构，识别真正有助于回答的证据，并对最终推理结果进行有效校验，仍是本领域亟待解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种基于长文档检索与多智能体辩论的问答方法，以在固定检索预算下提升证据选择的有效性与稳健性，并降低噪声证据诱发的事实性幻觉与推理偏移。

2、为实现上述目的，本发明是通过以下技术方案来实现的：

3、一种基于长文档检索与多智能体辩论的问答方法，包括以下步骤：

4、步骤s1，将长文档语料组织为长检索单元，对长检索单元进行子块切分并建立向量索引，依据问题与子块的向量相似度检索得到候选证据集合；

5、步骤s2，由生成模型仅依据问题生成伪证据，将伪证据加入候选证据集合构成增强候选集合；

6、步骤s3，基于答案生成代价定义候选证据的证据效用标签，训练证据效用对齐的偏好选择器，由偏好选择器对增强候选集合打分并选取得分最高的若干证据作为最终证据集合；

7、步骤s4，将最终证据集合输入多智能体辩论读者，由支持者、挑战者与裁判经多轮交叉质询与裁决生成最终答案。

8、进一步地，所述步骤s1的具体步骤为：

9、步骤s101，将长文档语料按照文档或文档组组织为长检索单元，使检索单元数量显著下降，将检索从“在海量段落中找针”转为“在较少长单元中找相关区域”；

10、步骤s102，将每个长检索单元切分为m个子块，分别计算各子块的向量表示并建立向量索引；

11、步骤s103，依据问题q与子块的向量内积计算问题与长检索单元的匹配得分 （1），对所有子块进行近邻搜索后回溯到所属长检索单元，取前个长检索单元作为候选证据集合，其中与分别表示查询编码器和文本编码器。表示向量内积，表示以长单元内部得分最高的子块近似该长单元的整体相关性。

12、进一步地，所述步骤s2的具体步骤为：

13、步骤s201，构造仅依据问题的生成提示；

14、步骤s202，由生成模型依据提示生成一段百科式事实性摘要文本作为伪证据 （2）；

15、步骤s203，将伪证据加入候选证据集合，得到增强候选集合 （3）。至为长检索器返回的个候选证据，从机制上避免所有外部证据都不佳时的性能退化。

16、进一步地，所述步骤s3的具体步骤为：

17、步骤s301，将标准答案表示为token序列，定义读者模型在不加入外部证据时生成标准答案的平均负对数似然为答案生成代价 （4）；式中，表示读者模型的条件生成概率，表示答案前缀。

18、步骤s302，定义加入候选证据后生成标准答案的代价 （5）；

19、步骤s303，若某一证据单元能够有效支持正确作答，则加入该证据后生成标准答案的代价应当下降，据此定义候选证据的证据效用增量 （6）；式中，表示候选证据降低了正确答案的生成代价，对作答具有正向贡献；表示该证据对生成正确答案帮助有限甚至引入干扰；

20、步骤s304，为降低读者模型仅依赖参数记忆作答所造成的偏差，引入先验校正强度系数，构造先验校正后的生成分布： （7），式中，表示读者模型输出的logits，为先验校正强度系数；当时，该式退化为普通的“问题+证据”生成分布；当时，模型内部先验的影响被部分抵消，从而更突出外部证据对答案生成的增量贡献；基于该校正分布，先验校正后的证据生成代价为： （8）；相应地，最终采用的证据效用标签定义为： （9）；式中，表示经过先验校正后的证据效用信号，该值越大说明候选证据越能在排除模型内部记忆干扰后促进标准答案生成；

21、步骤s305，在训练阶段，针对每个训练样本，长检索器返回候选集合，并将伪证据一并加入得到增强候选集合；对中每个候选证据计算效用标签，形成目标效用向量： （10）；

22、步骤s306，偏好选择器记为，其输入为问题与候选证据，输出为该证据的预测效用分数；对同一候选集合，选择器输出预测向量： （11）；

23、由于证据选择更关注同一问题下不同候选之间的相对优劣，将目标效用向量和预测效用向量分别归一化为偏好分布： （12）； （13）；式中，为温度系数，用于调节候选证据之间偏好差异的平滑程度；选择器通过最小化目标偏好分布与预测偏好分布之间的kl散度进行训练： （14）；

24、步骤s307，在推理阶段，系统首先由长检索器返回候选证据集合，并由伪证据生成模块得到；随后由训练完成的偏好选择器对增强候选集合中的所有候选进行打分，选取得分最高的个证据单元作为最终证据集合：（15）当外部检索结果中存在高质量证据时，选择器倾向于保留能够支持完整推理链的真实长单元；当外部检索整体质量较差时，伪证据也可能被选入，从而提供基于模型内部知识的稳健回退。

25、进一步地，所述步骤s4的具体步骤为：

26、步骤s401，设置支持者、挑战者与裁判三类信息不对称的智能体，其中支持者可访问最终证据集合，负责基于证据构建答案与论证；挑战者初始轮仅访问问题，基于内部知识提出答案并对支持者进行质疑；裁判在多轮交互后读取双方最终陈述，输出最终答案；

27、步骤s402，设辩论轮数为，第1轮支持者与挑战者分别生成首轮陈述，（16）；式中，、和分别表示支持者、挑战者和裁判对应的生成函数，与分别表示第轮支持者与挑战者的输出；

28、步骤s403，第轮，双方基于对方上一轮观点更新，（17）；

29、步骤s404，经轮交互后，由裁判输出最终答案 （18）；式中，与为首轮陈述，与为最后一轮陈述，表示输入问题，表示最终证据集合，表示裁判输出的最终答案。

30、进一步地，所述步骤s4中支持者、挑战者与裁判均由同一底座大语言模型通过不同角色提示模板实例化，即，，，其中、、分别表示支持者模板、挑战者模板和裁判模板。

31、进一步地，所述支持者模板要求输出“答案候选—关键证据—推理链”，所述挑战者模板要求输出“主要异议—证据缺失/证据冲突—修正意见”，所述裁判模板要求输出“最终答案—采信理由—证据指向”；生成后系统检查输出是否包含必要字段和证据指向，若字段缺失、证据引用为空或输出超过预设长度，则重新提示模型补全或截断。

32、与现有技术相比本发明具有以下优点：

33、（1）本发明将长文档语料组织为长检索单元并以子块最大相似度近似长单元得分进行检索，使参与候选排序与后续处理的检索单元数量显著下降：向量索引仍以长度256tokens的子块为粒度建立，匹配精度不因检索单元变长而损失，而对外呈现的候选证据以长检索单元为条目；在单次检索返回相同候选条目数的条件下，所覆盖的文本范围扩大为以子块为候选条目时的m倍，等价于覆盖同等文本范围所需的候选条目数下降为1/m，其中m为单个长检索单元所含子块数，而下游证据效用打分、偏好排序与上下文拼接的条目规模保持在k个长检索单元的量级，不随文档篇幅增长而膨胀（参见表7）。同时，由于长检索单元以文档或文档组为粒度，文档内部的跨段关系链在单个检索单元内不被切分，跨文档的关系链由前k个长检索单元共同覆盖，从而保留了跨段关系结构的完整性，为后续长上下文阅读提供更完整的语义上下文（参见表11）。

34、（2）本发明引入伪证据生成机制，在检索前由生成模型仅依据问题生成一段事实性摘要作为内部知识候选证据，与检索候选一起进入偏好选择器统一排序，从机制上避免了外部检索整体质量较差时的性能退化，提供了鲁棒的回退路径：当候选集合中各真实长检索单元的证据效用标签趋近于零或为负时，伪证据因其效用标签仍为正值而被选入最终证据集合，使系统在外部检索失效时仍具备可用的证据输入。实施例1表4与表5给出该机制的具体实例，伪证据g0的证据效用标签为0.55，在增强候选集合中排序第3位并被选入最终证据集合，说明伪证据在统一排序中可与真实检索证据同场竞争而不被系统性排除；表8中不使用任何外部证据的naive gen的em为16.80，构成无有效外部证据时的性能下界参照，本发明在外部检索整体质量较差时由伪证据承接证据输入，不致退化至该水平。

35、（3）本发明提出证据效用对齐的偏好选择器，以“加入证据后正确答案生成代价的下降量”作为证据效用标签，并经先验校正排除模型内部记忆干扰，将证据排序目标由单纯的语义相关性扩展为面向正确作答的生成效用，使送入读者的证据不仅“相关”，更“有助于正确作答”，提高了固定检索预算下输入上下文的有效信息密度：如表10所示，在检索预算（k=12个候选长检索单元、n=8个最终证据单元）与上下文预算（约30k tokens）完全不变的条件下，加入偏好选择器使em由42.21提升至45.31（提升3.10点）、f1由55.62提升至56.88（提升1.26点），即在相同的证据条数与上下文长度之内，以“有助于正确作答”的证据替换了“仅语义相关”的证据。

36、（4）本发明设计信息不对称的多智能体辩论读者，支持者、挑战者与裁判具有不同的证据访问权限，使质疑与裁决过程直接面向检索证据链的完整性与可信度，能够对残余噪声与冲突证据进行交叉审视，降低共享偏差沿单一路径扩散的风险，从而抑制噪声证据诱发的事实性幻觉与推理偏移：如表8与表10所示，在效果验证部分所述实验中，本发明完整方案的错误答案率为53.73%，较不含辩论读者的基础框架lr-rag（57.79%）降低4.06个百分点，较标准检索增强生成方法naive rag（64.20%）降低10.47个百分点，为全部对比方法与消融变体中最低。表11进一步给出噪声证据诱发错误的具体实例：在以短片段为检索单元的对比方法被无关片段中的城市名诱导而输出错误答案的同一问题上，本发明经挑战者质疑与裁判裁决后输出正确答案，其过程与实施例1表6所示实例同构。

37、（5）本发明所提方法可为知识库问答、科研文献检索、法律金融辅助分析等场景提供高科技产品和服务，在较低检索预算条件下实现更稳健的证据选择与更可靠的事实一致性生成，产生直接的实用价值和经济效益。在效果验证部分所述实验中，检索预算取为：单次检索返回k=12个候选长检索单元，经偏好选择器重排后保留n=8个作为最终证据集合，整体上下文预算约30k tokens，辩论轮数r=2，且生成过程中不再触发任何额外检索；如表8与表9所示，在该预算条件下本发明的em与f1均高于全部需在生成过程中反复触发检索的迭代式与动态式方法，较其中表现最强的dragin分别领先5.47点与6.67点。