一种用于法律长文本的大模型记忆与推理能力评估方法及系统

本发明涉及法律问答，更具体的说是涉及一种用于法律长文本的大模型记忆与推理能力评估方法及系统。

背景技术：

1、目前，随着大语言模型上下文窗口不断扩展，法律人工智能系统开始从传统短文本问答、单条法条检索和单实体抽取，转向对百页级法律文档的整体阅读和合规推理。在证券发行上市、并购重组、尽职调查等法律实务场景中，律师往往需要同时阅读招股说明书正文、财务附注、法律意见书、公司章程和重大合同等系列材料，并在大量噪声信息中定位关键事实、关联主体关系、判断条款效力和识别合规风险。

2、然而，现有大模型评估方法多集中于信息密度较大的短文本，难以真实反映模型在法律长文本中的长程记忆保持能力和跨章节推理能力。即使模型具备较长的上下文输入窗口，也可能出现对文本开头和结尾信息召回较好、对中部关键线索遗漏的现象；在法律实践中，关键风险信息常常埋藏于财务附注或关联交易章节，单纯扩大上下文长度并不能保证模型能够完成完整的证据链整合。

3、现有评测过度依靠结果指标。单纯统计最终答案正确率，无法区分模型是未能找到证据、找到证据但推理错误，还是缺乏证据却编造结论。对于高风险法律应用而言，模型是否能够忠实引用原文证据、是否能够拒绝回答未披露信息、是否能够整合多个章节形成法律判断链，均是决定其可用性的重要因素。

4、因此，如何提供一种能够解决上述问题的基于法律长文本的大模型记忆与推理能力评估方法是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种用于法律长文本的大模型记忆与推理能力评估方法及系统，以真实法律长文本为评估对象，以证据为核心，以分层法律认知任务为载体，以结果指标和过程指标相结合的方式，形成从语料构建、样本生成、模型调用、响应解析、指标计算到报告生成的完整技术闭环。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种用于法律长文本的大模型记忆与推理能力评估方法，包括以下步骤：

4、s1：获取法律长文本评估语料数据，并对所述法律长文本评估语料数据进行预处理，生成分层评估样本库；

5、s2：利用分层评估样本库中的评估样本输入待评估大模型进行处理，得到待评估大模型输出的模型响应结果；

6、s3：对所述模型响应结果进行解析，根据解析结果计算评估指标的结果。

7、优选的，还包括：

8、s4：基于评估指标计算结果生成待评估大模型在法律长文本推理场景下的记忆评估报告。

9、优选的，所述s1包括：

10、s11：获取法律长文本评估语料数据，并对所述法律长文本评估语料数据进行解析、清洗、脱敏和结构保持处理，生成包含章节标识、相对位置标识和证据的长文本结构数据；

11、s12：利用所述长文本结构数据构建分层评估样本库，其中所述分层评估样本库中的每一评估样本至少包括法律长文本、评估问题、标准答案、标准证据、任务类型和认知层级。

12、优选的，所述s2包括：

13、s21：根据所述任务类型和认知层级生成模型测试提示；

14、s22：将所述法律长文本、评估问题输入至待评估大模型进行处理得到待评估大模型输出的模型响应结果。

15、优选的，所述s3包括：

16、s31：对所述模型响应结果进行结构化解析，提取结论字段、证据引用字段和推理过程字段

17、s32：将所述证据引用字段与所述标准证据进行位置匹配和语义匹配；

18、s33：确定评估指标，其中所述评估指标包括法律判断准确率、证据引用质量召回率、幻觉率和跨章节信息协同度；

19、s34：基于所述结论字段、证据引用字段、推理过程字段以及标准答案，计算评估指标的结果。

20、本发明还提供一种用于法律文本的知识大模型推理能力评估系统，包括：

21、样本库构建模块，用于获取法律长文本评估语料数据，并对所述法律长文本评估语料数据进行预处理，生成分层评估样本库；

22、模型处理模块，用于利用分层评估样本库中的评估样本输入待评估大模型进行处理，得到待评估大模型输出的模型响应结果；

23、评估模块，用于对所述模型响应结果进行解析，根据解析结果计算评估指标的结果，并基于评估指标计算结果生成待评估大模型在法律长文本推理场景下的记忆评估报告。

24、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种用于法律长文本的大模型记忆与推理能力评估方法及系统，具有如下有益效果：

25、1、本发明以法律长文本的完整结构为评估基础，保留章节、页码、表格和段落等证据，能够真实模拟法律尽职调查中的全文阅读场景；

26、2、本发明建立了基础感知层、逻辑关联层和复杂推理层的分层任务体系，能够区分模型的事实定位能力、法律关系抽象能力和跨章节合规判断能力；

27、3、本发明同时计算最终结论正确性和证据链质量，能够诊断模型失败原因；

28、4、本发明设置未披露信息陷阱任务，能够量化模型在法律高风险场景中的幻觉率；

29、5、本发明通过位置记忆衰减指标揭示模型对长文本不同位置证据的记忆差异，为模型优化、产品选型和法律智能体部署提供可复现的技术依据。

30、6、实验表明，当前主流大模型在基础感知层（l1）任务上准确率普遍超过85%，但在复杂推理层（l3）任务上性能显著下降，开源模型降幅超过40%，揭示了“长文本记忆不等同于长文本推理”（long-context memory≠long-context reasoning）的能力边界，证实本发明的分层任务体系能够有效诊断模型在不同认知层级上的能力差异；

31、7、通过位置记忆衰减指标的测量，实验证实法律长文本存在显著的长上下文中间丢失现象（lost in the middle）现象，模型在文本40%-60%相对位置区间的证据召回率平均下降32.4%，该区间通常包含密集的财务附注和历史沿革信息，表明当前大语言模型的有效感受野仍受信息密度而非仅受词元数量制约，本发明的位置记忆衰减指标为这一关键缺陷提供了可量化的诊断工具。

1.一种用于法律长文本的大模型记忆与推理能力评估方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种用于法律长文本的大模型记忆与推理能力评估方法，其特征在于，还包括：

3.根据权利要求1所述的一种用于法律长文本的大模型记忆与推理能力评估方法，其特征在于，所述s1包括：

4.根据权利要求3所述的一种用于法律长文本的大模型记忆与推理能力评估方法，其特征在于，所述s2包括：

5.根据权利要求3所述的一种用于法律长文本的大模型记忆与推理能力评估方法，其特征在于，所述s3包括：

6.一种利用权利要求1-5任一项所述的用于法律长文本的大模型记忆与推理能力评估方法的系统，其特征在于，包括：