一种面向法律咨询的多模态知识蒸馏方法及系统与流程

本发明涉及人工智能与法律信息处理，尤其涉及一种面向法律咨询的多模态知识蒸馏方法及系统。

背景技术：

1、随着人工智能法律服务、在线法律咨询及大模型轻量化部署需求不断增长，面向文本、语音、合同、聊天记录、交易凭证及法律文书等多模态信息的自动分析和知识迁移技术得到发展。现有技术已经能够对法律多模态信息进行特征提取、跨模态对齐、法律要素分析和反馈式持续学习，例如cn120688642a公开了基于文本、图像、表格及音频等多模态输入的法律智能问答方法，并结合法律条文引用图谱和反馈式知识蒸馏进行模型更新。此外，现有持续学习技术还可通过短期记忆、长期记忆及外部记忆之间的知识迁移缓解灾难性遗忘，cn120975184b即公开了基于多记忆区、历史知识回放及迁移规则的神经网络持续学习方法。

2、但是，实际法律咨询中证据通常分批加入，同一事实可能先被已有证据支持，后又因新增聊天记录、付款凭证或合同条款发生削弱、冲突甚至反转。现有方法主要对教师模型的静态输出、特征表示或新增样本进行蒸馏和持续更新，难以区分重复信息与真正改变事实状态或法律要件状态的新知识；已经形成的稳定知识在后续反向证据出现时还容易被直接覆盖或继续错误保持，且不同证据条件下产生的状态变化缺少独立适用边界，导致轻量学生模型难以完整继承教师模型随证据变化形成的动态推理能力，影响复杂法律咨询场景下的持续更新稳定性和推理准确性。

3、因此，如何提供一种面向法律咨询的多模态知识蒸馏方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种面向法律咨询的多模态知识蒸馏方法及系统，本发明结合多模态信息处理、法律证据图、改进型hope网络和知识蒸馏技术，通过学习教师模型的法律状态迁移并对连续体记忆进行自修改、提升、降级和条件分支，实现法律知识向轻量学生模型的有效迁移及增量更新，具备知识迁移准确性高、复杂法律状态适应能力强和模型更新效率高的优点。

2、根据本发明实施例的一种面向法律咨询的多模态知识蒸馏方法，包括如下步骤：

3、步骤一：获取多模态法律咨询信息，经解析、时间关联、主体归并和来源绑定生成多模态法律咨询样本；

4、步骤二：提取证据单元、咨询事实和法律要件，建立支持、冲突、替代、满足、否定及前置关系，生成法律证据图；

5、步骤三：将多模态法律咨询样本和法律证据图输入多模态教师模型，按证据进入顺序更新事实状态和法律要件状态，生成教师法律状态序列；

6、步骤四：根据教师法律状态序列生成教师状态迁移，并输入改进型hope网络，根据已有记忆预测迁移结果，依据状态迁移残差、状态闭合结果和冲突反转状态执行自修改更新；

7、步骤五：将教师状态迁移写入连续体记忆，根据跨样本重复状态和闭合结果执行记忆提升，并在持续反转时执行记忆降级和条件分支，生成迁移记忆库；

8、步骤六：将多模态法律咨询样本输入学生模型生成学生状态迁移，根据迁移记忆库与学生状态迁移的迁移方向、变化程度及迁移后状态执行知识蒸馏，生成轻量学生模型；

9、步骤七：根据新增法律咨询样本和咨询反馈生成新的教师状态迁移，更新迁移记忆库，并对轻量学生模型执行增量蒸馏更新。

10、可选的，所述步骤一具体包括：

11、获取同一法律咨询事项对应的咨询文本、咨询语音、合同及协议、聊天记录、交易凭证、图像资料和法律文书，并配置统一咨询标识；

12、对咨询文本和聊天记录执行句段切分，对咨询语音执行语音识别，对合同及协议、交易凭证、图像资料和法律文书执行版面解析，提取主体、事件时间、材料生成时间、行为、对象和金额；

13、根据身份标识执行主体归并，缺少身份标识时，根据主体名称、联系方式和上下文共指结果执行主体匹配，并按照事件时间和材料生成时间执行时间关联；

14、将独立描述主体行为、事件状态或客观记录的信息划分为证据单元，关联主体、事件时间和模态类型，采用对应模态编码器生成证据单元表示，将不同模态表示映射至统一特征空间，并与主体编码、时间编码及来源编码组合，生成多模态法律咨询样本。

15、可选的，所述步骤二具体包括：

16、将咨询问题与法律规范库中的争议事项标签执行语义匹配，筛选对应争议事项，从多模态法律咨询样本中提取候选事实，并按照主体、行为、对象和事件时间归并生成咨询事实；

17、检索争议事项对应的法律规范，按照成立条件、否定条件和前置条件拆分生成法律要件，以证据单元、咨询事实和法律要件作为节点建立法律证据图；

18、根据主体、事件时间、行为和对象筛选证据单元与咨询事实的候选关联，对证据内容与咨询事实执行自然语言推理分类，写入支持关系或冲突关系，对来源不同且能够分别独立支撑同一咨询事实的证据单元写入替代关系；

19、将促使法律要件成立的咨询事实写入满足关系，将促使法律要件不成立的咨询事实写入否定关系，将目标法律要件判断所依赖的咨询事实写入前置关系；

20、根据支持关系和冲突关系分别计算咨询事实的支持度和冲突度，并结合前置完成状态标记咨询事实状态，依据满足关系、否定关系和前置关系计算法律要件满足程度和否定程度并标记法律要件状态，生成法律证据图。

21、可选的，所述步骤三具体包括：

22、将多模态法律咨询样本和法律证据图输入多模态教师模型，对证据单元执行多模态编码，按照支持关系、冲突关系和替代关系聚合与咨询事实关联的证据信息，将咨询事实语义表示、支持度、冲突度和前置完成状态组合形成事实状态；

23、按照满足关系、否定关系和前置关系将事实状态传播至对应法律要件，聚合关联咨询事实的当前状态，计算法律要件满足程度、否定程度和前置完成状态，与法律要件语义表示组合形成法律要件状态；

24、按照事件时间组织证据单元，事件时间相同时按照材料生成时间排序，每加入一个证据单元，重新计算与该证据单元存在支持关系、冲突关系或替代关系的咨询事实，并沿满足关系、否定关系和前置关系更新对应法律要件；

25、将每次证据加入后的事实状态和法律要件状态按照证据进入顺序排列，生成教师法律状态序列。

26、可选的，所述步骤四具体包括：

27、对教师法律状态序列中的相邻法律状态执行差分，将前一法律状态作为迁移前状态，将新增证据单元及其主体、事件时间、证据类型和证据关系作为迁移条件，将后一法律状态作为迁移后状态，计算事实状态变化和法律要件状态变化，生成教师状态迁移；

28、改进型hope网络包括状态迁移编码模块、迁移预测模块和自修改更新模块，状态迁移编码模块对迁移前状态和迁移条件进行编码融合，生成迁移检索表示；

29、迁移预测模块根据迁移检索表示，从连续体记忆中筛选目标咨询事实、法律要件及迁移前状态相匹配且迁移检索相似度达到预设相似度阈值的历史教师状态迁移，并根据迁移检索相似度对历史事实状态变化和法律要件状态变化进行加权聚合，生成预测迁移结果；

30、比较教师状态迁移中的事实状态变化、法律要件状态变化与预测迁移结果，计算对应状态维度的归一化差异，生成状态迁移残差及未解释状态变化；

31、新增证据使咨询事实由未闭合状态转为闭合状态，或者使法律要件由未闭合状态转为满足状态或否定状态时生成状态闭合结果，新增证据使咨询事实由闭合状态转为冲突状态，或者使法律要件在满足状态与否定状态之间转换时生成冲突反转状态；

32、自修改更新模块依据状态迁移残差、状态闭合结果和冲突反转状态更新连续体记忆。

33、可选的，所述自修改更新模块依据状态迁移残差、状态闭合结果和冲突反转状态更新连续体记忆，具体包括：

34、将状态迁移残差与迁移解释阈值进行比较，状态迁移残差不高于迁移解释阈值且未生成状态闭合结果和冲突反转状态时，累计匹配历史教师状态迁移的重复次数；

35、状态迁移残差高于迁移解释阈值且未生成状态闭合结果和冲突反转状态时，将未解释状态变化作为自修改输入；

36、生成状态闭合结果时，将未解释状态变化、闭合对象和闭合方向组合作为自修改输入；

37、生成冲突反转状态时，将未解释状态变化、反转前状态、反转证据条件、反转方向和反转后状态组合作为自修改输入；

38、根据迁移前状态和迁移条件匹配连续体记忆中的对应记忆项，将自修改输入映射至对应记忆项，并依据未解释状态变化更新对应记忆参数，使相同或相近迁移条件下的预测迁移结果向对应教师状态迁移收敛。

39、可选的，所述步骤五具体包括：

40、将连续体记忆按照更新频率划分为高频记忆、中频记忆和低频记忆，将首次出现的教师状态迁移写入高频记忆，并将目标咨询事实和法律要件相同、迁移前状态匹配且迁移条件中的证据类型和证据关系一致的跨样本教师状态迁移归入同一迁移组；

41、根据同一迁移组中的迁移方向一致比例计算迁移方向一致度，根据状态闭合结果一致比例计算闭合一致度，根据相反迁移方向样本比例计算反转率，并结合匹配样本数量计算迁移稳定度；

42、根据匹配样本数量、迁移方向一致度、闭合一致度和反转率执行由高频记忆向中频记忆以及由中频记忆向低频记忆的记忆提升；

43、对低频记忆中的教师状态迁移统计连续相反迁移次数和预设观察窗口内的反转率，连续相反迁移次数达到预设次数或者反转率达到预设比例时，将对应教师状态迁移由低频记忆降级至中频记忆，并停止将降级前的教师状态迁移作为无条件蒸馏目标；

44、比较原迁移样本与反转迁移样本的主体属性、事件时间属性、证据类型、证据关系、证据内容属性和前置事实状态，按照候选条件划分样本，并根据划分前后的迁移方向信息熵下降量计算条件区分度；

45、筛选条件区分度达到分支阈值的条件，将原教师状态迁移拆分为不同迁移条件对应的教师状态迁移分支，各教师状态迁移分支分别重新计算迁移稳定度并执行记忆提升，将教师状态迁移、迁移条件、记忆层级、迁移稳定度和条件分支组合形成迁移记忆库。

46、可选的，所述步骤六具体包括：

47、将多模态法律咨询样本输入学生模型，按照与多模态教师模型相同的证据进入顺序更新学生事实状态和学生法律要件状态，并映射至与教师法律状态对应的统一状态空间；

48、对相邻学生法律状态执行差分，并结合对应新增证据生成学生状态迁移；

49、根据学生状态迁移的迁移前状态和迁移条件在迁移记忆库中匹配教师状态迁移，存在条件分支时，将当前样本的主体属性、事件时间属性、证据类型、证据关系、证据内容属性和前置事实状态与分支条件进行匹配，筛选对应教师状态迁移分支；

50、比较教师状态迁移与学生状态迁移的状态变化方向、状态变化幅度和迁移后状态类别，分别生成迁移方向损失、变化程度损失和迁移后状态损失；

51、根据教师状态迁移的记忆层级和迁移稳定度调节知识蒸馏权重，教师状态迁移发生记忆降级时降低对应知识蒸馏权重，教师状态迁移分支重新提升记忆层级后按照新的记忆层级和迁移稳定度调整知识蒸馏权重；

52、将迁移方向损失、变化程度损失和迁移后状态损失加权形成状态迁移蒸馏目标，并与咨询事实识别目标、法律要件状态识别目标及法律咨询结果生成目标共同训练学生模型，生成轻量学生模型。

53、可选的，所述步骤七具体包括：

54、获取新增法律咨询样本和咨询反馈，根据证据内容修正、咨询事实修正、法律要件状态修正和法律咨询结果修正更新法律证据图中的证据单元、咨询事实、法律要件及对应关系，并沿发生变化的关系筛选受影响的咨询事实和法律要件；

55、从首个受影响证据加入前的法律状态开始更新教师法律状态序列，并生成新的教师状态迁移；

56、将新的教师状态迁移输入改进型hope网络，按照自修改更新、记忆提升、记忆降级和条件分支更新连续体记忆及迁移记忆库；

57、根据更新后的迁移记忆库筛选受本轮更新影响的教师状态迁移，将对应多模态法律咨询样本输入轻量学生模型生成学生状态迁移，并依据条件分支、记忆层级和迁移稳定度执行增量知识蒸馏；

58、从低频记忆中筛选未受本轮更新影响的教师状态迁移作为保持样本，与受影响教师状态迁移共同更新轻量学生模型。

59、根据本发明实施例的一种面向法律咨询的多模态知识蒸馏系统，包括如下模块：

60、多模态样本生成模块，获取多模态法律咨询信息，经解析、时间关联、主体归并和来源绑定生成多模态法律咨询样本；

61、法律证据图构建模块，提取证据单元、咨询事实和法律要件，建立支持关系、冲突关系、替代关系、满足关系、否定关系及前置关系，生成法律证据图；

62、教师状态生成模块，将多模态法律咨询样本和法律证据图输入多模态教师模型，按证据进入顺序更新事实状态和法律要件状态，生成教师法律状态序列；

63、状态迁移自修改模块，根据教师法律状态序列生成教师状态迁移，并输入改进型hope网络，根据已有记忆预测迁移结果，依据状态迁移残差、状态闭合结果和冲突反转状态执行自修改更新；

64、迁移记忆管理模块，将教师状态迁移写入连续体记忆，根据跨样本重复状态和闭合结果执行记忆提升，并在持续反转时执行记忆降级和条件分支，生成迁移记忆库；

65、状态迁移蒸馏模块，将多模态法律咨询样本输入学生模型生成学生状态迁移，根据迁移记忆库与学生状态迁移的迁移方向、变化程度及迁移后状态执行知识蒸馏，生成轻量学生模型；

66、增量蒸馏更新模块，根据新增法律咨询样本和咨询反馈生成新的教师状态迁移，更新迁移记忆库，并对轻量学生模型执行增量蒸馏更新。

67、本发明的有益效果是：

68、本发明通过构建法律证据图，将证据单元、咨询事实和法律要件之间的支持、冲突、替代、满足、否定及前置关系显式组织，并由多模态教师模型按证据进入顺序生成教师法律状态序列和教师状态迁移；进一步通过改进型hope网络对历史迁移进行预测，以状态迁移残差区分已被记忆解释的重复变化和新增变化，并结合状态闭合结果、冲突反转状态执行自修改更新，从而避免新增证据被简单写入或覆盖既有知识，使事实状态和法律要件状态随证据变化形成可追踪、可修正的动态演化过程，提高复杂法律咨询中证据冲突、事实反转和持续补证场景下的推理稳定性；

69、本发明进一步通过连续体记忆对教师状态迁移执行高频、中频和低频分层更新，并在稳定迁移持续反转时执行记忆降级和条件分支，使原有迁移知识与新增反向知识分别保留其适用条件，降低持续学习中的知识覆盖和错误固化；同时以迁移记忆库中的教师状态迁移为知识源，根据迁移方向、变化程度、迁移后状态、记忆层级和迁移稳定度对学生模型实施知识蒸馏，使轻量学生模型继承教师模型在不同证据条件下的动态推理能力，并结合新增法律咨询样本和咨询反馈执行增量更新，从而提升模型轻量部署后的持续适应能力，为在线法律咨询、智能辅助分析和高并发法律服务提供稳定的技术支撑。