一种基于低秩适配的大模型外置知识存储与动态加载方法与流程

本发明涉及人工智能，具体涉及一种基于低秩适配的大模型外置知识存储与动态加载方法。

背景技术：

1、大语言模型在通用领域已展现出卓越的语言理解和生成能力，但在面向特定领域或个性化场景的实际应用中，通用基座模型往往缺乏领域专用知识——如企业内部的业务规则、特定行业的法规条款、用户的个人偏好习惯等。如何高效、低成本地将个性化知识注入大模型，同时实现知识的独立管理、动态更新和安全隔离，已成为人工智能技术领域亟待解决的重要课题。

2、传统解决方案是对基座模型进行全量微调，即将领域数据用于更新模型全部参数。然而，全量微调存在显著弊端：首先，参数量巨大导致训练成本极高，一个千亿参数模型的单次全量微调需要数十张图形处理器运行数天；其次，每新增一个领域或用户都需要一份独立的完整模型副本，多领域部署时存储开销线性增长，数十个领域即需要数十倍于基座模型的存储空间；再者，领域间知识隔离困难，同一份模型参数同时纳入多个领域知识后容易产生知识干扰；最后，知识更新需重新执行全量微调流程并重启推理服务，无法实现在线即时更新。

3、低秩适配技术的提出为上述问题提供了新的解决思路。该技术在“lora:low-rankadaptationoflargelanguagemodels”（iclr2022）中提出，其核心洞见在于预训练大模型的权重更新矩阵具有低“内在秩”，可用两个低秩矩阵的乘积近似全量参数更新。通过仅训练低秩矩阵对，低秩适配技术大幅降低了微调成本和存储开销。训练后可将低秩适配矩阵注入transformer各层的查询、键、值投影层，使模型在特定领域上的表现得到增强。然而，已有的基于低秩适配的微调方案仍聚焦于“训练”环节的效率优化——将低秩适配矩阵注入模型后作为模型的一部分参与推理——缺乏将低秩适配模块作为独立知识载体进行全生命周期管理的完整技术体系。

4、具体而言，现有技术存在以下不足。其一，低秩适配模块与模型耦合，无法独立管理。已有方案将训练完成的低秩适配矩阵作为模型的附加层注入特定层，一旦注入便与模型紧密耦合，模块的创建、更新、删除操作需要直接操作模型结构，缺乏标准化的模块管理接口，不同版本的知识模块无法被系统性地追踪和比较。这种设计理念将低秩适配矩阵定位为“模型训练优化产物”，而非独立的“知识载体”，导致其生命周期完全依附于模型。其二，多模块并行加载时缺乏智能路由与冲突解决。已有方案在处理需要多个知识源回答的复杂查询时，要么仅激活单一模块，要么简单地将所有匹配模块的权重平均融合，缺乏基于查询意图的智能匹配机制；当多个模块包含重叠或矛盾的知识时，系统无法自动检测冲突并进行解决。其三，知识更新需重启服务，无法支持在线热插拔。已有方案的知识更新流程为“停止推理服务→替换或重训练低秩适配模块→重新加载模型权重→重启服务”，导致服务中断。其四，缺乏统一的权限控制与安全隔离。已有方案在设计时聚焦于训练效率，未将生产环境中的多租户安全需求纳入设计范围，缺乏对低秩适配知识模块级别的权限管理机制——无法控制哪个用户可以加载哪个知识模块，也无法防止恶意模块注入或模块间的信息泄露。其五，知识模块秩固定，无法根据知识量自适应调整。已有方案中低秩适配的秩在训练前预设并固定，不随知识量变化——当封装的知识量较少时高秩造成冗余，当知识量较大时低秩限制表达能力，未能认识到不同知识集的复杂度和信息量不同对秩需求的差异。

5、有鉴于此，提出本申请。

技术实现思路

1、本发明提供了一种基于低秩适配的大模型外置知识存储与动态加载方法，能至少部分的改善上述问题。

2、为实现上述目的，本发明采用以下技术方案：

3、一种基于低秩适配的大模型外置知识存储与动态加载方法，其包括：

4、获取用户当前查询文本，基于用户当前查询文本对外置知识库中的每一个lora知识模块进行匹配度得分计算，得到激活模块集合；

5、当激活模块集合中包括至少两个lora知识模块时，调用冲突检测模块对激活模块集合中的每对模块进行冲突检测处理，得到更新后的激活模块集合；

6、当判断到激活模块集合或更新后的激活模块集合中的各lora知识模块均不需要热加载时，将激活模块集合或更新后的激活模块集合中的各lora知识模块以加权求和的方式，融合到预训练好的大语言模型的对应的投影层中，生成模型处理结果。

7、综上所述，该方法将个性化领域知识封装为独立的lora知识模块——每个模块包含低秩矩阵对和结构化元数据（知识类型、适用场景、版本号、权限标签等），与主模型物理隔离存储。通过动态路由引擎将用户查询语义向量与模块描述向量进行余弦相似度匹配，自动选取最优模块组合并以softmax归一化权重加权融合至推理流程；通过知识容量自适应秩调整公式实现秩的动态适配；通过模块特征向量的相似度计算实现自动冲突检测并级联应用四种策略解决；通过热插拔机制实现在线模块加载、卸载和更新而不中断推理服务。该方法解决了已有方案中lora模块缺乏独立生命周期管理、无法实现多模块智能路由与冲突检测、不支持在线热插拔更新的问题。

1.一种基于低秩适配的大模型外置知识存储与动态加载方法，其特征在于，包括：

2.根据权利要求1所述的基于低秩适配的大模型外置知识存储与动态加载方法，其特征在于，获取用户当前查询文本，基于用户当前查询文本对外置知识库中的每一个lora知识模块进行匹配度得分计算，得到激活模块集合，具体为：

3.根据权利要求2所述的基于低秩适配的大模型外置知识存储与动态加载方法，其特征在于，当激活模块集合中包括至少两个lora知识模块时，调用冲突检测模块对激活模块集合中的每对模块进行冲突检测处理，得到更新后的激活模块集合和/或更新后的模块融合权重，具体为：

4.根据权利要求3所述的基于低秩适配的大模型外置知识存储与动态加载方法，其特征在于，还包括：

5.根据权利要求4所述的基于低秩适配的大模型外置知识存储与动态加载方法，其特征在于，所述版本优先策略指的是，当判断到冲突的两个lora知识模块属于同一知识类型的同一系列时，优选版本号更高的lora知识模块，丢弃旧版本的lora知识模块；

6.根据权利要求5所述的基于低秩适配的大模型外置知识存储与动态加载方法，其特征在于，将激活模块集合或更新后的激活模块集合中的各lora知识模块以加权求和的方式，融合到预训练好的大语言模型的对应的投影层中，生成模型处理结果，具体为：

7.根据权利要求6所述的基于低秩适配的大模型外置知识存储与动态加载方法，其特征在于，在将激活模块集合或更新后的激活模块集合中的各lora知识模块以加权求和的方式，融合到预训练好的大语言模型的对应的投影层中之前，还包括：

8.根据权利要求7所述的基于低秩适配的大模型外置知识存储与动态加载方法，其特征在于，还包括：

9.根据权利要求1所述的基于低秩适配的大模型外置知识存储与动态加载方法，其特征在于，在获取用户当前查询文本之前，还包括：

10.根据权利要求1所述的基于低秩适配的大模型外置知识存储与动态加载方法，其特征在于，每一lora知识模块均设置有权限分级标签，其中，权限分级标签有四个等级，分别为等级0，访问范围为所有通过认证的用户均可访问，等级1，访问范围为限定指定部门成员可访问，等级2，访问范围为仅指定用户本人可访问，等级3，仅系统管理员可访问；