存储方法、存储装置和存储介质

摘要: 本公开涉及人工智能及自然语言处理。更具体地,本公开涉及一种存储方法、存储装置和存储介质。背景技术:1、近年来,以transformer架构为基础的大语言模型(l...
存储方法、存储装置和存储介质

本公开涉及人工智能及自然语言处理。更具体地,本公开涉及一种存储方法、存储装置和存储介质。

背景技术:

1、近年来,以transformer架构为基础的大语言模型(large language model,简称llm)在自然语言处理领域取得了显著进展。然而,在处理医疗、法律、化学等知识密集型任务时,现有技术仍存在以下显著缺陷:

2、第一,记忆与推理的参数化纠缠(memory-reasoning entanglement)。 传统稠密模型强迫有限的参数权重同时承担“知识记忆”与“深度推理”的双重职能。这种设计导致模型被迫分配大量的表征容量去“死记硬背”静态知识,严重挤压了模型用于执行高阶推演的计算深度,从而在处理复杂专业问题时极易产生事实性幻觉。

3、第二,子词元碎片化(sub-token fragmentation)导致的认知损耗。现有模型普遍采用字节对齐编码(bpe)等通用分词算法,该算法在处理高度专业化的长复合术语(如iupac化学命名、拉丁法律术语等)时,会将其拆分为大量无意义的词元碎片。这迫使神经网络的浅层甚至中层注意力头必须耗费极高的计算带宽执行底层形态学还原(即将这些互不相关的子词元(sub-tokens)整合成连贯的概念),而非专注于语义关联的建模,导致推理能力低下。

4、第三,现有条件记忆方案的精确性与成本瓶颈。 现有技术中虽有通过原生条件记忆机制以卸载大语言模型记忆负载的尝试,但该方案存在致命的哈希碰撞(hashcollision)风险,在容错率极低的医疗或法律领域,将不同的专业术语映射至同一特征向量会导致灾难性的事实错误。同时,该方案通常依赖于固定的短 n-gram 窗口匹配(如 n≤4),无法捕获超长专业实体;且往往需要昂贵的从零预训练(from-scratch training),无法对现有的优秀开源基座模型(神经网络)进行低成本的兼容性改造。

5、因此,如何设计一种既能精确修复词元碎片、又能有效解耦记忆负载,且具备极高推理能力、推理效率的大语言模型增强架构,是当前本领域亟待解决的技术难题。

技术实现思路

1、本公开的一个或更多个示例实施例提供一种存储方法及装置,能够通过将形态学还原任务从神经网络中剥离,利用外部词汇存储库实现注意力头解放,从而既能精确修复词元碎片、又能有效解耦记忆负载,并且可提升神经网络的推理能力。

2、根据本公开的一个或更多个示例实施例,提供一种存储方法,包括:通过对输入的待处理文本进行标识符编码来确定所述待处理文本的标识符序列; 通过使用所述标识符序列在预先构建的外部词汇存储库中进行检索,来确定所述待处理文本的记忆向量,其中,所述外部词汇存储库中存储有经过形态学增强处理的领域词汇条目以及所述领域词汇条目的特征向量,所述记忆向量基于所述待处理文本在所述外部词汇存储库中对应的目标词汇条目;在预设神经网络的多个预定隐藏层级中的每个预定隐藏层级,将所述记忆向量和所述预定隐藏层级的隐状态向量进行残差融合,获得存储结果。

3、在示例实施例中,所述外部词汇存储库可以是通过以下操作构建的:从预设领域的权威知识本体中提取标准术语作为原始条目;通过对所述原始条目进行形态学增强操作,来确定所述原始条目的至少一个变体条目,所述至少一个变体条目包括前导空格变体条目、大小写变体条目或屈折变化变体条目中的至少一个;通过对所述原始条目和所述至少一个变体条目分别进行标识符编码来确定所述原始条目的标识符和所述至少一个变体条目中的每个变体条目的标识符,建立所述至少一个变体条目的标识符与所述原始条目的标识符之间的映射关系;获取所述原始条目和所述至少一个变体条目的激活频率,将所述原始条目和所述至少一个变体条目中的激活频率高于预设阈值的原始条目或变体条目确定为存储条目;获取大语言模型原生嵌入层中与所述存储条目的标识符对应的向量,通过对所述向量进行均值池化操作来获得所述外部词汇存储库的特征向量。

4、在示例实施例中,所述通过使用所述标识符序列在预先构建的外部词汇存储库中进行检索,来确定所述待处理文本的记忆向量,可包括:使用确定性路由机制通过前缀树或有限状态自动机结构,在所述外部词汇存储库中对所述标识符序列进行单次扫描匹配,将所述单次扫描匹配的结果确定为所述记忆向量,其中,所述单次扫描匹配遵循最长匹配优先原则。

5、在示例实施例中,所述多个预定隐藏层级可包括:执行形态修复的第一隐藏层级,位于所述神经网络的浅层区域,用于纠正标识符碎片化导致的语义偏差;执行概念锚定的第二隐藏层级,位于所述神经网络的中深层区域,用于抑制所述神经网络的隐状态在所述神经网络的非线性层传播过程中的语义漂移。

6、在示例实施例中,所述第一隐藏层级可被配置有第一投影矩阵,所述第二隐藏层级可被配置有第二投影矩阵,其中,所述在预设神经网络的多个预定隐藏层级中的每个预定隐藏层级,将所述记忆向量和所述预定隐藏层级的隐状态向量进行残差融合,可包括:通过所述第一投影矩阵对所述记忆向量进行映射,获得第一映射记忆向量;将所述第一映射记忆向量和所述第一隐藏层级的第一隐状态向量进行残差融合;通过所述第二投影矩阵对所述记忆向量进行映射,获得第二映射记忆向量;将所述第二映射记忆向量和所述第二隐藏层级的第二隐状态向量进行残差融合。

7、在示例实施例中,所述将所述第一映射记忆向量和所述第一隐藏层级的第一隐状态向量进行残差融合,可包括:通过使用所述第一映射记忆向量和所述第一隐状态向量确定第一门控标量;获取所述第一门控标量和所述第一映射记忆向量的第一乘积;将所述第一乘积和所述第一隐状态向量进行残差融合,其中,所述将所述第二映射记忆向量和所述第二隐藏层级的第二隐状态向量进行残差融合,可包括:通过使用所述第二映射记忆向量和所述第二隐状态向量确定第二门控标量;获取所述第二门控标量和所述第二映射记忆向量的第二乘积;将所述第二乘积和所述第二隐状态向量进行残差融合。

8、在示例实施例中,所述通过使用所述第一映射记忆向量和所述第一隐状态向量确定第一门控标量,可包括:确定所述第一映射记忆向量和所述第一隐状态向量之间的第一相似度;通过使用所述第一相似度确定所述第一门控标量,其中,所述通过使用所述第二映射记忆向量和所述第二隐状态向量确定第二门控标量,可包括:确定所述第二映射记忆向量和所述第二隐状态向量之间的第二相似度;通过使用所述第二相似度确定所述第二门控标量。

9、在示例实施例中,所述通过使用所述第一映射记忆向量和所述第一隐状态向量确定第一门控标量,可包括:将所述第一映射记忆向量和所述第一隐状态向量从当前转换精度格式转换为预定精度格式,其中,所述预定精度格式的精度大于所述当前转换精度格式的精度;在所述预定精度格式下,通过使用所述第一映射记忆向量和所述第一隐状态向量确定第一中间门控标量;将所述第一中间门控标量从所述预定精度格式转换为所述当前转换精度格式,获得所述第一门控标量,其中,所述通过使用所述第二映射记忆向量和所述第二隐状态向量确定第二门控标量,可包括:将所述第二映射记忆向量和所述第二隐状态向量从当前转换精度格式转换为预定精度格式,其中,所述预定精度格式的精度大于所述当前转换精度格式的精度;在所述预定精度格式下,通过使用所述第二映射记忆向量和所述第二隐状态向量确定第二中间门控标量;将所述第二中间门控标量从所述预定精度格式转换为所述当前转换精度格式,获得所述第二门控标量。

10、在示例实施例中,所述在预设神经网络的多个预定隐藏层级中的每个预定隐藏层级,将所述记忆向量和所述预定隐藏层级的隐状态向量进行残差融合,可包括:采用带有方差下限截断的归一化函数对所述记忆向量和所述隐状态向量分别进行归一化,其中,所述方差下限截断的归一化函数用于限制反向传播时的梯度量级。

11、在示例实施例中,所述神经网络可包括网络主干和与存储有关的记忆模块,所述记忆模块可包括第一隐藏层级和第二隐藏层级,其中,所述神经网络可以是通过以下操作训练的:在第一训练阶段,冻结所述网络主干的中间层,基于预定的无标注语料库调整所述网络主干的原生嵌入层和输出预测头,使所述原生嵌入层和所述输出预测头适应领域词汇分布;在第二训练阶段,冻结所述网络主干,通过将训练数据的记忆向量与所述记忆模块的原生嵌入向量之间的均方误差最小化来训练所述记忆模块;在第三训练阶段,解冻所述网络主干并且开启所述记忆模块的门控,通过对训练数据施加词元丢弃策略来训练所述网络主干;在第四训练阶段,通过使用动态门控退火策略训练所述记忆模块的门控参数,以使门控参数从强制开启状态平滑过渡为基于语义相关的自适应决策状态;在第五训练阶段,通过使用训练数据集对所述网络主干和所述记忆模块进行全量协同训练。

12、在示例实施例中,所述通过使用训练数据集对所述网络主干和所述记忆模块进行全量协同训练,可包括:将标注的指令问答对数据输入到所述神经网络,得到输出结果;基于所述输出结果确定语言建模损失和门控判别损失;通过联合所述语言建模损失和所述门控判别损失,对所述神经网络的参数进行调整。

13、根据本公开的一个或更多个示例实施例,提供一种存储装置,包括:标识符序列确定单元,被配置为通过对输入的待处理文本进行标识符编码来确定所述待处理文本的标识符序列;记忆向量确定单元,被配置为通过使用所述标识符序列在预先构建的外部词汇存储库中进行检索,来确定所述待处理文本的记忆向量,其中,所述外部词汇存储库中存储有经过形态学增强处理的领域词汇条目以及所述领域词汇条目的特征向量,所述记忆向量基于所述待处理文本在所述外部词汇存储库中对应的目标词汇条目;残差融合单元,被配置为在预设神经网络的多个预定隐藏层级中的每个预定隐藏层级,将所述记忆向量和所述预定隐藏层级的隐状态向量进行残差融合,获得存储结果。

14、在示例实施例中,所述外部词汇存储库可以是通过以下操作构建的:从预设领域的权威知识本体中提取标准术语作为原始条目;通过对所述原始条目进行形态学增强操作,来确定所述原始条目的至少一个变体条目,所述至少一个变体条目包括前导空格变体条目、大小写变体条目或屈折变化变体条目中的至少一个;通过对所述原始条目和所述至少一个变体条目分别进行标识符编码来确定所述原始条目的标识符和所述至少一个变体条目中的每个变体条目的标识符,建立所述至少一个变体条目的标识符与所述原始条目的标识符之间的映射关系;获取所述原始条目和所述至少一个变体条目的激活频率,将所述原始条目和所述至少一个变体条目中的激活频率高于预设阈值的原始条目或变体条目确定为存储条目;获取大语言模型原生嵌入层中与所述存储条目的标识符对应的向量,通过对所述向量进行均值池化操作来获得所述外部词汇存储库的特征向量。

15、在示例实施例中,所述记忆向量确定单元可被配置为:使用确定性路由机制通过前缀树或有限状态自动机结构,在所述外部词汇存储库中对所述标识符序列进行单次扫描匹配,将所述单次扫描匹配的结果确定为所述记忆向量,其中,所述单次扫描匹配遵循最长匹配优先原则。

16、在示例实施例中,所述多个预定隐藏层级可包括:执行形态修复的第一隐藏层级,位于所述神经网络的浅层区域,用于纠正标识符碎片化导致的语义偏差;执行概念锚定的第二隐藏层级,位于所述神经网络的中深层区域,用于抑制所述神经网络的隐状态在所述神经网络的非线性层传播过程中的语义漂移。

17、在示例实施例中,所述第一隐藏层级可被配置有第一投影矩阵,所述第二隐藏层级可被配置有第二投影矩阵,其中,所述残差融合单元可被配置为:通过所述第一投影矩阵对所述记忆向量进行映射,获得第一映射记忆向量;将所述第一映射记忆向量和所述第一隐藏层级的第一隐状态向量进行残差融合;通过所述第二投影矩阵对所述记忆向量进行映射,获得第二映射记忆向量;将所述第二映射记忆向量和所述第二隐藏层级的第二隐状态向量进行残差融合。

18、在示例实施例中,所述残差融合单元可被配置为:通过使用所述第一映射记忆向量和所述第一隐状态向量确定第一门控标量;获取所述第一门控标量和所述第一映射记忆向量的第一乘积;将所述第一乘积和所述第一隐状态向量进行残差融合,其中,所述将所述第二映射记忆向量和所述第二隐藏层级的第二隐状态向量进行残差融合,可包括:通过使用所述第二映射记忆向量和所述第二隐状态向量确定第二门控标量;获取所述第二门控标量和所述第二映射记忆向量的第二乘积;将所述第二乘积和所述第二隐状态向量进行残差融合。

19、在示例实施例中,所述残差融合单元可被配置为:确定所述第一映射记忆向量和所述第一隐状态向量之间的第一相似度;通过使用所述第一相似度确定所述第一门控标量;确定所述第二映射记忆向量和所述第二隐状态向量之间的第二相似度;通过使用所述第二相似度确定所述第二门控标量。

20、在示例实施例中,所述残差融合单元可被配置为:将所述第一映射记忆向量和所述第一隐状态向量从当前转换精度格式转换为预定精度格式,其中,所述预定精度格式的精度大于所述当前转换精度格式的精度;在所述预定精度格式下,通过使用所述第一映射记忆向量和所述第一隐状态向量确定第一中间门控标量;将所述第一中间门控标量从所述预定精度格式转换为所述当前转换精度格式,获得所述第一门控标量;将所述第二映射记忆向量和所述第二隐状态向量从当前转换精度格式转换为预定精度格式,其中,所述预定精度格式的精度大于所述当前转换精度格式的精度;在所述预定精度格式下,通过使用所述第二映射记忆向量和所述第二隐状态向量确定第二中间门控标量;将所述第二中间门控标量从所述预定精度格式转换为所述当前转换精度格式,获得所述第二门控标量。

21、在示例实施例中,所述残差融合单元可被配置为:采用带有方差下限截断的归一化函数对所述记忆向量和所述隐状态向量分别进行归一化,其中,所述方差下限截断的归一化函数用于限制反向传播时的梯度量级。

22、在示例实施例中,所述神经网络可包括网络主干和与存储有关的记忆模块,所述记忆模块可包括第一隐藏层级和第二隐藏层级,其中,所述神经网络可以是通过以下操作训练的:在第一训练阶段,冻结所述网络主干的中间层,基于预定的无标注语料库调整所述网络主干的原生嵌入层和输出预测头,使所述原生嵌入层和所述输出预测头适应领域词汇分布;在第二训练阶段,冻结所述网络主干,通过将训练数据的记忆向量与所述记忆模块的原生嵌入向量之间的均方误差最小化来训练所述记忆模块;在第三训练阶段,解冻所述网络主干并且开启所述记忆模块的门控,通过对训练数据施加词元丢弃策略来训练所述网络主干;在第四训练阶段,通过使用动态门控退火策略训练所述记忆模块的门控参数,以使门控参数从强制开启状态平滑过渡为基于语义相关的自适应决策状态;在第五训练阶段,通过使用训练数据集对所述网络主干和所述记忆模块进行全量协同训练。

23、在示例实施例中,所述通过使用训练数据集对所述网络主干和所述记忆模块进行全量协同训练,可包括:将标注的指令问答对数据输入到所述神经网络,得到输出结果;基于所述输出结果确定语言建模损失和门控判别损失;通过联合所述语言建模损失和所述门控判别损失,对所述神经网络的参数进行调整。

24、根据一个或更多个示例实施例,提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时,实现根据一个或更多个示例实施例的存储方法。

25、根据一个或更多个示例实施例,提供一种电子设备,包括:至少一个处理器;至少一个存储器,存储有计算机程序,当所述计算机程序被所述至少一个处理器执行时,实现根据一个或更多个示例实施例的存储方法。

26、根据一个或更多个示例实施例,提供一种计算机程序产品,该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据一个或更多个示例实施例的存储方法。

27、根据本公开的实施例的存储方法及装置、电子设备、存储介质和计算机程序产品,通过将形态学还原任务从神经网络中剥离,利用外部词汇存储库实现注意力头解放,从而既能精确修复词元碎片、又能有效解耦记忆负载,并且可提升神经网络的推理能力。

28、将在接下来的描述中部分阐述本公开总体构思另外的方面和/或优点,还有一部分通过描述将是清楚的,或者可以经过本公开总体构思的实施而得知。