一种电商客服大模型的长短期记忆融合调取方法、介质及系统

摘要: 本发明属于大模型记忆,具体而言,涉及一种电商客服大模型的长短期记忆融合调取方法、介质及系统。背景技术:1、电商客服大模型领域,现有技术通常采用标准自注意力机制与...
一种电商客服大模型的长短期记忆融合调取方法、介质及系统

本发明属于大模型记忆,具体而言,涉及一种电商客服大模型的长短期记忆融合调取方法、介质及系统。

背景技术:

1、电商客服大模型领域,现有技术通常采用标准自注意力机制与线性链条件随机场对对话上下文进行建模,以全局密集注意力矩阵捕获上下文依赖关系,并以相邻节点势函数约束记忆调取序列。在多轮对话场景下,上述方法已在单轮或低并发工况中得到广泛应用,能够基本满足短上下文的语义理解需求。然而,在高并发流式电商客服场景下,由于用户长期购买偏好特征与当前会话短期意图特征在同一高维特征空间中共存,两类异构特征之间存在分量叠加干扰,标准自注意力机制无法对两者进行空间解耦,导致注意力权重在长短期特征之间分配混乱;同时,线性链条件随机场仅能建模相邻节点约束,无法刻画跨会话长跨度记忆节点之间的协同关系,在超长上下文与高并发请求同时出现时,记忆调取路径趋向局部最优而非全局最优。也就是说,现有技术中存在电商客服大模型在高并发流式对话场景下长短期记忆异构特征相互干扰导致记忆调取路径混乱的技术问题。

技术实现思路

1、有鉴于此,本发明提供一种电商客服大模型的长短期记忆融合调取方法、介质及系统,能够解决现有技术中存在电商客服大模型在高并发流式对话场景下长短期记忆异构特征相互干扰导致记忆调取路径混乱的技术问题。

2、本发明是这样实现的:本发明第一方面提供一种电商客服大模型的长短期记忆融合调取方法,包括以下步骤:

3、对电商客服对话流进行预处理,构建基于拓扑疏密度的自适应稀疏注意力掩码,利用局部近邻特征与全局关键节点动态连接,将注意力计算复杂度降至线性级别;

4、引入正交空间投影矩阵,将超长上下文划分为不变长期语义基底与瞬态短期意图向量,实现异构数据的空间正交解耦,送入群体协同碰撞规避自组织融合模型进行特征调度;

5、设计基于流态自适应阈值的连续环形缓冲队列,将流式输入按熵值变化分割为定长张量块,实现内存无碎片化循环复用与并行批处理;

6、建立记忆痕迹衰减与拓扑节点激活联动机制,依据记忆显著性自适应阈值筛选记忆拓扑子图,调取显著性高于所述阈值的子图节点;

7、采用无锁化原子环形通道与无冲突自旋指针,结合前置语义特征哈希桶对多线程并发请求进行分流,实现长短期记忆数据的零阻塞并发读取;

8、将长期语义基底与瞬态短期意图向量融合后,以条件随机场高阶图流形扩展模型对融合记忆序列进行连续序列标注与最优记忆调取路径求解,输出电商客服最终响应。

9、其中,所述拓扑疏密度,具体是指对话图结构中节点连接边的密集程度,通过统计每个节点在上下文图中的有效连接边数与全局节点总数之比得到,比值范围为0至1,比值越大表示该节点连接越密集,比值越小表示越稀疏。

10、其中,所述自适应稀疏注意力掩码,具体是指依据拓扑疏密度动态生成的注意力权重筛选矩阵,对拓扑疏密度低于拓扑疏密度阈值的连接直接置零,仅保留局部近邻节点与全局关键节点之间的有效注意力路径,将标准自注意力机制的复杂度降低至乃至量级,其中为上下文序列长度。

11、其中,所述正交空间投影矩阵,具体是指满足列向量两两正交归一条件的线性变换矩阵,将原始高维特征空间分解为相互正交的子空间,使得不变长期语义基底与瞬态短期意图向量在数学上满足内积为零的正交约束。

12、其中,所述群体协同碰撞规避自组织融合模型,其输入层接收由正交空间投影矩阵分解后的不变长期语义基底与瞬态短期意图向量拼接而成的上下文特征向量;输入层之后连接粒子群编码层,粒子群编码层由多个独立的粒子群协同子网并行组成,子网间通过排斥算子与吸引算子进行节点间距感知与特征交互;粒子群编码层之后连接门控路由层,门控路由层采用无向图邻接矩阵表示各粒子子网之间的动态路由关系;门控路由层之后连接记忆融合层,记忆融合层通过多头交叉注意力机制将各子网输出的粒子轨迹特征与长期记忆拓扑子图节点特征进行融合;记忆融合层之后连接输出解码层。

13、其中,所述排斥算子依据粒子间欧氏距离动态施加特征分离惩罚,所述吸引算子依据语义相似度动态施加特征聚合奖励,两类算子的作用系数均由图拉普拉斯谱分解所得特征值动态分配,神经元之间的连接权重依照群体避障算法在每个前向传播步骤中按照粒子间距自适应重构。

14、其中,所述群体协同碰撞规避自组织融合模型引入记忆显著性自适应调节函数,以记忆节点激活频率、记忆节点衰减系数、当前并发请求数量与粒子聚集密度均值四项数据为输入,计算得到记忆调度压力值,依据的大小分级激活门控路由层的并行路由通道数量与粒子群编码层的活跃子网数量。

15、其中,所述门控路由层内嵌最短路径算法,以粒子群协同子网为节点、以粒子聚集密度为边权构建动态有向图,在每个前向传播步骤中以当前聚集密度最高的子网节点为源点,求解至各并行通道的最低密度路径,将待分散的数据流沿最低密度路径导入目标通道。

16、其中,所述流态自适应阈值,具体是指依据输入数据流的信息熵变化动态更新的分割阈值,当连续两个定长张量块之间的信息熵差值超过流态自适应阈值时,触发张量块边界切分;所述连续环形缓冲队列的定长张量块在模型前向传播完成后由内存池统一回收,按照先入先出顺序循环复用。

17、其中,所述记忆痕迹衰减,具体是指记忆节点的激活权重随时间步推移按照指数衰减函数降低;所述记忆显著性自适应阈值,具体是指依据记忆节点激活频率与衰减系数联合计算得到的动态筛选边界,高于所述阈值的记忆拓扑子图节点被加载参与矩阵乘法运算,低于所述阈值的节点被跳过。

18、其中,所述无锁化原子环形通道,具体是指采用原子操作指令实现读写指针推进的环形数据通道;所述无冲突自旋指针,具体是指在读写冲突检测为假时直接推进、冲突检测为真时原地自旋重试的指针机制。

19、其中,所述前置语义特征哈希桶,具体是指在多线程请求进入读取队列之前,依据请求的语义特征向量哈希值将请求分流至不同存储桶,同一哈希桶内的请求由同一线程处理。

20、其中,所述条件随机场高阶图流形扩展模型,以图神经网络提取各轮对话语义状态的节点高维特征,以高阶势函数刻画长跨度记忆节点之间的协同约束关系,以连续态消息传递算法在图拓扑上进行能量最小化求解,输出最优记忆调取路径;所述高阶势函数刻画三阶及以上的多节点联合概率分布。

21、其中,所述连续态消息传递算法在图流形的黎曼几何结构上进行梯度流迭代,使能量函数沿流形切空间方向下降,精准定位最优记忆调取路径。

22、其中,所述拓扑疏密度阈值的参考范围为0.1至0.4,最优取值通过在包含10万条以上电商客服历史对话数据的验证集上进行不少于20轮实验确定;所述流态自适应阈值的参考范围为0.05至0.20;所述记忆显著性自适应调节函数的量纲统一系数、、、通过在验证集上进行不少于20轮实验确定;记忆调度压力值的分级边界值为0.3、0.6和0.85,通过在并发压测环境下进行不少于20轮压测实验后统计分析确定。

23、本发明第二方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有程序指令,所述程序指令在计算机中运行时,用于执行上述的一种电商客服大模型的长短期记忆融合调取方法。

24、本发明第三方面提供一种电商客服大模型的长短期记忆融合调取系统,包含上述的计算机可读存储介质,所述的系统为计算机,所述计算机可读存储介质设置在所述系统内,所述系统内设置有执行所述计算机可读存储介质内存储的程序指令的微处理器。

25、本发明通过引入正交空间投影矩阵将长期语义基底与瞬态短期意图向量投影至相互正交的子空间,消除两类异构特征在高维空间中的分量叠加干扰,并结合群体协同碰撞规避自组织融合模型的排斥算子与吸引算子在特征融合过程中维持特征空间的拓扑清晰性,进而以条件随机场高阶图流形扩展模型在全局概率框架下对记忆调取路径进行高阶势函数约束求解,解决了长短期记忆异构特征相互干扰导致记忆调取路径混乱的技术问题。正交投影从根源上阻断了异构特征的空间叠加,融合模型在特征层面保持拓扑清晰,高阶图流形模型在路径层面实现全局一致约束,三者形成从特征解耦到路径求解的完整技术链路。综上所述,本发明解决了背景技术中提到的电商客服大模型在高并发流式对话场景下长短期记忆异构特征相互干扰导致记忆调取路径混乱的技术问题。