面向智简网络的异构模型协同管理方法
本技术涉及6g通信网络,尤其涉及一种面向智简网络的异构模型协同管理方法。
背景技术:
1、随着计算能力与通信网络的深度融合,内生智能已成为6g网络的重要特征。面向未来6g多样化和差异化的应用需求,“智简网络”作为一种全新的通信范式,从语义角度引入人工智能方法,形成了面向应用的语义模型集。在分布式的智简网络中,信息语义的提取和应用紧密相关,不同子网和应用场景往往部署了架构各异的语义模型(如异构大语言模型)。这引发了全新的模型集管理与跨子网协同功能需求。在构建高效支撑6g多样化应用的分布式智简网络时,面临着“异构网络资源分布式演进与高效适配”的巨大挑战。
2、在智简网络的多目标驱动与跨子网协作场景中,系统亟需解决分布式异构语义模型之间的状态同步与协同管理难题。为了充分利用不同语义模型在参数规模或专有知识上的差异,网络通常需要将同一长文本意图动态流转至多个节点进行接力处理。然而,现有的上下文流转往往依赖于原始文本的重复传递,这就要求各异构模型接收后独立执行全量预填充计算,并在各自的显存空间中维护独立的键值缓存。这种冗余的计算模式不仅引发了显存瓶颈,还显著拉高了跨网通信的端到端时延,违背了智简网络算网协同、极简高效的初衷。
3、现有的状态复用技术主要应用在同构节点间,在异构物理架构的处理上存在明显乏力。一是现有机制强依赖于各节点在分词序列长度、张量维度及位置编码等底层网络拓扑上的严格对齐,未能打破不同子网模型的异构壁垒;二是缺乏针对跨架构语义流形差异的非线性映射机制,直接将源节点的中间状态强行强行跨网注入目标模型,极易导致语义通信解码失真与深层激活漂移,难以满足智简网络对分布式算力高保真评价调度的实际需求。
技术实现思路
1、鉴于此,本技术实施例提供了一种面向智简网络的异构模型协同管理方法,以消除或改善现有技术中存在的一个或更多个缺陷。
2、本技术的一个方面提供了一种面向智简网络的异构模型协同管理方法,该方法包括以下步骤:
3、基于获取的针对智简网络的跨模型协同推理请求,从预设的缓存管理系统中捕获源模型针对当前输入长文本上下文已生成的前k层网络的键值缓存与第k层网络的隐藏状态特征,k为大于1的正整数;
4、将所述前k层网络的键值缓存与所述第k层网络的隐藏状态特征输入预设的异构特征转换器,以使所述异构特征转换器对所述前k层网络的键值缓存与所述第k层网络的隐藏状态特征进行非线性映射处理,得到对应的张量物理维度与语义表示空间均兼容于目标模型的目标前k层网络的键值缓存与目标第k层网络的隐藏状态特征;
5、将所述目标前k层的键值缓存注入所述目标模型的显存池,并将所述目标第k层网络的隐藏状态特征输入所述目标模型的第k+1层网络,以使所述目标模型对所述当前输入长文本上下文进行第k+1层至第n层的局部预填充计算,生成第k+1层至第n层网络的原生键值缓存,并将所述第k+1层至第n层网络的原生键值缓存与所述目标前k层网络的键值缓存进行拼接,得到全局上下文键值缓存,以使得所述目标模型对所述全局上下文键值缓存进行解码,生成并输出对应的目标专有文本,n为大于或者等于k+1的正整数。
6、在本技术的一些实施例中,所述基于获取到的跨模型协同推理请求,从预设的缓存管理系统中捕获源模型针对当前长文本上下文已生成的前k层网络的键值缓存与第k层网络的隐藏状态特征,包括:
7、监听跨模型协同推理分发请求,检索所述当前输入长文本上下文在所述缓存管理系统中的历史计算状态;
8、若检测到所述当前输入长文本的历史记录,则从所述缓存管理系统中读取所述源模型针对当前输入长文本上下文已生成的前k层网络的键值缓存;以及读取在设定的跨模型第k层网络的输出并经系统显式固化保存的所述第k层网络的隐藏状态特征。
9、在本技术的一些实施例中,所述对所述前k层网络的键值缓存与所述第k层网络的隐藏状态特征进行非线性映射处理,得到对应的张量物理维度与语义表示空间均兼容于目标模型的目标前k层网络的键值缓存与目标第k层网络的隐藏状态特征,包括:
10、对所述前k层网络的键值缓存进行逆向旋转位置编码,得到对应的编码语义特征;
11、对所述编码语义特征和所述第k层网络的隐藏状态特征分别进行序列长度维度对齐,得到对齐后的张量;
12、基于预设的非线性多层感知机,对所述对齐后的张量进行维度映射,并根据预设的非线性激活函数进行隐空间流形重塑,得到所述目标前k层网络的键值缓存与所述目标第k层网络的隐藏状态特征。
13、在本技术的一些实施例中,所述序列长度维度对齐的方式包括:利用字符级偏移映射确定词元边界、调用动态时间规整算法生成稀疏映射表并执行池化,或者利用预训练对齐网络学习异构词元间的对应规律。
14、在本技术的一些实施例中,所述非线性多层感知机包括:
15、第一线性投影层,用于对所述对齐后的张量的通道维度变换至高维度;
16、非线性激活函数层,用于刻画隐空间流形非线性扭曲特性;
17、第二线性投影层,用于将所述对齐后的张量的通道维度压缩至所述目标模型的隐藏层通道维度。
18、在本技术的一些实施例中,所述非线性激活函数包括swiglu(基于swish函数的门控线性单元)、gelu(高斯误差线性单元)以及relu(修正线性单元)。
19、在本技术的一些实施例中,所述对所述当前输入长文本上下文进行第k+1层至第n层的局部预填充计算,生成第k+1层至第n层网络的原生键值缓存,并将所述第k+1层至第n层网络的原生键值缓存与所述目标前k层网络的键值缓存进行拼接,得到全局上下文键值缓存,包括:
20、使所述目标模型执行第k+1层至第n层的局部预填充计算,生成并补全所述第k+1层至第n层网络的原生键值缓存;
21、将所述第k+1层至第n层网络的原生键值缓存与所述目标前k层网络的键值缓存进行矩阵特征拼接,得到全局上下文键值缓存。
22、在本技术的一些实施例中,所述执行第k+1层至第n层的局部预填充计算与将所述目标前k层网络的键值缓存写入目标显存池的传输,在时序上至少部分重叠,以利用硬件级的计算与通信重叠技术隐藏数据搬运延迟。
23、在本技术的一些实施例中,所述源模型与所述目标模型为分词表规模、隐藏层维度或位置编码范式不同的异构大语言模型。
24、本技术的另一方面提供了一种面向智简网络的异构模型协同管理系统,所述系统包括:
25、边界特征缓存与状态捕获模块,用于基于获取的针对智简网络的跨模型协同推理请求,从预设的缓存管理系统中捕获源模型针对当前输入长文本上下文已生成的前k层网络的键值缓存与第k层网络的隐藏状态特征;
26、异构特征非线性转换器模块,用于将所述前k层网络的键值缓存与所述第k层网络的隐藏状态特征输入预设的异构特征转换器,以使所述异构特征转换器对所述前k层网络的键值缓存与所述第k层网络的隐藏状态特征进行非线性映射处理,得到对应的张量物理维度与语义表示空间均兼容于目标模型的目标前k层网络的键值缓存与目标第k层网络的隐藏状态特征;
27、异步拼接与深层局部预填充模块,用于将所述目标前k层网络的键值缓存注入所述目标模型的显存池,并将所述目标第k层网络的隐藏状态特征输入所述目标模型的第k+1层网络,以使所述目标模型对所述当前输入长文本上下文进行第k+1层至第n层的局部预填充计算,生成第k+1层至第n层网络的原生键值缓存,并将所述第k+1层至第n层网络的原生键值缓存与所述目标前k层网络的键值缓存进行拼接,得到全局上下文键值缓存,以使得所述目标模型对所述全局上下文键值缓存进行解码,生成并输出对应的目标专有文本。
28、本技术的第三方面提供了一种电子设备,包括处理器和存储器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的面向智简网络的异构模型协同管理方法。
29、本技术的第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的面向智简网络的异构模型协同管理方法。
30、本技术的第五个方面提供了一种计算机程序产品,包含有计算机程序,该计算机程序被处理器执行时实现所述的面向智简网络的异构模型协同管理方法。
31、本技术的面向智简网络的异构模型协同管理方法,该方法包括以下步骤:基于获取的针对智简网络的跨模型协同推理请求,从预设的缓存管理系统中捕获源模型针对当前输入长文本上下文已生成的前k层网络的键值缓存与第k层网络的隐藏状态特征,k为大于1的正整数;将所述前k层网络的键值缓存与所述第k层网络的隐藏状态特征输入预设的异构特征转换器,以使所述异构特征转换器对所述前k层网络的键值缓存与所述第k层网络的隐藏状态特征进行非线性映射处理,得到对应的张量物理维度与语义表示空间均兼容于目标模型的目标前k层网络的键值缓存与目标第k层网络的隐藏状态特征;将所述目标前k层网络的键值缓存注入所述目标模型的显存池,并将所述目标第k层网络的隐藏状态特征输入所述目标模型的第k+1层网络,以使所述目标模型对所述当前输入长文本上下文进行第k+1层至第n层的局部预填充计算,生成第k+1层至第n层网络的原生键值缓存,并将所述第k+1层至第n层网络的原生键值缓存与所述目标前k层网络的键值缓存进行拼接,得到全局上下文键值缓存,以使得所述目标模型对所述全局上下文键值缓存进行解码,生成并输出对应的目标专有文本,n为大于或者等于k+1的正整数。能够在消除跨模型上下文交互时的预填充计算冗余、降低系统首字响应时间的同时,保障目标模型专有推理能力的稳定释放与高保真输出。
32、本技术的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本技术的实践而获知。本技术的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
33、本领域技术人员将会理解的是,能够用本技术实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本技术能够实现的上述和其他目的。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com