基于边缘节点的数据传输方法、装置、设备及存储介质
本公开涉及数据处理,尤其涉及一种基于边缘节点的数据传输方法、装置、设备及存储介质。
背景技术:
1、随着工业互联网与数字孪生技术的深度融合,移动边缘智能已经成为分布式大语言模型微调的关键架构。然而,在物理节点将梯度张量同步至中心节点的过程中,通常以最小时延的单一目标进行优化,无法同时满足大语言模型微调实时性与系统可靠备份的双重需求。
2、有鉴于此,如何同时满足大语言模型微调实时性与系统可靠备份成为亟待解决的技术问题。
技术实现思路
1、有鉴于此,本公开的目的在于提出一种基于边缘节点的数据传输方法、装置、设备及存储介质用以解决或部分解决上述技术问题。
2、基于上述目的,本公开的第一方面提出了一种基于边缘节点的数据传输方法,所述方法包括:
3、接收到物理设备的映射请求,从边缘节点集合中确定所述物理设备对应的物理节点,并将所述边缘节点集合中除所述物理节点之外的节点作为待选中心节点;
4、确定所述物理节点与所述待选中心节点之间传输路径的总时延,基于所述总时延从所述待选中心节点中确定目标中心节点;
5、从所述物理节点与所述目标中心节点之间的待选传输路径中确定目标传输路径,按照所述目标传输路径将所述物理节点的梯度张量传输至所述目标中心节点,并将所述目标中心节点的梯度运算结果返回至所述物理节点。
6、基于同一个发明构思,本公开的第二方面提出了一种基于边缘节点的数据传输装置,包括:
7、接收模块,被配置为接收到物理设备的映射请求,从边缘节点集合中确定所述物理设备对应的物理节点,并将所述边缘节点集合中除所述物理节点之外的节点作为待选中心节点;
8、第一确定模块,被配置为确定所述物理节点与所述待选中心节点之间传输路径的总时延,基于所述总时延从所述待选中心节点中确定目标中心节点;
9、第二确定模块,被配置为从所述物理节点与所述目标中心节点之间的待选传输路径中确定目标传输路径,按照所述目标传输路径将所述物理节点的梯度张量传输至所述目标中心节点,并将所述目标中心节点的梯度运算结果返回至所述物理节点。
10、基于同一发明构思,本公开的第三方面提出了一种电子设备,包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序,所述处理器在执行所述计算机程序时实现如上所述的方法。
11、基于同一发明构思,本公开的第四方面提出了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行如上所述的方法。
12、从上面所述可以看出,本公开提供的基于边缘节点的数据传输方法、装置、设备及存储介质。接收到物理设备的映射请求,从边缘节点集合中确定物理设备对应的物理节点,并将边缘节点集合中除物理节点之外的节点作为待选中心节点。确定物理节点与待选中心节点之间传输路径的总时延,基于总时延从待选中心节点中确定目标中心节点。这样,物理节点与待选中心节点之间建立有多跳传输路径,使梯度张量的同步不再依赖物理节点与目标中心节点之间的直接通信。从物理节点与目标中心节点之间的待选传输路径中确定目标传输路径,按照目标传输路径将物理节点的梯度张量传输至目标中心节点,并将目标中心节点的梯度运算结果返回至物理节点。这样,先基于总时延从待选中心节点中确定目标中心节点,再从物理节点与目标中心节点之间的待选传输路径中确定目标传输路径,实现了目标中心节点选择与目标传输路径选择的联合决策,能够同时满足大语言模型微调实时性与系统可靠备份的双重需求。
1.一种基于边缘节点的数据传输方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述确定所述物理节点与所述待选中心节点之间传输路径的总时延,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述梯度数据确定本地梯度数据量,包括:
4.根据权利要求2所述的方法,其特征在于,所述确定所述传输节点与所述相邻节点之间的传输时延,包括:
5.根据权利要求3所述的方法,其特征在于,所述根据所述中心频率和所述欧氏距离,确定所述传输节点与所述相邻节点之间的时变信道功率增益,包括:
6.根据权利要求1所述的方法,其特征在于,所述物理节点为多个;
7.根据权利要求1所述的方法,其特征在于,所述物理节点与所述目标中心节点之间包括多条待选传输路径;
8.一种基于边缘节点的数据传输装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行权利要求1至7任意一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com