用于分布式图学习架构的数据存取方法及装置与流程

技术特征：
1.一种用于分布式图学习架构的数据存取方法，所述数据存取方法由所述分布式图学习架构的具有镜像节点的第一图学习设备执行，所述数据存取方法包括：对所述第一图学习设备处的图节点进行节点分组，得到多个具有优先级的图节点分组，所述图节点分组的优先级基于图节点依赖关系确定，所述图节点依赖关系用于反映图节点在图学习时相对于镜像节点的依赖性；基于所述图节点依赖关系，确定各个图节点分组所依赖的镜像节点；根据所述图节点分组的优先级，从所述第一图学习设备的公共缓冲区中为各个图节点分组所依赖的镜像节点分配缓存空间；针对完成缓存空间分配的图节点，向该图节点所依赖的镜像节点的对应图节点所在的第二图学习设备发起数据存取过程；以及将响应于所述数据存取过程而返回的图节点数据缓存在所分配的缓存空间中。2.如权利要求1所述的数据存取方法，其中，对所述第一图学习设备处的图节点进行节点分组，得到多个具有优先级的图节点分组包括：基于图节点依赖关系对所述第一图学习设备处的图节点进行排序；以及根据图节点排序结果对所述第一图学习设备处的图节点进行节点分组，得到多个具有优先级的图节点分组。3.如权利要求1所述的数据存取方法，其中，针对完成缓存空间分配的图节点，向该图节点所依赖的镜像节点的对应图节点所在的第二图学习设备发起数据存取过程包括：针对完成缓存空间分配的图节点分组，向该图节点分组所依赖的镜像节点的对应图节点所在的第二图学习设备发起数据存取过程。4.如权利要求1所述的数据存取方法，其中，所述图节点依赖关系在对所述分布式图学习架构的图节点数据进行图分区时生成。5.如权利要求2所述的数据存取方法，其中，各个图节点分组具有可配置的分组大小。6.如权利要求5所述的数据存取方法，其中，在根据图节点排序结果对所述第一图学习设备处的图节点进行节点分组时，如果具有相同依赖镜像节点的至少两个图节点可被分组到同一图节点分组中，则将所述至少两个图节点分组到同一图节点分组。7.如权利要求2所述的数据存取方法，其中，基于图节点依赖关系对所述第一图学习设备处的图节点进行排序包括：基于图节点依赖关系，确定所述第一图学习设备处的各个图节点所依赖的镜像节点的节点数目；以及根据各个图节点所依赖的镜像节点的节点数目，对所述第一图学习设备处的图节点进行排序。8.如权利要求7所述的数据存取方法，其中，所具有的镜像节点的节点数目相同的图节点具有相同的排序，在根据图节点排序结果对所述第一图学习设备处的图节点进行节点分组时，针对具有相同排序的图节点，根据所依赖的镜像节点中属于已分组图节点分组的镜像节点的数目确定图节点的分组优先级。9.如权利要求1所述的数据存取方法，其中，根据所述图节点分组的优先级，从所述第一图学习设备的公共缓冲区中为各个图节点分组所依赖的镜像节点分配缓存空间包括：
针对各个图节点分组，检查该图节点分组所依赖的镜像节点是否被分配缓存空间；以及对于未分配缓存空间的镜像节点，从所述第一图学习设备的公共缓冲区中为该镜像节点分配缓存空间。10.如权利要求3所述的数据存取方法，其中，针对完成缓存空间分配的图节点分组，向该图节点分组所依赖的镜像节点的对应图节点所在的第二图学习设备发起数据存取过程包括：针对完成缓存空间分配的图节点分组，检查该图节点分组所依赖的各个镜像节点的缓存空间是否缓存有图节点数据；以及对于未缓存有图节点数据的镜像节点，向该镜像节点的对应图节点所在的第二图学习设备发起数据存取过程。11.如权利要求3所述的数据存取方法，还包括：响应于所述第一图学习设备完成图节点分组的各个图节点的图学习训练，释放为该图节点分组所依赖的所有镜像节点分配的缓存空间。12.如权利要求3所述的数据存取方法，还包括：响应于所述第一图学习设备完成图节点分组的各个图节点的图学习训练，根据所述图节点依赖关系确定该图节点分组所依赖的镜像节点中是否存在未依赖镜像节点，所述未依赖镜像节点包括未被图学习过程未完成的图节点分组依赖的镜像节点；以及在该图节点分组所依赖的镜像节点中存在未依赖镜像节点时，释放为所述未依赖镜像节点分配的缓存空间。13.如权利要求1所述的数据存取方法，其中，所述分布式图学习架构的图学习过程是分层迭代学习过程，所述镜像节点的缓存空间分配步骤、所述数据存取过程的发起步骤以及所述图节点数据的缓存步骤被循环执行，直到所述分层迭代学习过程完成。14.一种用于分布式图学习架构的数据存取装置，所述数据存取装置应用于所述分布式图学习架构的具有镜像节点的第一图学习设备，所述数据存取装置包括：节点分组单元，对所述第一图学习设备处的图节点进行节点分组，得到多个具有优先级的图节点分组，所述图节点分组的优先级基于图节点依赖关系确定，所述图节点依赖关系用于反映图节点在图学习时相对于镜像节点的依赖性；镜像节点确定单元，基于所述图节点依赖关系，确定各个图节点分组所依赖的镜像节点；缓存空间分配单元，根据所述图节点分组的优先级，从所述第一图学习设备的公共缓冲区中为各个图节点分组所依赖的镜像节点分配缓存空间；数据存取单元，针对完成缓存空间分配的图节点，向该图节点所依赖的镜像节点的对应图节点所在的第二图学习设备发起数据存取过程；以及数据缓存单元，将响应于所述数据存取过程而返回的图节点数据缓存在所分配的缓存空间中。15.如权利要求14所述的数据存取装置，还包括：图节点排序单元，基于所述图节点依赖关系对所述第一图学习设备处的图节点进行排序，
所述节点分组单元根据所述图节点排序单元的图节点排序结果对所述第一图学习设备处的图节点进行节点分组，得到多个具有优先级的图节点分组。16.如权利要求14所述的数据存取装置，其中，所述数据存取单元针对完成缓存空间分配的图节点分组，向该图节点分组所依赖的镜像节点的对应图节点所在的第二图学习设备发起数据存取过程。17.如权利要求14所述的数据存取装置，还包括：依赖关系存储单元，存储在对所述分布式图学习架构的图节点数据进行图分区时生成的图节点依赖关系。18.如权利要求15所述的数据存取装置，其中，在根据图节点排序结果对所述第一图学习设备处的图节点进行节点分组时，如果具有相同依赖镜像节点的至少两个图节点可被分组到同一图节点分组中，则所述节点分组单元将所述至少两个图节点分组到同一图节点分组。19.如权利要求15所述的数据存取装置，其中，所述图节点排序单元包括：镜像节点数目确定模块，基于图节点依赖关系，确定所述第一图学习设备处的各个图节点所依赖的镜像节点的节点数目；以及图节点排序模块，根据各个图节点所依赖的镜像节点的节点数目，对所述第一图学习设备处的图节点进行排序。20.如权利要求19所述的数据存取装置，其中，所具有的镜像节点的节点数目相同的图节点具有相同的排序，在根据图节点排序结果对所述第一图学习设备处的图节点进行节点分组时，针对具有相同排序的图节点，所述节点分组单元根据所依赖的镜像节点中属于已分组图节点分组的镜像节点的数目确定图节点的分组优先级，并根据图节点的分组优先级进行节点分组。21.如权利要求14所述的数据存取装置，其中，所述缓存空间分配单元包括：缓存空间分配检查模块，针对各个图节点分组，检查该图节点分组所依赖的镜像节点是否被分配缓存空间；以及缓存空间分配模块，对于未分配缓存空间的镜像节点，从所述第一图学习设备的公共缓冲区中为该镜像节点分配缓存空间。22.如权利要求16所述的数据存取装置，其中，所述数据存取单元包括：数据缓存检查模块，检查该图节点分组所依赖的各个镜像节点的缓存空间是否缓存有图节点数据；以及数据存取模块，对于未缓存有图节点数据的镜像节点，向该镜像节点的对应图节点所在的第二图学习设备发起数据存取过程。23.如权利要求16所述的数据存取装置，还包括：缓存空间释放单元，响应于所述第一图学习设备完成图节点分组的各个图节点的图学习训练，释放为该图节点分组所依赖的所有镜像节点分配的缓存空间。24.如权利要求16所述的数据存取装置，还包括：未依赖镜像节点检查单元，响应于所述第一图学习设备完成图节点分组的各个图节点的图学习训练，根据所述图节点依赖关系确定该图节点分组所依赖的镜像节点中是否存在未依赖镜像节点，所述未依赖镜像节点包括未被图学习过程未完成的图节点分组依赖的镜
像节点；以及缓存空间释放单元，在该图节点分组所依赖的镜像节点中存在未依赖镜像节点时，释放为所述未依赖镜像节点分配的缓存空间。25.一种用于分布式图学习架构的数据存取装置，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器中的计算机程序，所述至少一个处理器执行所述计算机程序来实现如权利要求1到13中任一所述的用于分布式图学习架构的数据存取方法。26.一种计算机可读存储介质，其存储有可执行指令，所述指令当被执行时使得处理器执行如权利要求1到13中任一所述的用于分布式图学习架构的数据存取方法。27.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行来实现如权利要求1到13中任一所述的用于分布式图学习架构的数据存取方法。

技术总结
本说明书的实施例提供用于分布式图学习架构的数据存取方法及装置。在该数据存取方法中，将第一图学习设备处的图节点分组为多个具有优先级的图节点分组，各个图节点分组的优先级基于图节点依赖关系确定，图节点依赖关系用于反映图节点在图学习时相对于镜像节点的依赖性。基于图节点依赖关系，确定各个图节点分组所依赖的镜像节点；并根据图节点分组的优先级，从第一图学习设备的公共缓冲区中为各个图节点分组所依赖的镜像节点分配缓存空间。针对完成缓存空间分配的图节点，向该图节点所依赖的镜像节点的对应图节点所在的第二图学习设备发起数据存取过程；以及将所获取的图节点数据缓存在所分配的缓存空间中。据缓存在所分配的缓存空间中。据缓存在所分配的缓存空间中。


技术研发人员：郭志强
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2021.09.17
技术公布日：2021/10/28