数据处理方法、装置、计算机可读介质及电子设备与流程

技术特征：
1.一种数据处理方法，其特征在于，所述方法包括：获取用于表示多个交互对象之间的交互关系的关系图网络，所述关系图网络包括用于表示交互对象的节点和用于表示交互关系的边；通过包括多个计算设备的设备集群对所述关系图网络进行核心度挖掘，以迭代更新所述关系图网络中的全部节点或者部分节点的节点核心度；根据所述节点核心度对所述关系图网络进行剪枝处理，以移除所述关系图网络中的部分节点和边；当所述关系图网络的网络规模满足预设的网络压缩条件时，对所述设备集群进行压缩处理以移除所述设备集群中的部分计算设备。2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述设备集群进行压缩处理以移除所述设备集群中的部分计算设备，包括：在所述设备集群中选取一个计算设备作为对所述关系图模型进行单机计算的目标节点，并从所述设备集群中移除除所述目标节点以外的其他计算设备。3.根据权利要求1所述的数据处理方法，其特征在于，所述通过包括多个计算设备的设备集群对所述关系图网络进行核心度挖掘，以迭代更新所述关系图网络中的各个节点的节点核心度，包括：对所述关系图网络进行分割处理，得到由所述关系图网络中的部分节点和边组成的分区图网络；将所述分区图网络分配至包括多个计算设备的设备集群，以确定用于对所述分区图网络进行核心度挖掘的计算设备；对所述分区图网络进行核心度挖掘，以迭代更新所述关系图网络中的各个节点的节点核心度。4.根据权利要求3所述的数据处理方法，其特征在于，所述对所述分区图网络进行核心度挖掘，以迭代更新所述关系图网络中的各个节点的节点核心度，包括：在所述分区图网络中选取在当前迭代轮次中进行核心度挖掘的计算节点，并确定与所述计算节点具有邻接关系的邻居节点；获取所述计算节点以及所述邻居节点在当前迭代轮次中的当前节点核心度；根据所述邻居节点的当前节点核心度确定所述计算节点的临时节点核心度，并将所述临时节点核心度小于当前节点核心度的计算节点标记为活跃节点；根据所述临时节点核心度更新所述活跃节点的当前节点核心度，并将所述活跃节点以及与所述活跃节点具有邻接关系的邻居节点确定为在下一迭代轮次中进行核心度挖掘的计算节点。5.根据权利要求4所述的数据处理方法，其特征在于，所述根据所述邻居节点的当前节点核心度确定所述计算节点的临时节点核心度，包括：根据所述邻居节点的当前节点核心度确定所述计算节点的h指数，并将所述h指数作为所述计算节点的临时节点核心度，所述h指数表示在所述计算节点的所有邻居节点中至多包括h个邻居节点的当前节点核心度大于或等于h。6.根据权利要求5所述的数据处理方法，其特征在于，所述根据所述邻居节点的当前节点核心度确定所述计算节点的h指数，包括：
按照所述当前节点核心度由高到低的顺序对所述计算节点的所有邻居节点进行排序，并为各个所述邻居节点分配以0起始的排列序号；分别比较各个邻居节点的排列序号和当前节点核心度，以根据比较结果筛选排列序号大于或等于当前节点核心度的邻居节点；在筛选出的邻居节点中，将排列序号最小的邻居节点的当前节点核心度确定为所述计算节点的h指数。7.根据权利要求4所述的数据处理方法，其特征在于，所述在所述分区图网络中选取在当前迭代轮次中进行核心度挖掘的计算节点，包括：从第一存储空间中读取待更新节点的节点标识，所述待更新节点包括在前一迭代轮次中更新节点核心度的活跃节点以及与所述活跃节点具有邻接关系的邻居节点；根据所述待更新节点的节点标识在所述分区图网络中选取在当前迭代轮次中进行核心度挖掘的计算节点。8.根据权利要求7所述的数据处理方法，其特征在于，在根据所述临时节点核心度更新所述活跃节点的当前节点核心度之后，所述方法还包括：将更新后的所述活跃节点的当前节点核心度写入第二存储空间，所述第二存储空间用于存储所述关系图网络中的所有节点的节点核心度；获取所述活跃节点以及所述活跃节点的邻居节点的节点标识，并将所述节点标识写入第三存储空间，所述第三存储空间用于存储下一迭代轮次中进行核心度挖掘的计算节点；在当前迭代轮次中完成所有分区图网络的核心的挖掘后，将所述第三存储空间覆盖第一存储空间中的数据并重置所述第三存储空间。9.根据权利要求4所述的数据处理方法，其特征在于，所述获取所述计算节点以及所述邻居节点在当前迭代轮次中的当前节点核心度，包括：从第二存储空间中读取所述计算节点以及所述邻居节点在当前迭代轮次中的当前节点核心度，所述第二存储空间用于存储所述关系图网络中的所有节点的节点核心度。10.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述节点核心度对所述关系图网络进行剪枝处理，以移除所述关系图网络中的部分节点和边，包括：获取在当前迭代轮次中的活跃节点的最小核心度以及在前一迭代轮次中的活跃节点的最小核心度；若所述当前迭代轮次中的活跃节点的最小核心度大于所述前一迭代轮次中的活跃节点的最小核心度，则根据所述前一迭代轮次中的活跃节点的最小核心度筛选所述关系图网络中的收敛节点，所述收敛节点是节点核心度小于或等于所述前一迭代轮次中的活跃节点的最小核心度的节点；从所述关系图网络中移除所述收敛节点以及与所述收敛节点相连的边。11.根据权利要求1所述的数据处理方法，其特征在于，所述网络压缩条件包括所述关系图网络中的边的数量小于预设的数量阈值。12.根据权利要求1所述的数据处理方法，其特征在于，在通过包括多个计算设备的设备集群对所述关系图网络进行核心度挖掘之前，所述方法还包括：在所述关系图网络中，分别获取与各个节点具有邻接关系的邻居节点的节点数量；根据所述节点数量对所述各个节点的节点核心度进行初始化。
13.一种数据处理装置，其特征在于，包括：图网络获取模块，被配置为获取用于表示多个交互对象之间的交互关系的关系图网络，所述关系图网络包括用于表示交互对象的节点和用于表示交互关系的边；核心度挖掘模块，被配置为通过包括多个计算设备的设备集群对所述关系图网络进行核心度挖掘，以迭代更新所述关系图网络中的全部节点或者部分节点的节点核心度；网络剪枝模块，被配置为根据所述节点核心度对所述关系图网络进行剪枝处理，以移除所述关系图网络中的部分节点和边；集群压缩模块，被配置为当所述关系图网络的网络规模满足预设的网络压缩条件时，对所述设备集群进行压缩处理以移除所述设备集群中的部分计算设备。14.一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至12中任意一项所述的数据处理方法。15.一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至12中任意一项所述的数据处理方法。

技术总结
本申请属于人工智能技术领域，具体涉及一种数据处理方法、数据处理装置、计算机可读介质以及电子设备。该方法包括：获取用于表示多个交互对象之间的交互关系的关系图网络，所述关系图网络包括用于表示交互对象的节点和用于表示交互关系的边；通过包括多个计算设备的设备集群对所述关系图网络进行核心度挖掘，以迭代更新所述关系图网络中的全部节点或者部分节点的节点核心度；根据所述节点核心度对所述关系图网络进行剪枝处理，以移除所述关系图网络中的部分节点和边；当所述关系图网络的网络规模满足预设的网络压缩条件时，对所述设备集群进行压缩处理以移除所述设备集群中的部分计算设备。该方法可以降低计算资源的消耗并提高数据处理效率。提高数据处理效率。提高数据处理效率。


技术研发人员：李晓森 许杰 欧阳文 陶阳宇 肖品
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2020.12.31
技术公布日：2021/10/18