业务处理方法、装置和电子设备【
技术领域：
：】1.本说明书实施例涉及互联网
技术领域：
：，尤其涉及一种业务处理方法、装置和电子设备。
背景技术：
：：2.图神经网络(graphneraulnetwork，gnn)是一种神经网络。gnn不仅使用了样本自身的特征信息，还使用了样本与样本之间的关系，gnn面向的是复杂且具有一般意义的图数据结构。图神经网络的训练和预测由图神经网络系统支持，图神经网络系统是一个分布式的图计算引擎，训练的策略包含：全批次(full‑batch)训练和/或小批次(mini‑batch)训练等。在应用这些训练策略的时候，由于具体模型的区别(例如：有的模型只需要访问点的一度邻居，有的需要访问多度)，或者训练样本中点的类型区别(例如：训练图中只有部分是含有标签的点，其他则是提供数据的点)，或者其他原因，导致每次训练，发生在每个点或者边上的计算量是不同的。举例如：针对某3层模型，带标签的点需要进行完整的3层计算；标签点的一度邻居需要进行2层计算，而标签点的二度邻居只需要提供原始特征，不需要进行任何计算。3.对于这种情况，现有相关技术中并没有什么手段能进行快速而有效的区分，而是每个点都进行全量计算，或者采用一些其他影响性能的方法来判断计算量。这会对模型的训练速度造成较大的影响。技术实现要素：4.本说明书实施例提供了一种业务处理方法、装置和电子设备，以实现通过激活点集确定当前需要进行计算的点，消除冗余计算，提升图神经网络模型的处理速度。5.第一方面，本说明书实施例提供一种业务处理方法，包括：获取数据和图神经网络模型中当前待计算的算子；其中，所述数据包括标签点、所述标签点的邻居节点，以及所述标签点和所述邻居节点之间的连接关系；获取所述算子对应的激活点集；根据所述激活点集，确定所述数据中当前需要进行计算的点；根据所述算子，对当前需要进行计算的点进行计算；根据计算结果对业务进行处理。6.上述业务处理方法中，获取数据和图神经网络模型中当前待计算的算子，获取上述算子对应的激活点集，根据上述激活点集，确定上述数据中当前需要进行计算的点，然后，根据上述算子，对当前需要进行计算的点进行计算。从而可以通过激活点集确定当前需要进行计算的点，消除冗余计算，提升图神经网络模型的处理速度。7.其中一种可能的实现方式中，所述获取所述算子对应的激活点集包括：根据所述算子的名称进行索引，获取所述算子对应的激活点集；或者，根据所述算子所在的层级进行索引，获取所述算子对应的激活点集。8.其中一种可能的实现方式中，所述激活点集的数据结构为比特集，所述比特集中的每个比特位对应数据中的一个点；所述根据所述激活点集，确定所述数据中当前需要进行计算的点包括：获取所述比特集中的每个比特位的值；当所述比特位的值为预定值时，确定所述比特位对应的点为当前需要进行计算的点。9.其中一种可能的实现方式中，所述获取所述算子对应的激活点集之前，还包括：获取图神经网络模型的网络结构和数据；根据所述网络结构，获得所述图神经网络模型的各算子之间的数据依赖关系；根据所述数据依赖关系，生成数据流动图；根据所述数据和所述数据流动图，分别生成与所述图神经网络模型的每个层级或每个算子对应的激活点集。10.第二方面，本说明书实施例提供一种业务处理装置，包括：获取模块，用于获取数据和图神经网络模型中当前待计算的算子；其中，所述数据包括标签点、所述标签点的邻居节点，以及所述标签点和所述邻居节点之间的连接关系；以及获取所述算子对应的激活点集；构图模块，用于根据所述激活点集，确定所述数据中当前需要进行计算的点；计算模块，用于根据所述算子，对当前需要进行计算的点进行计算；处理模块，用于根据计算结果对业务进行处理。11.其中一种可能的实现方式中，所述获取模块，具体用于根据所述算子的名称进行索引，获取所述算子对应的激活点集；或者，根据所述算子所在的层级进行索引，获取所述算子对应的激活点集。12.其中一种可能的实现方式中，所述激活点集的数据结构为比特集，所述比特集中的每个比特位对应数据中的一个点；所述构图模块，具体用于获取所述比特集中的每个比特位的值，当所述比特位的值为预定值时，确定所述比特位对应的点为当前需要进行计算的点。13.其中一种可能的实现方式中，所述装置还包括：生成模块；所述获取模块，还用于在获取所述算子对应的激活点集之前，获取图神经网络模型的网络结构和数据；以及根据所述网络结构，获得所述图神经网络模型的各算子之间的数据依赖关系；所述生成模块，用于根据所述数据依赖关系，生成数据流动图；以及根据所述数据和所述数据流动图，分别生成与所述图神经网络模型的每个层级或每个算子对应的激活点集。14.第三方面，本说明书实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面提供的方法。15.第四方面，本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的方法。16.应当理解的是，本说明书实施例的第二～四方面与本说明书实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。【附图说明】17.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。18.图1为本说明书一个实施例提供的图拓扑示意图；19.图2为本说明书一个实施例提供的数据流动图；20.图3为本说明书一个实施例提供的多层激活点集的示意图；21.图4为本说明书一个实施例提供的业务处理方法的流程图；22.图5为本说明书另一个实施例提供的业务处理方法的流程图；23.图6为本说明书再一个实施例提供的业务处理方法的流程图；24.图7为本说明书一个实施例提供的业务处理装置的结构示意图；25.图8为本说明书另一个实施例提供的业务处理装置的结构示意图；26.图9为本说明书一个实施例提供的电子设备的结构示意图。【具体实施方式】27.为了更好的理解本说明书的技术方案，下面结合附图对本说明书实施例进行详细描述。28.应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本说明书保护的范围。29.在本说明书实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。30.下面对本说明书实施例中提到的术语进行解释。31.1)图(graph)：由点集合和边集合(edgeset&nodeset)构成，点和边上可以有各种属性和特征。边集合中的每一条边都有唯一的出发点、唯一的到达点。出发点和到达点都是该图点集合的成员。32.2)人工神经网络(artificialneuralnetwork，ann)：简称神经网络(neuralnetwork，nn)或类神经网络，是当前人工智能领域的研究热点。ann是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。33.3)图神经网络(graphneuralnetwork，gnn)：图神经网络也是一种人工神经网络算法。gnn的训练数据是图，学习图上的拓扑信息和特征信息来做分类或者预测问题。例如根据用户的社交网络，资金网络等图数据，来预测一个用户的信用好坏，是否存在一些违约风险。34.4)图神经网络系统(graphneuralnetworksystem)：图神经网络系统是一个计算框架，或称之为计算引擎，图神经网络系统根据用户设计的模型和用户输入的数据，对图神经网络进行训练；或者，根据现有模型对未知数据进行预测。当前工业界的tensorflow和/或pytorch等可以很好的训练神经网络，但对图神经网络的支持并不友好。35.5)激活点集(activeset)：在图神经网络系统中，用来表示图中的点是否激活的一种数据结构。36.图相比于关系型数据具有更抽象和普遍的数据表达能力，现实生活中大量数据都可以构成图。比如每个用户作为点，用户之间的各种关系(包括好友关系、转账关系、亲属关系和/或同事关系等等)都可以作为边，从而将所有数据组织成为一张大图。当需要对这张图数据进行更多挖掘的时候，就会应用各种各样的图神经网络系统来进行计算。37.图神经网络已经成为了当前的研究热点，同时在工业界图神经网络也开始逐渐落地，例如：搜索推荐领域和/或风控领域等。当前业界仍然没有一种普适的，能处理超大规模图数据的神经网络训练和预测系统。鉴于图数据的特殊性，所有图神经网络系统都应该解决每个点上计算量不一致的问题。38.本说明书实施例采用了一种“多层激活点集”的数据结构，通过“多层激活点集”可以快速实现点和边的过滤，从而使得图神经网络能实现最小化计算，有效提升处理性能，帮助图神经网络实现产业化。39.图1为本说明书一个实施例提供的图拓扑示意图。参见图1，假设在这个图拓扑结构中，点1，2，3是带有标签的标签点。而点4，5，6，7，8都不带有标签，但是在对标签点的训练过程中，由于标签点需要获取邻居的数据，因此点4，5，6，7，8也需要参与计算。40.另外，假设运行在该图上的图神经网络模型是一个5层的模型，其中：第二层和第四层需要拿到邻居的表征或者特征进行计算(是否包含边表征或特征都可以)，其余层则不需要邻居信息，只需要自身信息计算。41.基于当前假设，可以得到图1中每个点的“计算量”，如图2所示，图2为本说明书一个实施例提供的数据流动图。42.图2中，横向表示图的扩展，其中第一列表示标签点，即训练的目标——target；第二列表示从target点出发，在图上沿着边扩展得到的一度邻居——1‑hop；第三列表示从target点在图上沿着边扩展得到的二度邻居，等同于从1‑hop点扩散的一度邻居，用2‑hop表示。43.竖向则代表图神经网络模型的计算方向，也是每个点上数据的流动方向。其中，input代表点或者点上的原始特征；layer1表示模型的第一层，在前向计算中，只需要拿input的数据进行计算；layer2表示模型的第二层，在前向计算中，需要结合自己第1层的特征(embedding)以及一度邻居即1‑hop的第1层embedding进行计算；layer3表示模型的第三层，在前向计算中，仅需要拿自己第2层的embedding进行计算；layer4表示模型的第四层，与layer2类似，需要结合自身以及一度邻居的embedding进行计算；layer5表示模型的第5层，与第1层类似，仅需要自己的数据进行计算。44.反向传播的时候计算沿着前向计算的反方向进行。45.注意：图2中没有加入边的数据，表示这个模型不需要用到边上的特征。但是本说明书实施例提供的方法同样适用于使用边特征的情况。46.图2中的矩形框表示每一层的算子，从图2中可以看出target点需要进行全量计算；1‑hop仅需要计算到layer3，因为layer4和layer5的结果即使算出来也没有用，属于冗余计算；而2‑hop仅需要计算到layer1。如果没有一种有效的机制来判断和过滤点，把所有点一视同仁，进行全量计算，那么会带来很多的冗余计算，极为影响图神经网络模型的性能。47.针对上述问题，现有相关技术中提供了一种方案：将每个点需要计算到第几层这个数据写到点的属性中，每次计算时根据该属性来判断这个点是否要进行当前计算。但是，这种方案有两个明显的缺点：48.1、需要将每个点算到第几层这个信息写到点的属性中，那么势必在前期构图的过程中遍历所有的点，并将该信息写入。遍历所有点是一个性能较差的行为，因为：1)如果所有数据存储在内存中，该操作会导致大量访存和缓存缺失(cachemiss)；2)如果图规模很大，是存储计算分离架构或者外存架构，那么每次都需要读磁盘/固态硬盘(solidstatedisk，ssd)/网络，其性能更差；49.2、在真正计算过程中，同样要遍历图中的所有点，来判断该点是否要进行计算。由于和第1点同样的原因，这也是一种性能很差的方式。50.注意：在计算过程中，会包含前向(forward)和后向(backward)两个阶段，两个阶段都需要解决冗余计算的问题。因此上述方案对性能的影响是分布在整个计算过程中的。51.本说明书实施例提出了一种业务处理方法，通过“多层激活点集”的数据结构来解决冗余计算的问题。52.图3为本说明书一个实施例提供的多层激活点集的示意图。图3左侧部分仍然是一个简单图神经网络中的计算量和数据流动的说明，右侧部分是本说明书实施例中提到的多层激活点集的一种图形化展示。53.多层激活点集是一个多层次的数据结构，其每一层是一个比特集(bitset)，比特集中每一位的值表示这个比特位对应的点的状态，值为1表示激活，值为0表示不激活。本说明书实施例中，比特集的组织方式可以包括数组、字典或链表等。54.如图3所示，图3中的所有点都要进行layer1的计算，意味着layer1的激活点集是所有点，因此layer1对应图3右侧部分的激活点集1，激活点集1用比特集可以表示为：{1,1,1,1,1,1,1,1}；55.图3中只有target点和1‑hop点需要进行layer2和layer3的计算，因此这两层对应图3右侧部分的激活点集2，激活点集2用比特集可以表示为：{1,1,1,1,1,1,0,0}；56.图3中只有target点需要进行layer4和layer5的计算，因此这两层对应图3右侧部分的激活点集3，激活点集3用比特集可以表示为：{1,1,1,0,0,0,0,0}；57.在该例子中，多层激活点集正好和图中的hop关系对应，即激活点集1对应：target点 1‑hop点 2‑hop点；激活点集2对应：target点 1‑hop点；激活点集3对应：target点。本说明书实施例中，激活点集可以通过模型层数和/或模型中算子名称等方式来索引。58.在明确每一层激活点集后，多层激活点集对这些层次进行组织，并给出一个索引。59.多层激活点集的构造和应用过程可以如下：60.在用户完成图神经网络模型的定义之后，图神经网络系统解析图神经网络模型即可得到该图神经网络模型的各算子之间的数据依赖关系。在确定训练策略后，即可确定本次训练哪些点要进行哪些计算，即得到了类似于图3左侧部分的数据流动图。在得到数据流动图之后，即可得到多层激活点集。然后图神经网络系统需要在分布式的计算单元(worker)中构造好多层次激活点集。61.在前向计算和反向计算中，每次都可以根据计算的层级或者当前算子的名称等信息来索引到当前的激活点集，则每一个计算单元都可以根据当前激活点集对每个点进行快速的过滤，来消除冗余计算。62.下面结合图1～图3对本说明书实施例提供的业务处理方法进行说明。图4为本说明书一个实施例提供的业务处理方法的流程图，如图4所示，上述业务处理方法可以包括：63.步骤402，获取数据和图神经网络模型中当前待计算的算子。64.其中，上述数据包括标签点、上述标签点的邻居节点，以及上述标签点和上述邻居节点之间的连接关系。65.参见图1，上述数据可以包括点1、2、3、4、5、6、7和8，其中，点1、2和3为标签点，点4、5、6、7和8为邻居节点，上述数据还可以包括点1、2、3、4、5、6、7和8之间的连接关系。66.步骤404，获取上述算子对应的激活点集。67.步骤406，根据上述激活点集，确定上述数据中当前需要进行计算的点。68.具体地，上述激活点集的数据结构可以为比特集，上述比特集中的每个比特位对应数据中的一个点；其中，上述比特集的组织方式可以是数组、字典或链表等，本实施例对此不作限定。69.这样，根据上述激活点集，确定上述数据中当前需要进行计算的点可以为：获取上述比特集中的每个比特位的值；当上述比特位的值为预定值时，确定上述比特位对应的点为当前需要进行计算的点。其中，上述预定值的大小可以在具体实现时自行设定，本实施例对上述预定值的大小不作限定，举例来说，上述预定值可以为1。70.举例来说，参见图3，假设当前待计算的算子对应的激活点集为激活点集1，那么可以确定当前需要计算的点为点1、2、3、4、5、6、7和8。71.另外，具体实现时，获取上述比特集中的每个比特位的值时，可以按批(batch)获取每个比特位的值，例如：可以一次性获取64字节的值，从而使图神经网络模型的处理速度更加快速。72.步骤408，根据上述算子，对当前需要进行计算的点进行计算。73.步骤410，根据计算结果对业务进行处理。74.上述业务处理方法中，获取数据和图神经网络模型中当前待计算的算子，获取上述算子对应的激活点集，根据上述激活点集，确定上述数据中当前需要进行计算的点，然后，根据上述算子，对当前需要进行计算的点进行计算。从而可以通过激活点集确定当前需要进行计算的点，消除冗余计算，提升图神经网络模型的处理速度。75.本说明书实施例提供的业务处理方法不仅可以应用于图神经网络模型的训练，也可以应用于图神经网络模型的验证、测试以及得到图神经网络模型后的预测。76.图5为本说明书另一个实施例提供的业务处理方法的流程图，如图5所示，本说明书图4所示实施例中，步骤404可以为：77.步骤502，根据上述算子的名称进行索引，获取上述算子对应的激活点集；或者，根据上述算子所在的层级进行索引，获取上述算子对应的激活点集。78.需要说明的是，激活点集可以根据算子的名称或算子所在的层级进行索引，但本实施例并不仅限于此，激活点集还可以根据其他的标识符进行索引，本实施例对激活点集的索引方式不作限定。79.图6为本说明书再一个实施例提供的业务处理方法的流程图，如图6所示，本说明书图4所示实施例中，步骤404之前，还可以包括：80.步骤602，获取图神经网络模型的网络结构和数据。81.步骤604，根据上述网络结构，获得图神经网络模型的各算子之间的数据依赖关系。82.步骤606，根据上述数据依赖关系，生成数据流动图。83.具体地，生成数据流动图的具体实现方式可以参见图2所示实施例的描述，在此不再赘述。84.步骤608，根据上述数据和上述数据流动图，分别生成与图神经网络模型的每个层级或每个算子对应的激活点集。85.本实施例中，生成激活点集的具体实现方式可以参见图3所示实施例的描述，在此不再赘述。需要说明的是，不同层级或者不同算子可以共享同一个激活点集。86.在图神经网络中，一旦一个点需要访问其邻居(绝大多数情况)，就存在类似的冗余计算。如果不做任何处理，每次计算所有点都进行全量的计算，那么必然导致性能下降。87.而现有相关技术提供的方案，问题在于，每次构图阶段、前向计算阶段和/或后向计算阶段，都需要遍历全图所有点。在工业界的图神经网络中，图的规模是很大的，一般分布式存在内存中、或者利用磁盘等外部存储、或者采用计算存储分离的架构。遍历所有的点会造成大量的内存访问、或者磁盘访问、或者网络访问，带来大量的缓存缺失，导致性能下降。88.本说明书实施例提供的方案，利用多层次激活点集来存储每一层需要计算的子图，每一层的基本数据结构是比特集(bitset)。bitset中的每一个比特就可以代表一个点，每一个计算单元仅需要维护本单元负责的点的集合。89.在当下绝大多数应用场景中，一个计算单元负责的点数不会过大，一般不会超过1亿个点，绝大多数是百万到千万级别的点。以1亿个点计算，需要的每一层bitset仅仅12mb。目前绝大多数图神经网络仅访问一度邻居，意味着多层激活点集仅包含2个基本的bitset，存储小于24mb。上文例子中的情况，访问了二度邻居，也仅需要3个基本bitset，存储小于36mb。即使更复杂的模型，对应的多层激活点集需要的存储也基本不会超过100mb。90.可以看到，这个数量级的数据结构基本可以存储在缓存(cache)中，这意味着在构图、前向计算和/或后向计算中，过滤点大部分情况仅需要访问cache即可，cache的速度相比内存、磁盘或者网络有几个数量级的优势，这可以带来极大的性能提升。在当前的场景实测中，采用了多层激活点集去除冗余计算后，对应部分的性能可以提升10倍以上。91.基于当下某些图神经网络系统中存在的冗余计算问题(采用分布式图计算框架的系统基本都会面对该问题)，本说明书实施例设计了一个尺寸极小的数据结构——多层激活点集来快速判断一个点是否要进行计算。这个数据结构基本可以存储在cache中，使得每次访问数据极快，以一种高性能的方式消除了冗余计算。92.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。93.图7为本说明书一个实施例提供的业务处理装置的结构示意图，如图7所示，上述业务处理装置可以包括：获取模块71、构图模块72、计算模块73和处理模块74；94.获取模块71，用于获取数据和图神经网络模型中当前待计算的算子；其中，上述数据包括标签点、上述标签点的邻居节点，以及上述标签点和邻居节点之间的连接关系；以及获取上述算子对应的激活点集；95.构图模块72，用于根据上述激活点集，确定上述数据中当前需要进行计算的点；96.计算模块73，用于根据上述算子，对当前需要进行计算的点进行计算；97.处理模块74，用于根据计算结果对业务进行处理。98.图7所示实施例提供的业务处理装置可用于执行本说明书图1～图4所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。99.图8为本说明书另一个实施例提供的业务处理装置的结构示意图，本实施例中，获取模块71，具体用于根据上述算子的名称进行索引，获取上述算子对应的激活点集；或者，根据上述算子所在的层级进行索引，获取上述算子对应的激活点集。100.本实施例中，上述激活点集的数据结构为比特集，上述比特集中的每个比特位对应数据中的一个点；这样，构图模块72，具体用于获取上述比特集中的每个比特位的值，当上述比特位的值为预定值时，确定上述比特位对应的点为当前需要进行计算的点。101.进一步地，上述业务处理装置还可以包括：生成模块75；102.获取模块71，还用于在获取上述算子对应的激活点集之前，获取图神经网络模型的网络结构和数据；以及根据上述网络结构，获得图神经网络模型的各算子之间的数据依赖关系；103.生成模块75，用于根据上述数据依赖关系，生成数据流动图；以及根据上述数据和上述数据流动图，分别生成与图神经网络模型的每个层级或每个算子对应的激活点集。104.图8所示实施例提供的业务处理装置可用于执行本说明书图1～图6所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。105.图9为本说明书一个实施例提供的电子设备的结构示意图，如图9所示，上述电子设备可以包括至少一个处理器；以及与上述处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，上述处理器调用上述程序指令能够执行本说明书图1～图6所示实施例提供的业务处理方法。106.其中，上述电子设备可以为服务器，例如：云服务器或图计算服务器，本实施例对上述电子设备的形式不作限定。107.图9示出了适于用来实现本说明书实施方式的示例性电子设备的框图。图9显示的电子设备仅仅是一个示例，不应对本说明书实施例的功能和使用范围带来任何限制。108.如图9所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器410，通信接口420，存储器430，以及连接不同组件(包括存储器430、通信接口420和处理单元410)的通信总线440。109.通信总线440表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，或者使用多种总线结构中的任意总线结构的局域总线。举例来说，通信总线440可以包括但不限于工业标准体系结构(industrystandardarchitecture，isa)总线，微通道体系结构(microchannelarchitecture，mac)总线，增强型isa总线、视频电子标准协会(videoelectronicsstandardsassociation，vesa)局域总线以及外围组件互连(peripheralcomponentinterconnection，pci)总线。110.电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。111.存储器430可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(randomaccessmemory，ram)和/或高速缓存存储器。存储器430可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本说明书图1～图6所示实施例的功能。112.具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器430中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本说明书图1～图6所描述的实施例中的功能和/或方法。113.处理器410通过运行存储在存储器430中的程序，从而执行各种功能应用以及数据处理，例如实现本说明书图1～图6所示实施例提供的业务处理方法。114.本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本说明书图1～图6所示实施例提供的业务处理方法。115.上述非暂态计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(readonlymemory，rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)或闪存、光纤、便携式紧凑磁盘只读存储器(cd‑rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。116.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。117.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、射频(radiofrequency，rf)等等，或者上述的任意合适的组合。118.可以以一种或多种程序设计语言或其组合来编写用于执行本说明书操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(localareanetwork，lan)或广域网(wideareanetwork，wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。119.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。120.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。121.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。122.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本说明书的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本说明书的实施例所属
技术领域：
：的技术人员所理解。123.取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。124.需要说明的是，本说明书实施例中所涉及的终端可以包括但不限于个人计算机(personalcomputer，pc)、个人数字助理(personaldigitalassistant，pda)、无线手持设备、平板电脑(tabletcomputer)、手机、mp3播放器、mp4播放器等。125.在本说明书所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。126.另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。127.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、磁碟或者光盘等各种可以存储程序代码的介质。128.以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。当前第1页12当前第1页12
技术领域：
：】1.本说明书实施例涉及互联网
技术领域：
：，尤其涉及一种业务处理方法、装置和电子设备。
背景技术：
：：2.图神经网络(graphneraulnetwork，gnn)是一种神经网络。gnn不仅使用了样本自身的特征信息，还使用了样本与样本之间的关系，gnn面向的是复杂且具有一般意义的图数据结构。图神经网络的训练和预测由图神经网络系统支持，图神经网络系统是一个分布式的图计算引擎，训练的策略包含：全批次(full‑batch)训练和/或小批次(mini‑batch)训练等。在应用这些训练策略的时候，由于具体模型的区别(例如：有的模型只需要访问点的一度邻居，有的需要访问多度)，或者训练样本中点的类型区别(例如：训练图中只有部分是含有标签的点，其他则是提供数据的点)，或者其他原因，导致每次训练，发生在每个点或者边上的计算量是不同的。举例如：针对某3层模型，带标签的点需要进行完整的3层计算；标签点的一度邻居需要进行2层计算，而标签点的二度邻居只需要提供原始特征，不需要进行任何计算。3.对于这种情况，现有相关技术中并没有什么手段能进行快速而有效的区分，而是每个点都进行全量计算，或者采用一些其他影响性能的方法来判断计算量。这会对模型的训练速度造成较大的影响。技术实现要素：4.本说明书实施例提供了一种业务处理方法、装置和电子设备，以实现通过激活点集确定当前需要进行计算的点，消除冗余计算，提升图神经网络模型的处理速度。5.第一方面，本说明书实施例提供一种业务处理方法，包括：获取数据和图神经网络模型中当前待计算的算子；其中，所述数据包括标签点、所述标签点的邻居节点，以及所述标签点和所述邻居节点之间的连接关系；获取所述算子对应的激活点集；根据所述激活点集，确定所述数据中当前需要进行计算的点；根据所述算子，对当前需要进行计算的点进行计算；根据计算结果对业务进行处理。6.上述业务处理方法中，获取数据和图神经网络模型中当前待计算的算子，获取上述算子对应的激活点集，根据上述激活点集，确定上述数据中当前需要进行计算的点，然后，根据上述算子，对当前需要进行计算的点进行计算。从而可以通过激活点集确定当前需要进行计算的点，消除冗余计算，提升图神经网络模型的处理速度。7.其中一种可能的实现方式中，所述获取所述算子对应的激活点集包括：根据所述算子的名称进行索引，获取所述算子对应的激活点集；或者，根据所述算子所在的层级进行索引，获取所述算子对应的激活点集。8.其中一种可能的实现方式中，所述激活点集的数据结构为比特集，所述比特集中的每个比特位对应数据中的一个点；所述根据所述激活点集，确定所述数据中当前需要进行计算的点包括：获取所述比特集中的每个比特位的值；当所述比特位的值为预定值时，确定所述比特位对应的点为当前需要进行计算的点。9.其中一种可能的实现方式中，所述获取所述算子对应的激活点集之前，还包括：获取图神经网络模型的网络结构和数据；根据所述网络结构，获得所述图神经网络模型的各算子之间的数据依赖关系；根据所述数据依赖关系，生成数据流动图；根据所述数据和所述数据流动图，分别生成与所述图神经网络模型的每个层级或每个算子对应的激活点集。10.第二方面，本说明书实施例提供一种业务处理装置，包括：获取模块，用于获取数据和图神经网络模型中当前待计算的算子；其中，所述数据包括标签点、所述标签点的邻居节点，以及所述标签点和所述邻居节点之间的连接关系；以及获取所述算子对应的激活点集；构图模块，用于根据所述激活点集，确定所述数据中当前需要进行计算的点；计算模块，用于根据所述算子，对当前需要进行计算的点进行计算；处理模块，用于根据计算结果对业务进行处理。11.其中一种可能的实现方式中，所述获取模块，具体用于根据所述算子的名称进行索引，获取所述算子对应的激活点集；或者，根据所述算子所在的层级进行索引，获取所述算子对应的激活点集。12.其中一种可能的实现方式中，所述激活点集的数据结构为比特集，所述比特集中的每个比特位对应数据中的一个点；所述构图模块，具体用于获取所述比特集中的每个比特位的值，当所述比特位的值为预定值时，确定所述比特位对应的点为当前需要进行计算的点。13.其中一种可能的实现方式中，所述装置还包括：生成模块；所述获取模块，还用于在获取所述算子对应的激活点集之前，获取图神经网络模型的网络结构和数据；以及根据所述网络结构，获得所述图神经网络模型的各算子之间的数据依赖关系；所述生成模块，用于根据所述数据依赖关系，生成数据流动图；以及根据所述数据和所述数据流动图，分别生成与所述图神经网络模型的每个层级或每个算子对应的激活点集。14.第三方面，本说明书实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面提供的方法。15.第四方面，本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的方法。16.应当理解的是，本说明书实施例的第二～四方面与本说明书实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。【附图说明】17.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。18.图1为本说明书一个实施例提供的图拓扑示意图；19.图2为本说明书一个实施例提供的数据流动图；20.图3为本说明书一个实施例提供的多层激活点集的示意图；21.图4为本说明书一个实施例提供的业务处理方法的流程图；22.图5为本说明书另一个实施例提供的业务处理方法的流程图；23.图6为本说明书再一个实施例提供的业务处理方法的流程图；24.图7为本说明书一个实施例提供的业务处理装置的结构示意图；25.图8为本说明书另一个实施例提供的业务处理装置的结构示意图；26.图9为本说明书一个实施例提供的电子设备的结构示意图。【具体实施方式】27.为了更好的理解本说明书的技术方案，下面结合附图对本说明书实施例进行详细描述。28.应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本说明书保护的范围。29.在本说明书实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。30.下面对本说明书实施例中提到的术语进行解释。31.1)图(graph)：由点集合和边集合(edgeset&nodeset)构成，点和边上可以有各种属性和特征。边集合中的每一条边都有唯一的出发点、唯一的到达点。出发点和到达点都是该图点集合的成员。32.2)人工神经网络(artificialneuralnetwork，ann)：简称神经网络(neuralnetwork，nn)或类神经网络，是当前人工智能领域的研究热点。ann是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。33.3)图神经网络(graphneuralnetwork，gnn)：图神经网络也是一种人工神经网络算法。gnn的训练数据是图，学习图上的拓扑信息和特征信息来做分类或者预测问题。例如根据用户的社交网络，资金网络等图数据，来预测一个用户的信用好坏，是否存在一些违约风险。34.4)图神经网络系统(graphneuralnetworksystem)：图神经网络系统是一个计算框架，或称之为计算引擎，图神经网络系统根据用户设计的模型和用户输入的数据，对图神经网络进行训练；或者，根据现有模型对未知数据进行预测。当前工业界的tensorflow和/或pytorch等可以很好的训练神经网络，但对图神经网络的支持并不友好。35.5)激活点集(activeset)：在图神经网络系统中，用来表示图中的点是否激活的一种数据结构。36.图相比于关系型数据具有更抽象和普遍的数据表达能力，现实生活中大量数据都可以构成图。比如每个用户作为点，用户之间的各种关系(包括好友关系、转账关系、亲属关系和/或同事关系等等)都可以作为边，从而将所有数据组织成为一张大图。当需要对这张图数据进行更多挖掘的时候，就会应用各种各样的图神经网络系统来进行计算。37.图神经网络已经成为了当前的研究热点，同时在工业界图神经网络也开始逐渐落地，例如：搜索推荐领域和/或风控领域等。当前业界仍然没有一种普适的，能处理超大规模图数据的神经网络训练和预测系统。鉴于图数据的特殊性，所有图神经网络系统都应该解决每个点上计算量不一致的问题。38.本说明书实施例采用了一种“多层激活点集”的数据结构，通过“多层激活点集”可以快速实现点和边的过滤，从而使得图神经网络能实现最小化计算，有效提升处理性能，帮助图神经网络实现产业化。39.图1为本说明书一个实施例提供的图拓扑示意图。参见图1，假设在这个图拓扑结构中，点1，2，3是带有标签的标签点。而点4，5，6，7，8都不带有标签，但是在对标签点的训练过程中，由于标签点需要获取邻居的数据，因此点4，5，6，7，8也需要参与计算。40.另外，假设运行在该图上的图神经网络模型是一个5层的模型，其中：第二层和第四层需要拿到邻居的表征或者特征进行计算(是否包含边表征或特征都可以)，其余层则不需要邻居信息，只需要自身信息计算。41.基于当前假设，可以得到图1中每个点的“计算量”，如图2所示，图2为本说明书一个实施例提供的数据流动图。42.图2中，横向表示图的扩展，其中第一列表示标签点，即训练的目标——target；第二列表示从target点出发，在图上沿着边扩展得到的一度邻居——1‑hop；第三列表示从target点在图上沿着边扩展得到的二度邻居，等同于从1‑hop点扩散的一度邻居，用2‑hop表示。43.竖向则代表图神经网络模型的计算方向，也是每个点上数据的流动方向。其中，input代表点或者点上的原始特征；layer1表示模型的第一层，在前向计算中，只需要拿input的数据进行计算；layer2表示模型的第二层，在前向计算中，需要结合自己第1层的特征(embedding)以及一度邻居即1‑hop的第1层embedding进行计算；layer3表示模型的第三层，在前向计算中，仅需要拿自己第2层的embedding进行计算；layer4表示模型的第四层，与layer2类似，需要结合自身以及一度邻居的embedding进行计算；layer5表示模型的第5层，与第1层类似，仅需要自己的数据进行计算。44.反向传播的时候计算沿着前向计算的反方向进行。45.注意：图2中没有加入边的数据，表示这个模型不需要用到边上的特征。但是本说明书实施例提供的方法同样适用于使用边特征的情况。46.图2中的矩形框表示每一层的算子，从图2中可以看出target点需要进行全量计算；1‑hop仅需要计算到layer3，因为layer4和layer5的结果即使算出来也没有用，属于冗余计算；而2‑hop仅需要计算到layer1。如果没有一种有效的机制来判断和过滤点，把所有点一视同仁，进行全量计算，那么会带来很多的冗余计算，极为影响图神经网络模型的性能。47.针对上述问题，现有相关技术中提供了一种方案：将每个点需要计算到第几层这个数据写到点的属性中，每次计算时根据该属性来判断这个点是否要进行当前计算。但是，这种方案有两个明显的缺点：48.1、需要将每个点算到第几层这个信息写到点的属性中，那么势必在前期构图的过程中遍历所有的点，并将该信息写入。遍历所有点是一个性能较差的行为，因为：1)如果所有数据存储在内存中，该操作会导致大量访存和缓存缺失(cachemiss)；2)如果图规模很大，是存储计算分离架构或者外存架构，那么每次都需要读磁盘/固态硬盘(solidstatedisk，ssd)/网络，其性能更差；49.2、在真正计算过程中，同样要遍历图中的所有点，来判断该点是否要进行计算。由于和第1点同样的原因，这也是一种性能很差的方式。50.注意：在计算过程中，会包含前向(forward)和后向(backward)两个阶段，两个阶段都需要解决冗余计算的问题。因此上述方案对性能的影响是分布在整个计算过程中的。51.本说明书实施例提出了一种业务处理方法，通过“多层激活点集”的数据结构来解决冗余计算的问题。52.图3为本说明书一个实施例提供的多层激活点集的示意图。图3左侧部分仍然是一个简单图神经网络中的计算量和数据流动的说明，右侧部分是本说明书实施例中提到的多层激活点集的一种图形化展示。53.多层激活点集是一个多层次的数据结构，其每一层是一个比特集(bitset)，比特集中每一位的值表示这个比特位对应的点的状态，值为1表示激活，值为0表示不激活。本说明书实施例中，比特集的组织方式可以包括数组、字典或链表等。54.如图3所示，图3中的所有点都要进行layer1的计算，意味着layer1的激活点集是所有点，因此layer1对应图3右侧部分的激活点集1，激活点集1用比特集可以表示为：{1,1,1,1,1,1,1,1}；55.图3中只有target点和1‑hop点需要进行layer2和layer3的计算，因此这两层对应图3右侧部分的激活点集2，激活点集2用比特集可以表示为：{1,1,1,1,1,1,0,0}；56.图3中只有target点需要进行layer4和layer5的计算，因此这两层对应图3右侧部分的激活点集3，激活点集3用比特集可以表示为：{1,1,1,0,0,0,0,0}；57.在该例子中，多层激活点集正好和图中的hop关系对应，即激活点集1对应：target点 1‑hop点 2‑hop点；激活点集2对应：target点 1‑hop点；激活点集3对应：target点。本说明书实施例中，激活点集可以通过模型层数和/或模型中算子名称等方式来索引。58.在明确每一层激活点集后，多层激活点集对这些层次进行组织，并给出一个索引。59.多层激活点集的构造和应用过程可以如下：60.在用户完成图神经网络模型的定义之后，图神经网络系统解析图神经网络模型即可得到该图神经网络模型的各算子之间的数据依赖关系。在确定训练策略后，即可确定本次训练哪些点要进行哪些计算，即得到了类似于图3左侧部分的数据流动图。在得到数据流动图之后，即可得到多层激活点集。然后图神经网络系统需要在分布式的计算单元(worker)中构造好多层次激活点集。61.在前向计算和反向计算中，每次都可以根据计算的层级或者当前算子的名称等信息来索引到当前的激活点集，则每一个计算单元都可以根据当前激活点集对每个点进行快速的过滤，来消除冗余计算。62.下面结合图1～图3对本说明书实施例提供的业务处理方法进行说明。图4为本说明书一个实施例提供的业务处理方法的流程图，如图4所示，上述业务处理方法可以包括：63.步骤402，获取数据和图神经网络模型中当前待计算的算子。64.其中，上述数据包括标签点、上述标签点的邻居节点，以及上述标签点和上述邻居节点之间的连接关系。65.参见图1，上述数据可以包括点1、2、3、4、5、6、7和8，其中，点1、2和3为标签点，点4、5、6、7和8为邻居节点，上述数据还可以包括点1、2、3、4、5、6、7和8之间的连接关系。66.步骤404，获取上述算子对应的激活点集。67.步骤406，根据上述激活点集，确定上述数据中当前需要进行计算的点。68.具体地，上述激活点集的数据结构可以为比特集，上述比特集中的每个比特位对应数据中的一个点；其中，上述比特集的组织方式可以是数组、字典或链表等，本实施例对此不作限定。69.这样，根据上述激活点集，确定上述数据中当前需要进行计算的点可以为：获取上述比特集中的每个比特位的值；当上述比特位的值为预定值时，确定上述比特位对应的点为当前需要进行计算的点。其中，上述预定值的大小可以在具体实现时自行设定，本实施例对上述预定值的大小不作限定，举例来说，上述预定值可以为1。70.举例来说，参见图3，假设当前待计算的算子对应的激活点集为激活点集1，那么可以确定当前需要计算的点为点1、2、3、4、5、6、7和8。71.另外，具体实现时，获取上述比特集中的每个比特位的值时，可以按批(batch)获取每个比特位的值，例如：可以一次性获取64字节的值，从而使图神经网络模型的处理速度更加快速。72.步骤408，根据上述算子，对当前需要进行计算的点进行计算。73.步骤410，根据计算结果对业务进行处理。74.上述业务处理方法中，获取数据和图神经网络模型中当前待计算的算子，获取上述算子对应的激活点集，根据上述激活点集，确定上述数据中当前需要进行计算的点，然后，根据上述算子，对当前需要进行计算的点进行计算。从而可以通过激活点集确定当前需要进行计算的点，消除冗余计算，提升图神经网络模型的处理速度。75.本说明书实施例提供的业务处理方法不仅可以应用于图神经网络模型的训练，也可以应用于图神经网络模型的验证、测试以及得到图神经网络模型后的预测。76.图5为本说明书另一个实施例提供的业务处理方法的流程图，如图5所示，本说明书图4所示实施例中，步骤404可以为：77.步骤502，根据上述算子的名称进行索引，获取上述算子对应的激活点集；或者，根据上述算子所在的层级进行索引，获取上述算子对应的激活点集。78.需要说明的是，激活点集可以根据算子的名称或算子所在的层级进行索引，但本实施例并不仅限于此，激活点集还可以根据其他的标识符进行索引，本实施例对激活点集的索引方式不作限定。79.图6为本说明书再一个实施例提供的业务处理方法的流程图，如图6所示，本说明书图4所示实施例中，步骤404之前，还可以包括：80.步骤602，获取图神经网络模型的网络结构和数据。81.步骤604，根据上述网络结构，获得图神经网络模型的各算子之间的数据依赖关系。82.步骤606，根据上述数据依赖关系，生成数据流动图。83.具体地，生成数据流动图的具体实现方式可以参见图2所示实施例的描述，在此不再赘述。84.步骤608，根据上述数据和上述数据流动图，分别生成与图神经网络模型的每个层级或每个算子对应的激活点集。85.本实施例中，生成激活点集的具体实现方式可以参见图3所示实施例的描述，在此不再赘述。需要说明的是，不同层级或者不同算子可以共享同一个激活点集。86.在图神经网络中，一旦一个点需要访问其邻居(绝大多数情况)，就存在类似的冗余计算。如果不做任何处理，每次计算所有点都进行全量的计算，那么必然导致性能下降。87.而现有相关技术提供的方案，问题在于，每次构图阶段、前向计算阶段和/或后向计算阶段，都需要遍历全图所有点。在工业界的图神经网络中，图的规模是很大的，一般分布式存在内存中、或者利用磁盘等外部存储、或者采用计算存储分离的架构。遍历所有的点会造成大量的内存访问、或者磁盘访问、或者网络访问，带来大量的缓存缺失，导致性能下降。88.本说明书实施例提供的方案，利用多层次激活点集来存储每一层需要计算的子图，每一层的基本数据结构是比特集(bitset)。bitset中的每一个比特就可以代表一个点，每一个计算单元仅需要维护本单元负责的点的集合。89.在当下绝大多数应用场景中，一个计算单元负责的点数不会过大，一般不会超过1亿个点，绝大多数是百万到千万级别的点。以1亿个点计算，需要的每一层bitset仅仅12mb。目前绝大多数图神经网络仅访问一度邻居，意味着多层激活点集仅包含2个基本的bitset，存储小于24mb。上文例子中的情况，访问了二度邻居，也仅需要3个基本bitset，存储小于36mb。即使更复杂的模型，对应的多层激活点集需要的存储也基本不会超过100mb。90.可以看到，这个数量级的数据结构基本可以存储在缓存(cache)中，这意味着在构图、前向计算和/或后向计算中，过滤点大部分情况仅需要访问cache即可，cache的速度相比内存、磁盘或者网络有几个数量级的优势，这可以带来极大的性能提升。在当前的场景实测中，采用了多层激活点集去除冗余计算后，对应部分的性能可以提升10倍以上。91.基于当下某些图神经网络系统中存在的冗余计算问题(采用分布式图计算框架的系统基本都会面对该问题)，本说明书实施例设计了一个尺寸极小的数据结构——多层激活点集来快速判断一个点是否要进行计算。这个数据结构基本可以存储在cache中，使得每次访问数据极快，以一种高性能的方式消除了冗余计算。92.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。93.图7为本说明书一个实施例提供的业务处理装置的结构示意图，如图7所示，上述业务处理装置可以包括：获取模块71、构图模块72、计算模块73和处理模块74；94.获取模块71，用于获取数据和图神经网络模型中当前待计算的算子；其中，上述数据包括标签点、上述标签点的邻居节点，以及上述标签点和邻居节点之间的连接关系；以及获取上述算子对应的激活点集；95.构图模块72，用于根据上述激活点集，确定上述数据中当前需要进行计算的点；96.计算模块73，用于根据上述算子，对当前需要进行计算的点进行计算；97.处理模块74，用于根据计算结果对业务进行处理。98.图7所示实施例提供的业务处理装置可用于执行本说明书图1～图4所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。99.图8为本说明书另一个实施例提供的业务处理装置的结构示意图，本实施例中，获取模块71，具体用于根据上述算子的名称进行索引，获取上述算子对应的激活点集；或者，根据上述算子所在的层级进行索引，获取上述算子对应的激活点集。100.本实施例中，上述激活点集的数据结构为比特集，上述比特集中的每个比特位对应数据中的一个点；这样，构图模块72，具体用于获取上述比特集中的每个比特位的值，当上述比特位的值为预定值时，确定上述比特位对应的点为当前需要进行计算的点。101.进一步地，上述业务处理装置还可以包括：生成模块75；102.获取模块71，还用于在获取上述算子对应的激活点集之前，获取图神经网络模型的网络结构和数据；以及根据上述网络结构，获得图神经网络模型的各算子之间的数据依赖关系；103.生成模块75，用于根据上述数据依赖关系，生成数据流动图；以及根据上述数据和上述数据流动图，分别生成与图神经网络模型的每个层级或每个算子对应的激活点集。104.图8所示实施例提供的业务处理装置可用于执行本说明书图1～图6所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。105.图9为本说明书一个实施例提供的电子设备的结构示意图，如图9所示，上述电子设备可以包括至少一个处理器；以及与上述处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，上述处理器调用上述程序指令能够执行本说明书图1～图6所示实施例提供的业务处理方法。106.其中，上述电子设备可以为服务器，例如：云服务器或图计算服务器，本实施例对上述电子设备的形式不作限定。107.图9示出了适于用来实现本说明书实施方式的示例性电子设备的框图。图9显示的电子设备仅仅是一个示例，不应对本说明书实施例的功能和使用范围带来任何限制。108.如图9所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器410，通信接口420，存储器430，以及连接不同组件(包括存储器430、通信接口420和处理单元410)的通信总线440。109.通信总线440表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，或者使用多种总线结构中的任意总线结构的局域总线。举例来说，通信总线440可以包括但不限于工业标准体系结构(industrystandardarchitecture，isa)总线，微通道体系结构(microchannelarchitecture，mac)总线，增强型isa总线、视频电子标准协会(videoelectronicsstandardsassociation，vesa)局域总线以及外围组件互连(peripheralcomponentinterconnection，pci)总线。110.电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。111.存储器430可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(randomaccessmemory，ram)和/或高速缓存存储器。存储器430可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本说明书图1～图6所示实施例的功能。112.具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器430中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本说明书图1～图6所描述的实施例中的功能和/或方法。113.处理器410通过运行存储在存储器430中的程序，从而执行各种功能应用以及数据处理，例如实现本说明书图1～图6所示实施例提供的业务处理方法。114.本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本说明书图1～图6所示实施例提供的业务处理方法。115.上述非暂态计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(readonlymemory，rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)或闪存、光纤、便携式紧凑磁盘只读存储器(cd‑rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。116.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。117.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、射频(radiofrequency，rf)等等，或者上述的任意合适的组合。118.可以以一种或多种程序设计语言或其组合来编写用于执行本说明书操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(localareanetwork，lan)或广域网(wideareanetwork，wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。119.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。120.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。121.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。122.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本说明书的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本说明书的实施例所属
技术领域：
：的技术人员所理解。123.取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。124.需要说明的是，本说明书实施例中所涉及的终端可以包括但不限于个人计算机(personalcomputer，pc)、个人数字助理(personaldigitalassistant，pda)、无线手持设备、平板电脑(tabletcomputer)、手机、mp3播放器、mp4播放器等。125.在本说明书所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。126.另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。127.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、磁碟或者光盘等各种可以存储程序代码的介质。128.以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
