基于片上衍射神经网络的光学图神经分类网络、方法

1.本技术涉及光学神经网络计算技术领域，特别涉及一种基于片上衍射神经网络的光学图神经分类网络、方法。


背景技术：

2.深度学习技术在广泛的人工智能(artificial intelligence，ai)应用中取得了巨大的进步，包括计算机视觉、语音识别、自然语言处理、自动驾驶汽车、生物医学科学等等。其核心是在cpu（central processing unit，中央处理器）、gpu（graphics processing unit，图像处理器）、tpu（tensor processing unit，张量处理器）、fpga（field programmable gate array，现场可编程逻辑门阵列。）等综合电子计算平台不断发展的驱动下，利用多层神经网络从大数据中学习复杂的特征。然而，随着人工智能发展需求的增加，电子计算性能正接近其物理极限，运行大规模深度神经模型会带来巨大的能量消耗。光子计算以光子为计算介质，利用其并行度高、功耗小、信号处理速度快等优点，构建光子神经网络，是近年来光子计算领域的研究热点。
3.近几年许多用来执行智能推理任务的光学神经网络结构被提出，如衍射深度神经网络、光干涉神经网络、光子脉冲神经网络，而且已经在语音识别、图像分类等任务中取得巨大进展。但是现有的光学神经网络都只能处理向量、矩阵等形式的规则数据结构，而不能处理图结构等非欧氏空间的数据结构。然而，各种科学领域分析的数据超越了这种欧氏空间范畴。作为典型的代表，图数据结构编码复杂系统中节点之间丰富的关系(边)，在现实世界中无处不在，从社会网络到化学分子。电子图神经网络(graph neural networks，gnn)已经发展成为一种广泛的新型方法，能够很好地学习局部节点特征和图拓扑结构特征，以便在图结构数据上进行表示学习。在这些模型中，基于消息传递的gnn，通过可训练的变换矩阵提取节点特征生成消息，然后将消息传递到每个相邻节点，生成图的拓扑特征，由于其灵活性在分子性质预测、药物发现、基于骨骼的人体行为识别、时空预测等方面取得了显著的成功。然而，如何有效地利用光学计算来帮助基于图的机器学习仍然有待探索。


技术实现要素：

4.本技术提供一种基于片上衍射神经网络的光学图神经分类网络、方法，可以实现高速、低功耗大规模图结构数据处理，使得全光学神经网络更好地完成各种类型的机器学习任务。
5.本技术第一方面实施例提供一种基于片上衍射神经网络的光学图神经分类网络，包括：光学图特征提取模块，用于将图结构的输入节点属性信息编码至输入波导的输入光信号上，并提取通过片上衍射神经网络传播后的输出波导的输出光信号，利用所述输出光信号得到图特征信息；光学图特征聚合模块，用于将多个图结构的图特征信息进行聚合；分类模块，用于根据聚合后的多个图结构的图特征信息对所述多个图结构进行分类，得到所述多个图结构的分类结果。
6.可选地，在本技术的一个实施例中，所述光学图特征提取模块包括：光学节点属性输入单元，用于通过调制器将所述图结构的输入节点属性信息编码至所述输入光信号的光强或相位上；片上衍射计算单元，包括集成设置的片上衍射神经网络，用于提取所述输出光信号的光强或相位，基于所述输出光信号的光强或相位得到所述图特征信息；光学节点特征聚合单元，用于通过波导和耦合器将所述图结构中多个相邻的输入节点的图特征信息进行拼接。
7.可选地，在本技术的一个实施例中，所述调制器包括电光调制器、声光调制器或热光调制器。
8.可选地，在本技术的一个实施例中，所述片上衍射神经网络为多层衍射线通过光学衍射连接组成，对所述衍射线的形状、大小和周期进行设置，确定所述片上衍射神经网络对光的幅度调制系数和相位调制系数。
9.可选地，在本技术的一个实施例中，所述分类模块包括：光学神经网络单元，用于通过波导将所述多个图结构的图特征信息输入到光学神经网络，利用所述光学神经网络对所述多个图结构进行分类，得到所述多个图结构的分类结果。
10.可选地，在本技术的一个实施例中，所述分类模块包括：光电探测器，用于对聚合后的所述多个图结构的图特征信息进行光电转换；电子神经网络单元，用于根据所述光电转换后的所述多个图结构的图特征信息对所述多个图结构进行分类，得到所述多个图结构的分类结果。
11.可选地，在本技术的一个实施例中，还包括：处理模块，用于对所述光学图神经分类网络结构电磁场进行仿真，获取所述光学图神经网络的结构参数，根据所述结构参数建立前向传播数值模型，利用误差反向传播算法训练所述衍射计算单元每个调制层的参数，根据训练结果构建所述光学图神经网络结构。
12.本技术第二方面实施例提供一种基于片上衍射神经网络的光学图神经网络分类方法，包括以下步骤：将图结构的输入节点属性信息编码至输入波导的输入光信号上，并提取通过片上衍射神经网络传播后的输出波导的输出光信号，利用所述输出光信号得到图特征信息；将多个图结构的图特征信息进行聚合，根据聚合后的多个图结构的图特征信息对所述多个图结构进行分类，得到所述多个图结构的分类结果。
13.可选地，在本技术的一个实施例中，所述将图结构的输入节点属性信息编码至输入波导的输入光信号上，并提取通过片上衍射神经网络传播后的输出波导的输出光信号，利用所述输出光信号得到图特征信息，包括：将所述图结构的输入节点属性信息编码至所述输入光信号的光强或相位上，提取所述输出光信号的光强或相位，基于所述输出光信号的光强或相位得到所述图特征信息，将所述图结构中多个相邻的输入节点的图特征信息进行拼接。
14.可选地，在本技术的一个实施例中，所述根据聚合后的多个图结构的图特征信息对所述多个图结构进行分类，得到所述多个图结构的分类结果，包括：将所述多个图结构的图特征信息输入到光学神经网络，利用所述光学神经网络对所述多个图结构进行分类，得到所述多个图结构的分类结果；和/或，对聚合后的所述多个图结构的图特征信息进行光电转换，根据所述光电转换后的所述多个图结构的图特征信息对所述多个图结构进行分类，得到所述多个图结构的分类结果。
15.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的基于片上衍射神经网络的光学图神经网络分类方法。
16.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的基于片上衍射神经网络的光学图神经网络分类方法。
17.本技术的实施例具有以下有益效果：区别于以往的只能处理向量或矩阵形式的光学神经网络，本技术利用片上集成的衍射神经网络来对编码到光上的节点属性进行特征提取，生成每个节点的消息，利用波导耦合实现消息的传递和聚合，物理构建了图结构节点的拓扑连接，提供了利用片上集成的光学神经网络来处理图结构等非欧氏空间的数据结构的系统和方法。
18.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
19.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本技术实施例提供的一种基于片上衍射神经网络的光学图神经分类网络的结构示意图；图2为根据本技术实施例提供的一种具体地基于片上衍射神经网络的光学图神经分类网络的结构示意图；图3为根据本技术实施例提供的一种基于片上衍射神经网络的光学图神经分类网络的光学结构示意图；图4为根据本技术实施例提供的一种针对节点属性维度较高的图特征提取模块结构示意图；图5为根据本技术实施例提供的一种片上衍射计算单元的衍射线结构示意图；图6为根据本技术实施例提供的衍射线上每个像素（槽）的幅度、相位调制系数随槽宽变化的fdtd（时域有限差分法，finite-difference time-domain）电磁场仿真示意图；图7为根据本技术实施例提供的衍射线上每个像素（槽）的幅度、相位调制系数随槽宽变化的曲线图；图8为根据本技术实施例提供的一种片上衍射计算单元的整体结构示意图和fdtd电磁场仿真示意图；图9为根据本技术实施例提供的输入波导的光场分布示意图；图10为根据本技术实施例提供的输出波导的耦合系数随入射光角度变化的曲线图；图11为根据本技术实施例提供的数值建模与fdtd物理仿真的误差对比图；图12为根据本技术实施例提供的一种实现合成的随机块模型分类结果与传统的多层感知器（multilayer perceptron，mlp）、电子gnn（pprgo）性能对比图；图13为根据本技术实施例提供的一种实现cora-ml，citeseer，amazon photo等基
准数据集的图节点分类与传统的多层感知器（mlp）、电子gnn（pprgo）性能对比图；图14为根据本技术实施例的基于片上衍射神经网络的光学图神经网络分类方法的流程图；图15为申请实施例提供的电子设备的结构示意图。
具体实施方式
20.下面详细描述本技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
21.下面参考附图描述本技术实施例的基于片上衍射神经网络的光学图神经分类网络、方法。针对上述背景技术中心提到的现有的光学神经网络都只能处理向量、矩阵等形式的规则数据结构，而不能处理图结构等非欧氏空间的数据结构的问题，本技术提供了一种基于片上衍射神经网络的光学图神经分类网络，利用片上集成的衍射计算单元（衍射神经网络）来对编码到光上的节点属性进行特征提取，生成每个节点的消息，利用波导耦合实现消息的传递和聚合，物理构建了图结构节点的拓扑连接，提供了利用片上集成的光学神经网络来处理图结构等非欧氏空间的数据结构的系统和方法。由此，可以实现高速、低功耗大规模图结构数据处理，使得全光学神经网络更好地完成各种类型的机器学习任务，在基准数据集上的节点和图分类任务中取得了优异的性能，为设计利用深度学习高效处理大规模图结构数据的集成光子电路开辟了新的方向。
22.具体而言，图1为根据本技术实施例提供的一种基于片上衍射神经网络的光学图神经分类网络的结构示意图。
23.如图1所示，该基于片上衍射神经网络的光学图神经分类网络10包括：光学图特征提取模块100、光学图特征聚合模块200和分类模块300。
24.具体地，光学图特征提取模块100，用于将图结构的输入节点属性信息编码至输入波导的输入光信号上，并提取通过片上衍射神经网络传播后的输出波导的输出光信号，利用输出光信号得到图特征信息。光学图特征聚合模块200，用于将多个图结构的图特征信息进行聚合。分类模块300，用于根据聚合后的多个图结构的图特征信息对多个图结构进行分类，得到多个图结构的分类结果。该网络10实现了利用片上集成的光学神经网络来处理社交网络、论文互引网络等图结构数据。
25.进一步地，光学图特征提取模块由光学节点属性输入、光学节点特征提取、光学节点特征聚合等部分组成。光学图特征聚合模块，将多个光学图特征提取模块的输出特征进行拼接、聚合。分类模块，由电子神经网络或者由包括衍射神经网络在内的光学神经网络组成。具体地组成通过下述实施例进行介绍。
26.在本技术的实施例中，光学图特征提取模块100包括：光学节点属性输入单元101，用于通过调制器将图结构的输入节点属性信息编码至输入光信号的光强或相位上。片上衍射计算单元102，包括集成设置的片上衍射神经网络，用于提取输出光信号的光强或相位，基于输出光信号的光强或相位得到图特征信息。光学节点特征聚合单元103，用于通过波导和耦合器将图结构中多个相邻的输入节点的图特征信息进行拼接。
27.可以理解的是，如图2、图3和图4所示，光学图特征提取模块100由光学节点属性输
入、光学节点特征提取（消息传递）、光学节点特征聚合等部分组成。其中，节点属性输入由马赫-曾德尔干涉仪等电光、声光或热光调制器将输入节点的属性编码到输入波导中的光强或相位上，实现光学节点属性输入。由片上衍射计算单元完成光学节点特征提取（生成要传递的消息），提取的特征体现在输出波导中的光强或相位上。由波导将相邻节点提取出来的特征（传递的消息）连接起来，并由耦合器实现特征的复数相加，实现光学节点特征聚合。
28.在本技术的实施例中，片上衍射神经网络为多层衍射线通过光学衍射连接组成，对衍射线的形状、大小和周期进行设置，确定片上衍射神经网络对光的幅度调制系数和相位调制系数。
29.具体地，特征提取由刻蚀在绝缘硅片(silicon on insulator，soi)上的多层调制光场传播的衍射线组成的衍射计算单元完成，片上衍射计算单元的片上衍射神经网络由刻蚀在soi上的一定间距的多条衍射线组成，衍射线上每个像素是刻蚀并填充了二氧化硅等物质的槽，槽的形状、大小、周期决定了该像素对于光的幅度调制系数和相位调制系数，每个像素是一个光学神经元，多层衍射线之间通过光学衍射连接构成片上衍射神经网络，实现智能计算、特征学习等任务。
30.可选地，在本技术的一个实施例中，分类模块300包括：光学神经网络单元，用于通过波导将多个图结构的图特征信息输入到光学神经网络，利用光学神经网络对多个图结构进行分类，得到多个图结构的分类结果。
31.可选地，在本技术的一个实施例中，分类模块300包括：光电探测器，用于对聚合后的多个图结构的图特征信息进行光电转换；电子神经网络单元，用于根据光电转换后的多个图结构的图特征信息对多个图结构进行分类，得到多个图结构的分类结果。
32.具体地，光学图特征聚合单元由波导将不同光学图特征提取模块100的输出特征拼接到一起，实现光学图特征聚合，用于后续分类。最后，由光电探测器实现聚合后的图特征的光电转换，再由简单电子神经网络实现分类(dgnn-e)，或者由波导将拼接的图特征输入到衍射神经网络等光学神经网络中完成分类(dgnn-o)。通过上述两种不同的分类单元可以进行光学图神经网络物理系统误差校准，由简单的电子网络对光学图神经网络物理系统输出的结果进行微调完成。具体为，根据实际加工的物理系统的光电探测器获得光学图特征提取的结果，再训练一个简单电子网络对结果进行微调。光学部分完成大规模高效运算，电子部分通过微调保证最终整个系统的性能。
33.可选地，在本技术的一个实施例中，还包括：处理模块，用于对光学图神经分类网络结构电磁场进行仿真，获取光学图神经网络的结构参数，根据结构参数建立前向传播数值模型，利用误差反向传播算法训练衍射计算单元每个调制层的参数，根据训练结果构建光学图神经网络结构。
34.为了实现光学图神经分类网络，本技术的实施例对光学图神经网络精准数值建模和训练，先根据时域有限差分法电磁场仿真获得准确的波导输入、输出耦合系数、衍射线调制系数，建立准确的前向传播数值模型，再通过误差反向传播算法训练衍射计算单元每个调制层的参数，然后根据训练结果加工光学图神经网络结构，执行全光的图结构数据特征学习和推理，最后还可以通过输出的电子计算层校准物理系统的误差，进一步提升性能。
35.具体地，首先对波导、衍射线等微纳光学结构电磁场进行精准fdtd仿真，获取精准的波导输入耦合系数、对于不同角度入射光的输出耦合系数，衍射线可实现的幅度、相位调
制系数范围。根据输入波导的光场分布、角谱衍射传播方法衍射线的幅度、相位调制系数获得输出面的光场分布，并分解成各个角度的分量，再利用输出波导的耦合系数与入射光角度的关系获得输出结果，建立准确的前向传播模型。再根据任务需要建立合适的训练集、测试集和合适的损失函数，结合误差反向传播和随机梯度下降算法训练衍射神经网络中每一个神经元的幅度、相位调制系数，训练完成之后确定网络结构，通过硅光工艺加工并集成激光光源输入、调制器、波导、衍射线和光电探测器等结构，构建物理系统。
36.图5、图6和图7分别展示了与图2、图3对应的片上衍射计算单元的衍射线结构，以及衍射线上每个像素（槽）的幅度、相位调制系数随槽宽变化的fdtd电磁场仿真示意图和曲线图。图8、图9、图10和图11展示了与图2、图3、图5、图6和图7对应的片上衍射计算单元的整体结构示意图和fdtd电磁场仿真示意图，以及输入波导的光场分布示意图、输出波导的耦合系数随入射光角度变化的曲线图和数值建模与fdtd物理仿真的误差对比图。根据输入波导的光场分布、角谱衍射传播方法衍射线的幅度、相位调制系数获得输出面的光场分布，并分解成各个角度的分量，再利用输出波导的耦合系数与入射光角度的关系获得输出结果，建立前向传播模型。图11展示了数值仿真模型和fdtd物理仿真之间的极小误差，验证了前向传播模型准确性。根据任务需要建立合适的训练集、测试集和合适的损失函数，结合误差反向传播和随机梯度下降算法训练衍射神经网络中每一个神经元的幅度、相位调制系数，训练完成之后确定网络结构，通过硅光工艺加工并集成激光光源输入、调制器、波导、衍射线和光电探测器等结构，构建物理系统。
37.本技术的实施例提出了基于片上衍射神经网络的光学图神经分类网络，将利用片上集成的衍射计算单元（衍射神经网络）来对编码到光上的节点属性进行特征提取，生成每个节点的消息，利用波导耦合实现消息的传递和聚合。由此，建立了用于图结构数据处理的全光学图神经网络，在cora-ml，citeseer，amazon photo等基准数据集以及合成随机块模型上展示了提出的光学图神经网络能够实现和电子gnn相当的性能，验证了它在执行非欧氏空间数据结构机器学习任务上的巨大潜力，如图12和图13所示。
38.其次参照附图描述根据本技术实施例提出的基于片上衍射神经网络的光学图神经网络分类方法。
39.图14为根据本技术实施例的基于片上衍射神经网络的光学图神经网络分类方法的流程图。
40.如图14所示，该基于片上衍射神经网络的光学图神经网络分类方法包括以下步骤：步骤s101，将图结构的输入节点属性信息编码至输入波导的输入光信号上，并提取通过片上衍射神经网络传播后的输出波导的输出光信号，利用输出光信号得到图特征信息。
41.步骤s102，将多个图结构的图特征信息进行聚合，根据聚合后的多个图结构的图特征信息对多个图结构进行分类，得到多个图结构的分类结果。
42.可选地，在本技术的一个实施例中，将图结构的输入节点属性信息编码至输入波导的输入光信号上，并提取通过片上衍射神经网络传播后的输出波导的输出光信号，利用输出光信号得到图特征信息，包括：将图结构的输入节点属性信息编码至输入光信号的光强或相位上，提取输出光信号的光强或相位，基于输出光信号的光强或相位得到图特征信
息，将图结构中多个相邻的输入节点的图特征信息进行拼接。
43.可选地，在本技术的一个实施例中，根据聚合后的多个图结构的图特征信息对多个图结构进行分类，得到多个图结构的分类结果，包括：将多个图结构的图特征信息输入到光学神经网络，利用光学神经网络对多个图结构进行分类，得到多个图结构的分类结果；和/或，对聚合后的多个图结构的图特征信息进行光电转换，根据光电转换后的多个图结构的图特征信息对多个图结构进行分类，得到多个图结构的分类结果。
44.需要说明的是，前述对基于片上衍射神经网络的光学图神经分类网络实施例的解释说明也适用于该实施例的基于片上衍射神经网络的光学图神经网络分类方法，此处不再赘述。
45.根据本技术实施例提出的基于片上衍射神经网络的光学图神经网络分类方法，将利用片上集成的衍射神经网络来对编码到光上的节点属性进行特征提取，生成每个节点的消息，利用波导耦合实现消息的传递和聚合。实现高速、低功耗大规模图结构数据处理，使得全光学神经网络更好地完成各种类型的机器学习任务。在基准数据集上的节点和图分类任务中取得了优异的性能，为设计利用深度学习高效处理大规模图结构数据的集成光子电路开辟了新的方向。
46.图15为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：存储器1501、处理器1502及存储在存储器1501上并可在处理器1502上运行的计算机程序。
47.处理器1502执行程序时实现上述实施例中提供的基于片上衍射神经网络的光学图神经网络分类方法。
48.进一步地，电子设备还包括：通信接口1503，用于存储器1501和处理器1502之间的通信。
49.存储器1501，用于存放可在处理器1502上运行的计算机程序。
50.存储器1501可能包含高速ram存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
51.如果存储器1501、处理器1502和通信接口1503独立实现，则通信接口1503、存储器1501和处理器1502可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（industry standard architecture，简称为isa）总线、外部设备互连（peripheral component，简称为pci）总线或扩展工业标准体系结构（extended industry standard architecture，简称为eisa）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
52.可选的，在具体实现上，如果存储器1501、处理器1502及通信接口1503，集成在一块芯片上实现，则存储器1501、处理器1502及通信接口1503可以通过内部接口完成相互间的通信。
53.处理器1502可能是一个中央处理器（central processing unit，简称为cpu），或者是特定集成电路（application specific integrated circuit，简称为asic），或者是被配置成实施本技术实施例的一个或多个集成电路。
54.本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的基于片上衍射神经网络的光学图神经网络分类方法。
55.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
56.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
57.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
58.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
59.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。