一种光学神经网络训练方法、装置、设备及介质与流程

1.本发明涉及人工智能技术领域，特别涉及一种光学神经网络训练方法、装置、设备及介质。


背景技术：

2.目前，人工神经网络（ann，即artificial neural network）是人工智能领域十分热门的研究方向，并得到了非常广泛的应用。
3.然而，人工神经网络在使用过程中由于存在矩阵乘法运算、卷积运算等许多复杂的运算，导致需要消耗大量的时间和能耗。为此，人们将光计算技术与神经网络进行了结合形成了光学神经网络（即onn，optical neural network），以利用光学神经网络中的光学运算模块的快速计算特性，极大地提升了运算速度并降低了功耗。不过由于光学神经网络的光学运算模块中所使用到的分光器在制造过程中容易出现误差，致使实际制造出来的分光器的分光比与理论上所需的50:50之间可能会出现偏差。这种由于分光器制造误差所引入的分光器噪声会严重影响光学神经网络的整体性能，降低了光学神经网络的训练准确率和推断准确率。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种光学神经网络训练方法、装置、设备及介质，能够降低光学神经网络中由于分光器制造误差所引起的不良影响，有利于提升光学神经网络的训练准确率和推断准确率，从而提高了光学神经网络在分光器噪声下的鲁棒性和可用性。其具体方案如下：第一方面，本技术公开了一种光学神经网络训练方法，包括：获取包含图像样本和相应标签的训练集，并确定初始光学神经网络；从所述初始光学神经网络中筛选出包含目标分光器的目标光学运算模块；所述目标分光器为由于自身制造误差而引起分光比偏差的分光器；分别为所述初始光学神经网络中的每个所述目标光学运算模块均配置相应的能够进行移相操作的误差补偿器，以得到优化后光学神经网络；利用所述训练集对所述优化后光学神经网络进行训练，并在训练过程中利用所述误差补偿器对相应的所述目标光学运算模块中的所述目标分光器进行误差补偿，以得到训练后光学神经网络模型。
5.可选的，所述确定初始光学神经网络，包括：选取基于gridnet拓扑结构或fftnet拓扑结构的并采用两层全连接层的光学神经网络，以得到初始光学神经网络。
6.可选的，所述从所述初始光学神经网络中筛选出包含目标分光器的目标光学运算模块，分别为所述初始光学神经网络中的每个所述目标光学运算模块均配置相应的能够进行移相操作的误差补偿器，以得到优化后光学神经网络，包括：
从所述初始光学神经网络中筛选出包含目标分光器的所有的马赫曾德尔干涉仪，以得到各目标光学运算模块，并分别为所述初始光学神经网络中的每个所述马赫曾德尔干涉仪均配置相应的能够进行移相操作的误差补偿器，得到优化后光学神经网络。
7.可选的，所述分别为所述初始光学神经网络中的每个所述目标光学运算模块均配置相应的能够进行移相操作的误差补偿器之前，还包括：将马赫曾德尔干涉仪作为用于对所述目标光学运算模块中的所述目标分光器进行误差补偿的器件，以得到所述误差补偿器；相应的，所述在训练过程中利用所述误差补偿器对相应的所述目标光学运算模块中的所述目标分光器进行误差补偿，包括：在训练过程中通过对作为所述误差补偿器的马赫曾德尔干涉仪的相位进行自动配置，以完成对所述目标分光器的误差补偿。
8.可选的，所述利用所述训练集对所述优化后光学神经网络进行训练之前，还包括：为所述优化后光学神经网络设置包含批量大小、学习率、梯度下降方式、动量、分光器噪声的标准差以及训练轮数的超参数。
9.可选的，所述获取包含图像样本和相应标签的训练集，包括：分别按照第一样本选取比例和第二样本选取比例，对预设数据集中携带有相应标签的图像样本进行选取，以得到相应的训练集和测试集；相应的，所述利用所述训练集对所述优化后光学神经网络进行训练之后，还包括：利用所述测试集分别对与不同所述分光器噪声对应的各所述训练后光学神经网络模型进行测试，以确定各所述训练后光学神经网络模型的准确率。
10.可选的，所述批量大小为100，所述学习率为0.15，所述梯度下降方式为随机梯度下降法，所述分光器噪声服从均值为0、方差为的高斯分布，所述训练轮数为10。
11.第二方面，本技术公开了一种光学神经网络训练装置，包括：训练集获取模块，用于获取包含图像样本和相应标签的训练集；网络确定模块，用于确定初始光学神经网络；筛选模块，用于从所述初始光学神经网络中筛选出包含目标分光器的目标光学运算模块；所述目标分光器为由于自身制造误差而引起分光比偏差的分光器；网络优化模块，用于分别为所述初始光学神经网络中的每个所述目标光学运算模块均配置相应的能够进行移相操作的误差补偿器，以得到优化后光学神经网络；网络训练模块，用于利用所述训练集对所述优化后光学神经网络进行训练，并在训练过程中利用所述误差补偿器对相应的所述目标光学运算模块中的所述目标分光器进行误差补偿，以得到训练后光学神经网络模型。
12.第三方面，本技术公开了一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现前述公开的光学神经网络训练方法。
13.第四方面，本技术公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的光学神经网络训练方法。
14.本技术中，先获取包含图像样本和相应标签的训练集，并确定初始光学神经网络，接着从上述初始光学神经网络中筛选出包含目标分光器的目标光学运算模块；其中上述目
标分光器为由于自身制造误差而引起分光比偏差的分光器，然后分别为初始光学神经网络中的每个目标光学运算模块均配置相应的能够进行移相操作的误差补偿器，以得到优化后光学神经网络，以及利用上述训练集对优化后光学神经网络进行训练，并在训练过程中利用误差补偿器对相应的目标光学运算模块中的目标分光器进行误差补偿，以得到训练后光学神经网络模型。可见，本技术为包含存在制造误差的分光器的光学运算模块配置能够进行移相操作的误差补偿器，在对光学神经网络进行训练的过程中通过上述误差补偿器的移相操作对上述光学运算模块中的分光器进行误差补偿，这样一来，能够降低光学神经网络中由于分光器制造误差所引起的不良影响，有利于提升光学神经网络的训练准确率和推断准确率，从而提高了光学神经网络在分光器噪声下的鲁棒性和可用性。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
16.图1为本技术公开的一种光学神经网络训练方法流程图；图2为一种典型的马赫曾德尔干涉仪结构示意图；图3为一种fftnet拓扑结构示意图；图4为本技术公开的一种具体的光学神经网络训练方法流程图；图5为本技术公开的原始fftnet拓扑结构中的mzi与冗余mzi之间的连接示意图；图6为本技术公开的为原始fftnet拓扑结构中的每个mzi分别添加冗余mzi后形成的优化后fftnet拓扑结构示意图；图7为本技术公开的一种具体的光学神经网络训练方法流程图；图8为本技术公开的两层全连接神经网络的模型结构示意图；图9a至9c为本技术公开的在不同分光器噪声下的训练效果示意图；图10为本技术公开的一种光学神经网络训练装置结构示意图；图11为本技术公开的一种电子设备示意图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.目前，人工神经网络在使用过程中由于存在许多复杂的运算，导致需要消耗大量的时间和能耗。为此，人们将光计算技术与神经网络进行了结合形成了光学神经网络，以利用光学神经网络中的光学运算模块的快速计算特性，极大地提升了运算速度并降低了功耗。不过由于光学神经网络的光学运算模块中所使用到的分光器在制造过程中容易出现误差，致使实际制造出来的分光器存在分光比偏差的问题。为此，本技术提供了一种光学神经网络训练方案，能够降低光学神经网络中由于分光器制造误差所引起的不良影响，有利于
提升光学神经网络的训练准确率和推断准确率，从而提高了光学神经网络在分光器噪声下的鲁棒性和可用性。
19.参见图1所示，本技术实施例公开了一种光学神经网络训练方法，包括：步骤s11、获取包含图像样本和相应标签的训练集，并确定初始光学神经网络。
20.本实施例中，用于训练光学神经网络的训练集中包括若干数量的图像样本以及与各图像样本对应的样本标签。为了获得上述图像样本以及相应的样本标签，既可以通过由用户自己收集不同时期下的各历史图像样本并进行相应人工标注的方式来获得，当然，为了提升训练集的获取效率，本实施例也可以通过从第三方提供的公共图像样本数据库中选取数据样本的方式来获得实际所需的携带有样本标签的图像样本。
21.可以理解的是，上述所确定的初始光学神经网络是本实施例中还未经过优化的传统意义上的光学神经网络。本实施例中的技术方案是适用的初始光学神经网络，具体是指那些存在由于自身制造误差而引起分光比偏差的分光器的光学神经网络，例如可以是基于gridnet拓扑结构构建的光学神经网络，当然也可以是基于fftnet拓扑结构的光学神经网络，上述基于gridnet拓扑结构或基于fftnet拓扑结构构建的光学神经网络中均存在分光器，这些分光器在制造过程中由于普遍存在制造误差，从而导致其在实际使用过程中会引入分光比偏差这种分光器噪声，通过本实施例的技术方案能够有效降低这些分光器噪声所带来的不良影响。另外，需要指出的是，本实施例中的初始光学神经网络可以采用具有两层全连接层的光学神经网络。
22.步骤s12、从所述初始光学神经网络中筛选出包含目标分光器的目标光学运算模块；所述目标分光器为由于自身制造误差而引起分光比偏差的分光器。
23.本实施例中，在确定出上述初始光学神经网络之后，会从初始光学神经网络中筛选出包含由于自身的制造误差而产生分光比偏差的分光器的光学运算模块，也即得到上述目标光学运算模块。其中，上述目标光学运算模块具体可以是光学线性运算模块，其所进行的运算操作包括但不限于矩阵与向量之间的相乘运算、卷积运算等操作。
24.可以理解的是，由于在分光器的实际制造过程中，通常很难避免制造误差的产生，因此本实施例从初始光学神经网络中筛选上述目标光学运算模块的时候，为了尽可能地提升光学神经网络后续的训练准确率和识别准确率，通常是将携带有分光器的所有光学运算模块都筛选出来作为本实施例的目标光学运算模块。当然，在一些具体应用场景下，也不排除可以只将初始光学神经网络中的携带有分光器的并且是特定类型的光学运算模块筛选出来，以得到本实施例的上述目标光学运算模块。
25.步骤s13、分别为所述初始光学神经网络中的每个所述目标光学运算模块均配置相应的能够进行移相操作的误差补偿器，以得到优化后光学神经网络。
26.本实施例中，从初始光学神经网络中筛选出上述目标光学运算模块之后，会分别为初始光学神经网络中的每个目标光学运算模块均配置各自对应的误差补偿器，从而得到优化后的光学神经网络。需要指出的是，为目标光学运算模块配置的误差补偿器，其用途是为了能够通过上述误差补偿器对目标光学运算模块中的目标分光器进行误差补偿。
27.需要指出的是，由于分光器自身存在的制造误差而引起的分光比偏差，会导致目标光学运算模块的透射率与没有分光器制造误差的理想状态下的光学运算模块的透射率之间存在一定的相差，为此，本实施例可以采用能够进行移相操作的器件作为上述误差补
偿器，这样一来，通过上述误差补偿器对目标光学运算模块的相位进行适应性调整，从而实现对目标光学运算模块中的分光器的误差补偿操作，由此降低了由于分光器自身制造误差所引起的不良影响。
28.步骤s14、利用所述训练集对所述优化后光学神经网络进行训练，并在训练过程中利用所述误差补偿器对相应的所述目标光学运算模块中的所述目标分光器进行误差补偿，以得到训练后光学神经网络模型。
29.本实施例中，在利用训练集对上述优化后光学神经网络进行训练的过程中，会利用每个误差补偿器的相位调整功能进行相应的移相操作，以完成对各自对应的目标光学运算模块中的分光器的误差补偿。
30.在一种具体实施方式中，为了尽可能地提升误差补偿效果，可以先根据不同目标光学运算模块中的目标分光器对应的实际分光比偏差，确定出相应的误差补偿器的移相值。也即，本实施例根据不同目标光学运算模块中的目标分光器对应的分光器噪声确定出相应的误差补偿器的移相值，然后根据每个误差补偿值各自对应的移相值进行相应的相位调整操作，从而实现对各个目标光学运算模块中的目标分光器的精确误差补偿。
31.在另一种具体实施方式中，在无需追求极致的误差补偿效果的前提下，为了简化整体的误差补偿流程，提升误差补偿效率，本实施例也可以先确定出光学神经网络中所有目标光学运算模块的所有目标分光器对应的实际分光比偏差均值，然后确定出与上述实际分光比偏差均值对应的误差补偿器的移相值，然后控制所有的误差补偿器均按照该移相值进行同样的相位调整操作，从而实现对各个目标光学运算模块中的目标分光器的快速误差补偿。
32.进一步的，本实施例在利用所述训练集对所述优化后光学神经网络进行训练之前，还可以为上述优化后光学神经网络设置包含批量大小、学习率、梯度下降方式、动量、分光器噪声的标准差以及训练轮数的超参数。本实施例中，上述各种超参数可以基于实际应用需要进行灵活的配置。可以理解的是，本实施例中为优化后光学神经网络配置的分光器噪声的标准差是指与上述优化后光学神经网络对应的初始光学神经网络中的分光器噪声的标准差。
33.本技术实施例中，先获取包含图像样本和相应标签的训练集，并确定初始光学神经网络，接着从上述初始光学神经网络中筛选出包含目标分光器的目标光学运算模块；其中上述目标分光器为由于自身制造误差而引起分光比偏差的分光器，然后分别为初始光学神经网络中的每个目标光学运算模块均配置相应的能够进行移相操作的误差补偿器，以得到优化后光学神经网络，以及利用上述训练集对优化后光学神经网络进行训练，并在训练过程中利用误差补偿器对相应的目标光学运算模块中的目标分光器进行误差补偿，以得到训练后光学神经网络模型。可见，本技术实施例为包含存在制造误差的分光器的光学运算模块配置能够进行移相操作的误差补偿器，在对光学神经网络进行训练的过程中通过上述误差补偿器的移相操作对上述光学运算模块中的分光器进行误差补偿，这样一来，能够降低光学神经网络中由于分光器制造误差所引起的不良影响，有利于提升光学神经网络的训练准确率和推断准确率，从而提高了光学神经网络在分光器噪声下的鲁棒性和可用性。
34.本实施例中，接下来以基于fftnet拓扑结构的光学神经网络的训练过程为例，对本技术的技术方案进行详细说明。
35.首先，需要指出的是，在基于fftnet拓扑结构的光学神经网络中，其fftnet拓扑结构是基于若干数量的马赫曾德尔干涉仪（即mzi，mach
–
zehnder interferometer）构成的。如图2和图3所示，图2中示出了一种典型的马赫曾德尔干涉仪结构，图3则示出了包含了多个马赫曾德尔干涉仪的fftnet拓扑结构。图2中，马赫曾德尔干涉仪是由两个分光器和一个移相器组成的， l1和l2是马赫曾德尔干涉仪的光输入端，所输出的光是和。马赫曾德尔干涉仪可以将双端口的光功率按一定比例耦合到另一个双端口，和是移相器，具有可编程功能，通常可以使用几种方式来实现可编程的移相器，比如在一段波导材料上镀上金属薄膜，通过施加外部电压控制金属薄膜加热器导致波导温度变化来改变折射率，实现相移；此外还可以利用能够改变电子和空穴的浓度的等离子体弥散效应以及电光效应改变波导折射率来引入相移。
36.在单个马赫曾德尔干涉仪中，其对应的传输矩阵为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）理想情况下，马赫曾德尔干涉仪的左分光器和右分光器的分光比均为50:50，并且，马赫曾德尔干涉仪的透射率和反射率在理想状态满足：；此时，有：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）将（2）式带入（1）式，并结合欧拉公式得到：；根据能量守恒，有，理想情况下透射率和反射率均为。但在实际应用中，由于制造过程中引入的误差，分光器的分光比不是严格的50:50，在分光比噪
声对应的标准差为时，分光器的传输矩阵表示为：结合上式可知，马赫曾德尔干涉仪的实际透射率和理想情况下马赫曾德尔干涉仪的透射率相差，这会限制mzi拓扑结构的表示能力，降低模型推断性能。为此，接下来本实施例公开了在由带有误差的分光器组成的拓扑结构以及基于该结构的光学神经网络反向传播的训练过程中，通过自动调整相位实现对分光器一定程度误差补偿的技术方案。
37.参见图4所示，本技术实施例公开了一种具体的基于fftnet拓扑结构的光学神经网络训练方法，包括：步骤s21、获取包含图像样本和相应标签的训练集，并选取基于fftnet拓扑结构的并采用两层全连接层的光学神经网络，以得到初始光学神经网络。
38.也即，本实施例中的光学神经网络训练方法是应用在基于fftnet拓扑结构的并采用两层全连接层的光学神经网络上。当然，本实施例的技术方案也可以应用在其他的存在分光器误差的拓扑结构中，如gridnet等拓扑结构中。
39.步骤s22、从所述初始光学神经网络中筛选出包含目标分光器的所有的马赫曾德尔干涉仪，以得到各目标光学运算模块；所述目标分光器为由于自身制造误差而引起分光比偏差的分光器。
40.本实施例中，由于构成上述初始光学神经网络的fftnet拓扑结构中的分光器在实际制造过程中通常都会存在制造误差，为此，本实施例将fftnet拓扑结构中的所有马赫曾德尔干涉仪均筛选出来作为本实施例的需要进行误差补偿的目标光学运算模块。
41.步骤s23、将马赫曾德尔干涉仪作为用于对所述目标光学运算模块中的所述目标分光器进行误差补偿的器件，以得到误差补偿器，并分别为所述初始光学神经网络中的每个所述目标光学运算模块均配置相应的所述误差补偿器，以得到优化后光学神经网络。
42.本实施例中，用作误差补偿器的是马赫曾德尔干涉仪。也就是说，参见图5和图6所示，本实施例是为原始fftnet拓扑结构中的每个mzi分别添加相应的冗余mzi作为其对应的误差补偿器，以通过上述冗余mzi对原始fftnet拓扑结构的mzi中的分光器进行误差补偿，从而降低原始fftnet拓扑结构中的mzi由于分光器误差所造成的不良影响。其中，图5中示出了原始fftnet拓扑结构中的mzi与用作误差补偿器的冗余mzi之间的连接示意图。在本实施例提供的补偿方案中，假设n为酉矩阵的维度，以n=8为例，原始的fftnet结构中输入和输出均为n个光信号，模型结构为层，每一层mzi个数为，通过特定的连接方式和配置每个mzi的移相器的值，fftnet拓扑结构可以拟合特定的酉矩阵运算。图6则示出了为原始fftnet拓扑结构中的每个mzi分别添加相应的冗余mzi后形成的优化后的fftnet拓扑结构示意图，其中，图6中的m1至m
12
均为在原始fftnet拓扑结构的基础上额外添加的用作误差补偿器的冗余mzi，也即是为原始fftnet拓扑结构中的各原始mzi分别添加相应的冗余mzi，其中，每个冗余mzi的输入端均直接与其对应的原始mzi的输出端串接，并且每个冗余mzi的输出端连接方式与其对应的原始mzi在原始fftnet拓扑结构中的输出端连接方式均保持一致。通过上述冗余mzi能够补偿原始fftnet拓扑结构中分光器的误差，从而提升光学
神经网络对分光器噪声的鲁棒性，进而提升模型性能和推断准确率。
43.步骤s24、利用所述训练集对所述优化后光学神经网络进行训练，并在训练过程中通过对作为所述误差补偿器的马赫曾德尔干涉仪的相位进行自动配置，以完成对相应的所述目标光学运算模块中的所述目标分光器进行误差补偿，得到训练后光学神经网络模型。
44.进一步的，所述利用所述训练集对所述优化后光学神经网络进行训练之前，还可以为所述优化后光学神经网络设置包含批量大小、学习率、梯度下降方式、动量、分光器噪声的标准差以及训练轮数的超参数。在一种具体实施方式中，所述批量大小为100，所述学习率为0.15，所述梯度下降方式为随机梯度下降法，所述分光器噪声服从均值为0、方差为的高斯分布，所述训练轮数为10。
45.可见，本技术实施例中，为原始fftnet拓扑结构中包含存在制造误差的分光器的mzi配置冗余mzi作为相应的误差补偿器，在对光学神经网络进行训练的过程中通过上述误差补偿器的移相操作对原始fftnet拓扑结构中的分光器进行误差补偿，这样一来，能够降低基于fftnet拓扑结构的光学神经网络中由于分光器制造误差所引起的不良影响，有利于提升基于fftnet拓扑结构的光学神经网络的训练准确率和推断准确率，从而提高了基于fftnet拓扑结构的光学神经网络在分光器噪声下的鲁棒性和可用性。
46.参见图7所示，本技术实施例公开了一种具体的光学神经网络训练方法，包括：步骤s31、分别按照第一样本选取比例和第二样本选取比例，对预设数据集中携带有相应标签的图像样本进行选取，以得到相应的训练集和测试集，并确定具有不同分光器噪声的各初始光学神经网络。
47.也即，本实施例在获取数据集时，可以预先设置用于获取训练集的第一样本选取比例和用于获取测试集的第二样本选取比例，然后按照第一样本选取比例和第二样本选取比例，分别从预设数据集中选取相应数量比例的携带有相应标签的图像样本，从而得到相应的训练集和测试集。并且，为了研究本技术的技术方案对具有不同分光器噪声的各初始光学神经网络的影响效果，本实施例选取了多个不同的初始光学神经网络，其中，不同的初始光学神经网络各自的分光器噪声之间会有所不同。
48.步骤s32、从所述初始光学神经网络中筛选出包含目标分光器的目标光学运算模块；所述目标分光器为由于自身制造误差而引起分光比偏差的分光器。
49.步骤s33、分别为所述初始光学神经网络中的每个所述目标光学运算模块均配置相应的能够进行移相操作的误差补偿器，以得到与不同所述分光器噪声对应的各优化后光学神经网络。
50.本实施例中，针对具有不同分光器噪声的各初始光学神经网络，分别为它们中的每个目标光学运算模块均配置相应的能够进行移相操作的误差补偿器，从而得到与上述不同分光器噪声对应的在网络拓扑结构上经过优化的各优化后光学神经网络。
51.步骤s34、利用所述训练集分别对各所述优化后光学神经网络进行训练，并在训练过程中利用所述误差补偿器对相应的所述目标光学运算模块中的所述目标分光器进行误差补偿，以得到与不同所述分光器噪声对应的训练后光学神经网络模型。
52.步骤s35、利用所述测试集分别对与不同所述分光器噪声对应的各所述训练后光学神经网络模型进行测试，以确定各所述训练后光学神经网络模型的准确率。
53.本实施例中，在得到与不同分光器噪声对应的各训练后光学神经网络模型之后，
为了确定各训练后光学神经网络模型的准确率，会利用测试集分别对与不同分光器噪声对应的各训练后光学神经网络模型进行测试。从实际的测试结果来看，本技术的技术方案对于不同程度的分光器噪声影响下的模型训练效果均是有所提升的。
54.下面通过更具体的例子对上述技术方案进行说明。在本实施例中，选用手写体数字识别数据集mnist完成相关实验工作。mnist包含70000张手写体数字图片，每张图片由28*28个像素点构成, 每个像素点用一个灰度值表示。其中60000个样本作为训练集，10000张样本作为测试集。每个样本都有其对应的标签，标签可以采用单个十进制数来表示，不同的十进制数对应不同的图片类别。另外，本实施例的模型结构采用两层的全连接神经网络，具体如图8所示。
55.基于以上数据集和模型结构，本实施例的光学神经网络训练的具体步骤如下：首先，设置超参数；其中，批量大小batchsize=100，学习率lr=0.15，梯度下降算法选择sgd（即stochastic gradient descent，随机梯度下降）,动量momentum=0.9，分光器噪声的标准差分别为=0.01、0.02、0.03，训练轮数epochs=10。
56.然后，根据每层输入输出神经元个数确定模型参数，其中上标表示模型的第层，下标表示参数矩阵的维度，对矩阵进行奇异值分解，其中矩阵和矩阵分别为维度为和的酉矩阵，为的对角阵。
57.接着，基于改进后的fftnet拓扑结构实现各个酉矩阵并添加相应的分光器噪声，其中分光器噪声服从均值为0、方差为的高斯分布，对于的酉矩阵，移相器参数个数为，对所有参数进行初始化。
58.最后，基于梯度下降法训练epochs轮，迭代更新模型参数。
59.本实施例中，针对不同的分光器噪声，实验结果如图9a至图9c所示，分光器噪声的标准差分别为0.01，0.02和0.03，横坐标为迭代次数，纵坐标为测试集准确率，比较可知，经过优化后的模型结构在不同程度的分光器噪声下模型的训练结果均是有所提升的。
60.相应的，参见图10所示，本技术实施例还公开了一种光学神经网络训练装置，包括：训练集获取模块11，用于获取包含图像样本和相应标签的训练集；网络确定模块12，用于确定初始光学神经网络；筛选模块13，用于从所述初始光学神经网络中筛选出包含目标分光器的目标光学运算模块；所述目标分光器为由于自身制造误差而引起分光比偏差的分光器；网络优化模块14，用于分别为所述初始光学神经网络中的每个所述目标光学运算模块均配置相应的能够进行移相操作的误差补偿器，以得到优化后光学神经网络；网络训练模块15，用于利用所述训练集对所述优化后光学神经网络进行训练，并在训练过程中利用所述误差补偿器对相应的所述目标光学运算模块中的所述目标分光器进行误差补偿，以得到训练后光学神经网络模型。
61.本技术实施例中，先获取包含图像样本和相应标签的训练集，并确定初始光学神经网络，接着从上述初始光学神经网络中筛选出包含目标分光器的目标光学运算模块；其
中上述目标分光器为由于自身制造误差而引起分光比偏差的分光器，然后分别为初始光学神经网络中的每个目标光学运算模块均配置相应的能够进行移相操作的误差补偿器，以得到优化后光学神经网络，以及利用上述训练集对优化后光学神经网络进行训练，并在训练过程中利用误差补偿器对相应的目标光学运算模块中的目标分光器进行误差补偿，以得到训练后光学神经网络模型。可见，本技术实施例为包含存在制造误差的分光器的光学运算模块配置能够进行移相操作的误差补偿器，在对光学神经网络进行训练的过程中通过上述误差补偿器的移相操作对上述光学运算模块中的分光器进行误差补偿，这样一来，能够降低光学神经网络中由于分光器制造误差所引起的不良影响，有利于提升光学神经网络的训练准确率和推断准确率，从而提高了光学神经网络在分光器噪声下的鲁棒性和可用性。
62.在一种具体实施例中，所述网络确定模块12，具体用于选取基于gridnet拓扑结构或fftnet拓扑结构的并采用两层全连接层的光学神经网络，以得到初始光学神经网络。
63.在一种具体实施例中，所述筛选模块13，具体用于从所述初始光学神经网络中筛选出包含目标分光器的所有的马赫曾德尔干涉仪，以得到各目标光学运算模块；相应的，所述网络优化模块14，具体用于分别为所述初始光学神经网络中的每个所述马赫曾德尔干涉仪均配置相应的能够进行移相操作的误差补偿器，得到优化后光学神经网络。
64.在一种具体实施例中，所述光学神经网络训练装置，还包括：误差补偿器确定模块，用于将马赫曾德尔干涉仪作为用于对所述目标光学运算模块中的所述目标分光器进行误差补偿的器件，以得到所述误差补偿器；相应的，网络训练模块15，具体用于在训练过程中通过对作为所述误差补偿器的马赫曾德尔干涉仪的相位进行自动配置，以完成对所述目标分光器的误差补偿。
65.在一种具体实施例中，所述光学神经网络训练装置，还包括：超参数设置模块，用于为所述优化后光学神经网络设置包含批量大小、学习率、梯度下降方式、动量、分光器噪声的标准差以及训练轮数的超参数。
66.在一种具体实施例中，所述训练集获取模块11，具体用于分别按照第一样本选取比例和第二样本选取比例，对预设数据集中携带有相应标签的图像样本进行选取，以得到相应的训练集和测试集；相应的，所述光学神经网络训练装置，还包括：测试模块，用于利用所述测试集分别对与不同所述分光器噪声对应的各所述训练后光学神经网络模型进行测试，以确定各所述训练后光学神经网络模型的准确率。
67.图11所示为本技术实施例提供的一种电子设备20。该电子设备20，具体还可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的光学神经网络训练方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
68.本实施例中，电源23用于为电子设备20上的各硬件设备提供电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此
不进行具体限定。
69.另外，存储器22作为资源储存的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221，计算机程序222等，存储方式可以是短暂存储或者永久存储。
70.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的光学神经网络训练方法的计算机程序外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
71.进一步的，本技术还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的光学神经网络训练方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
72.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
73.以上对本发明所提供的一种光学神经网络训练方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。