光电混合计算系统及其训练方法和装置与流程

本公开涉及光学计算、超表面器件、计算成像和人工智能等领域，尤其涉及光电混合计算系统及其训练方法和装置。

背景技术：

1、目前，图像处理和计算机视觉等系统通常采用卷积神经网络对图像的空间域像素进行逐层处理。其处理对象可为光电探测器对输入光场进行强度记录后得到的输入图像，根据逐层处理结果可生成输入图像对应的任务处理结果。

2、卷积神经网络具有局部连接、权重共享和空间平移等变等特点，能够较好地提取图像中的边缘、纹理和局部结构信息。但是，空间域的卷积神经网络对于图像中的全局周期结构、频率成分、跨区域相关性和长距离依赖关系的提取，通常需要堆叠较深网络、扩大卷积核或者引入注意力模块，从而增大了计算量和功耗。

技术实现思路

1、本公开提供了光电混合计算系统及其训练方法和装置。

2、一种光电混合计算系统，包括：光学编码器、分光模块、空间域光路分支、频率域光路分支和目标神经网络；

3、所述光学编码器，用于对输入光场进行光学编码，得到编码光场；

4、所述分光模块，用于将所述编码光场分光为第一光束和第二光束；

5、所述空间域光路分支，用于根据所述第一光束生成空间域编码图像；

6、所述频率域光路分支，用于根据所述第二光束生成频率域编码图像；

7、所述目标神经网络，用于根据所述空间域编码图像和所述频率域编码图像生成所述输入光场对应的任务处理结果。

8、一种光电混合计算系统的训练方法，包括：

9、获取训练数据；

10、根据所述训练数据对光电混合计算系统进行训练，所述光电混合计算系统为以上所述的系统。

11、一种光电混合计算系统的训练装置，包括：数据获取模块以及系统训练模块；

12、所述数据获取模块，用于获取训练数据；

13、所述系统训练模块，用于根据所述训练数据对光电混合计算系统进行训练，所述光电混合计算系统为以上所述的系统。

14、一种电子设备，包括：

15、至少一个处理器；以及

16、与所述至少一个处理器通信连接的存储器；其中，

17、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

18、一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

19、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。

1.一种光电混合计算系统，其特征在于，包括：光学编码器、分光模块、空间域光路分支、频率域光路分支和目标神经网络；

2.根据权利要求1所述的系统，其特征在于，

3.根据权利要求1所述的系统，其特征在于，

4.根据权利要求3所述的系统，其特征在于，

5.根据权利要求3所述的系统，其特征在于，

6.根据权利要求1所述的系统，其特征在于，

7.根据权利要求6所述的系统，其特征在于，

8.一种光电混合计算系统的训练方法，其特征在于，包括：

9.根据权利要求8所述的方法，其特征在于，所述根据所述训练数据对光电混合计算系统进行训练包括：

10.根据权利要求9所述的方法，其特征在于，所述对所述光学编码器和所述目标神经网络中的各组成部分进行联合训练包括：

11.一种光电混合计算系统的训练装置，其特征在于，包括：数据获取模块以及系统训练模块；

12.一种电子设备，其特征在于，包括：

13.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求8-10中任一项所述的方法。