光人工神经网络增强机器视觉芯片及制备方法

1.本发明涉及人工智能技术领域，尤其涉及一种光人工神经网络增强机器视觉芯片及制备方法。


背景技术：

2.机器视觉技术是人工智能的一个分支技术，通过机器代替人眼进行观测和判断，广泛应用于工业生产、质量检测、快递分拣、无人驾驶等领域。
3.现有的机器视觉系统包括成像系统、图像处理系统、通信及io系统和联动机构。其中，成像系统负责采集目标物体的图像信息，实现对目标物体的识别，由于现有的机器视觉技术需要先进行目标物体成像然后再传输到计算机中进行后续的神经网络识别模型算法处理，大量数据的传输和处理造成了较大的功耗和延时。


技术实现要素：

4.针对现有技术存在的问题，本发明实施例提供一种光人工神经网络增强机器视觉芯片及制备方法。
5.具体地，本发明实施例提供了如下技术方案：
6.第一方面，本发明实施例提供一种光人工神经网络增强机器视觉芯片，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
7.所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光包括机器视觉场景下目标对象的反射光、透射光和/或辐射光；
8.所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
9.所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到机器视觉智能处理结果；
10.其中，所述机器视觉智能处理任务包括机器视觉场景下目标对象的识别，和/或，测量，和/或，控制；所述机器视觉智能处理结果包括机器视觉场景下目标对象的识别结果，和/或，测量结果，和/或，控制结果。
11.进一步地，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
12.进一步地，所述光人工神经网络增强机器视觉芯片包括训练好的光调制结构、图
像传感器和处理器；
13.所述训练好的光调制结构、图像传感器和处理器是指利用与所述机器视觉智能处理任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络增强机器视觉芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
14.所述输入训练样本包括由具有不同机器视觉场景的目标对象反射、透射和/或辐射的入射光；所述输出训练样本包括目标对象的识别结果，和/或，测量结果，和/或，控制结果。
15.进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络增强机器视觉芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
16.进一步地，所述机器视觉场景包括自动驾驶、机器人手术导航、快递包裹分拣、机器人测量以及啤酒生产流水线检测。
17.进一步地，当所述机器视觉场景为自动驾驶时，所述输入训练样本包括由不同路况的道路以及前方障碍物反射、透射和/或辐射的入射光；所述输出训练样本包括路况识别结果和前方障碍物识别结果；
18.当所述机器视觉场景为机器人手术导航时，所述输入训练样本包括由手术操作对象以及手术辅助工具反射、透射和/或辐射的入射光；所述输出训练样本包括相应的手术操作对象以及手术辅助工具的相对位置识别结果；
19.当所述机器视觉场景为快递包裹分拣时，所述输入训练样本包括由不同快递包裹反射、透射和/或辐射的入射光；所述输出训练样本包括快递包裹的体积、重量以及收件信息的识别结果；
20.当所述机器视觉场景为机器人测量时，所述输入训练样本包括由不同测量对象反射、透射和/或辐射的入射光；所述输出训练样本包括测量对象的位置、形状以及大小的识别结果；
21.当所述机器视觉场景为啤酒生产流水线检测时，所述输入训练样本包括由不同生产流水线反射、透射和/或辐射的入射光；所述输出训练样本包括相应的啤酒生产流水线的工作状态。
22.进一步地，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
23.进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
24.进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
25.进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
26.进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
27.进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
28.进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
29.进一步地，所述微纳单元具有偏振无关特性。
30.进一步地，所述微纳单元具有四重旋转对称性。
31.进一步地，所述光滤波器层由一层或多层滤波器层构成；
32.所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元spp微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
33.进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
34.进一步地，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
35.第二方面，本发明实施例提供一种机器视觉设备，包括：控制机构以及如上所述的光人工神经网络增强机器视觉芯片；
36.其中，所述控制机构与所述光人工神经网络增强机器视觉芯片相连，所述控制机构用于根据所述人工神经网络增强机器视觉芯片的机器视觉智能处理结果进行相应的控制。
37.第三方面，本发明实施例提供一种光人工神经网络增强机器视觉芯片的制备方法，包括：
38.在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
39.生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
40.连接所述图像传感器和所述处理器；
41.其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
42.所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到机器视觉智能处理结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括机器视觉场景下目标对象的反射光、透射光和/或辐射光。
43.进一步地，在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层，包括：
44.在所述图像传感器的感光区域的表面生长一层或多层预设材料；
45.对所述一层或多层预设材料进行光调制结构图案的刻蚀，得到包含有光调制结构的光滤波器层；
46.或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光滤波器层；
47.或通过对所述一层或多层预设材料进行外加动态调制，得到包含有光调制结构的光滤波器层；
48.或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光滤波器层；
49.或对所述一层或多层预设材料进行分区生长，得到包含有光调制结构的光滤波器层；
50.或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器层。
51.进一步地，还包括：对所述光人工神经网络增强机器视觉芯片的训练过程，具体包括：
52.利用与所述机器视觉智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络增强机器视觉芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
53.本发明实施例提供的光人工神经网络增强机器视觉芯片及制备方法，以硬件方式模拟人工神经网络，用于对机器视觉场景下的在线识别或测量或控制，也即本发明实施例实现了一种能够实现人工神经网络功能的全新增强机器视觉芯片，在该增强机器视觉芯片中，光滤波器层设置于图像传感器的感光区域的表面，光滤波器层包含有光调制结构，光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与此同时，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该增强机器视觉芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该增强机器视觉芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该增强机器视觉芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由增强机器视觉中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。由此可见，本发明实施例将光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，利用光滤波器层和图像传感器将目标对象的空间不同点处的入射光携带信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理。
54.由此可见，本发明实施例提供的增强机器视觉芯片将人工神经网络部分嵌入包含各种光滤波器层的图像传感器中，实现安全可靠、快速准确的对目标对象的识别，进而根据识别结果进行机器视觉智能处理。
附图说明
55.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1是本发明第一个实施例提供的光人工神经网络增强机器视觉芯片的结构示意图；
57.图2是本发明一实施例提供的光人工神经网络增强机器视觉芯片识别原理示意图；
58.图3是本发明一实施例提供的光人工神经网络增强机器视觉芯片拆解示意图；
59.图4是本发明一实施例提供的机器视觉场景下目标对象控制过程示意图；
60.图5是本发明一实施例提供的一种光滤波器层的俯视图；
61.图6是本发明一实施例提供的另一种光滤波器层的俯视图；
62.图7是本发明一实施例提供的又一种光滤波器层的俯视图；
63.图8是本发明一实施例提供的另又一种光滤波器层的俯视图；
64.图9是本发明一实施例提供的再又一种光滤波器层的俯视图；
65.图10是本发明一实施例提供的还又一种光滤波器层的俯视图；
66.图11是本发明一实施例提供的微纳结构宽带滤波效果示意图；
67.图12是本发明一实施例提供的微纳结构窄带滤波效果示意图；
68.图13是本发明第三个实施例提供的光人工神经网络增强机器视觉芯片的制备方法的流程示意图。
具体实施方式
69.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
70.现有的机器视觉系统包括成像系统、图像处理系统、通信及io系统和联动机构。由于现有的机器视觉技术需要先进行目标物体成像然后再传输到计算机中进行后续的神经网络识别模型算法处理，大量数据的传输和处理造成了较大的功耗和延时。基于此，本发明实施例提供一种光人工神经网络增强机器视觉芯片，该增强机器视觉芯片中的光滤波器层对应人工神经网络的输入层，图像传感器对应人工神经网络的线性层，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，本发明实施例利用光滤波器层和图像传感器将目标对象空间不同点处的入射光携带信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理。本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，
只需由智能芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。下面将通过具体实施例对本发明提供的内容进行详细解释和说明。
71.如图1所示，本发明第一个实施例提供的光人工神经网络增强机器视觉芯片，包括：光滤波器层1、图像传感器2和处理器3；所述光滤波器层1对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器2对应人工神经网络的线性层；所述处理器3对应人工神经网络的非线性层以及输出层；
72.所述光滤波器层1设置于所述图像传感器的感光区域的表面，所述光滤波器层1包含有光调制结构，所述光滤波器层1用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行随波长变化强度调制的频谱调制，即对不同波长的入射光进行不同的强度调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息中包含有待进行光人工神经网络增强机器视觉芯片处理的目标对象的图像信息和/或各种光空间信息，例如，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；所述入射光包括机器视觉场景下目标对象的反射光、透射光和/或辐射光；
73.所述图像传感器2用于将与不同位置点经光滤波器层1调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器3；所述电信号为经光滤波器层调制后的图像信号；
74.所述处理器3用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号；
75.其中，所述机器视觉智能处理任务包括机器视觉场景下目标对象的识别结果，和/或，测量结果，和/或，控制结果；所述机器视觉智能处理结果包括机器视觉场景下目标对象的识别结果，和/或，测量结果，和/或，控制结果。
76.在本实施例中，光滤波器层1设置于图像传感器的感光区域的表面，光滤波器层1包含有光调制结构，光滤波器1层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的调制后的入射光携带信息，相应地，图像传感器2用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，即经光滤波器层调制后的图像信号，与此同时，与图像传感器2连接的处理器3用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号。
77.在本实施例中，光滤波器层1包含有光调制结构，通过光调制结构对进入至光调制结构不同位置点处的入射光(例如待识别目标的反射光、透射光、辐射光等相关作用光)进行不同强度的频谱调制，以在图像传感器2感光区域的表面得到与不同位置点对应的入射光携带信息。
78.在本实施例中，可以理解的是，调制强度与光调制结构的具体结构形式有关，例如，可以通过设计不同的光调制结构(如改变光调制结构的形状和/或尺寸参数)来实现不同的调制强度。
79.在本实施例中，可以理解的是，光滤波器层1上不同位置处的光调制结构对入射光具有不同的频谱调制作用，光调制结构对入射光不同波长成分的调制强度对应于人工神经
网络的连接强度，也即对应输入层以及输入层到线性层的连接权重。需要说明的是，光滤波器层1是由多个光滤波器单元组成的，每个光滤波器单元内不同位置处的光调制结构是不同的，因此对入射光具有不同的频谱调制作用；光滤波器单元之间不同位置处的光调制结构可以相同或不同，因此对入射光具有相同或不同的频谱调制作用。
80.在本实施例中，图像传感器2将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给处理器3，图像传感器2对应神经网络的线性层。
81.在本实施例中，处理器3将不同位置点的电信号进行全连接处理与非线性激活处理，进而得到人工神经网络的输出信号。
82.可以理解的是，处理器3对应神经网络的非线性层以及输出层，也可以理解成对应神经网络中除输入层和线性层以外的剩余层(其他所有层)。
83.此外，需要补充说明的是，处理器3可以设置在所述增强机器视觉芯片内，也即所述处理器3可以和所述滤波器层1以及图像传感器2一起设置在增强机器视觉芯片内，也可以单独地设置在增强机器视觉芯片外，并通过数据线或连接器件与增强机器视觉内中的图像传感器2连接，本实施例对此不作限定。
84.此外，需要说明的是，所述处理器3可以采用计算机实现，也可以采用具有一定运算能力的arm或fpga电路板实现，还可以采用微处理器实现，本实施例对此不做限定。此外，正如前面所述，所述处理器3可以集成在所述增强机器视觉芯片内，也可以独立于所述增强机器视觉芯片外设置。当所述处理器3独立于所述增强机器视觉芯片外设置时，可以通过信号读出电路将图像传感器2中的电信号读出至处理器3中，进而由处理器3对读出的电信号进行全连接处理与非线性激活处理。
85.在本实施例中，可以理解的是，处理器3在进行非线性激活处理时，可以采用非线性激活函数实现，例如可以采用sigmoid函数、tanh函数、relu函数等，本实施例对此不作限定。
86.在本实施例中，光滤波器层1对应人工神经网络的输入层以及输入层到线性层的连接权重，图像传感器2对应于人工神经网的线性层，将空间不同位置点的入射光携带信息转化为电信号，处理器3对应人工神经网络的非线性层以及输出层，将不同位置的电信号进行全连接，经由非线性激活函数得到机器视觉智能处理结果。
87.例如，增强机器视觉芯片通过对目标对象的识别(目标对象尺寸、形状、颜色等的识别)，进而根据识别结果来控制现场的设备动作。如印刷电路板的视觉检查、钢板表面的自动探伤、大型工件平行度和垂直度测量、容器容积或杂质检测、机械零件的自动识别分类和几何尺寸测量等。
88.如图2左侧所示，光人工神经网络增强机器视觉芯片包括光滤波器层1、图像传感器2和处理器3，在图2中，处理器3采用信号读出电路和计算机来实现。如图2右侧所示，光人工神经网络增强机器视觉芯片中的光滤波器层1对应人工神经网络的输入层，图像传感器2对应人工神经网络的线性层，处理器3对应人工神经网络的非线性层和输出层，光滤波器层1对进入光滤波器层1的入射光的滤波作用对应输入层到线性层的连接权重，由此可见，本实施例提供的增强机器视觉芯片中的光滤波器层和图像传感器通过硬件的方式实现了人工神经网络中输入层和线性层的相关功能，从而使得后续在使用该增强机器视觉芯片进行
机器视觉智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，这样可以大幅降低人工神经网络处理时的功耗和延时。
89.如图2右侧所示，将光滤波器层1不同位置处的入射光频谱p
λ
投影/连接到图像传感器的光电流响应in上，处理器3包括信号读出电路和计算机，处理器3中的信号读出电路将光电流响应读出至传输到计算机中，由计算机进行电信号的全连接处理与非线性激活处理，最后输出机器视觉智能处理结果。
90.如图3所示，光滤波器层1上的光调制结构集成在图像传感器2上方，对入射光进行调制，将入射光的频谱信息投影/连接到图像传感器2的不同像素点上，得到包含入射光频谱信息和图像信息的电信号，也即入射光经过光滤波器层1后，由图像传感器2转换成电信号，形成包含入射光的频谱信息的图像，最后由与图像传感器2连接的处理器3对包含入射光的频谱信息和图像信息的电信号进行处理。
91.在本实施例中，所述入射光携带信息可以包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的一种或多种(包括两种)。
92.例如，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息，在其他实现方式中，可以同时利用目标对象的图像信息、光谱信息、入射光的角度和入射光的相位信息中的多种信息对目标对象进行识别，从而可以更加准确地实现对目标对象的识别。
93.由此可见，本实施例提供的光人工神经网络增强机器视觉芯片可以同时利用目标对象的图像信息、光谱信息、入射光的角度和入射光的相位信息，即空间不同点处的入射光携带信息，并在硬件上嵌入了人工神经网络，从空间图像、光谱、角度、相位信息中可以进一步提取物质成分、图像形状、三维深度等信息，从而可以提高识别准确率，，由此可见，本发明实施例实现了低功耗、低延时和高准确率的频谱光人工神经网增强机器视觉芯片。
94.本发明实施例提供的光人工神经网络增强机器视觉芯片，实现了一种能够实现人工神经网络功能的全新智能芯片，在该智能芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该智能芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由智能芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。
95.此外，需要说明的是，现有技术中在对目标对象进行识别时，只利用了目标对象的二维图像信息，然而二维图像信息难以保证识别的准确性。因此，基于此，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息和光谱信息，从而使得在利用本技术提供的光人工神经网络增强机器视觉芯片执行智能识别任务时，可以同时利用目标对象的光强度分布信息和光谱信息，由此可见，由于入射光携带信息涵盖了目标对象的图像、成分、形状、三维深度、结构等信息，从而在依据目标对象空间不同点处的入射光携带信息进行识别处理时，可以涵盖目标对象的图像、成分、形状、三维深度、结构等多维度的信息，从而能够更为准确地实现对目标对象的识别。此外，在另一种实现方式中，所述入射光携带信息还
可以进一步包括光强度分布信息、光谱信息、入射光的角度信息，从而能够更加全面的捕捉目标对象的图像、成分、形状、三维深度、三维结构等信息，从而能够更为准确地实现对目标对象的识别。此外，在另一种实现方式中，所述入射光携带信息还可以进一步包括光强度分布信息、光谱信息、入射光的角度信息和入射光相位信息，从而能够更加全面的捕捉目标对象的图像、成分、形状、三维深度、三维结构等信息，从而能够更为准确地实现对目标对象的识别。
96.本发明实施例提供的光人工神经网络增强机器视觉芯片，包括光滤波器层、图像传感器和处理器，光滤波器层设置于图像传感器的感光区域的表面，光滤波器层包含有光调制结构，光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与此同时，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该增强机器视觉芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该增强机器视觉芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该增强机器视觉芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由增强机器视觉芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。由此可见，本发明实施例将光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，利用光滤波器层和图像传感器将目标对象的空间光谱信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例不但能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理，而且本发明实施例实际上同时利用了目标对象的图像信息、光谱信息、入射光的角度和入射光的相位信息，即目标对象空间不同点处的入射光携带信息，由此可见，由于目标对象空间不同点处的入射光携带信息涵盖了目标对象的图像、成分、形状、三维深度、结构等信息，从而在依据目标对象空间不同点处的入射光携带信息进行识别处理时，可以涵盖目标对象的图像、成分、形状、三维深度、结构等多维度的信息，从而可以提高识别准确率，由此可见，本发明实施例提供的光人工神经网络增强机器视觉芯片，不但能够实现低功耗和低延时的效果，还能够实现高准确率的效果。
97.基于上述实施例的内容，在本实施例中，所述光人工神经网络增强机器视觉芯片包括训练好的光调制结构、图像传感器和处理器；
98.所述训练好的光调制结构、图像传感器和处理器是指利用与所述机器视觉智能处理任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络增强机器视觉芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
99.所述输入训练样本包括由具有不同机器视觉场景的目标对象反射、透射和/或辐射的入射光；所述输出训练样本包括目标对象的识别结果，和/或，测量结果，和/或，控制结果。
100.在本实施例中，光人工神经网络增强机器视觉芯片可以用于目标对象的机器视觉智能处理任务。在本实施例中，可以理解的是，机器视觉主要用计算机来模拟人的视觉功能，从客观事物中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。
101.在本实施例中，目标对象的反射光、透射光和/或辐射光进入至训练好的光人工神经网络增强机器视觉芯片中，得到目标对象的机器视觉智能处理结果。
102.可以理解的是，由于光滤波器层对进入光滤波器层的入射光的滤波作用对应人工神经网络输入层到线性层的连接权重，因此，在训练时，改变光滤波器层中的光调制结构相当于改变人工神经网络输入层到线性层的连接权重，通过训练收敛条件，确定出适用于当前机器视觉智能处理任务的光调制结构，以及，适用于当前机器视觉智能处理任务的全连接参数与非线性激活参数，从而完成对光人工神经网络增强机器视觉芯片的训练。
103.例如，在利用该增强机器视觉芯片进行机器视觉智能处理任务时，首先需要对光人工神经网络增强机器视觉芯片进行训练，这里对光人工神经网络增强机器视觉芯片进行训练是指通过前期采集大量机器视觉应用场景作为训练集，确定适用于当前机器视觉智能处理任务的光调制结构，以及，适用于当前机器视觉智能处理任务的全连接参数与非线性激活参数。
104.可以理解的是，由于光滤波器层对进入光滤波器层的入射光的滤波作用对应人工神经网络输入层到线性层的连接权重，因此，在训练时，改变光滤波器层中的光调制结构相当于改变人工神经网络输入层到线性层的连接权重，通过训练收敛条件，确定出适用于当前机器视觉智能处理任务的光调制结构，以及，适用于当前机器视觉智能处理任务的全连接参数与非线性激活参数，从而完成对增强机器视觉芯片的训练。
105.可以理解的是，在对增强机器视觉芯片训练后，就可以使用该增强机器视觉芯片执行机器视觉智能处理任务。具体地，携带有目标对象图像信息以及空间光谱信息的入射光进入训练好的增强机器视觉芯片的光滤波器层1后，光滤波器层1中的光调制结构会对入射光进行调制，调制后的光信号强度由图像传感器2探测并转换成电信号，再由处理器3进行全连接处理与非线性激活处理，就能得到目标对象的机器视觉智能处理结果。
106.如图4所示，对于机器视觉应用场景下目标对象控制的完整流程为：光源200照射到目标对象300上，然后目标对象的反射光或透射光由光人工神经网络增强机器视觉芯片100采集，或者目标对象直接向外辐射的光由光人工神经网络增强机器视觉芯片100采集，由增强机器视觉中的光滤波器层、图像传感器和处理器进行处理后，即可得到机器视觉智能处理结果，最后由控制机构根据智能处理结果做出相应操作。
107.其中，训练好的光人工神经网络增强机器视觉芯片是指包括训练好的光调制结构、图像传感器和处理器的光人工神经网络增强机器视觉芯片；所述训练好的光调制结构、图像传感器和处理器是指利用与所述机器视觉智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数与非线性激活参数的处理器的光人工神经网络增强机器视觉芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器。
108.举例来说，对于机器视觉智能处理任务来说，与机器视觉智能处理任务对应的输入训练样本为机器视觉场景下目标对象样本，与机器视觉智能处理任务对应的输出训练样本为所述机器视觉场景下目标对象样本的机器视觉智能处理结果。可以理解的是，对于机器视觉智能处理任务来说，由于本实施例提供的增强机器视觉芯片的优势还在于能够获取到目标对象空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，因此，为充分利用该优势，对于作为输入训练样本的目标对象样本优先采用真实的目标对象，而不是目标对象的二维图像。当然，这并不代表不可以将二维图像作为目标对象样本。
109.在本实施例中，光滤波器层1作为神经网络的输入层，图像传感器2作为神经网络的线性层，为了使神经网络的损失函数最小，将光滤波器层中的光调制结构对目标对象的入射光中不同波长成分的调制强度作为神经网络的输入层到线性层的连接权重，通过调整滤波器的结构可以调整目标对象的入射光中不同波长成分的调制强度，从而实现对输入层到线性层连接权重的调整，进而优化神经网络的训练。
110.因此，本实施例中光调制结构是基于神经网络训练得到的，通过计算机对训练样本进行光学仿真，获取训练样本中光调制结构对智能处理任务中目标对象的入射光不同波长成分的样本调制强度，将样本调制强度作为神经网络的输入层到线性层的连接权重，进行非线性激活，并利用与智能处理任务对应的训练样本进行神经网络训练，直至神经网络收敛时将对应的训练样本光调制结构作为对应机器视觉智能处理任务的光滤波器层。
111.由此可见，本实施例通过在物理层实现神经网络的输入层(光滤波器层)和线性层(图像传感器)，不但能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理，而且本发明实施例实际上同时利用了目标对象的图像信息、光谱信息、入射光的角度和入射光的相位信息，即目标对象空间不同点处的入射光携带信息，由此可见，由于目标对象空间不同点处的入射光携带信息涵盖了目标对象的图像、成分、形状、三维深度、结构等信息，从而在依据目标对象空间不同点处的入射光携带信息进行识别处理时，可以涵盖目标对象的图像、成分、形状、三维深度、结构等多维度的信息，从而提高识别准确率，由此可见，本发明实施例提供的光人工神经网络增强机器视觉芯片，不但能够实现低功耗和低延时的效果，还能够实现高准确率的效果。
112.基于上述实施例的内容，在本实施例中，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络增强机器视觉芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
113.在本实施例中，通过计算机光学仿真对光调制结构进行设计，通过光学仿真调整光调制结构，直至神经网络收敛时确定对应的光调制结构为最终需要制作的光调制结构尺寸，节省原型制作时间和成本，提高产品效率，轻松解决复杂的光学问题。例如，可以通过fdtd软件来对光调制结构进行仿真设计，在光学仿真中改变光调制结构，从而可以准确地预测光调制结构对不同入射光的调制强度，并将其作为神经网络输入层与线性层的连接权重，对光人工神经网络增强机器视觉芯片进行训练，准确获取光调制结构。
114.由此可见，本实施例通过采用计算机光学仿真设计的方式设计光调制结构，节省了光调制结构原型制作时间和成本，提高产品效率。
115.基于上述实施例，所述机器视觉场景包括自动驾驶、机器人手术导航、快递包裹分
拣、机器人测量以及啤酒生产流水线检测；
116.当所述机器视觉场景为自动驾驶时，所述输入训练样本包括由不同路况的道路以及前方障碍物反射、透射和/或辐射的入射光；所述输出训练样本包括路况识别结果和前方障碍物识别结果；
117.当所述机器视觉场景为机器人手术导航时，所述输入训练样本包括由手术操作对象以及手术辅助工具反射、透射和/或辐射的入射光；所述输出训练样本包括相应的手术操作对象以及手术辅助工具的相对位置识别结果；
118.当所述机器视觉场景为快递包裹分拣时，所述输入训练样本包括由不同快递包裹反射、透射和/或辐射的入射光；所述输出训练样本包括快递包裹的体积、重量以及收件信息的识别结果；
119.当所述机器视觉场景为机器人测量时，所述输入训练样本包括由不同测量对象反射、透射和/或辐射的入射光；所述输出训练样本包括测量对象的位置、形状以及大小的识别结果；
120.当所述机器视觉场景为啤酒生产流水线检测时，所述输入训练样本包括由不同生产流水线反射、透射和/或辐射的入射光；所述输出训练样本包括相应的啤酒生产流水线的工作状态。
121.在本实施例中，机器视觉场景可以包括自动驾驶、机器人手术导航、快递包裹分拣、机器人测量以及啤酒生产流水线检测。
122.当机器视觉场景为自动驾驶时，本实施例以不同路况的道路以及前方障碍物的入射光作为芯片的输入训练样本，以相应的路况识别结果和前方障碍物识别结果作为训练输出样本，从而使得训练完成的芯片能够自动识别不同路况的道路，进而可以供自动驾驶规划相应的行驶路径。
123.当机器视觉场景为机器人手术导航时，本实施例以手术操作对象以及手术辅助工具的入射光作为芯片的输入训练样本，以相应的手术操作对象以及手术辅助工具的相对位置识别结果作为训练输出样本，从而使得训练完成的芯片能够在手术过程中对相应病灶进行导航定位，提高手术的成功率。
124.当机器视觉场景为快递包裹分拣时，本实施例以不同快递包裹的入射光作为输入训练样本，以相应快递包裹的体积、重量以及收件信息的识别结果作为训练输出样本，从而使得训练完成的芯片能够准确且实时对不同快递包裹进行分拣。
125.当机器视觉场景为机器人测量时，本实施例以不同测量对象的入射光作为输入训练样本，以相应测量对象的位置、形状以及大小的识别结果作为训练输出样本，从而使得训练完成的芯片能够准确对不同目标对象进行测量，提高测量的准确率。
126.当机器视觉场景为啤酒生产流水线检测时，本实施例以不同生产流水线的入射光作为输入训练样本，以相应的啤酒生产流水线的工作状态作为输出训练样本，从而使得训练完成的芯片能够根据不同生产流水线的状态进行相应的操作处理，提高流水线的生产效率。
127.由此可见，机器视觉技术是人工智能的一个分支技术，通过机器代替人眼进行观测和判断，广泛应用于工业生产、质量检测、快递分拣、无人驾驶等领域。本实施例提供的光人工神经网络增强机器视觉芯片，能够在不同机器视觉场景下实现精确对目标物体的识
别、测量和/或控制，实现更高准确率和可靠性的增强机器视觉。
128.基于上述实施例的内容，在本实施例中，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构。
129.在本实施例中，可以理解的是，这里光调制结构包括规则结构可以包括：光调制结构包含的最小调制单元是规则的结构，光调制结构包含的最小调制单元的排布方式是规则的，以及光调制结构包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。
130.其中，光调制结构包含的最小调制单元可以为长方形、正方形和圆形等规则的图形。光调制结构包含的最小调制单元的排布方式可以是最小调制单元按规则的阵列形式排布、按规则的圆形形式排布、按规则的梯形形式排布、按规则的多边形形式排布等。
131.在本实施例中，这里的光调制结构包括不规则结构可以指：光调制结构包含的最小调制单元是不规则的结构，如最小调制单元可以不规则多边形、随机形状等不规则的图形。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元的排布方式是不规则的，如排布方式可以是不规则的多边形形式、随机排列形式等。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。
132.基于上述实施例的内容，在本实施例中，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
133.在本实施例中，所述光滤波器层中的光调制结构可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。
134.在本实施例中，这里光调制结构包括连续型结构可以指：光调制结构是由连续的调制图案构成的；这里光调制结构包括离散型结构可以指：光调制结构是由离散的调制图案构成的。
135.可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。
136.可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的三角形、离散的星形等)形成的调制图案。
137.在本实施例中，需要说明的是，光调制结构对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。
138.基于上述实施例的内容，在本实施例中，所述光滤波器层为单层结构或多层结构。
139.在本实施例中，需要说明的是，所述光滤波器层可以为单层滤波器结构，也可以是多层滤波器结构，例如可以是两层、三层、四层等多层结构。
140.在本实施例中，如图1所示，所述光滤波器层1为单层结构，光滤波器层1的厚度与目标波长范围相关，对于波长400nm～10μm，光栅结构的厚度可以为50nm～5μm。
141.可以理解的是，由于光滤波器层1的作用是对入射光进行频谱调制，因此，优选折射率高、损耗小的材料制备，例如可以选择硅、锗、锗硅材料、硅的化合物、锗的化合物、iii-v族材料等进行制备，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。
142.此外，需要说明的是，为在输入层和线性层之间形成更多或更复杂的连接权重，优
选地，可以将所述光滤波器层1设置为多层结构，各层对应的光调制结构可以设置为不同的结构，从而增加光滤波器层对入射光的频谱调制能力，从而可以在输入层和线性层之间形成更多或更为复杂的连接权重，进而提高增强机器视觉芯片在处理机器视觉智能处理任务时的准确度。
143.此外，需要说明的是，对于包含多层结构的滤波器层来说，每层结构的材料可以相同，也可以不同，举例来说，对于有二层的光滤波器层1，第一层可以为硅层，第二层可以为氮化硅层。
144.需要说明的是，光滤波器层1厚度与目标波长范围相关，对于波长400nm～10μm，多层结构总的厚度可以为50nm～5μm。
145.基于上述实施例的内容，在本实施例中，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
146.在本实施例中，为能够获得呈阵列分布的连接权重(用于连接输入层与线性层之间的连接权重)以便于处理器进行后续的全连接与非线性激活处理，优选地，在本实施例中，光调制结构为阵列结构形式，具体地，光调制结构包括由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点。需要说明的是，各个微纳单元的结构可以相同，也可以不同。此外，需要说明的是，各个微纳单元的结构可以是周期的，也可以是非周期的。此外，需要说明的是，各个微纳单元还可以进一步包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同等。需要说明的是，各个微纳单元的结构是根据相应的机器视觉智能处理任务设计得到的结构，例如机器视觉智能处理任务为规划自动驾驶的路径，则各个微纳单元的结构是基于以不同路况的道路反射或透射或辐射的入射光为输入，以相应的行驶路径为输出训练得到的。由此可见，本实施例可以根据不同的机器视觉智能处理任务，对应设计不同的微纳调制结构，进而准确且快速完成相应的机器视觉应用。
147.下面结合图5～图9进行举例说明，在本实施例中，如图5所示，光滤波器层1包含多个重复连续或离散的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为非周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图6所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(与图5的区别在于图6中每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图7所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点，与图6的区别在于图7中的各微纳单元内周期阵列的单元形状具有四重旋转对称性；如图8所示，光滤波器层1包含多个微纳单元，如11、22、33、44、55、66，与图6的区别在于每个微纳单元结构互不相同，每个微纳单元对应图像传感器2上的一个或多个像素点，本实施例中光滤波器层1包含多个互不相同的微纳单元，也即增强机器视觉上不同区域对入射光的调制作用不同，从而提高了设计的自由度，进而也可以提升识别的准确率。如图9所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同，与图5的区别在于各微纳单元是由分立的非周期阵列结构组成的，每个微纳单元对应图像传感器2上的一个或多个像素点。
148.在本实施例中，微纳单元对不同波长的光具有不同的调制作用，具体的调制方式
包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。
149.基于上述实施例的内容，在本实施例中，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
150.在本实施例中，所述微纳单元可以只包括规则结构，也可以只包括不规则结构，还可以既包括规则结构，又包括不规则结构。
151.在本实施例中，这里微纳单元包括规则结构可以指：微纳单元包含的最小调制单元是规则的结构，微纳单元包含的最小调制单元的排布方式是规则的，微纳单元包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。其中，最小调制单元可以为长方形、正方形和圆形等规则的图形，微纳单元包含的最小调制单元的排布方式可以是规则的阵列形式、圆形形式、梯形形式、多边形形式等。
152.在本实施例中，这里的微纳单元包括不规则结构可以指：微纳单元包含的最小调制单元是不规则的结构，微纳单元包含的最小调制单元的排布方式是不规则的，微纳单元包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。
153.其中，微纳单元包含的最小调制单元可以为不规则多边形、随机形状等不规则的图形，微纳单元包含的最小调制单元的排布方式可以是不规则的多边形形式、随机排列形式等。
154.在本实施例中，所述光滤波器层中的微纳单元可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。
155.在本实施例中，这里微纳单元包括连续型结构可以指：微纳单元是由连续的调制图案构成的；这里微纳单元包括离散型结构可以指：微纳单元是由离散的调制图案构成的。
156.可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。
157.可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的三角形、离散的星形等)形成的调制图案。
158.在本实施例中，需要说明的是，不同微纳单元对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳单元，使得光通过不同组的微纳单元后，对应的透射谱不同。
159.基于上述实施例的内容，在本实施例中，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
160.在本实施例中，如图5所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个不同的微纳结构阵列110、111、112和113，滤波单元44包含4个不同的微纳结构阵列440、441、442和443。如图10所示，光滤波器层1包含多个微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个相同的微纳结构阵列110、111、112和113。
161.需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。
162.在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制
作用，并且各组滤波结构之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。
163.基于上述实施例的内容，在本实施例中，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
164.在本实施例中，为了能够获取目标对象的入射光不同波长成分的调制强度作为神经网络输入层和线性层的连接权重，通过采用不同的微纳结构阵列实现宽带滤波和窄带滤波，因此本实施例中微纳结构阵列通过对目标对象的入射光进行宽带滤波或窄带滤波，获取目标对象的入射光不同波长成分的调制强度。如图11和图12所示，光滤波器层中各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
165.可以理解的是，对于各组微纳结构阵列来说，可以都具备宽带滤波作用，也可以都具备窄带滤波作用，也可以部分具备宽带滤波作用，部分具备窄带滤波作用。此外，各组微纳结构阵列的宽带滤波范围和窄带滤波范围也可以相同或不同。举例来说，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有窄带滤波作用，即只有一个(或较少个)波长的光可以通过。又如，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有宽带滤波作用，即允许较多波长或所有波长的光可以通过。
166.可以理解的是，在具体使用时，可以根据应用场景进行宽带滤波、窄带滤波或其组合的方式确定各组微纳结构阵列的滤波状态。
167.基于上述实施例的内容，在本实施例中，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
168.在本实施例中，各组微纳结构阵列可以均为周期结构阵列，也可以均为非周期结构阵列，也可以部分为周期结构阵列，部分为非周期结构阵列。其中，周期结构阵列易于进行光学仿真设计，非周期结构阵列可以实现更复杂的调制作用。
169.在本实施例中，如图5所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为非周期性结构。其中，非周期性结构指微纳结构阵列上的调制孔形状按照非周期排列方式进行排布。如图5所示，微纳单元11包含4个不同的非周期结构阵列110、111、112和113，微纳单元44包含4个不同的非周期结构阵列440、441、442和443，非周期性结构的微纳结构阵列是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图6所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，与图5所不同的是，微纳结构阵列为周期性结构。其中，周期性结构指微纳结构阵列上的调制孔形状按照周期排列方式进行排布，周期的大小通常为20nm～50μm。如图6所示，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的滤波器结构是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图7所示，光滤波器层1包含多个互不相同的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为周期性结构。其中，周期性结构指滤波器结构上的形状按照周
期排列方式进行排布，周期的大小通常为20nm～50μm。如图7所示，微纳单元11与微纳单元12的微纳结构阵列互不相同，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的微纳结构阵列是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。
170.需要说明的是，图5～图9每个微纳单元均包括四组微纳结构阵列，四组微纳结构阵列分别采用四种不同形状的调制孔形成，四组微纳结构阵列用于对入射光具有不同的调制作用。需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。在本实施例中，四种不同形状可以为圆形、十字形、正多边形和矩形(不限于此)。
171.在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制作用，并且各组微纳结构阵列之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。
172.基于上述实施例的内容，在本实施例中，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
173.下面结合图9所示例子进行举例说明，在本实施例中，如图9所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，对于任一微纳单元包含一组或多组空结构，所述空结构用于直通入射光。可以理解的是，当多组微纳结构阵列中包含有一组或多组空结构时，可以形成更为丰富的频谱调制效果，从而满足特定场景下的频谱调制需求(或满足特定场景下输入层与线性层之间的特定连接权重需求)。
174.如图9所示，每个微纳单元均包括一组微纳结构阵列和三组空结构，微纳单元11包含1个非周期结构阵列111，微纳单元22包含1个非周期结构阵列221，微纳单元33包含1个非周期结构阵列331，微纳单元44包含1个非周期结构阵列441，微纳单元55包含1个非周期结构阵列551，微纳单元66包含1个非周期结构阵列661，其中微纳结构阵列用于对入射光进行不同的调制。需要说明的是，这里只是以包括一组微纳结构阵列和三组空结构进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括一组微纳结构阵列和五组空结构或其他数量组微纳结构阵列的微纳单元。在本实施例中，微纳结构阵列可以采用圆形、十字形、正多边形和矩形的调制孔制成(不限于此)。
175.需要说明的是，微纳单元包含的多组微纳结构阵列中也可以均不包含空结构，即多组微纳结构阵列可以是非周期结构阵列，也可以是周期结构阵列。
176.基于上述实施例的内容，在本实施例中，所述微纳单元具有偏振无关特性。
177.在本实施例中，由于微纳单元具有偏振无关特性，因此使得光滤波器层对入射光的偏振不敏感，从而实现了对入射角、偏振均不敏感的光人工神经网络增强机器视觉芯片。本发明实施例提供的光人工神经网络增强机器视觉芯片对入射光的入射角以及偏振特性不敏感，即测量结果不会受到入射光的入射角度和偏振特性的影响，从而可以保证光谱测
量性能的稳定性，进而可以保证机器视觉智能处理的稳定性。需要说明的是，微纳单元也可以具有偏振相关特性。
178.基于上述实施例的内容，在本实施例中，所述微纳单元具有四重旋转对称性。
179.在本实施例中，需要说明的是，四重旋转对称性属于偏振无关特性中的一种具体情况，通过将微纳单元设计为具有四重旋转对称性的结构，可以满足偏振无关特性的要求。
180.下面结合图7所示例子进行举例说明，在本实施例中，如图7所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，每组微纳结构阵列对应的结构可为圆、十字、正多边形、矩形等具有四重旋转对称性的结构，即结构旋转90
°
、180
°
、270
°
后，与原来的结构重合，从而使得结构具有偏振无关的特性，使得在不同偏振光入射都能取得相同的智能识别效果。
181.基于上述实施例的内容，在本实施例中，所述光滤波器层由一层或多层滤波器层构成；
182.所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元spp(surface plasmon polaritons，spp)微纳结构、可调法布里-珀罗谐振腔(fabry-perot cavity，fp腔)中的一种或多种制备的滤波器层。
183.所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
184.其中，光子晶体，以及超表面与随机结构组合可采用cmos工艺兼容，能够有较好的调制效果，微纳调制结构微孔中也可以填充其他材料做表面的平滑化处理；量子点与钙钛矿可以利用材料本身的谱调制特性使得单个调制结构的体积最小；spp体积较小，可实现偏振相关的光调制；液晶可以用电压动态调控，提升空间分辨率；可调法布里-珀罗谐振腔可以动态调控，提升空间分辨率。
185.基于上述实施例的内容，在本实施例中，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
186.在本实施例中，需要说明的是，若光滤波器层的厚度远小于入射光的中心波长，就不能起到有效的频谱调制作用；若光滤波器层的厚度远大于入射光的中心波长，工艺上难以制备，并且会引入较大的光学损耗。因此，本实施例中为了减少光学损耗易于制备，并且保证有效的频谱调制作用，光滤波器层1中每个微纳单元的整体尺寸(面积)通常为λ2～105λ2，厚度通常为0.1λ～10λ(λ表示目标对象的入射光的中心波长)。如图5所示，每个微纳单元的整体尺寸为0.5μm2～40000μm2，光滤波器层1中的介质材料为多晶硅，厚度为50nm～2μm。
187.基于上述实施例的内容，在本实施例中，所述图像传感器为下述中的任意一项或多项：
188.cmos图像传感器(contact image sensor，cis)、电荷耦合元件(charge coupled device，ccd)、单光子雪崩二极管(single photon avalanche diode，spad)阵列和焦平面光电探测器阵列。
189.在本实施例中，需要说明的是，采用晶圆级别的cmos图像传感器cis，在晶圆级别实现单片集成，可以最大程度减小图像传感器与光滤波器层之间的距离，有利用于缩小单元的尺寸，降低器件体积和封装成本，spad可以用于弱光探测，ccd可以用于强光探测。
190.在本实施例中，光滤波器层和图像传感器可以由互补金属氧化物半导体(complementary metal oxide semiconductor，cmos)集成工艺制造，有利于降低器件失效率，提高器件的成品率并降低成本。例如，可以通过在图像传感器上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到光滤波器层。
191.基于上述实施例的内容，在本实施例中，所述人工神经网络的类型包括：前馈神经网络。
192.在本实施例中，前馈神经网络(feedforward neural network，fnn)，又称作深度前馈网络(deep feedforward network，dfn)、多层感知机(multi-layer perceptron，mlp)，是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。前馈神经网络结构简单，易于在硬件上实现，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数，而且可以精确实现任意有限训练样本集。前馈网络是一种静态非线性映射。通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。
193.基于上述实施例的内容，在本实施例中，所述光滤波器层与所述图像传感器之前设置有透光介质层。
194.在本实施例中，需要说明的是，在所述光滤波器层与所述图像传感器之间设置透光介质层，可以有效将光滤波器层与图像传感器层分开，避免两者相互干扰。
195.基于上述实施例的内容，在本实施例中，所述图像传感器为前照式，包括：自上而下设置的金属线层和光探测层，所述光滤波器层集成在所述金属线层远离所述光探测层的一面；或，
196.所述图像传感器为背照式，包括：自上而下设置的光探测层和金属线层，所述光滤波器层集成在所述光探测层远离所述金属线层的一面。
197.在本实施例中，前照式的图像传感器，硅探测层在金属线层下方，光滤波器层1直接集成到金属线层上。
198.在本实施例中，背照式的图像传感器与前照式的图像传感器不同的是，硅探测层在金属线层上方，光滤波器层1直接集成到硅探测层上。
199.需要说明的是，对于背照式的图像传感器，硅探测层在金属线层上方，可以减少金属线层对入射光的影响，从而可以提高器件的量子效率。
200.根据上面的内容可知，本实施例将光滤波器层作为人工神经网络的输入层，将图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，本实施例提供的光人工神经网络增强机器视觉芯片中的光滤波器层和图像传感器通过硬件的方式实现了人工神经网络中输入层和线性层的相关功能，从而使得后续在使用该增强机器视觉芯片进行机器视觉智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，这样可以大幅降低人工神经网络处理时的功耗和延时。此外，本实施例由于同时利用了目标对象空间不同点处的图像信息、光
谱信息、入射光的角度信息以及入射光的相位信息，从而可以更加准确地实现对目标对象的机器视觉智能处理。
201.基于相同的发明构思，本发明另一实施例提供了一种机器视觉设备，包括：如上面实施例所述的光人工神经网络增强机器视觉芯片。
202.由于本实施例提供的机器视觉设备包括上述实施例所述的光人工神经网络增强机器视觉芯片，因此，本实施例提供的机器视觉设备具备上述实施例所述的光人工神经网络增强机器视觉芯片的全部有益效果，由于上述实施例已经对此进行了较为详尽的描述，因此本实施例不再赘述。
203.基于相同的发明构思，本发明另一实施例提供了一种如上面所述实施例的光人工神经网络增强机器视觉芯片的制备方法，如图13所示，具体包括如下步骤：
204.步骤1310、在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
205.步骤1320、生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
206.步骤1330、连接所述图像传感器和所述处理器；
207.其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
208.所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到机器视觉智能处理结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括机器视觉场景下目标对象的反射光、透射光和/或辐射光。
209.在本实施例中还包括：对所述光人工神经网络增强机器视觉芯片的训练过程，具体包括：
210.利用与所述机器视觉智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络增强机器视觉芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
211.在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层，包括：
212.在所述图像传感器的感光区域的表面生长一层或多层预设材料；
213.对所述一层或多层预设材料进行光调制结构图案的干法刻蚀，得到包含有光调制结构的光滤波器层；
214.或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光滤波器层；
215.或通过对所述一层或多层预设材料进行外加动态调控，得到包含有光调制结构的光滤波器层；
216.或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光滤波器层；
217.或对所述一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光滤波器层；
218.或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器层。
219.当所述光人工神经网络增强机器视觉芯片用于目标对象的机器视觉智能处理任务时，利用与所述机器视觉智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络增强机器视觉芯片进行训练，得到满足训练收敛条件的光调制结构、图像传感器和处理器。
220.在本实施例中，需要说明的是，如图1所示，光滤波器层1可以通过在图像传感器2上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到。通过设计光调制结构的尺寸参数，各个单元能够对目标范围内不同波长的光有不同的调制作用，并且该调制作用对入射角度、偏振均不敏感。光滤波器层1中的每个单元对应图像传感器2上一个或多个像素。1是直接在2上制备的。
221.在本实施例中，需要说明的是，假设图像传感器2为背照式结构，则光滤波器层1可以在背照式的图像传感器的硅探测器层上直接刻蚀，然后再沉积金属进行制备得到。
222.此外，需要说明的是，所述光滤波器层上的光调制结构可以通过对一层或多层预设材料进行光调制结构图案的干法刻蚀，干法刻蚀就是直接将图像传感器感光区域表面的一层或多层预设材料中不需要的部分去除，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行压印转移，压印转移是在其它衬底上通过刻蚀制备所需的结构，再通过pdms等材料将结构转移到图像传感器的感光区域，得到包含有光调制结构的光滤波器层；或通过对一层或多层预设材料进行外加动态调控，外加动态调控是采用有源材料，然后外加电极通过改变电压来调控相应区域的光调制特性，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行分区打印，分区打印是分区采用打印的技术，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器层。
223.此外，需要说明的是，由于本实施例提供的制备方法是上述实施例中的光人工神经网络增强机器视觉芯片的制备方法，因此，关于一些原理和结构等方面的详细内容，可以参见上述实施例的介绍，本实施例对此不再赘述。
224.基于此，本发明实施例提供的光人工神经网络增强机器视觉芯片，实现了一种能够实现人工神经网络功能的全新智能芯片，在该智能芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该智能芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能芯片进行
人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由智能芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时，而且本发明实施例还可以同时利用目标对象的图像信息、光谱信息、入射光的角度和入射光的相位信息，即目标对象空间不同点处的入射光携带信息，由此可见，由于目标对象空间不同点处的入射光携带信息涵盖了目标对象的图像、成分、形状、三维深度、结构等信息，从而在依据目标对象空间不同点处的入射光携带信息进行识别处理时，可以涵盖目标对象的图像、成分、形状、三维深度、结构等多维度的信息，从而可以提高指纹的准确性，由此可见，本发明实施例提供的光人工神经网络指纹识别芯片，不但能够实现低功耗和低延时的效果，还能够提高目标对象识别的准确率，从而可以较好地应用在机器视觉智能处理领域。
225.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。