基于微环谐振器和非易失性相变材料的光子卷积神经网络加速器的制作方法

1.本发明属于光子信号处理领域，具体涉及一种基于微环谐振器和非易失性相变材料的光子卷积神经网络加速器架构技术。


背景技术：

2.在卷积神经网络中，卷积运算通常占用80％以上的计算量及处理时间。此外，伴随着人工智能时代的带来，数据量呈现指数增长趋势。为应对人工智能时代对超大数据集计算的需求，能够推动加速矩阵向量乘法(matrix
‑
vector multiplication，mvm)的定制硬件成为当前研究的热点。目前已经开发出现场可编程门阵列(field
‑
programmable gate arrays，fpgas)、特殊应用集成电路(application
‑
specific integrated circuits，asics)以及图像处理单元(graphics processing units，gpus)来实现计算的加速，但这些基于电学处理的加速器在能量及速率方面受到焦耳加热、电磁串扰的限制。同时，这些电加速器内部数据的交互需要芯片级金属互联的充放电，从而带来极大的功耗成本。
3.得益于硅光子学的不断成熟，光子卷积神经网络加速器取得了一定程度的发展。光子卷积神经网络加速器的优势在于：(1)具有极高的调制速率。光子卷积神经网络加速器将计算维度从电域扩展到光域，并且目前已知的光学调制速率可达10～40ghz，光学整体架构的调制速率比纯电学计算架构提升1～2个数量级，且调制速率仅受到光电探测器和片上光学调制器带宽的影响；(2)通过波分复用(wavelength
‑
division
‑
multiplexing，wdm)结合多通道(分光器)进行大规模的并行卷积运算；(3)乘加累计运算(multiply accumulate，mac)可在光子卷积神经网络中以非常低的能量实现。这些独特的优势使得光子卷积神经网络加速器在功耗和速率方面得到进一步的提升，并在最近几年得到广泛的研究。
4.现有的光子卷积神经网络尽管在速率等方面较电加速器有了较大的提升，但输入及权重的调制仍需要外加电源实现。因此本发明提出了一种基于相变材料gst和环形谐振器的光子卷积神经网络加速器结构，将gst嵌入微环的顶部，利用其非易失性的特点，用来存储不同的权重值，实现了卷积的“存内计算”。


技术实现要素：

5.本发明旨在解决传统电加速器功耗较高及计算速率受限等问题。提出了一种基于微环谐振器和非易失性相变材料ge2sb2te5(gst)的光子卷积神经网络加速器架构。将卷积计算的维度从电域转换到光域，引入波分复用技术，实现了并行卷积处理，通过平衡光电二极管将上下路型环形谐振器的两个端口相连，得到正负权重值。重点研究基于环形谐振器及非易失性相变材料gst的光学矩阵向量乘法(matrix
‑
vector multiplication，mvm)架构和芯片内各器件之间的通信。通过脉冲处理模块、调制模块、卷积模块及光电转换模块实现片上的光学并行卷积处理，有望比电加速器速率提升1～2个数量级，同时降低功耗，有效缓解数据爆炸增长带来的处理压力。
6.为了实现上述目的，本发明采用的技术方案是基于微环谐振器和非易失性相变材料的光子卷积神经网络加速器，包括若干个瓦片结构，各个瓦片结构之间通过路由器进行通信。
7.所述瓦片结构包括非线性模块、输入输出模块和光学矩阵向量乘法模块，所述非线性模块用于行非线性运算，所述输入输出模块用于与路由器进行数据传输，所述光学矩阵向量乘法模块包括脉冲处理模块、调制模块、卷积模块以及光电转换模块；所述脉冲处理模块包括基于复用器的复用模块和基于分光器的分光模块，所述基于复用器的复用模块用于实现不同谐振波长的复用，所述基于分光器的分光模块用于将单一脉冲分成多个光脉冲；所述调制模块包括若干个全通型环形谐振器，用于对输入的光脉冲进行调制，使其脉冲幅度发生变化；所述卷积模块包括若干个嵌有非易失性相变材料(gst)的上下话路型环形谐振器，用于存储权重值，并实现卷积计算；所述光电转换模块由若干个平衡光电二极管及一个电流加法器组成，平衡光电二极管用于将光脉冲转换成电流并实现电流的相减，电流加法器用于将所有电流值相加，得到一个卷积特征，将该卷积特征作用于非线性模块。
8.进一步，所述光学矩阵向量乘法模块将n个输入光脉冲经过复用器与分光器之后被分成m个光脉冲，分别输入m个波导中；每个调制模块由n
×
m个全通型环形谐振器组成；每个卷积模块由n
×
m个上下话路型环形谐振器组成；每个光电转换模块包含m个平衡光电二极管，将m个波导的输出进行光电转换并实现减法运算。
9.进一步，所述全通型环形谐振器由一个直波导与一个第一环形波导组成；用于调制输入脉冲，调制方式为电调制。所述上下话路型环形谐振器由两个直波导和一个第二环形波导组成，所述第二环形波导中包含一段非易失性相变材料(gst)，每个gst将第二环形波导划分16个等级，用于存储不同的权重值；当第二环形波导中光波的往返相移等于2π的整数倍时，谐振腔处于谐振状态，此时输入光信号完全从下降端口输出，当谐振腔失谐时，下降端口的输出功率值下降，通过端口的输出功率增加。
10.进一步，向所述全通型环形谐振器外加电源，采用电调制的方式调制输入脉冲。
11.进一步，所述平衡光电二极管分别接收下降端口和通过端口流出的光脉冲，实现电流的相减，然后流入一个电流加法器。
12.进一步，所述非线性模块中，采用移位相加运算将中间结果保存在输出缓冲器内，并将该结果发送到激活单元，然后运用非线性函数对中间结果进行非线性运算，运算结果保存在随机存取存储器中，用于下一层处理。
13.进一步，所述非线性函数包括sigmoid函数及maxpool函数。
14.进一步，本发明还包括数模转换器和模数转换器，其中数模转换器用于将数字信号转换成模拟信号，该模拟信号将用于调制输入阵列；模数转换器用于将卷积运算后的模拟信号转换成数字信号。
15.进一步，本发明还包括光脉冲模块，用于向卷积模块施加光脉冲以修改或擦除内部存储的权重值。
16.本发明的优点及有益效果如下：
17.本发明提出一种基于微环谐振器和非易失性相变材料的光子神经网络加速器架构。首先，使用光脉冲来调制输入与权重，将计算的维度从电域扩展到光域，同时与波分复用技术的结合有效地增加了光链路的通道数，从而实现光信号的并行处理；其次，引入了非
易失性相变材料gst，将其嵌入微环谐振器的顶部，利用其非易失性及非晶相与晶相之间具有高对比度的特点，将权重值映射到每个gst中，从而实现了输入与权重的“存内计算”。因为gst非易失性特点，当权重值写入gst后该值将不易受到外界影响，从而避免了持续外加电源带来的功率损耗；最后，考虑到光脉冲难以实现减法及存储的问题，在本架构中，使用平衡光电二极管来进行光电切换。输出的卷积核值从环形谐振器的“通过”(through)及“下降”(drop)端口输出，分别输入到一个光电二极管(photodiode，pd)内，由于两个光电二极管的极性相反，从而实现了电流的减法，即“t
d
‑
t
p”。这些输出值将会通过一个加法器相加，产生一个卷积特征值，该值将会用于卷积神经网络的非线性部分。本发明所提出的架构致力于实现数据的光学并行存内计算，以解决人工智能时代对超大数据集处理所提出的挑战。
附图说明
18.图1为本发明的光子神经网络加速器芯片结构；
19.图2为微环谐振器及顶部添加gst的微环谐振器的结构示意图；
20.图3为用于产生单个卷积特征的光学矩阵向量乘法模块结构示意图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。
22.图1为光子神经网络加速器芯片结构示意图。一个芯片结构包含多个瓦片，每个瓦片之间通过路由器进行通信。每个瓦片包含输入输出模块、非线性模块以及用于卷积运算的光学矩阵向量乘法模块。其中，输入值从输入输出模块的随机存取储存器中取出，组成一个输入矩阵，该输入矩阵会被传送到光学矩阵向量乘法模块的卷积部分；光脉冲调制gst，使其生成不同的权重值，这一过程是在片外部分完成。这些权重值组成一个权重阵列，该权重阵列同样会被传送到光学矩阵向量乘法模块处的卷积部分。输入阵列与权重阵列将会在光学矩阵向量乘法模块内进行卷积的“存内计算”。运算得到的卷积值将会通过采样保持单元进行采样和保持，并由模数转换器转换成数字值。该数字结果通过采样相加单元运算，并将存储在输出缓存器中。输出缓存起中存储的卷积值最终将会传送到非线性模块，经过激活、池化及全连接层的非线性作用产生输出结果。
23.图2为用于搭建光子神经网络的微环谐振器结构示意图。图2(a)为搭建调制阵列模块所用到的全通型微环谐振器。该型环形谐振器由一个直波导与一个环形波导组成。该型环形谐振器用于调制输入光脉冲，使其幅度发生变化，调制方式采用电调制。图2(b)为搭建权重阵列所用到的上下话路型微环谐振器。其由两个直波导和一个环形波导，该环形波导由一个弯曲波导和嵌入的gst组成，当环形波导中光波的往返相移等于2π的整数倍时，环形波导谐振腔处于谐振状态，此时输入光信号完全从“下降”端口输出，即“下降”端口的透射率为1,“通过”端口的透射率为0。当环形波导谐振腔失谐时，“下降”端口的输出功率值会下降，“通过”端口的输出功率会增加。本发明将gst嵌入微环谐振器顶部，通过改变gst的晶化来控制两端口的传输。
24.gst晶化度影响输出端口的具体过程：
25.gst作为一种新型相变材料，其在晶态与非晶态之间具有高对比度。当gst处于晶态时，其具有高吸收性，传输在波导中的光全部被gst吸收，此时波导的投射率为0；当gst处于非晶态时，其对光的吸收几乎为0，波导中的光透过gst进行传输，此时波导的透射率为1。在0到1之间可以根据晶化度公式设置多个晶化度级别，具体公式如下：
[0026][0027]
其中，p为晶化度，ε
a
和ε
c
在非晶态和晶态下的介电率常数，ε
eff
为gst的晶化度，不同晶化度下的介电率常数不同将会导致晶化度不同，晶化度不同将会导致gst有效折射率的实部和虚部不同，这将导致相位与衰减系数不同，相位的公式如下：
[0028][0029][0030]
其中θ、α分别表示衰减因子和相变因子，n
eff,wg
为波导的折射率，r表示环形波导的半径，l
gst
为gst的长度，n
eff,gst
表示gst的有效折射率，k
eff,wg
为波导有效折射率的虚部，k
eff,gst
表示gst有效折射率的虚部，λ为输入波长。
[0031]
上下路型环形谐振器两端口的输出公式如下：
[0032][0033][0034]
t
t
、t
d
分别表示环形谐振器“通过”及“下降”端口的透射率，t1、t2表示耦合系数。
[0035]
根据上述公式可知两端口的传输值与相位与衰减因子有关，因此改变gst的晶化度最终将会影响两端口的输出。
[0036]
在本发明中，通过嵌入gst来实现卷积的“存内计算”，避免了持续外加电源带来的功率损耗。gst作为一种非易失性相变材料，具有易于读、写、擦除，非易失性以及在晶相与非晶相之间存在高对比度等特点，其可以实现输入与权重的“存内计算”，且只需要施加外部光脉冲即可修改或擦除内部存储的权重值，一旦gst的形态固定下来，内部存储的值就可以保存数年或数十年。
[0037]
具体实现gst读、写、擦除的过程如下所述：
[0038]
读操作：在输入端注入一个大功率的输入信号，利用波导中的光与gst之间的倏逝波耦合作用，可以将输入信号吸收到gst中，从而使gst表面的温度增加。当温度大于晶态阈值t1时，gst的状态开始发生改变(即非晶化过程)，影响gst的透射率，从而实现将透射率(权重)值的写入。
[0039]
存储操作：在gst透射率的值写入之后，将gst迅速冷却到室温，就可以将gst里原子的状态结构固定，实现权重的存储。在常温下这种状态可以保持几十年不变，因此具有非易失性。
[0040]
写操作：在权重值(假设为b)写入并存储之后，在输入端输入一个大小为a的小功
率信号，其能量不足以达到gst的晶态阈值，因此其不会改变gst的状态，且信号会通过gst传输到输出端。输出端接收到的信号的功率c为输入信号功率a和gst权重b的乘积，实现权重的读取。
[0041]
擦除操作：通过一个大功率的输入脉冲信号，使gst实现从非晶态到晶态的转变，从而实现对权重数据的擦除。
[0042]
图3是用于产生单个卷积特征的光学矩阵向量乘法结构示意图。该架构示意图包含脉冲处理模块、调制模块、卷积模块以及光电转换模块。所述脉冲处理模块包含以波分复用器为主的复用模块和以分光器为主的分光模块，所述调制模块包含多个全通型微环谐振器，所述卷积模块包含多个顶部嵌有gst的上下话路型微环谐振器，所述光电转换模块包含多个平衡光电二极管及一个电流加法器。
[0043]
所述脉冲处理模块由波分复用器及分光器组成。在图3的输入端接收n个不同谐振波长的输入光脉冲，这些光脉冲经过波分复用器复用成单一光脉冲，这一单一光脉冲会沿着波导传送到分光器。分光器将该单一脉冲分成m个光脉冲，每个光脉冲包含原来n个输入脉冲，只是功率变为原来的1/m。分光后的m个光脉冲会被传送到调制模块。
[0044]
所述调制模块由m
×
n个全通型微环谐振器组成。图3中，用a来表示调制阵列(也可称输入阵列)，a
ij
表示调制阵列第i行第j列的输入值，该输入值的调制需要持续的外加电源。通过向全通型环形谐振器添加电源可以间接影响端口的透射率，从而调制输入值。分解后的m个光脉冲会被传送到m个波导上，根据谐振频率的不同与相应的环形谐振器进行耦合。
[0045]
所述卷积模块由m
×
n个顶部嵌有gst的上下话路型微环谐振器组成，用f来表示权重阵列，f
ij
表示第i行第j列的权重值。在图3中，经过调制模块调制的光脉冲到达卷积模块，依据波长选择性与相应的微环进行耦合。每个微环顶部嵌有gst，每个gst内部存储有一个权重值。一旦权重值写入gst，该值将会在卷积过程中保持不变，避免了外加电源带来的功率损耗。输入与权重在gst内进行乘法运算，运算的结果将会通过“下降”及“通过”端口输出。
[0046]
所述光电转换模块主要由多个平衡光电二极管及一个电流加法器组成。从“下降”及“通过”端口流出的光脉冲分别输入到两个光电二极管内，由于这两个光电二极管的方向相反，从而实现了电流的相减，即实现了“t
d
‑
t
p”，得到了正负权重值。相减之后的电流值会流入一个电流加法器，在这里将所有的电流值相加，从而产生卷积特征。这个特征值将会被传送到神经网络的非线性部分。
[0047]
上述实施例阐明了该基于微环谐振器和非易失性相变材料的光子卷积神经网络的工作过程。在卷积神经网络中，总处理时间的80％花费在卷积运算上，因此提高卷积运算至关重要。在本发明中，引入了光脉冲来进行乘加计算，取代了原来的电计算，将运算范围从电域扩大到光域，实现了计算速率成倍的增长；此外，引入gst这一非易失性相变材料，实现了数据存储与运算的一体化处理，一方面减少了外加电源来改变和维持权重值的功率损耗，另一方面也降低了因频繁数据切换所带来的延迟，提升了计算的吞吐量；最后，引入电减法器，得到负权重值，弥补了光脉冲无法实现减法的不足，使得该光子卷积神经网络加速器的应用范围得到进一步的扩大。同时，该光子卷积神经网络加速器可以完全集成到芯片内，只需外部输入光脉冲即可，具有较大的可扩展性。该发明有望用于无人驾驶、航空航天、
多位图像处理、生物医药等领域。
[0048]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。