一种面向卷积神经网络的二维光子卷积加速系统和装置的制作方法

1.本发明涉及一种光子计算技术领域，尤其涉及一种面向卷积神经网络的二维光子卷积加速系统和装置。


背景技术：

2.人工智能如今广泛应用于机器视觉、自然语言处理及自动驾驶等领域，其中人工神经网络作为人工智能技术重要模型之一，因具有优秀泛化能力及稳定性而被广泛使用，而在实际数据处理过程中，卷积运算是人工神经网络的前置运算，占用大部分人工智能运算的算力。由于目前电子芯片采用将程序空间与数据空间分离的经典计算机结构，致使存储单元与计算单元之间数据载荷不稳定且功耗较高，限制网络模型训练的效率。常用解决方案是通过提高电子芯片集成度或通过存内计算来提高运算效率，但受限于电子芯片的微观量子特性及宏观高频响应特性，这些技术方向也面临巨大挑战。以光子作为信息载体的光子技术具有大带宽、低损耗以及可并行等特点，目前已吸引研究人员将光子技术应用在人工智能领域（参见[ashtiani f, geers a j, aflatouni f. an on-chip photonic deep neural network for image classification[j]. nature, 2022: 1-6.]）。将光子技术与传统神经网络相结合，有望充分发挥两种技术的优势，突破传统电子神经网络高功耗、长延时、速度有限的技术发展瓶颈，解决传统电子技术受限的技术问题（参见[huang c, fujisawa s, de lima t f, et al. a silicon photonic
–
electronic neural network for fibre nonlinearity compensation. nature electronics, 2021, 4(11): 837-844.]）。首先，光子神经网络采用模拟计算架构，存算同时进行，在提高计算速度的同时能够降低计算时延；其次，基于光传输介质的本质特性，光链路具有低损耗特性，间接可降低系统功耗；最后，光子器件相对电子器件，有效工作带宽增加了几个数量级，更适应神经网络的高速实时运算。如方案（参见[xu x, tan m, corcoran b, et al. "11 toos photonic convolutional accelerator for optical neural networks," nature, vol. 589, no. 7840, pp. 45-51, 2021.]）提出一种基于色散技术实现待卷积信号的卷积运算与全连接前馈神经网络，运算速度已接近现有基于电子技术的最新芯片，但该方案功耗却得到大大降低，为光子神经网络迈向实用化提供了可靠依据。
[0003]
为此，我们提出一种面向卷积神经网络的二维光子卷积加速系统和装置以解决上述技术问题。


技术实现要素：

[0004]
本发明的目的在于提供一种面向卷积神经网络的二维光子卷积加速系统和装置，解决了现有技术中如何基于色散模块与光纤延时阵列实现两级延时，结合微环加权阵列芯片实现不同波长信号强度加权，在单个信号周期实现二维卷积核矩阵系数加权，解决传统方法数据冗余、体积大的问题，且卷积核矩阵可灵活扩展，适用于多维数据卷积运算的问题。
[0005]
本发明采用的技术方案如下：一种面向卷积神经网络的二维光子卷积加速系统，包括：多波长光源，用于产生包含n个波长的多波长光信号，并将所述多波长光信号传输至调制器；待卷积信号源，用于将原始待卷积的二维数据转换成一维的待卷积信号，并将所述待卷积信号传输至调制器；调制器，用于将所述待卷积信号加载到所述多波长光信号上，得到多波长调制光信号，并将所述多波长调制光信号传输至色散模块；色散模块，用于对所述多波长调制光信号中对应n个波长的n个子调制光信号实现等间隔色散延时，得到色散延时后的多波长调制光信号，并将所述色散延时后的多波长调制光信号传输至1
×
m功分器；1
×
m功分器，用于将所述色散延时后的多波长调制光信号分为m路多波长调制光信号，并将m路多波长调制光信号传输至光纤延时阵列；光纤延时阵列，由m段光纤组成，用于对m路多波长调制光信号依次增加等间隔二级延时，得到m路二级延时的多波长调制光信号，并将m路二级延时的多波长调制光信号传输至微环加权阵列芯片；微环加权阵列芯片，包含m个微环加权单元，分别用于对m路二级延时的多波长调制光信号中各包含的n个子调制光信号进行加权求和，得到m个一级加权求和电信号，并将m个一级加权求和电信号传输至跨阻放大器阵列；卷积核矩阵控制单元，用于向微环加权阵列芯片提供卷积核系数控制信号；跨阻放大器阵列，包含m个跨阻放大器，分别用于对m个一级加权求和电信号进行放大，并对放大的m个一级加权求和电信号进行二级求和，得到二级加权求和电信号，将二级加权求和电信号传输至采集处理单元；采集处理单元，用于对二级加权求和电信号采集，并重构为对应待卷积信号的特征信号。
[0006]
进一步地，所述色散模块为色散光纤、布拉格色散光栅或空间色散模块，所述等间隔色散延时为：
∆
t=1/sm，其中，
∆
t为待卷积信号单个符号持续时间，sm为待卷积信号符号速率。
[0007]
进一步地，对m路多波长调制光信号依次增加等间隔二级延时具体为：光纤长度依次增加
∆
l=(o-1)c
∆
t/nf，其中，
∆
t为待卷积信号单个符号持续时间，o为原始待卷积的二维数据列数，c为光在真空中速度，nf为光纤折射率。
[0008]
进一步地，所述微环加权阵列芯片基于硅基工艺或三五组工艺。
[0009]
进一步地，所述微环加权单元由直通波导、耦合波导、平衡光电探测器和n个微环谐振器组成，n个所述微环谐振器通过所述直通波导和所述耦合波导串联连接，所述直通波导的输入端作为所述微环加权单元的输入端，所述耦合波导的输出端与所述直通波导的输出端分别连接所述平衡光电探测器，所述平衡光电探测器的输出端作为所述微环加权单元的输出端。
[0010]
进一步地，n个所述微环谐振器，用于根据卷积核矩阵控制单元输出的卷积核系数控制信号控制n个相邻所述微环谐振器的耦合系数与传输系数，依次将m路二级延时的多波
长调制光信号中对应n个波长的n个子调制光信号按不同耦合系数分别耦合到所述耦合波导中，同时对应n个波长的n个子调制光信号以不同传输系数在所述直通波导中传输，得到耦合波导加权调制光信号与直通波导加权调制光信号。
[0011]
进一步地，所述平衡光电探测器，用于对所述耦合波导加权调制光信号与所述直通波导加权调制光信号进行光电转换，得到m个一级加权求和电信号。
[0012]
进一步地，所述多波长光源为多波长激光器、锁模激光器、飞秒激光器、光频梳发生器、光孤子光频梳发生器或单频信号外调制电光调制器。
[0013]
进一步地，所述调制器为马赫-曾德尔调制器或电吸收调制器。
[0014]
本发明还提供一种面向卷积神经网络的二维光子卷积加速装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述任一项所述的一种面向卷积神经网络的二维光子卷积加速方法。
[0015]
本发明的有益效果是：1、本发明基于波长-时间交织技术实现二维卷积加速，单个调制器即可实现信号的光域加载，卷积运算速度仅限制于调制器速度。
[0016]
2、本发明基于两级延时结合微环加权阵列芯片在单个信号周期即可实现二维数据的二维卷积核卷积加速运算，解决传统方法数据冗余问题，方案简单高效，体积小。
[0017]
3、本发明基于微环加权阵列芯片实现卷积核矩阵系数的控制，可实现卷积核矩阵系数的快速更新，适应于实时数据处理应用，采用平衡光电探测器可实现任意卷积核系数加权。
附图说明
[0018]
图1为本发明一种面向卷积神经网络的二维光子卷积加速系统的结构示意图；图2为实施例的结构示意图；图3为实施例的微环加权单元的结构示意图；图4为实施例二维数据及卷积核矩阵控制单元处理的示意图：图5为实施例各工作节点的光谱示意图；图6为实施例m个微环加权单元中耦合波导加权调制光信号与直通波导加权调制光信号在单个坐标系中的时间序列与波长关系图；图7为实施例有效时序重构的二维特征信号；图8为本发明一种面向卷积神经网络的二维光子卷积加速装置的结构示意图。
具体实施方式
[0019]
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0020]
参见图1，一种面向卷积神经网络的二维光子卷积加速系统，包括：多波长光源，用于产生包含n个波长的多波长光信号，并将所述多波长光信号传输至调制器；所述多波长光源为多波长激光器、锁模激光器、飞秒激光器、光频梳发生器、光孤
子光频梳发生器或单频信号外调制电光调制器。
[0021]
待卷积信号源，用于将原始待卷积的二维数据转换成一维的待卷积信号，并将所述待卷积信号传输至调制器；调制器，用于将所述待卷积信号加载到所述多波长光信号上，得到多波长调制光信号，并将所述多波长调制光信号传输至色散模块；所述调制器为马赫-曾德尔调制器或电吸收调制器。
[0022]
色散模块，用于对所述多波长调制光信号中对应n个波长的n个子调制光信号实现等间隔色散延时，得到色散延时后的多波长调制光信号，并将所述色散延时后的多波长调制光信号传输至1
×
m功分器；所述色散模块为色散光纤、布拉格色散光栅或空间色散模块，所述等间隔色散延时为：
∆
t=1/sm，其中，
∆
t为待卷积信号单个符号持续时间，sm为待卷积信号符号速率。
[0023]1×
m功分器，用于将所述色散延时后的多波长调制光信号分为m路多波长调制光信号，并将m路多波长调制光信号传输至光纤延时阵列；光纤延时阵列，由m段光纤组成，用于对m路多波长调制光信号依次增加等间隔二级延时，得到m路二级延时的多波长调制光信号，并将m路二级延时的多波长调制光信号传输至微环加权阵列芯片；对m路多波长调制光信号依次增加等间隔二级延时具体为：光纤长度依次增加
∆
l=(o-1)c
∆
t/nf，其中，
∆
t为待卷积信号单个符号持续时间，o为原始待卷积的二维数据列数，c为光在真空中速度，nf为光纤折射率。
[0024]
微环加权阵列芯片，包含m个微环加权单元，分别用于对m路二级延时的多波长调制光信号中各包含的n个子调制光信号进行加权求和，得到m个一级加权求和电信号，并将m个一级加权求和电信号传输至跨阻放大器阵列；所述微环加权阵列芯片基于硅基工艺或三五组工艺。
[0025]
所述微环加权单元由直通波导、耦合波导、平衡光电探测器和n个微环谐振器组成，n个所述微环谐振器通过所述直通波导和所述耦合波导串联连接，所述直通波导的输入端作为所述微环加权单元的输入端，所述耦合波导的输出端与所述直通波导的输出端分别连接所述平衡光电探测器，所述平衡光电探测器的输出端作为所述微环加权单元的输出端。
[0026]
n个所述微环谐振器，用于根据卷积核矩阵控制单元输出的卷积核系数控制信号控制n个相邻所述微环谐振器的耦合系数与传输系数，依次将m路二级延时的多波长调制光信号中对应n个波长的n个子调制光信号按不同耦合系数分别耦合到所述耦合波导中，同时对应n个波长的n个子调制光信号以不同传输系数在所述直通波导中传输，得到耦合波导加权调制光信号与直通波导加权调制光信号。
[0027]
所述平衡光电探测器，用于对所述耦合波导加权调制光信号与所述直通波导加权调制光信号进行光电转换，得到m个一级加权求和电信号。
[0028]
卷积核矩阵控制单元，用于向微环加权阵列芯片提供卷积核系数控制信号；跨阻放大器阵列，包含m个跨阻放大器，分别用于对m个一级加权求和电信号进行放大，并对放大的m个一级加权求和电信号进行二级求和，得到二级加权求和电信号，将二级加权求和电信号传输至采集处理单元；
采集处理单元，用于对二级加权求和电信号采集，并重构为对应待卷积信号的特征信号。
[0029]
首先，多波长光源输出的包含n个波长的多波长光信号送入调制器，待卷积信号源输出的待卷积信号通过调制器加载到多波长光信号上得到多波长调制光信号；其中，所述待卷积信号为是原始待卷积的二维数据经矩阵平坦化处理后得到的一维的待卷积信号；然后，多波长调制光信号送入色散模块，实现对多波长调制光信号中对应n个波长的n个子调制光信号等间隔色散延时，色散延时后多波长调制光信号通过1
×
m光功分器分为m路多波长调制光信号，m路多波长调制光信号进入光纤延时阵列依次增加等间隔延时，延时后的m路多波长调制光信号分别送入微环加权阵列芯片的m个微环加权单元进行加权，通过卷积核矩阵控制单元控制微环加权阵列芯片的卷积核矩阵加权系数，得到m个一级加权求和电信号，m个一级加权求和电信号通过跨阻放大器阵列放大求和为一个二级加权求和电信号，采集处理单元对二级加权求和电信号进行采集处理即可得到相应的特征信号。
[0030]
实施例：一种面向卷积神经网络的二维光子卷积加速系统具体如图2所示，包括：多波长激光器、待卷积信号源、马赫-曾德尔调制器（mzm）、色散光纤、1
×
m光功分器、光纤延时阵列、微环加权阵列芯片、卷积核矩阵控制单元、跨阻放大器阵列（tia阵列）及采集处理单元。
[0031]
首先，多波长激光器输出各个波长强度相等的多波长光信号，用矩阵可以表示为a=[a,a,a,
…
,a]
tn
×1，其中n为正整数，对应二维卷积核矩阵控制单元的列数，a为单波长光信号强度。多波长光信号送入马赫-曾德尔调制器（mzm），待卷积信号源输出的待卷积信号通过马赫-曾德尔调制器（mzm）对多波长光信号进行调制，将待卷积信号分别加载到多波长光信号的不同波长上。待卷积信号序列可以表示为x(i)=[x(1), x(2), x(3),
…
, x(p)], 其中i表示离散化时间序号，p=oq为待卷积信号的长度，待卷积信号是原始待卷积的二维数据经矩阵平坦化处理后得到的一维的待卷积信号，原始待卷积信号如图4中的（a）所示，为一个q行o列的矩阵。矩阵平坦化具体操作为将二维或多维矩阵转为一维矩阵，其过程如图4中的（b）所示。每一个强度调制的载波对应一个待卷积信号，得到多波长调制光信号，多波长调制光信号s
mod
用矩阵可以表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)对应的光谱分布如图5中的（a）所示。多波长调制光信号送入色散光纤中实现多波长调制光信号中对应n个波长的n个子调制光信号等间隔色散延时，色散光纤长度为
∆
l=
∆
t /(d
∆
f)，其中d为色散光纤色散系数，
∆
t=1/sm为待卷积信号单个符号持续时间，即x(i)与x(i-1)之间的时间差，sm为待卷积信号符号速率，待卷积信号符号速率最大值取决于调制器带宽。色散延时后的多波长调制光信号s
mod_md
可以表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
色散延时后的多波长调制光信号时间序列与波长关系图如图5中的（b）所示，色散延时后的多波长调制光信号送入1
×
m功分器分为m路多波长调制光信号，m路多波长调制光信号送入包含m个延迟光纤的光纤延时阵列，光纤延时阵列中以第一根光纤为参考，其它根光纤长度依次增加
∆
l=(o-1)c
∆
t/nf，其中o为原始待卷积的二维数据列数，c为光在真空中速度，nf为光纤折射率，m路延时后的多波长调制光信号s
mod_mdd
可以表示为：( m=1,2,..，m)
ꢀꢀꢀꢀꢀꢀ
(3)延时后的m路多波长调制光信号在单个坐标系中的时间序列与波长关系图如图5中的（c）所示。通过光纤-芯片耦合技术，将延时后的在单个坐标系中的分别送入微环加权阵列芯片中的m个微环加权单元。参见图3，微环加权单元由n个微环谐振器、1个直通波导、1个耦合波导以及1个平衡光电探测器（bpd）组成。其中，n个微环谐振器通过1个直通波导与1个耦合波导串联连接，第1个微环谐振器的直通波导输入端为微环加权单元的光输入端，第1个微环谐振器的耦合波导输出端与直通波导的输出端分别连接平衡光电探测器（bpd），平衡光电探测器（bpd）的电输出端为微环加权单元的输出端，根据卷积核矩阵控制单元输出的控制信号控制n个相邻微环谐振器耦合系数与传输系数，依次将多波长调制光信号中对应n个波长的n个子调制光信号按不同耦合系数分别耦合到所述耦合波导中，同时对应n个波长的n个子调制光信号以不同传输系数在所述直通波导中传输，得到耦合波导加权调制光信号与直通波导加权调制光信号，设卷积核矩阵系数m
con
表示为： (4)m
con
与m-con
分别表示对应不同微环谐振器的耦合系数与传输系数，则微环加权单元耦合波导加权调制光信号s
modcon_m
与直通波导加权调制光信号s
modcon_m-可以表示为：(m=1,2,..，m)
ꢀꢀ
(5)
(m=1,2,..，m)
ꢀꢀ
(6)加权后的m个耦合波导加权调制光信号s
modcon_m
与直通波导加权调制光信号s
modcon_m-在单个坐标系中的时间序列与波长关系图如图6所示。平衡光电探测器（bpd）对耦合波导加权调制光信号与直通波导加权调制光信号进行光电转换，得到一级加权求和电信号。m个一级加权求和电信号送入跨阻放大器阵列（tia阵列），m个跨组放大器分别对m个一级加权求和电信号进行放大，并对放大的m个一级加权求和电信号进行二级求和，得到二级加权求和电信号，二级加权求和电信号有效时序内的信号可以表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)其中，s
ca
(r)为第r次卷积运算的结果，w
mn
为卷积核矩阵系数。采集处理单元对该信号采集后，对有效时序信号以矩阵平坦化处理相反的方式即可在数字域实现信号二维重构，二维重构的数据如图7所示，其中灰色的n-1列为冗余数据。去除冗余数据后即可得到待卷积信号完成卷积运算后的二维特征信号。以上过程是在原始数据没有补零的情况下进行的具体实施例说明。当对原始数据补零时，补完零的数据可作为原始二维数据同上进行的操作。
[0032]
与前述一种面向卷积神经网络的二维光子卷积加速系统的实施例相对应，本发明还提供了一种面向卷积神经网络的二维光子卷积加速装置的实施例。
[0033]
参见图8，本发明实施例提供的一种面向卷积神经网络的二维光子卷积加速装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的一种面向卷积神经网络的二维光子卷积加速系统。
[0034]
本发明一种面向卷积神经网络的二维光子卷积加速装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为本发明一种面向卷积神经网络的二维光子卷积加速装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图8所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
[0035]
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0036]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0037]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。