二维光子卷积加速芯片及应用系统与方法与流程

1.本发明涉及一种面向人工智能的光子神经网络卷积加速芯片，及相应的应用系统与加速方法，属于光子计算领域。


背景技术：

2.机器视觉、自然语言处理及生物医药等领域如今广泛采用人工智能技术赋能，其中人工神经网络作为人工智能核心模型而被广泛使用，主要基于cpu、gpu以及专用集成电路等电子芯片通过软件模拟来搭建算法模型。由于目前电子芯片采用程序空间与数据空间分离的经典计算机结构，致使存储单元与计算单元之间数据传输速度有限，限制网络模型训练的效率。以光子作为信息载体的光子技术具有大带宽、低损耗以及可并行等特点，目前已吸引研究人员将光子技术应用在人工智能领域（参见[shastri b j, tait a n, ferreira de lima t, et al. photonics for artificial intelligence and neuromorphic computing. nature photonics, 2021, 15(2): 102-114.]）。将光子技术与传统神经网络相结合，有望充分发挥两种技术的优势，突破传统电子神经网络高功耗、长延时、速度有限的技术发展瓶颈，解决传统电子技术受限的技术问题（参见[huang c, fujisawa s, de lima t f, et al. a silicon photonic
–
electronic neural network for fibre nonlinearity compensation. nature electronics, 2021, 4(11): 837-844.]）。首先，光子神经网络采用模拟计算架构，存算同时进行，在提高计算速度的同时能够降低计算时延；其次，基于光传输介质的本质特性，光链路具有低损耗特性，间接可降低系统功耗；最后，光子器件相对电子器件，有效工作带宽增加了几个数量级，更适应神经网络的高速实时运算。如方案（参见[ashtiani f, geers a j, aflatouni f. an on-chip photonic deep neural network for image classification. nature, 2022: 1-6.]）提出一种面向图像分类的集成光子深度神经网络，原始图像像素点作为光信号直接输入芯片，光信号在芯片内可依次完成卷积运算与三层神经网络传输。该方案直接使用原始图像信号，而无需光电转换与采集，可以省略高功耗的采集、电预处理单元。但受限于光信号接收的光栅阵列规模有限，该方案目前仅能处理小规模图像，该方案系统通用化、规模化及实用化等方面仍然具有广阔的提升空间。


技术实现要素：

[0003]
本发明所要解决的技术问题在于：克服现有技术的不足，利用单片集成延时耦合器结合延时波导-微环谐振器阵列实现待卷积信号二维卷积核矩阵系数加权，解决传统方法数据冗余问题，且卷积核矩阵可灵活扩展，适用于二维数据的二维卷积运算。
[0004]
本发明具体采用以下技术方案解决上述技术问题：一种二维光子卷积加速芯片，所述芯片由1
×
m延时耦合器与波分延时加权微环阵列一体化集成；其中：所述1
×
m延时耦合器由m-1个耦合器串联组成，耦合器两两之间由一段长为
∆
l的
延时波导连接；1
×
m延时耦合器具有1个光输入端及m个光输出端，光输入端为整个芯片的光输入端，用于接收外部多波长调制光信号，光输出端连接波分延时加权微环阵列的光输入端；多波长调制光信号通过所述1
×
m延时耦合器分为m路延时依次等间隔增加的子多波长调制光信号；所述多波长调制光信号是待卷积信号通过调制器加载到多波长光信号上得到的，所述待卷积信号为二维待卷积信号经矩阵平坦化处理后得到的一维信号；所述波分延时加权微环阵列包含m个延时加权单元，m个延时加权单元具有相同的设计，每个延时加权单元由1个直通波导、1个耦合波导、1个探测器以及n个微环谐振器，m个直通波导的光输入端为波分延时加权微环阵列的光输入端，m个探测器的电输出端为波分延时加权微环阵列的电输出端；m个直通波导的光输入端分别接收m路子多波长调制光信号，控制信号通过控制每个延时加权单元中n个微环谐振器的耦合系数分别实现n个波长调制信号卷积核系数加权，在耦合波导输出端得到子加权强度调制光信号，子加权强度调制光信号分别通过探测器完成光电转换得到m个电输出信号；m个电输出信号为一路电输出信号，此信号作为二维光子卷积加速芯片的电输出信号，经过数据采集与重组即可得到待卷积信号完成卷积运算后的特征信号。
[0005]
优选地，所述1
×
m延时耦合器中的延时波导长为
∆
l=pc
∆
t/nw，其中p为二维待卷积信号矩阵的列数，c为光在真空中的速度，nw为延时波导有效折射率，
∆
t=1/sm为待卷积信号单个符号持续时间，sm为待卷积信号符号速率。
[0006]
优选地，所述延时加权单元中n个微环谐振器在直通波导端彼此之间有一段长为
∆
l=c
∆
t/nw的延时波导，c为光在真空中的速度，nw为延时波导有效折射率，
∆
t=1/sm为待卷积信号单个符号持续时间，sm为待卷积信号符号速率。
[0007]
进一步地，所述控制信号通过控制每个延时加权单元中n个微环的耦合系数分别实现n个波长调制信号卷积核矩阵系数加权，具体为：根据卷积核矩阵系数的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器耦合系数，再通过热光效应或电光效应改变微环谐振器耦合系数，每个延时加权单元中n个微环谐振器对应卷积核矩阵中一行系数，m个延时加权单元中m
×
n个微环谐振器对应大小为m
×
n的二维卷积核矩阵系数。
[0008]
在上述技术方案基础上可还可进一步得到以下技术方案：一种二维光子卷积加速芯片应用系统，包括多波长光源、调制器、待卷积信号源、二维卷积核矩阵控制单元、跨阻放大器、采集处理单元以及上述的二维光子卷积加速芯片；多波长光源与调制器的光输入端连接，待卷积信号源与调制器的电输入端连接，调制器的光输出端与二维光子卷积加速芯片的光输入端连接，二维卷积核矩阵控制单元与二维光子卷积加速芯片的电输入端连接，二维光子卷积加速芯片的电输出端与跨阻放大器的电输入端连接，跨阻放大器的电输出端与采集处理单元连接。
[0009]
在上述技术方案基础上可还可进一步得到以下技术方案：多波长光源产生包含n个波长的多波长光信号并送入调制器，待卷积信号通过调制器加载到多波长光信号上得到多波长调制光信号，其中，所述待卷积信号为二维待卷积信号经矩阵平坦化处理后得到的一维信号；多波长调制光信号送入二维光子卷积加速芯片中1
×
m延时耦合器的光输入端，通过1
×
m延时耦合器分为m路延时依次等间隔增加的子多波长调制光信号；m个子多波长调制光信号分别送入波分延时加权微环阵列中m个延时加权
单元，二维卷积核矩阵控制单元发出控制信号通过控制每个延时加权单元中n个微环谐振器的耦合系数分别实现n个波长调制信号卷积核系数加权，得到子加权强度调制光信号，子加权强度调制光信号分别通过探测器完成光电转换得到m个电输出信号；m个电输出信号合为一路电输出信号，电输出信号作为二维光子卷积加速芯片的电输出信号输出，通过跨阻放大器放大后，进入采集处理单元进行数据采集与重组即可得到待卷积信号完成卷积运算后的特征信号。
[0010]
进一步地，所述1
×
m延时耦合器中的延时波导长为
∆
l=pc
∆
t/nw，其中p为二维待卷积信号矩阵列数，c为光在真空中的速度，nw为波导延时线有效折射率，
∆
t=1/sm为待卷积信号单个符号持续时间，sm为待卷积信号符号速率。
[0011]
进一步地，所述波分延时加权微环阵列中的延时加权单元中n微环谐振器在直通波导端彼此之间有一段长为
∆
l=c
∆
t/nw的延时波导。
[0012]
进一步地，所述二维待卷积信号为原始二维数据通过矩阵变换得到，具体变换过程为：原始二维数据aq×o在列方向以步进p-n 1滑动分割为h个子二维数据bq×
p
，每个子二维数据即是一个二维待卷积信号，其中q为原始二维数据的行数，o为原始二维数据的列数，p为二维待卷积信号矩阵的列数，n为二维卷积核矩阵的列数。
[0013]
相比现有技术，本发明技术方案具有以下有益效果：1）本发明基于波长-时间交织技术实现二维卷积加速，单个调制器即可实现信号的光域加载，卷积运算速度仅限制于调制器速度。
[0014]
2）本发明基于两级延时结合二维微环阵列在单个信号周期即可实现二维数据的二维卷积核卷积加速运算，解决传统方法数据冗余问题，方案简单高效。
[0015]
3）本发明单片集成主要功能器件，可有效降低系统复杂度，功耗，可广泛增加发明的应用场景。
附图说明
[0016]
图1为本发明二维光子卷积加速芯片结构示意图。
[0017]
图2为本发明二维光子卷积加速芯片中1
×
m延时耦合器的结构示意图。
[0018]
图3为本发明二维光子卷积加速芯片中延时加权单元的结构示意图。
[0019]
图4为本发明基于二维光子卷积加速芯片的加速系统一个具体实施例结构示意图。
[0020]
图5为本发明基于二维光子卷积加速芯片的加速系统一个具体实施例中原始二维数据到二维待卷积信号的矩阵变换过程示意图。
[0021]
图6为本发明基于二维光子卷积加速芯片的加速系统一个具体实施例中二维待卷积信号矩阵平坦化处理示意图：其中a为二维待卷积信号矩阵及卷积核矩阵，b为二维待卷积信号矩阵一维平坦化处理方法示意图，c为重构得到的二维特征信号。
[0022]
图7为本发明基于二维光子卷积加速芯片的加速系统一个具体实施例各工作节点的光谱示意图；其中，a为多波长调制光信号的光谱分布图，b为第一个延时加权单元输出信号的光谱分布图，c为第二个延时加权单元输出信号的光谱分布图，d为第m个延时加权单元输出信号的光谱分布图，e为不同延时加权单元输出信号相对的时间序列与波长关系图。
[0023]
图8为本发明基于二维光子卷积加速芯片的加速系统一个具体实施例二维特征数据到原始二维特征数据的矩阵变换过程示意图。
具体实施方式
[0024]
针对现有技术的不足，本发明的思路是在单个芯片上基于二维微环阵列结合两级延时实现多波长信号的时间-波长交织及待卷积信号的卷积核矩阵系数加权。方案中卷积核矩阵可灵活扩展，信号处理实时高效。
[0025]
本发明的二维光子卷积加速芯片结构示意图如图1所示，由1
×
m延时耦合器与波分延时加权微环阵列一体化集成；其中：所述1
×
m延时耦合器由m-1个耦合器串联组成，两个耦合器之间由一段长为
∆
l的延时波导连接，如图2所示；1
×
m延时耦合器具有1个光输入端及m个光输出端，光输入端为整个芯片的光输入端，用于接收外部多波长调制光信号，光输出端连接波分延时加权微环阵列的光输入端；所述波分延时加权微环阵列包含m个延时加权单元，m个延时加权单元具有相同的设计，如图3所示，每个延时加权单元由1个直通波导、1个耦合波导、1个探测器以及n个微环谐振器组成，m个直通波导的光输入端为波分延时加权微环阵列的光输入端，m个探测器的电输出端为波分延时加权微环阵列的电输出端。
[0026]
本发明的一种二维光子卷积加速芯片应用系统具体如图4所示，包括：多波长光源、调制器、待卷积信号源、二维卷积核矩阵控制单元、跨阻放大器（tia）、采集处理单元以及二维光子卷积加速芯片等。
[0027]
首先，多波长光源产生包含n个波长的多波长光信号并送入调制器，待卷积信号通过调制器加载到多波长光信号上得到多波长调制光信号，其中，所述待卷积信号为二维待卷积信号经矩阵平坦化处理后得到的一维信号；多波长调制光信号送入二维光子卷积加速芯片中1
×
m延时耦合器的光输入端，通过1
×
m延时耦合器分为m路延时依次等间隔增加的子多波长调制光信号；m个子多波长调制光信号分别送入波分延时加权微环阵列中m个延时加权单元，控制信号通过控制每个延时加权单元中n个微环的耦合系数分别实现n个波长调制信号卷积核系数加权，得到m个子加权强度调制光信号，子加权强度调制光信号分别通过探测器完成光电转换得到m个电输出信号；m个电输出信号合为一路电输出信号，电输出信号作为二维光子卷积加速芯片的电输出信号输出，通过跨阻放大器放大后，经过数据采集与重组即可得到二维待卷积信号完成卷积运算后的特征信号。
[0028]
本发明基于波分复用技术将待处理信号分别加载到多个光载波上，通过延时耦合器分为m个子光信号并实现第一级时间交织，然后，通过波分延时加权微环阵列中m个延时加权单元中微环与延时波导实现不同载波信号的卷积核系数加权与第二级时间交织，并分别通过延时加权单元中探测器实现求和运算，最后，m个探测器输出信号求和得到的电信号经过采集与数据重组即可得到特征信号。本发明基于两级延时波导及集成微环器可直接实现二维卷积核矩阵的构建，在单个信号周期即可实现二维数据的二维卷积核卷积加速运算，大幅提高卷积运算的速率。
[0029]
需要说明的是，所述多波长光源为多波长激光器、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器，本实施例优选多波长激光器；所述调制器可为电吸收调
制器、马赫-曾德尔调制器等，本实施例优选马赫-曾德尔调制器。
[0030]
为了便于公众理解，下面通过一个具体实施例来对本发明的技术方案进行进一步详细说明：首先，多波长激光器输出各个波长强度相等的多波长光信号，用矩阵可以表示为a=[a,a,a,
…
,a]
tn
×1，其中n为正整数，对应卷积核矩阵的列数，a为单波长信号强度。多波长光信号送入马赫-曾德尔调制器，待卷积信号源输出的待卷积信号通过马赫-曾德尔调制器对多波长光信号进行调制，将待卷积信号分别加载到多波长光信号的不同波长上。待卷积信号序列可以表示为x(i)=[x(1), x(2), x(3),
…
, x(r)], 其中i表示离散化时间序号，r=qp为待卷积信号的长度，待卷积信号为二维待卷积信号经矩阵平坦化处理后得到的一维信号，而二维待卷积信号为原始二维数据通过矩阵变换得到，变换过程如图5所示，原始二维数据aq×o在列方向以步进p-n 1滑动分割为h个子二维数据bq×
p
，每个子二维数据即是一个二维待卷积信号，其中q为原始二维数据的行数，o为原始二维数据的列数，p为二维待卷积信号矩阵的列数，n为二维卷积核矩阵的列数。二维待卷积信号矩阵如图6的a所示，为一个q行p列的矩阵。矩阵平坦化具体操作为将二维或多维矩阵转为一维矩阵，其过程如图6的b所示。每一个强度调制的载波对应一个待卷积信号，得到多波长强度调制光信号，多波长强度调制光信号s
mod
用矩阵可以表示为：
ꢀꢀꢀꢀ
(1)对应的光谱分布如图7中的a所示。多波长调制光信号通过光纤-芯片耦合技术送入二维光子卷积加速芯片中1
×
m延时耦合器的光输入端，通过1
×
m延时耦合器分为m路延时依次等间隔增加的子多波长调制光信号，如图2所示，1
×
m延时耦合器由m-1个耦合器串联组成，两个耦合器之间由一段长为
∆
l的延时波导连接，延时波导长为
∆
l=pc
∆
t/nw，其中p为二维待卷积信号矩阵列数，c为光在真空中速度，nw为波导延时线有效折射率，
∆
t=1/sm为待卷积信号单个符号持续时间，即x(i)与x(i-1)之间的时间差，sm为待卷积信号符号速率，延时后的子多波长调制光信号s
mod_m_delay
可以表示为：( m=1,2,..，m)
ꢀꢀꢀꢀꢀ
(2)1
×
m延时耦合器输出的子多波长调制光信号依次送入包含m个延时加权单元的延时加权微环阵列中，延时加权单元的结构示意图如图3所示，每个延时加权单元由1个直通波导、1个耦合波导、1个探测器以及n个微环谐振器组成，微环谐振器在直通波导端彼此之间有一段长为
∆
l=c
∆
t/nw的延时波导，其中nw为波导延时线有效折射率，
∆
t同上为待卷积信号单个符号持续时间。每个延时加权单元中n个微环的谐振特性依次对应于一个波长，根据卷积核矩阵元素的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器耦合系数，且通过热光效应或电光效应改变微环谐振器耦合系数，每个延时加权微环单元中n个微环对应卷积核矩阵中一行元素。卷积核矩阵控制单元输出的卷积核矩阵控制信号首先
控制第一个微环谐振器谐振特性，使在直通波导中传输的对应波长子强度调制光信号按特定耦合系数耦合到耦合波导中，实现卷积核矩阵系数加权。直通波导中的子多波长强度调制光信号经过第一个微环谐振器后进入直通波导的延时波导实现
∆
t延时。延时后的多波长强度调制光信号通过第二个微环谐振器对相应波长信号实现系数加权，延时后依次完成所有波长信号加权。在耦合波导输出端得到m个子加权强度调制光信号，设卷积核矩阵系数m
con
可以表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)w表示卷积核矩阵元素；则延时加权单元耦合波导输出的子加权强度调制光信号s
modcon_m
可以表示为：( m=1,2,..，m)
ꢀꢀꢀꢀꢀꢀ
(4)其光谱图如图7中的b, c, d所示，需要说明得是，为了便于公众理解，图7中的b, c, d所对应的分别为第1，2，m个子加权强度调制光信号，m个子加权强度调制光信号相对的时间序列与波长关系图如图7中的e所示。m个子加权强度调制光信号通过耦合波导分别输入到m个探测器中实现光电转换，得到m个电输出信号，m个电输出信号合为一路电信号作为二维光子卷积加速芯片的电输出信号，电输出信号有效时序内的信号可以表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，s
ca
(r)为第r次卷积运算的结果，w
mn
为卷积核矩阵系数。采集处理单元对该信号采集后，对有效时序信号以矩阵平坦化处理相反的方式即可在数字域实现信号二维重构，二维重构的数据如图6的c所示，其中灰色的n-1列为冗余数据。去除冗余数据后即可得到二维待卷积信号完成卷积运算后的二维特征信号。以上过程是在原始数据没有补零的情况下进行的具体实施例说明。当对原始数据补零时，补完零的数据可作为原始二维数据同上进行的操作。
[0031]
最后，将h个二维特征信号通过图8所示的方法合为一个对应原始二维数据的特征信号，继而完成原始二维数据的卷积运算。
[0032]
最后，需要注意的是，以上列举的仅是本发明的具体实施例。本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。