一种基于光突触器件实现感内储备池计算的方法

1.本发明涉及类脑神经网络算法技术领域，尤其是一种基于光突触器件实现感内储备池计算的方法。


背景技术：

2.现有的基于冯诺依曼体系结构的传统计算单元中，物理上传感、内存和处理单元的分离，在矩阵乘法处理过程中产生了大量的能量耗费和时间延迟，严重限制了其在无人驾驶、机器人和工业制造等实时信息处理场景的应用。此外，物联网的高速发展和日益增加的图像分辨率需求带来视觉信息的爆炸式增长，解决处理繁杂视觉过程中伴随的巨大能耗问题变得尤为迫切。自供电的光电传感器件以及基于光电传感器件的传感内计算类脑视觉系统提供了一种有效的解决方案。诸多的神经网络训练算法中，储备池计算将信号时序地转换到高维空间，继而可以通过简单忆阻器阵列的矩阵乘有效地提取输入信号的特征。相对于其他神经网络算法，储备池计算只需要训练储备池和输出层之间权重，有效地降低了训练复杂度和训练时间，更有利于超高速和超低功耗的信息处理。尽管诸多光突触器件被报道，基于自供电光突触器件的传感内储备池计算至今尚未实现。


技术实现要素：

3.本发明的目的是针对现有技术的不足而提供的一种基于光突触器件实现感内储备池计算的方法。本发明方法利用光突触器件的脉冲个数依赖可塑性(spiking number-dependent plasticity,sndp)和脉冲频率依赖可塑性(spiking rate-dependent plasticity,srdp)效应，即光突触器件的光电流或光电导的振幅对时序光信号产生非线性耦合的响应，实现了基于光突触器件的感内储备池计算。以基于光生伏特效应的光突触器件为例，在本发明中提出的传感内储备池计算视觉系统中演示了静态人脸图像分类和动态车流方向判别的视觉信息处理任务，分别达到了高达99.97％和100％的识别率。本发明与现有基于纯电阻储备池视觉计算技术中需要串行额外的光电传感装置相比，基于光突触器件的储备池计算可以直接接受光信号，实现并行的感存算，降低延迟的同时大大节省了硬件成本。该发明可以实现对静态图像和动态视频的信息处理，在信息处理方面具有重要意义和广泛的应用前景，促进了类脑神经网络的进一步发展。
4.本发明的目的是这样实现的：
5.本发明提出了一种基于光突触器件实现感内储备池计算的方法，所述感内储备池计算的方法是将静态图像的空间像素信号和动态视频信息时序信号转化为时序光脉冲信号输入到光突触储备池器件，采集光突触储备池器件光电流的非线性耦合变化作为高维空间信息，高维空间信息经过激活函数处理，转换为后续忆阻器阵列神经网络的电压输入，忆阻器阵列神经网络的输出作为最终信息处理结果。利用曼哈顿更新规则，对忆阻器阵列神经网络的权值进行训练，最终不同图像或视频输入后会在对应输出节点产生最大值输出。
6.进一步地，所用光突触器件的光电流或光电导的振幅由脉冲个数依赖可塑性
(spiking number-dependent plasticity,sndp)和脉冲频率依赖可塑性(spiking time-dependent plasticity,srdp)共同决定，sndp和srdp共同导致了器件对时序光信号产生耦合的光电响应。
7.进一步地，所述基于光突触器件实现感内储备池计算的方法用于图像处理时，所述的输入信号为被识别图片空间像素转化后的时序光脉冲序列组。
8.进一步地，所述基于两端光突触器件实现感内储备池计算进行视频处理时，所述的输入信号是被视频像素信息所直接对应的时序光脉冲序列组。
9.进一步地，所述静态图像和动态视频处理是通过matlab软件仿真实现的，具体包括以下步骤：
10.s1：在光突触储备池器件中输入每列像素经串行编码为与像素值相等的脉冲个数的光脉冲序列，采集光电流或光电导的振幅的动态变化。
11.s2:t时刻光突触储备池器件的瞬时输入构成输入状态u(t)。随着光突触储备池器件的光电流或光电导x(t)的动态变化，将输入u(t)映射到高维特征空间y(t),y(t)是由x(t)在tj时刻的取值组成的数据组。j为整个输入时间的分段数，tj时刻为每一时间段的结束时刻。
12.s3：把y(t)经激活函数处理以进一步区分y(t)中的强度分布，并将y(t)转换为后续忆阻器阵列神经网络的归一化电压输入。
13.s4：利用曼哈顿更新规则，对忆阻器阵列神经网络的权值进行训练，最终不同图像或视频输入后会在对应输出节点产生最大值输出。利用曼哈顿更新规则，对忆阻器阵列神经网络的权值进行训练，通过matlab软件模拟训练实现识别任务。
14.进一步地，所述步骤s4中的曼哈顿更新规则，根据每次迭代所得的误差大小来调整突触权重，直至误差接近或等于零，具体包括以下步骤：
15.s401:根据公式计算出每列输出的电流。其中vj(j＝1,2
…
k1，k1为单个y(t)中数据的数量)为输入电压；w
ij
(i＝1,2
…
k2，k2为y(t)的种类数)为初始权重；
16.s402:根据公式fi＝tanh(βii)计算出每列对应的f值，即神经网络中每列的输出值。其中tanh为双曲正切函数，β为与i相匹配的一个常数，用来控制函数tanh的线性度；
17.s403：根据公式计算出第n个y(t)输入时第i个y(t)对应神经元的实际输出与期望输出之间的误差；其中f
i(g)
为第i个y(t)的对应的神经元的期望输出；
18.s404：根据公式δ
ij
(n)＝δi(n)vj(n)计算出第n个y(t)对应的权重的增量；
19.s405：根据公式计算出每次迭代后调整的权重大小；其中η为表示学习效率的常数，sgn为阶跃函数；
20.s406：根据s405中所得的δw
ij
对初始权重w
ij
进行更新，并重复s401-s405，直至r任意第n个y(t)输入后会在第n个y(t)对应的输出节点产生最大的f值输出。
21.所述储备池的基本构造为：输入层u(t)，动态储层x(t)，输出层y(t)。
22.所述储备池运算中的激活函数为：
23.24.其中
[0025]v′j＝ij/max(ii,i＝1,2,
…
,28)
ꢀꢀꢀ
公式(2)
[0026]
其中，ij为训练时施加脉冲过程中时间t＝35s时的光电流。
[0027]
本发明与现有技术相比具有以下优点和显著的技术效果：
[0028]
本发明与现有基于纯电阻储备池视觉计算技术中需要串行额外的光电传感装置相比，基于光突触器件的储备池计算可以直接接受光信号，实现并行的感存算，降低延迟的同时大大节省了硬件成本。
附图说明
[0029]
图1为本发明传感内储备池计算过程示意图；
[0030]
图2为cs2agbibr6光突触器件的光电流对时序光脉冲信号的非线性耦合响应图；
[0031]
图3为传感内储备池计算应用于静态人脸图像识别举例示意图；
[0032]
图4为传感内储备池计算应用于动态车流方向判断举例示意图；
[0033]
图5传感内储备池计算应用于动态车流方向判断的准确率图。
具体实施方式
[0034]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0035]
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0036]
下面结合附图以及具体实施例对本发明提出的基于光突触器件实现感内储备池计算的方法作进一步详细描述和说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
[0037]
本发明提出了一种基于光突触器件实现感内储备池计算的方法，将静态图像的空间像素信号和动态视频信息的时序信号转化为时序光脉冲输入到光突触储备池器件，采集光突触储备池器件的光电流或光电导信号作为高维空间信息，高维空间信息经过激活函数处理，转换为后续忆阻器阵列神经网络的电压输入，忆阻器阵列神经网络的输出作为最终信息处理结果；利用曼哈顿更新规则，对忆阻器阵列神经网络的权值进行训练，最终不同图像或视频输入后会在对应输出节点产生最大值输出。所述光突触器件的光电流或光电导的振幅由脉冲个数依赖可塑性和脉冲频率依赖可塑性共同决定，脉冲个数依赖可塑性和脉冲频率依赖可塑性共同导致了器件对时序光信号产生耦合的光电响应。
[0038]
当本发明方法用于图像处理时，所述的输入信号为被识别图片空间像素转化后的时序光脉冲序列组。当本发明方法用于进行视频处理时，所述的输入信号是被视频像素信息所直接对应的时序光脉冲序列组。
[0039]
具体地，所述静态图像或动态视频处理是通过仿真实现的，具体包括以下步骤：
[0040]
s1：在光突触储备池器件中输入每列像素经串行编码为与像素值相等的脉冲个数的光脉冲序列，采集光电流或光电导的动态变化；
[0041]
s2：t时刻光突触储备池器件的瞬时输入构成输入状态u(t)；随着光突触储备池器件的光电流或光电导x(t)的动态变化，将输入u(t)映射到高维特征空间y(t),y(t)是由x(t)在tj时刻的取值组成的数据组。j为整个输入时间的分段数，tj时刻为每一时间段的结束时刻；
[0042]
s3：把y(t)乘以激活函数进一步区分y(t)中的强度分布，并将y(t)转换为后续读出神经网络的归一化电压输入；
[0043]
s4：利用曼哈顿更新规则，对忆阻器阵列神经网络的权值进行训练，最终不同图像或视频输入后会在对应输出节点产生最大值输出，进而通过模拟训练和测试过程实现识别任务。
[0044]
所述曼哈顿更新规则，根据每次迭代所得的误差大小来调整突触权重，直至误差接近或等于零，具体包括以下步骤：
[0045]
s401：计算出每列输出的电流ii，公式如下：
[0046][0047]
其中，vj(j＝1,2
…
k1，k1为单个y(t)中数据的数量)为输入电压；w
ij
(i＝1,2
…
k2，k2为y(t)的种类数)为初始权重；
[0048]
s402：计算出每列对应的f值，即神经网络中每列的输出值fi，公式如下：
[0049]fi
＝tanh(βii)
[0050]
其中，tanh为双曲正切函数，β用于控制函数tanh的线性度；
[0051]
s403：计算出第n个y(t)输入时第i个y(t)对应神经元的实际输出与期望输出之间的误差；公式如下：
[0052][0053]
其中，f
i(g)
为第i个y(t)的对应的神经元的期望输出；
[0054]
s404：计算出第n个y(t)对应的权重的增量δ
ij
(n)；公式如下：
[0055]
δ
ij
(n)＝δi(n)vj(n)
[0056]
s405：计算出每次迭代后调整的权重大小δw
ij
；公式如下：
[0057][0058]
其中，η为表示学习效率的常数，sgn为阶跃函数；
[0059]
s406：根据s405中所得的δw
ij
对初始权重w
ij
进行更新，并重复s401-s405，直至r任意第n个y(t)输入后会在第n个y(t)对应的输出节点产生最大的f值输出。
[0060]
实施例1
[0061]
实施例1中将本发明传感内储备池计算方法直接应用于图像处理。以识别4张28列*35行像素的灰度人脸图像为例，对本发明方法进行进一步描述。图1中的(a)为动态储备
池计算的原理图，即t时刻光突触储备池器件的瞬时输入构成输入状态u(t)，随着光突触储备池器件的光电流或光电导x(t)的动态变化，将输入u(t)映射到高维特征空间y(t)。图1中的(b)为从输入到读出神经网络实现灰度人脸识别的过程原理图。首先选取四张目标人脸，并预处理为28
×
35像素，如图1中的(c)中人脸图像所示。每个像素值的范围为从0到5，以反映它们的灰度等级。其中纯白色像素值为0，纯黑色对应像素值为5。同一列中的像素被串行编码为一个像素值与光脉冲数匹配的光脉冲序列。使用频率为5hz(脉宽100ms,脉冲间隔100ms)的光脉冲引起脉冲之间的耦合。考虑到本演示中所用cs2agbibr6光突触器件光电流的衰减时间为数十秒，使用1hz的频率(1秒为每个像素)来处理每列中有35个像素的图像。因此，每个像素的周期为1s，其中每个光脉冲持续0.1s，之后停止时间为0.1s。例如，图1所示，当像素值为0时，在1s的周期内没有光脉冲；当像素值为3时，前0.6s有3个光脉冲；当像素值为5时，整个1s内有5个光脉冲。将每张图片的28个脉冲序列分别输入到相应的光突触储备池器件，记录其光电流响应。实施例1以cs2agbibr6光突触器件为例，由于光突触器件的sndp和srdp效应，即光突触储备池器件的光电流或光电导振幅对时序光信号产生非线性耦合的光电响应，不同的光脉冲序列会引起cs2agbibr6光突触器件不同的光电流响应。图2即为图1中的(c)中灰度人脸头像的第二列(a和b)和第九列(c和d)不同s输入所对应的不同光电流响应。采集28个光突触储备池器件分别在35s时的光电流振幅作为新的特征空间y(t)，y(t)是由x(t)在tj时刻的取值组成的数据组。j为整个输入时间的分段数，tj时刻为每一时间段的结束时刻，这里j＝1,tj＝35s，每个光突触储备池器件产生1个光电流数据，供28个光突触储备池器件，所以每一个y(t)含有28个光电流数据。使用激活函数来进一步区分y(t)中的强度分布，并将y(t)转换为后续忆阻器阵列神经网络的归一化电压输入。图3即为四张目标人脸经公式(1)和(2)转化后的y(t)。
[0062]
通过光突触储备池器件层，将每张照片中的28
×
35像素信息提取到只有28个元素的高维度y(t)空间。为了测试感内储备池层对静态图像信息处理性能，我们构建了一个28
×
4的忆阻器神经网络作为读出网络，通过matlab软件模拟训练来实现人脸识别功能。新的y(t)为忆阻器神经网络的输入。利用曼哈顿更新规则对忆阻器神经网络中的权值进行训练。30次训练后，不同人脸图像输入后会在对应输出节点产生f最大值输出。
[0063]
为了进一步测试本发明感内储备池感计算的识别率，本发明实施例利用图3中的目标图片1的作为输入所得的y(t)，通过对每个光突触储备池器件的20次不同实验值进行随机选取，生成了10240组新y(t)。将这10240组y(t)和分别在被训练用的y(t)中叠加了16％和22％随机噪声信号的y(t)用于验证识别率。如图3中的(c)所示，仿真表明本发明感内储备池计算视觉系统的人脸图像分类的识别率高达99.97％。
[0064]
实施例2
[0065]
本发明实施例2中将本发明传感内储备池计算直接应用于时序视频信号的处理。如图4(a)所示，5
×
5的光突触储备池器件阵列组成的储备池层用来映射采集十字路口汽车的运动信息。不同的汽车走向自然的产生相应时序光信号输入到该储备池层，记录5
×
5光突触储备池器件的光电流响应。以cs2agbibr6光突触器件为例，由于光突触器件的sndp和srdp效应，即光突触储备池器件的光电流或光电导振幅对时序光信号产生非线性耦合的光电响应，不同的光脉冲序列会引起cs2agbibr6光突触器件不同的光电流响应。采集光突触储备池器件分别在6s时的光电流振幅作为新的特征空间y(t)。使用激活函数来进一步区分y
(t)中的强度分布，并将y(t)转换为后续忆阻器阵列神经网络的归一化电压输入。
[0066]
通过光突触储备池器件层，车流视频信息提取到5
×
5个元素的高维度y(t)空间。为了测试感内储备池层对动态视觉信息处理性能，我们构建了一个25
×
4的忆阻器神经网络作为读出网络，通过软件模拟训练和测试过程来实现该动态车流方向判断功能。新的y(t)为忆阻器神经网络的输入。利用曼哈顿学习规则对忆阻器神经网络中的权值进行训练。24次训练后，不同车流方向视频信息输入后会在对应输出节点产生f最大值输出，如图4(b)-(e)所示。
[0067]
为了进一步测试本发明感内储备池感计算的识别率，我们利用图4中用于训练的标准输入的四个不同方向的视频信息作为输入所得的y(t)，通过对每个光突触储备池器件的9次不同实验值进行随机选取，生成了80组(每个方向20组)不同方向的视频信息作为新y(t)。这80组y(t)和在被训练用的y(t)中叠加了16％的随机噪声信号的y(t)被用于验证识别率。如图5所示，仿真表明本发明感内储备池计算视觉系统的动态车流方向判断的识别率高达100％。
[0068]
以上只是对本发明做进一步说明，并非用以限制本发明专利，凡为本发明等效实施，均应包含于本发明专利的权利要求范围之内。