一种实现S型激活函数的电路

一种实现s型激活函数的电路
技术领域
1.本发明属于电路设计技术和应用领域，特别涉及一种实现s型激活函数的电路。


背景技术：

2.人工神经网络的机器学习与类脑计算研究成为计算机和电子信息领域的研究热点。人工神经网络由大脑抽象而来，具有简单的数学表达。此外，它的另一个特点是具有非线性激活函数，如sigmoid函数、双曲正切函数、relu函数等。sigmoid函数被称为s型激活函数，在物理建模上最接近生物神经元，具有连续、光滑、单调和良好的对称性。s型激活函数为单调递增函数，相较于双曲正切函数，它具有正阈值区间(0，1)。在激活函数的使用中，它的阈值、激活梯度和偏移量会根据需要做出改变，因此通过调节电路元件值控制其自身参数是必要的。s型激活函数的阈值表示其最大的幅值区间；s型激活函数的激活梯度表示各神经元在外刺激下的响应速度：激活梯度大于1表示神经元具有快速的响应；激活梯度等于1表示神经元具有正常的响应；激活梯度小于1表示神经元具有缓慢的响应；s型激活函数的偏移量表示其向左或向右移动的幅度。
3.然而，在硬件实现方面，利用mcu、dsp、fpga等数字电路平台实现s型激活函数需要消耗较多的硬件资源，因此，利用模拟电路尤其是无乘法器模拟电路实现s型激活函数对于神经形态电路的开发有重要意义。


技术实现要素：

4.发明目的：本发明的目的是提供一种实现s型激活函数的电路，通过输入单元、中间级电路单元、输出单元相互连接构成实现电路，仅需通过调节可调节电阻达到控制阈值、激活梯度、偏移量的方式，实现s型激活函数。
5.技术方案：本发明提供的实现s型激活函数的电路，包含输入单元、中间级电路单元、输出单元；
6.所述输入单元用以进行数据信号输入，该输入单元包含可调节电阻rg、可调节电阻rμ，可调节电阻rμ用以实现对数据信号的偏移量的控制，将数据信号进行放大计算得出首次放大信号，同样通过可调节电阻rμ控制首次放大信号的偏移量，同时可调节电阻rg用以实现对首次放大信号的激活梯度的控制，将首次放大信号通过可调节电阻rg传输至中间级电路单元；
7.所述中间级电路单元用以接收首次放大信号，将首次放大信号进行镜像放大计算得出双曲正切函数信号，首次放大信号实现对双曲正切函数信号的激活梯度的控制，同时实现对双曲正切函数信号的偏移量的控制，将双曲正切函数信号继续进行放大计算，得出二次双曲正切函数信号，首次放大信号同样控制二次双曲正切函数信号的偏移量、激活梯度，将二次双曲正切函数信号传输至输出单元；
8.所述输出单元接收用以接收二次双曲正切函数信号，该输出单元包括可调节电阻ra1、可调节电阻ra2，可调节电阻ra1、可调节电阻ra2用以实现对二次双曲正切函数信号的
阈值的控制，将二次双曲正切函数信号进行最终放大计算得到s型激活函数信号，因此，首次放大信号实现对s型激活函数信号的激活梯度、偏移量的控制，同时，可调节电阻ra1、可调节电阻ra2实现对s型激活函数信号的阈值的控制。
9.有益效果：本发明与现有技术相比，其显著特点是通过输入单元、中间级电路单元、输出单元相互连接构成实现电路，通过调节输入单元中可调节电阻实现对s型激活函数的激活梯度及偏移量的控制，同样通过调节输出单元中可调节电阻实现对s型激活函数的阈值的控制，从而实现s型激活函数。
附图说明
10.图1是本发明的电路原理图；
11.图2a为当ra1＝300kω、ra2＝20kω、rg＝0.26kω和rμ＝ ∞kω(rμ断开)时，vi-sigmoid(vi)平面上实现标准s型激活函数的multisim电路仿真相图；
12.图2b为当a＝1、g＝1和μ＝0时，x-sigmoid(x)平面上实现标准s型激活函数的matlab数值仿真相图；
13.图3a为其他电阻值不变，当ra1＝600kω、ra2＝40kω时，vi-asigmoid(vi)平面上实现s型激活函数的multisim电路仿真相图；
14.图3b为其他参数不变，当a＝0.5时，x-asigmoid(x)平面上实现s型激活函数的matlab数值仿真相图；
15.图3c为其他电阻值不变，当ra1＝100kω、ra2＝6.667kω时，vi-asigmoid(vi)平面上实现s型激活函数的multisim电路仿真相图；
16.图3d为其他参数不变，当a＝3时，x-asigmoid(x)平面上实现s型激活函数的matlab数值仿真相图；
17.图4a为其他电阻值不变，当rg＝0.13kω时，vi-sigmoid(gvi)平面上实现s型激活函数的multisim电路仿真相图；
18.图4b为其他参数不变，当g＝0.5时，x-sigmoid(gx)平面上实现s型激活函数的matlab数值仿真相图；
19.图4c为其他电阻值不变，当rg＝0.78kω时，vi-sigmoid(gvi)平面上实现s型激活函数的multisim电路仿真相图；
20.图4d为其他参数不变，当g＝3时，x-sigmoid(gx)平面上实现s型激活函数的matlab数值仿真相图；
21.图5a为其他电阻值不变，当rμ＝300kω时，vi-sigmoid(vi-μ)平面上实现s型激活函数的multisim电路仿真相图；
22.图5b为其他参数不变，当μ＝0.5时，x-sigmoid(x-μ)平面上实现s型激活函数的matlab数值仿真相图；
23.图5c为其他电阻值不变，当rμ＝50kω时，vi-sigmoid(vi-μ)平面上实现s型激活函数的multisim电路仿真相图；
24.图5d为其他参数不变，当μ＝3时，x-sigmoid(x-μ)平面上实现s型激活函数的matlab数值仿真相图；
25.图6a为当ra1＝150kω、ra2＝10kω、rg＝0.78kω和rμ＝75kω时，vi-asigmoid
(gvi-μ)平面上实现s型激活函数的multisim电路仿真相图；
26.图6b为当a＝2、g＝3和μ＝6时，x-asigmoid(gx-μ)平面上实现s型激活函数的matlab数值仿真相图。
具体实施方式
27.下面结合附图及具体实施例对本发明做进一步的详细说明。
28.请参阅图1所示，本发明提供的一种实现s型激活函数的电路，包含输入单元、中间级电路单元、输出单元；
29.输入单元用以进行数据信号输入，并将数据信号进行放大计算得出首次放大信号，首次放大信号传输至中间级电路单元；
30.输入单元包含输入元件vi、电阻r1、运算放大器u1、可调节电阻rg、可调节电阻rμ、直流电压源e1，输入端vi经过电阻r1接入运算放大器u1的反相输入端，记为1端，运算放大器u1的反相输入端与可调节电阻rμ的一端相连，运算放大器u1的同相输入端接地，可调节电阻rμ的另一端接入直流电压源e1的正极，直流电压源e1的负极接地，同时电阻r1的一端接入可调节电阻rg的一端，可调节电阻rg的另一端与运算放大器u1的输出端连接，记为2端；
31.可调节电阻rg用以实现对s型激活函数信号的激活梯度的控制，调节电阻rμ用以实现对s型激活函数信号的偏移量的控制；当输入端vi进行数据信号输入，将数据信号通过运算放大器u1计算得出首次放大信号，该首次放大信号通过可调节电阻rμ控制首次放大信号的偏移量，同时可调节电阻rg用以实现对首次放大信号的激活梯度的控制，将首次放大信号通过可调节电阻rg传输至中间级电路单元，即通过2端传输至中间级电路单元；
32.中间级电路单元用以接收首次放大信号，将首次放大信号进行镜像放大计算得出双曲正切函数信号，此时，首次放大信号实现对双曲正切函数信号的激活梯度的控制，同时实现对双曲正切函数信号的偏移量的控制，将双曲正切函数信号继续通过运算放大器u2计算，得出二次双曲正切函数信号，可调节电阻rg同样实现对二次双曲正切函数信号的激活梯度的控制，首次放大信号同样控制二次双曲正切函数信号的偏移量、激活梯度，将二次双曲正切函数信号传输至输出单元，将二次双曲正切函数信号传输至输出单元；
33.中间级电路单元包含三极管q1、三极管q2、电阻r2、电阻r3、电阻r4、电阻r5、电阻r6、电阻r7、直流电压源e2、直流电流源i0、运算放大器u2，2端同时连接三极管q1的基极，三极管q1的集电极与电阻r2的一端相连，电阻r2的另一端接入直流电压源e2的正极，直流电压源e2的负极接地，同时直流电压源e2的正极与电阻r3的一端相连，记为3端，电阻r3的另一端与三极管q2的集电极相连，三极管q1的发射极与三极管q2的发射极相连并接入直流电流源i0的正极，记为4端，直流电流源i0的负极接地，此时，三极管q1、三极管q2、电阻r2、电阻r3、电压源e2、直流电流源i0共同形成镜像电流源电路，三极管q1同时经过电阻r4与运算放大器u2的反相输入端相连，电阻r4的一端与电阻r7的一端相连，记为5端，三极管q2的集电极同时连接电阻r5的一端，三极管q2的基极接地，电阻r5的另一端与运算放大器u2的正向输入端相连，三极管q2的基极与电阻r6的一端相连，电阻r6的另一端与电阻r5的另一端相连，记为6端；
34.输出单元接收用以接收二次双曲正切函数信号，并进行最终放大计算，最终得到s
型激活函数信号；
35.输出单元包含可调节电阻ra1、可调节电阻ra2、电阻r8、运算放大器u3、直流电压源e3、输出端vo，电阻r4同时经过电阻r7与运算放大器u2的输出端连接，记为7端，运算放大器u2的输出端经过可调节电阻ra2与放大器u3的反相输入端连接，可调节电阻ra2的一端同时连接电阻r8的一端，记为8端，电阻r8的另一端与运算放大器u3的输出端相连，运算放大器u3的输出端连接输出端vo，运算放大器u3的反相输入端与可调节电阻ra1的一端相连，同时，可调节电阻ra1的另一端连接直流电压源e3的负极，直流电压源e3的正极接地，此时输出端vo的值即为运算放大器u3最终得到的s型激活函数信号。
36.可调节电阻ra1、可调节电阻ra2用以实现对二次双曲正切函数信号的阈值的控制，将二次双曲正切函数信号通过运算放大器u3的最终计算得到s型激活函数信号，因此，首次放大信号实现对s型激活函数信号的激活梯度、偏移量的控制，同时，可调节电阻ra1、可调节电阻ra2实现对s型激活函数信号的阈值的控制；即最终可调节电阻rg实现对s型激活函数信号的激活梯度的控制，可调节电阻rμ实现对s型激活函数信号的偏移量的控制，可调节电阻ra1、可调节电阻ra2实现对s型激活函数信号的阈值的控制。
37.将获得的s型激活函数信号在multisim进行数据仿真，得到s型激活函数。
38.其中，电阻值为r1＝r4＝r5＝r6＝r7＝r8＝10(kω)、r2＝r3＝1(kω)，e1＝e2＝e3＝15(v)，i0＝1.1(ma)。且运算放大器u1、运算放大器u2、运算放大器u3的型号均为tl082cp，三极管q1、三极管q2的型号均为mps2222。
39.其中标准s型激活函数的数学表达式为：
[0040][0041]
其可利用双曲正切激活函数表示为：
[0042][0043]
在工程应用中，s型激活函数的阈值、激活梯度、偏移量会根据实际需要做出改变，因此，具有可调节的阈值、激活梯度和偏移量的s型激活函数表示为：
[0044][0045]
其中，a表示s型激活函数的阈值、g表示s型激活函数的激活梯度、μ表示s型激活函数的偏移量；
[0046]
因此式(3)用双曲正切激活函数表示为：
[0047][0048]
因此，首要的是构建双曲正切函数电路。注意到，当a＝1、g＝1和μ＝0时，所述的s型激活函数为标准sigmoid激活函数；
[0049]
请参阅图1所示，当电路输入端为vi，且输入端进行数据信号传输，则2端的输出电压v2为：
[0050][0051]
三极管的集电极电流可表示为：
[0052][0053]
其中，is为饱和电流，vbe为基极与发射极间电压，vt为热电压，可表示为vt＝kt/q,k是玻尔兹曼常数，q是电子电荷，t表示温度，注意到，通常情况下热电压vt＝26mv。
[0054]
当三极管q2的基极接地，即电位为0时，7端经过基本镜像电流源电路和减法运算电路后的输出电压为：
[0055][0056]
此时，7端电路输出电压v7表示激活梯度和偏移量可调的双曲正切函数电路，基于此，s型激活函数实现电路的输出端vo为
[0057][0058]
与s型激活函数实现电路的数学表达式(4)相比，可求出式(8)对应的可调电阻值
[0059][0060]
因此，通过调节可调节电阻ra1及可调节电阻ra2可以实现对s型激活函数的阈值a的控制，通过调节可调节电阻rg可以实现对s型激活函数的激活梯度g的控制，通过调节可调节电阻rμ可以实现对s型激活函数的偏移量μ的控制。
[0061]
实施例1
[0062]
请参阅图2所示，选择正弦电压源v＝asin(2πft)，其中a＝10v，f＝60hz。
[0063]
则当ra1＝300kω、ra2＝20kω、rg＝0.26kω和rμ＝ ∞kω(rμ断开)时，得到vi-sigmoid(vi)平面上实现标准s型激活函数的multisim电路仿真相图，如图2a；
[0064]
当a＝1、g＝1和μ＝0时，得到x-sigmoid(x)平面上实现标准s型激活函数的matlab数值仿真相图，如图2b。
[0065]
实施例2
[0066]
请参阅图3所示，选择正弦电压源v＝asin(2πft)，其中a＝10v，f＝60hz。
[0067]
当ra1＝600kω、ra2＝40kω时，得到vi-asigmoid(vi)平面上实现s型激活函数的multisim电路仿真相图，如图3a；
[0068]
当a＝0.5时，得到x-asigmoid(x)平面上实现s型激活函数的matlab数值仿真相图，如图3b；
[0069]
当ra1＝100kω、ra2＝6.667kω时，得到vi-asigmoid(vi)平面上实现s型激活函
数的multisim电路仿真相图，如图3c；
[0070]
当a＝3时，得到x-asigmoid(x)平面上实现s型激活函数的matlab数值仿真相图，如图3d。
[0071]
实施例3
[0072]
请参阅图4所示，选择正弦电压源v＝asin(2πft)，其中a＝10v，f＝60hz。
[0073]
当rg＝0.13kω时，得到vi-sigmoid(gvi)平面上实现s型激活函数的multisim电路仿真相图，如图4a；
[0074]
当g＝0.5时，得到x-sigmoid(gx)平面上实现s型激活函数的matlab数值仿真相图，如图4b；
[0075]
当rg＝0.78kω时，得到vi-sigmoid(gvi)平面上实现s型激活函数的multisim电路仿真相图，如图4c；
[0076]
当g＝3时，得到x-sigmoid(gx)平面上实现s型激活函数的matlab数值仿真相图，如图4d。
[0077]
实施例4
[0078]
请参阅图5所示，选择正弦电压源v＝asin(2πft)，其中a＝10v，f＝60hz。
[0079]
当rμ＝300kω时，得到vi-sigmoid(vi-μ)平面上实现s型激活函数的multisim电路仿真相图，如图5a；
[0080]
当μ＝0.5时，得到x-sigmoid(x-μ)平面上实现s型激活函数的matlab数值仿真相图，如图5b；
[0081]
当rμ＝50kω时，得到vi-sigmoid(vi-μ)平面上实现s型激活函数的multisim电路仿真相图，如图5c；
[0082]
当μ＝3时，x-sigmoid(x-μ)平面上实现s型激活函数的matlab数值仿真相图如图5d所示。
[0083]
实施例5
[0084]
请参阅图6所示，选择正弦电压源v＝asin(2πft)，其中a＝10v，f＝60hz。
[0085]
当ra1＝150kω、ra2＝10kω、rg＝0.78kω和rμ＝75kω时，得到vi-asigmoid(gvi-μ)平面上实现s型激活函数的multisim电路仿真相图，如图6a；
[0086]
当a＝2、g＝3和μ＝6时，得到x-asigmoid(gx-μ)平面上实现s型激活函数的matlab数值仿真相图，如图6b。
[0087]
根据以上所述实施例，s型激活函数电路实现结果表明，标准的s型激活函数实现电路与数值仿真一致，函数具有连续、光滑、单调递增和良好的对称性，且阈值为(0,1)；调节可调节电阻ra1和可调节电阻ra2可以实现对s型激活函数的阈值a的控制；调节可调节电阻rg可以实现对s型激活函数的激活梯度g的控制；调节可调节电阻rμ可以实现对s型激活函数的偏移量μ的控制，因此本发明一种实现s型激活函数的电路可以实现s型激活函数。