基于忆阻器BAM实现多模态信息融合联想的电路及其应用的制作方法

基于忆阻器bam实现多模态信息融合联想的电路及其应用
技术领域
1.本发明属于电路设计领域，更具体地，涉及一种基于忆阻器bam实现多模态信息融合联想的电路及其应用。


背景技术：

2.现实生活中，获得的信息的来源往往是复杂的，对于同一个对象，用于描述它的方式是多种多样的，包含多种模态。例如，一段视频是音频、图像、文本等多种单一模态的集合。对多模态信息的融合与联想是人类大脑实现对现实世界的感知与认知的一项重要能力。多模态融合也称多源信息融合或者多传感器融合，是指从图像、音频、文本等领域中获取信息，建立关联，并进行融合以实现异质互补。
3.在信息处理的过程中，单一模态通常不能包括所需的全部内容，而不同模态之间的数据既有冗余性，也有互补性，可以较为全面地展示数据信息。多模态信息的融合中难点是构建不同模态间的联系，多重双向联想记忆网络是解决这一问题的方法之一。多重双向联想记忆网络由一个顶层和多个底层组成，各底层之间互不连通，而每一个底层都与顶层单独地构成一个双向联想记忆网络(bidirectional associative memory，bam)。底层用于接收不同模态的输入信息，顶层则构建模态间的联系，进行多融合与联想。
4.目前，多模态融合联想都是通过冯.诺依曼计算机串行软件来实现，无法快速地进行大规模的运算，使得实际应用中，多模态信息融合联想的速度受到了极大的限制。


技术实现要素：

5.针对现有技术的缺陷和改进需求，本发明提供了一种基于忆阻器bam实现多模态信息融合联想的电路及其应用，其目的在于，利用硬件的并行处理能力提高多模信息融合联想的速度。
6.为实现上述目的，按照本发明的一个方面，提供了一种基于忆阻器bam实现多模态信息融合联想的电路，通过自循环实现n种模态的融合联想，n≥2；该电路包括：顶层激活模块，以及与n种模态一一对应的n个底层模块；
7.底层模块包括：底层输入单元，其第一输入端用于接收对应模态的原始输入信息；第一特征提取单元，其输入端连接至底层输入单元的输出端，其输出端与其他底层模块中的第一特征提取单元的输出端相连后连接至顶层激活模块的输入端；第二特征提取单元，其输入端连接至顶层激活模块的输出端；以及底层激活单元，其输入端连接至第二特征提取单元的输出端，其输入端连接至底层输入单元的第二输入端；第一特征提取单元和第二特征提取单元均包含忆阻器交叉阵列；
8.在每一次循环中，底层输入单元用于将对应模态在当前循环中的输入信息输入至第一特征提取单元；第一特征提取单元用于对输入的信息执行乘累加运算，以提取其特征，得到输入特征信息；顶层激活模块，用于对当前循环中n种模态对应的输入特征信息融合所得的融合信息进行阈值判别；第二特征提取单元，用于对顶层激活模块输出的阈值判别结
果执行乘累加运算，以提取其特征，得到融合特征信息；底层激活单元，用于对融合特征信息进行阈值判别，以完成对应模态在当前循环中的融合联想；首次循环时，各模态的输入信息为原始输入信息，在之后的循环中，各模态的输入信息为上一次循环融合联想的结果；底层模块中，各单元的输入输出信息维度均为m。
9.进一步地，忆阻器交叉阵列包括：
10.m条水平纳米线、m条垂直纳米线以及m
×
m个忆阻器；
11.m条水平纳米线和m条垂直纳米线相交共形成m
×
m个交叉点；m
×
m个忆阻器分别设置于m
×
m个交叉点，且各忆阻器的两端分别与一条水平纳米线和一条垂直纳米线相连。
12.进一步地，第一特征提取单元还包括：
13.m个偏置电阻、m个第一反馈电阻、一个第一运算放大器、一个第二反馈电阻、m个第二运算放大器和m个求和电阻；
14.m个偏置电阻的一端分别与忆阻器交叉阵列中的m条水平纳米线的一端相连，构成第一特征提取单元的输入端；m个偏置电阻的另一端相连后连接至第一运算放大器的反向输入端；
15.m个第一反馈电阻的一端分别与忆阻器交叉阵列中的m条垂直纳米线的一端相连相连，m个第一反馈电阻的另一端相连后连接至第一运算放大器的输出端；
16.第二反馈电阻的两端分别与第一运算放大器的反相输入端和输出端相连；第一运算放大器的正向输入端接地；
17.每个求和电阻的两端分别与一个第二运算放大器的反向输入端和输出端相连；
18.m个第二运算放大器的反向输入端分别与忆阻器交叉阵列中的m条垂直纳米线的另一端相连，m个第二运算放大器的正向输入端分别接地；m个第二运算放大器的输出端共同构成第一特征提取单元的输出端。
19.进一步地，第一特征提取单元的输出端与其他底层模块中的第一特征提取单元的输出端的连接端之间，还包括：
20.m个融合电阻，用于调整不同模态在融合信息中的比重。
21.进一步地，第二特征提取单元的结构与第一特征提取单元的结构相同。
22.进一步地，底层输入单元包括：m个mos管；
23.m个mos管的栅极相连，且与控制电压相连；
24.m个mos管的漏极作为底层输入单元的第一输入端，用于接收对应模态的初始输入信号；
25.m个mos管的源极作为底层输入单元的第二输入端，用于接收对应模态在上一次循环融合联想的结果。
26.进一步地，顶层激活模块包括：m个第三运算放大器；
27.m个第三运算放大器的反向输入端构成顶层激活模块的输入端；
28.m个第三运算放大器的正向输入端分别接地；
29.m个第三运算放大器的输出端构成顶层激活模块的输出端。
30.进一步地，底层激活单元包括：m个第四运算放大器；
31.m个第四运算放大器的反向输入端构成底层激活单元的输入端；
32.m个第四运算放大器的正向输入端分别接地；
33.m个第四运算放大器的输出端构成底层激活单元的输出端。
34.按照本发明的另一个方面，提供了一种多模态信息融合联想方法，包括：
35.通过调整忆阻器两端电压的方式，对本发明提供的基于忆阻器bam实现多模态信息融合联想的电路中的各忆阻器阻值进行调整，使各忆阻器的阻值为相应的设定值；
36.将各模态的原始输入信息整理为m维输入向量，并以电压的形式输入至电路中对应的底层输入单元，以使电路进入到自循环的状态，直到整个电路达到稳定；
37.在电路稳定时，提取电路中顶层激活模块的输出信息，作为多模态信息融合联想的结果。
38.进一步地，电路中各忆阻器阻值的设定值，其确定方法包括：
39.将忆阻器作为电子突触，对本发明提供的基于忆阻器bam实现多模态信息融合联想的电路进行软件建模，通过离线训练的方式调整所建立的模型中各电子突触处的权重，将训练完成后的电子突触权重作为各忆阻器阻值的设定值。
40.总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
41.(1)本发明利用忆阻器作为电子突触实现了多重双向联想记忆网络硬件电路，该电路可实现多模态信息融合联想的功能，利用硬件的并行处理能力极大地提高了多模态融合联想的速度，有效地解决了目前多模态融合联想都是通过冯.诺依曼计算机串行软件来实现，无法快速地进行大规模的运算问题。
42.(2)本发明利用忆阻器作为电子突触实现了多重双向联想记忆网络硬件电路，由于忆阻器具有非易失存储性能，其忆阻值更新规则与一定时间内通过器件的电荷数有关；相比传统晶体管和电容搭建的突触电路，纳米尺度的忆阻器也让突触结构的超大规模集成成为可能。
43.(3)本发明利用忆阻器作为电子突触实现了多重双向联想记忆网络硬件电路，忆阻器的阻值即为网络权重，由于忆阻器阻值可调，电路在面对不同任务时能够对权重进行修改，更具通用性和灵活性。
44.(4)本发明利用忆阻器作为电子突触实现了多重双向联想记忆网络硬件电路，由于忆阻器能够同时实现网络信息的存储和电路计算，整个电路结构简单、体积小、功耗低、可靠性高、与cmos制造工艺兼容性好。
附图说明
45.图1为本发明实施例提供的基于忆阻器bam实现多模态信息融合联想的电路示意图；
46.图2为本发明实施例提供的激活函数示意图；
47.图3为本发明实施例提供的多模态信息融合联想中数字2的代表序列；
48.图4为本发明实施例提供的多模态信息联想中字母b的图像；
49.图5为本发明实施例提供的输入数字2的语音信息和图像信息后顶层z的电路输出，本实验采用发明中5*5的交叉阵列；
50.图6为本发明实施例提供的输入带噪声的语音信息和完整图像信息时底层x的电路输出。
具体实施方式
51.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
52.在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
53.为了解决现有的多模态融合联想都是通过冯.诺依曼计算机串行软件来实现，无法快速地进行大规模的运算问题，本发明利用忆阻器纳米级尺寸、可同时实现信息存储和计算等特点，结合双向联想记忆网络解决优化问题的能力，采用解决多模态融合联想问题的方案，提出了基于忆阻的双向联想记忆网络实现多模态融合联想的电路。
54.本发明所提供的基于忆阻器bam实现多模态信息融合联想的电路，通过自循环实现n种模态的融合联想，n表示需要融合的模态的数量，根据实际应用确定；
55.该电路包括：顶层激活模块，以及与n种模态一一对应的n个底层模块；每个底层模块与顶层激活模块分别构成一个双向联想记忆网络(bidirectional associative memory，bam)；
56.由于各底层模块的内部结构相同，区别仅在于处理的模态不同；为使本发明技术方案更为清楚，在以下实施例中，仅以两种模态的融合联想为例，对本发明的技术方案进行解释说明。
57.以下为实施例。
58.实施例1：
59.一种基于忆阻器bam实现多模态信息融合联想的电路，用于通过自循环实现n种模态的融合联想；本实施例中，n＝2，且两种模态的信息分别为语音信息和图像信息，分别记为x和y，维度均为3；
60.如图1所示，本实施例提供的电路包括：顶层激活模块，以及与2种模态一一对应的2个底层模块；两个底层模块的结构相同；以下以语音信息x对应的底层模块为例，对每个底层模块的结构进行说明。
61.如图1所示，语音信息x对应的底层模块包括：
62.底层输入单元，其第一输入端用于接收对应模态的原始输入信息，即xi＝(x
i1
、x
i2
、x
i3
)；可选地，本实施例中，底层输入单元具体包括
63.第一特征提取单元，其输入端连接至底层输入单元的输出端，其输出端与其他底层模块，即图像信息y对应的底层模块中的第一特征提取单元的输出端相连后连接至顶层激活模块的输入端；不同模态对应的第一特征提取单元的输出端相连，可实现多模态信息的融合，故输入顶层激活模块的信息，记为多模态信息融合后的信息；
64.第二特征提取单元，其输入端连接至顶层激活模块的输出端；
65.以及底层激活单元，其输入端连接至第二特征提取单元的输出端，其输入端连接
至底层输入单元的第二输入端；
66.第一特征提取单元和第二特征提取单元均包含忆阻器交叉阵列；
67.语音信息x的原始输入信息xi＝(x
i1
、x
i2
、x
i3
)为脉冲电压，仅在首次循环中起作用；在首次循环中，底层输入单元用于将语音信息x的原始输入信息xi＝(x
i1
、x
i2
、x
i3
)输入到第一特征提取单元中，第一特征提取单元中的忆阻器交叉阵列会对该信息执行乘累加运算，实现对原始输入信息x
i1
、x
i2
和x
i3
的特征提取，得到语音信息x对应的输入特征信息；该输入特征信息会与图像信息y对应的输入特征信息融合，得到融合信息，并输入到顶层激活模块中；顶层激活模块，用于对该融合信息进行阈值判别，以构建模态之间的联系，阈值判别结果为顶层激活模块的输出信息，记为z＝(z1、z2、z3)，该输出信息会输出至各模态对应的第二特征提取单元；第二特征提取单元，用于对顶层激活模块输出的阈值判别结果执行乘累加运算，以提取其特征，得到融合特征信息；底层激活单元，用于对融合特征信息进行阈值判别，以完成对应模态在当前循环中的融合联想，其输出即为语音信息x在当前循环中融合联想后的结果，记为(x1、x2、x3)，该信息将反馈输入至对应的底层输入单元中，作为下一次循环的输入信息；
68.在首次循环之后的循环中，底层输入单元则用于将上一次循环所得到的融合联想的结果，即(x1、x2、x3)输入到第一特征提取单元，其余过程与首次循环相同。
69.同样以语音x对应的底层模块为例，对各单元的具体结构做进一步的解释说明：
70.如图1所示，底层输入单元包括：3个mos管，即m1、m2和m3；
71.3个mos管的栅极相连，且与控制电压v
ctrlx
相连；
72.3个mos管的漏极作为底层输入单元的第一输入端，用于接收对应模态的初始输入信号，即x
i1
、x
i2
和x
i3
；
73.3个mos管的源极作为底层输入单元的第二输入端，用于接收对应模态在上一次循环融合联想的结果，即x1、x2和x3；
74.忆阻器交叉阵列包括：
75.3条水平纳米线、3条垂直纳米线，以及3
×
3个忆阻器；
76.3条水平纳米线和3条垂直纳米线相交共形成3
×
3个交叉点；3
×
3个忆阻器分别设置于3
×
3个交叉点，且各忆阻器的两端分别与一条水平纳米线和一条垂直纳米线相连；忆阻器阵列中，3
×
3个忆阻器即图1中所示的a
11
、a
12
、a
13
、a
21
、a
22
、a
23
、a
31
、a
32
和a
33
；
77.如图1所示，第一特征提取单元还包括：
78.3个偏置电阻，即r
s1
、r
s2
和r
s3
；
79.3个第一反馈电阻，即r
f1
、r
f2
和r
f3
；
80.一个第一运算放大器，即u
f1
；
81.一个第二反馈电阻，即r
f4
；
82.3个第二运算放大器，即u1、u2和u3；
83.以及3个求和电阻，即r1、r2和r3；
84.3个偏置电阻r
s1
、r
s2
和r
s3
的一端分别与忆阻器交叉阵列中的3条水平纳米线的一端相连，构成第一特征提取单元的输入端；3个偏置电阻r
s1
、r
s2
和r
s3
的另一端相连后连接至第一运算放大器u
f1
的反向输入端；
85.3个第一反馈电阻r
f1
、r
f2
和r
f3
的一端分别与忆阻器交叉阵列中的3条垂直纳米线
的一端相连相连，3个第一反馈电阻r
f1
、r
f2
和r
f3
的另一端相连后连接至第一运算放大器u
f1
的输出端；
86.第二反馈电阻r
f4
的两端分别与第一运算放大器u
f1
的反相输入端和输出端相连；第一运算放大器u
f1
的正向输入端接地；
87.每个求和电阻的两端分别与一个第二运算放大器的反向输入端和输出端相连；如图1所示，求和电阻r1、r2和r3分别与第二运算放大器u1、u2和u3相连；
88.3个第二运算放大器u1、u2和u3的反向输入端分别与忆阻器交叉阵列中的3条垂直纳米线的另一端相连，3个第二运算放大器u1、u2和u3的正向输入端分别接地；3个第二运算放大器u1、u2和u3的输出端共同构成第一特征提取单元的输出端；
89.如图1所示，语音信息x对应的第一特征提取单元的输出端与其他底层模块中的第一特征提取单元的输出端的连接端之间，还包括：
90.3个融合电阻r
z1
、r
z2
和r
z3
，用于调整不同模态在融合信息中的比重；
91.不同模态在融合信息中的比重，可在离线训练的过程中预先确定；各融合电阻的阻值根据模态在融合信息中的比重相应调整即可；本实施例中，经融合电阻调整后，两种模态的比重为1:1。
92.如图1所示，顶层激活模块包括：3个第三运算放大器，即v1、v2和v3；
93.3个第三运算放大器v1、v2和v3的反向输入端构成顶层激活模块的输入端，用于接收多模态信息融合得到的融合信息；
94.3个第三运算放大器v1、v2和v3的正向输入端分别接地；
95.3个第三运算放大器v1、v2和v3的输出端构成顶层激活模块的输出端，输出信息即为z＝(z1、z2、z3)；
96.顶层激活模块在对输入的融合信息进行阈值判别时，相应的激活函数如图2所示；
97.第二特征提取单元的结构与第一特征提取单元的结构相同，如图1所示，其中的忆阻器交叉阵列包括：
98.3条水平纳米线、3条垂直纳米线，以及3
×
3个忆阻器；
99.3条水平纳米线和3条垂直纳米线相交共形成3
×
3个交叉点；3
×
3个忆阻器分别设置于3
×
3个交叉点，且各忆阻器的两端分别与一条水平纳米线和一条垂直纳米线相连；忆阻器阵列中，3
×
3个忆阻器即图1中所示的c
11
、c
12
、c
13
、c
21
、c
22
、c
23
、c
31
、c
32
和c
33
；
100.如图1所示，第二特征提取单元还包括：
101.3个偏置电阻，即r
s7
、r
s8
和r
s9
；
102.3个第一反馈电阻，即r
f9
、r
f10
和r
f11
；
103.一个第一运算放大器，即u
f3
；
104.一个第二反馈电阻，即r
f12
；
105.3个第二运算放大器，即u7、u8和u9；
106.以及3个求和电阻，即r7、r8和r9；
107.3个偏置电阻r
s7
、r
s8
和r
s9
的一端分别与忆阻器交叉阵列中的3条水平纳米线的一端相连，构成第二特征提取单元的输入端，用于接收顶层激活模块输出的阈值判别结果，即z＝(z1、z2、z3)；3个偏置电阻r
s7
、r
s8
和r
s9
的另一端相连后连接至第一运算放大器u
f3
的反向输入端；
108.3个第一反馈电阻r
f9
、r
f10
和r
f11
的一端分别与忆阻器交叉阵列中的3条垂直纳米线的一端相连相连，3个第一反馈电阻r
f9
、r
f10
和r
f11
的另一端相连后连接至第一运算放大器u
f3
的输出端；
109.第二反馈电阻r
f12
的两端分别与第一运算放大器u
f3
的反相输入端和输出端相连；第一运算放大器u
f3
的正向输入端接地；
110.每个求和电阻的两端分别与一个第二运算放大器的反向输入端和输出端相连；如图1所示，求和电阻r7、r8和r9分别与第二运算放大器u7、u8和u9相连；
111.3个第二运算放大器u7、u8和u9的反向输入端分别与忆阻器交叉阵列中的3条垂直纳米线的另一端相连，3个第二运算放大器u7、u8和u9的正向输入端分别接地；3个第二运算放大器u7、u8和u9的输出端共同构成第二特征提取单元的输出端。
112.如图1所示，底层激活单元包括：3个第四运算放大器，即v4、v5和v6；
113.3个第四运算放大器v4、v5和v6的反向输入端构成底层激活单元的输入端；
114.3个第四运算放大器v4、v5和v6的正向输入端分别接地；
115.3个第四运算放大器v4、v5和v6的输出端构成底层激活单元的输出端，输出语音信息x经过当前循环的融合联想后的信息，即(x1、x2、x3)。
116.图像信息y对应的底层模块与语音信息x对应的底层模块的结构相同，同样包括底层输入单元、第一特征提取单元、第二特征提取单元和底层激活单元，各单元的结构如图1所示，具体如下：
117.底层输入单元包括：3个mos管，即m4、m5和m6；
118.3个mos管的栅极相连，且与控制电压v
ctrly
相连；
119.3个mos管的漏极作为底层输入单元的第一输入端，用于接收对应模态的初始输入信号，即y
i1
、y
i2
和y
i3
；
120.3个mos管的源极作为底层输入单元的第二输入端，用于接收对应模态在上一次循环融合联想的结果，即y1、y2和y3；
121.忆阻器交叉阵列包括：
122.3条水平纳米线、3条垂直纳米线，以及3
×
3个忆阻器；
123.3条水平纳米线和3条垂直纳米线相交共形成3
×
3个交叉点；3
×
3个忆阻器分别设置于3
×
3个交叉点，且各忆阻器的两端分别与一条水平纳米线和一条垂直纳米线相连；忆阻器阵列中，3
×
3个忆阻器即图1中所示的b
11
、b
12
、b
13
、b
21
、b
22
、b
23
、b
31
、b
32
和b
33
；
124.如图1所示，第一特征提取单元还包括：
125.3个偏置电阻，即r
s4
、r
s5
和r
s6
；
126.3个第一反馈电阻，即r
f5
、r
f6
和r
f7
；
127.一个第一运算放大器，即u
f2
；
128.一个第二反馈电阻，即r
f8
；
129.3个第二运算放大器，即u4、u5和u6；
130.以及3个求和电阻，即r4、r5和r6；
131.3个偏置电阻r
s4
、r
s5
和r
s6
的一端分别与忆阻器交叉阵列中的3条水平纳米线的一端相连，构成第一特征提取单元的输入端；3个偏置电阻r
s4
、r
s5
和r
s6
的另一端相连后连接至第一运算放大器u
f2
的反向输入端；
132.3个第一反馈电阻r
s4
、r
s5
和r
s6
的一端分别与忆阻器交叉阵列中的3条垂直纳米线的一端相连相连，3个第一反馈电阻r
s4
、r
s5
和r
s6
的另一端相连后连接至第一运算放大器u
f2
的输出端；
133.第二反馈电阻r
f8
的两端分别与第一运算放大器u
f2
的反相输入端和输出端相连；第一运算放大器u
f2
的正向输入端接地；
134.每个求和电阻的两端分别与一个第二运算放大器的反向输入端和输出端相连；如图1所示，求和电阻r4、r5和r6分别与第二运算放大器u4、u5和u6相连；
135.3个第二运算放大器u4、u5和u6的反向输入端分别与忆阻器交叉阵列中的3条垂直纳米线的另一端相连，3个第二运算放大器u4、u5和u6的正向输入端分别接地；3个第二运算放大器u4、u5和u6的输出端共同构成第一特征提取单元的输出端；
136.如图1所示，图像信息y对应的第一特征提取单元的输出端与其他底层模块中的第一特征提取单元的输出端的连接端之间，还包括：
137.3个融合电阻r
z4
、r
z5
和r
z6
，用于调整不同模态在融合信息中的比重。
138.第二特征提取单元中的忆阻器交叉阵列包括：
139.3条水平纳米线、3条垂直纳米线，以及3
×
3个忆阻器；
140.3条水平纳米线和3条垂直纳米线相交共形成3
×
3个交叉点；3
×
3个忆阻器分别设置于3
×
3个交叉点，且各忆阻器的两端分别与一条水平纳米线和一条垂直纳米线相连；忆阻器阵列中，3
×
3个忆阻器即图1中所示的d
11
、d
12
、d
13
、d
21
、d
22
、d
23
、d
31
、d
32
和d
33
；
141.如图1所示，第二特征提取单元还包括：
142.3个偏置电阻，即r
s10
、r
s11
和r
s12
；
143.3个第一反馈电阻，即r
f13
、r
f14
和r
f15
；
144.一个第一运算放大器，即u
f4
；
145.一个第二反馈电阻，即r
f16
；
146.3个第二运算放大器，即u
10
、u
11
和u
12
；
147.以及3个求和电阻，即r
10
、r
11
和r
12
；
148.3个偏置电阻r
s10
、r
s11
和r
s12
的一端分别与忆阻器交叉阵列中的3条水平纳米线的一端相连，构成第二特征提取单元的输入端，用于接收顶层激活模块输出的阈值判别结果，即z＝(z1、z2、z3)；3个偏置电阻r
s10
、r
s11
和r
s12
的另一端相连后连接至第一运算放大器u
f4
的反向输入端；
149.3个第一反馈电阻r
f13
、r
f14
和r
f15
的一端分别与忆阻器交叉阵列中的3条垂直纳米线的一端相连相连，3个第一反馈电阻r
f13
、r
f14
和r
f15
的另一端相连后连接至第一运算放大器u
f4
的输出端；
150.第二反馈电阻r
f16
的两端分别与第一运算放大器u
f4
的反相输入端和输出端相连；第一运算放大器u
f4
的正向输入端接地；
151.每个求和电阻的两端分别与一个第二运算放大器的反向输入端和输出端相连；如图1所示，求和电阻r
10
、r
11
和r
12
分别与第二运算放大器u
10
、u
11
和u
12
相连；
152.3个第二运算放大器u
10
、u
11
和u
12
的反向输入端分别与忆阻器交叉阵列中的3条垂直纳米线的另一端相连，3个第二运算放大器u
10
、u
11
和u
12
的正向输入端分别接地；3个第二运算放大器u
10
、u
11
和u
12
的输出端共同构成第二特征提取单元的输出端。
153.如图1所示，底层激活单元包括：3个第四运算放大器，即v7、v8和v9；
154.3个第四运算放大器v7、v8和v9的反向输入端构成底层激活单元的输入端；
155.3个第四运算放大器v7、v8和v9的正向输入端分别接地；
156.3个第四运算放大器v7、v8和v9的输出端构成底层激活单元的输出端，输出图像信息y经过当前循环的融合联想后的信息，即(y1、y2、y3)。
157.基于图1所示的电路，在初始时刻，将语音信息x和图像信息y的初始输入信息分别经对应的底层输入单元输入后，电路即可进入自循环的状态，直至整个电路达到稳定状态；在电路处于稳定状态下，顶层激活模块输出的阈值判别结果z＝(z1、z2、z3)即为最终多模态信息融合联想的结果。
158.实施例2：
159.一种多模态信息融合联想方法，包括：
160.通过调整忆阻器两端电压的方式，对上述实施例1提供的基于忆阻器bam实现多模态信息融合联想的电路中的各忆阻器阻值进行调整，使各忆阻器的阻值为相应的设定值；忆阻器两端电压，可通过调整其在阵列中所对应的行电压和列电压来调整；
161.将各模态的原始输入信息整理为m维输入向量，并以电压的形式输入至电路中对应的底层输入单元，以使电路进入到自循环的状态，直到整个电路达到稳定；
162.在电路稳定时，提取电路中顶层激活模块的输出信息，作为多模态信息融合联想的结果；
163.上述实施例1所建立的电路中，忆阻器作为神经网络中的电子突触，忆阻器的阻值，即为神经网络中电子突触的网络权值；可选地，本实施例中，电路中各忆阻器阻值的设定值，其确定方法包括：
164.将忆阻器作为电子突触，对上述实施例1提供的基于忆阻器bam实现多模态信息融合联想的电路进行软件建模，通过离线训练的方式确定所建立的模型中各电子突触处的权重；将训练完成后的电子突触权重作为各忆阻器阻值的设定值；离线训练过程所使用的训练数据，由已知的多种模态构成。
165.应当说明的是，上述实施例中，关于模态的数量，以及各模态信息的维度，仅为示例性的说明，不应理解为对本发明的唯一限定；在实际应用中，各模态信息的维度可灵活设置；如果模态数量发生变化时，为每一个模态建立相应的底层模块即可。
166.图3为多模态信息联想中数字2的代表序列；当输入数字2的语音信息，x层网络能够稳定输出图3所示序列时，称其成功联想到了数字2。
167.图4为多模态信息融合中字母b的图像，当输入数字2的语音信息和图像信息，顶层z能够稳定输出图4所示字母图像时，称其成功联想到了字母b。
168.图5为电路采用5*5的忆阻器交叉阵列时，输入数字2的语音信息和图像信息后顶层z的电路输出，根据图5可知，输出电压数值与图4字母像素值对应，说明电路成功联想到了字母b，即该电路实现了异联想。
169.图6为输入带有高斯噪声的数字1的语音信息和完整图像信息时底层x的电路输出，根据图6可知，输入噪声信息后x层电压曲线出现波动，但最终输出稳定收敛，说明在噪声干扰下电路仍然能完成两种模态信息的融合以及模态间的相互联想；该电路在输入带有高斯噪声的数字1的语音信息和完整图像信息时能联想到数字1的清晰的图像，说明该电路
实现了自联想。
170.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。