一种宽光谱感知神经元器件及使用该神经元器件的系统

本发明涉及视觉智能识别，具体涉及一种基于ito/mapbi3/ucnps/au双端钙钛矿异质结的双模态宽光谱感知神经元器件、使用该神经元器件的主动光强适应运动检测系统以及lif神经元动作识别系统。

背景技术：

1、机器视觉系统作为人工智能、自动驾驶、智能制造、安防监控等领域的核心感知基础设施，其核心载体视觉相机的性能直接决定了智能系统的环境理解与决策能力，且随着边缘计算与类脑智能技术的快速发展，传统基于帧采样的cmos视觉相机已难以满足低功耗、高实时性、高集成度的边缘端应用需求，开发能够模拟生物视网膜感知机制的新型事件驱动视觉相机成为行业核心发展方向。

2、生物视网膜通过光感受器、双极细胞与神经节细胞的层级协同，在单元层面同时实现稳态光强感知与动态变化编码：既能够适应不同光照环境下的亮度分布，又能够仅对光强变化产生响应，以稀疏脉冲形式输出动态信息，从而在极低功耗下实现高效视觉处理；受此启发，现有技术提出了事件驱动视觉范式，通过仅输出光强变化事件，将数据冗余降低2～3个数量级，时间分辨率提升至微秒级别，能够应用于高速运动目标跟踪、无人机避障等场景，但受限于器件物理机制与系统架构，其规模化落地仍面临诸多难以突破的技术瓶颈，现有技术缺点具体表现在如下方面：

3、（1）事件相机像素依赖复杂外围电路，结构臃肿且性能受限：传统事件驱动视觉像素采用“光电器件+rc延迟支路+差分放大器+比较器”的多器件协同架构，一个功能完整的事件像素通常包含5-7个独立模块，这种架构导致事件相机的像素面积较传统cmos帧相机增大3-5倍，填充率低于30%，单像素功耗超过10nw；rc支路的时间常数通常为微秒至毫秒级别，成为事件相机响应速度的根本瓶颈，难以捕捉超高速动态目标；同时多器件参数失配导致像素间响应一致性差，引入难以消除的固定模式噪声，影响视觉信息的稳定表达；

4、（2）单器件无法同时兼容双模态响应，相机系统架构分立：现有光电器件大多仅能实现单一稳态光电导响应，无法在单器件层面同时支持帧驱动的稳态成像与事件驱动的动态检测，此时为实现全功能视觉系统，必须分别部署帧式成像传感器与事件传感器两套独立硬件，导致两套传感器阵列、读出电路与处理模块分立，相机设备体积大、成本高；两种传感器的输出格式、时间基准与空间分辨率不同，后端数据融合算法复杂，延迟高；且多数场景下仅需一种工作模式，造成硬件资源的闲置浪费；

5、（3）光谱响应范围窄，全天候环境适应性差：传统硅基视觉相机与钙钛矿光电探测器的响应范围主要集中在可见光波段（400-780nm），无法有效探测近红外光，在夜间、烟雾、雾霾等低能见度场景下，可见光信号衰减严重，导致相机成像性能急剧下降，难以满足全天候机器视觉的应用需求。虽然已有研究通过引入红外探测器拓展光谱范围，但多采用可见光与红外探测器分立的架构，进一步加剧了相机系统的复杂度与硬件成本；

6、（4）感存算分离架构导致相机决策延迟高、功耗大：现有视觉相机严格遵循冯诺依曼架构，感知、存储与计算模块物理分离，视觉数据需经过“传感器采集-模数转换-存储器缓存-处理器计算”多个环节，全流程延迟普遍超过50ms，无法满足自动驾驶、工业机器人等对实时性要求极高的场景（通常要求延迟低于10ms），同时大量冗余背景数据的传输与处理导致相机系统功耗居高不下，难以适配电池供电的便携式边缘设备。

7、（5）缺乏本征的兴奋/抑制双通路机制，前端预处理能力弱：生物视网膜通过on型与off型双极细胞实现兴奋与抑制的拮抗调节，能够有效增强图像对比度、抑制背景噪声，而传统光电器件仅能输出单极性光电流，无法模拟这种双通路机制，导致视觉相机前端预处理能力弱，后端计算负担显著加重，此时虽然已有研究通过外围电路模拟双通路响应，但进一步增加了相机系统的结构复杂度与功耗开销。

8、为此，本技术特提出一种宽光谱感知神经元器件及使用该神经元器件的系统以解决上述技术问题。

技术实现思路

1、本发明的主要目的在于提供一种宽光谱感知神经元器件及使用该神经元器件的系统，该宽光谱感知神经元器件利用不对称金属-半导体接触形成的可调制内建电场，以及光伏效应与离子迁移的时间尺度竞争机制，在无需任何外围电路的条件下，单个器件即可同时实现电场可调的双向光导态与光强变化触发的本征on/off尖峰响应，兼容帧驱动与事件驱动两种视觉处理模式，同时还能够通过引入ucnps层将光谱响应拓展至近红外波段，实现rgb+nir宽光谱感知，该系统构建的双模态视觉相机系统，全流程延迟低于10ms，单脉冲能耗低至皮焦级别，在明亮与黑暗环境下均能稳定工作，最终解决背景技术中所提出的技术问题。

2、本发明采用以下技术方案解决上述技术问题：

3、一方面，本发明公开了一种宽光谱感知神经元器件，作为ito/mapbi3/ucnps/au平面型双端忆阻器，以mapbi3钙钛矿为核心光电敏感材料，且具有ito/mapbi3/ucnps/au双端crossbar交叉阵列，用于实现可见光-近红外宽光谱感知与帧-事件双模态视觉信息处理，具体包括衬底以及依次设置在所述衬底上的ito底电极、mapbi3钙钛矿吸收层、ucnps上转换功能层和au沉积电极，所述ito底电极与所述au沉积电极构成平面型双端crossbar交叉阵列结构；

4、所述神经元器件的光电流极性由施加于双端的偏压连续调制，在负偏压下呈现负光电导响应，在正偏压下呈现正光电导响应，以实现正光电导态与负光电导态之间的可逆切换；

5、所述神经元器件在光照由暗态跃迁至亮态时以及由亮态跃迁至暗态时产生瞬态尖峰电流，且在光照持续阶段光电流随时间衰减并回归至接近暗态的基线水平（基线水平的指定偏差值部分，例如回落至与暗态基线的偏差小于5％部分），以实现无需外围rc延迟电路的光强触发本征on/off尖峰响应；

6、所述ucnps上转换功能层用于将近红外光转换为所述mapbi3钙钛矿吸收层可吸收的可见光，使所述神经元器件同时具备可见光与近红外光响应；

7、所述衬底以及依次设置在所述衬底上的ito底电极、mapbi3钙钛矿吸收层、ucnps上转换功能层和au沉积电极均通过对应制备流程得到。

8、优选的，所述衬底的制备处理流程包括：

9、选用2cm×2cm指定大小的玻璃片作为基础衬底，将其放入定制的样品固定架内，接着将固定架放入专用的清洗玻璃皿中；

10、在玻璃皿中加入超纯水作为主相介质，并复配低于指定量的清洗剂decon90，用锡纸封住皿口以防止灰尘进入；

11、把玻璃皿放入超声波清洗机中，超声清洗至少三次，每次15分钟，仅第一次清洗需要加入清洗剂，但每一次清洗完后都需要更换玻璃皿内的超纯水；

12、完成超声清洗后，用镊子夹出衬底并使用氮气枪吹干表面残余的水分，放入玻璃样品盒中；

13、将样品盒放入烘箱烘烤，并设置温度为100℃，烘干40分钟，以保证残留水分的彻底去除。

14、该标准化清洁流程可彻底去除衬底表面油污、灰尘与金属离子等各类污染物，避免衬底缺陷导致的后续薄膜针孔与器件漏电问题，同时显著提高金属与半导体薄膜在衬底表面的附着力与成膜均匀性，为后续各功能层的制备提供洁净、平整的基底条件。

15、优选的，所述底电极的制备过程中通过磁控溅射方法获得特定形状的ito材料用于作为底电极，其中：

16、基于磁控溅射技术，为了获得特定的条状电极形状（条纹宽度100μm），通过定制得到对应的金属掩模版，将掩模版与无污染所述衬底玻璃片贴合牢固后，固定在磁控溅射的真空腔内，最终通过磁控溅射的方法执行制备，最终得到指定厚度约为185nm的ito底电极。

17、优选的，所述mapbi3钙钛矿吸收层制备的制备处理流程包括：

18、在进行旋涂之前，需要对衬底进行60min的紫外臭氧（uvo）处理，来提高其对溶液的亲和度；

19、采用旋涂法制备mapbi3介质层薄膜，此时旋涂仪的程序设置为在5s内加速到4000rpm，并保持30s，通过移液枪取mapbi3前驱体溶液60μl转移至衬底上；

20、且在开始旋涂后，在第10s时滴入320μl氯苯作为反溶剂，提高mapbi3的结晶质量；

21、然后，将制备好的mapbi3薄膜在100℃下退火10min；

22、上述所有操作都是在氮气手套箱中进行，以防止材料被空气和水分污染；

23、其中mapbi3溶液包括四个成分：甲基亚砜（dmso）、n,n-二甲基甲酰胺（dmf）、碘化铅（pbi2）和二甲基碘化胺（mai）；

24、根据成分比例的计算，四个成分的分量为：dmso（101.32μl），dmf（898.68μl），pbi2（657.62mg）和mai（226.76mg）；

25、将四个成分转移到一个玻璃瓶内进行混合，并通过磁力搅拌加速溶解材料粉末（60min）；

26、最后用0.22μm的针式过滤器进行过滤，得到没有杂质的mapbi3溶液。

27、优选的，所述ucnps上转换功能层的制备处理采用油酸（oa）配体修饰的nayf4基10mgml-1ucnps甲苯溶液，具体制备流程包括：

28、以稀土盐为前驱体，在油酸（oa）与十八烯（ode）组成的高沸点有机相体系中，与na+源和f-源在指定温度条件下反应，制得表面由油酸配体包覆的nayf4基上转换纳米颗粒；

29、之后加入乙醇反溶剂进行沉淀，并经离心、洗涤去除未反应前驱体、游离配体及副产物，得到纯化后的疏水性ucnps浓缩沉淀；

30、将疏水性ucnps浓缩沉淀重新分散于甲苯中，并通过称量纳米颗粒质量与控制溶剂体积，将分散液浓度重新调配为指定10mgml-1，之后辅以超声分散和低速离心去除团聚体，以获得稳定的油酸修饰nayf4基ucnps甲苯溶液；

31、最后使用移液枪将50μl的ucnps溶液转移至mapbi3薄膜上，旋涂仪的程序设置为在30s内加速到500rpm进行旋涂，然后结束，在100℃下退火5min；

32、上述所有操作都是在氮气手套箱中进行，以防止材料被空气和水分污染。

33、优选的，所述沉积电极执行沉积制备的过程中采用热蒸发工艺沉积au顶电极层，形成交叉阵列结构，以实现器件电学引出，具体处理流程包括：

34、将制备好且具有mapbi3/ucnps功能层的衬底放入热蒸发镀膜机真空腔室，真空度抽至5×10-4pa以下，避免真空度不足导致电极沉积过程中出现氧化或杂质污染；

35、采用与制备ito底电极时相同的金属掩模版（条纹宽度100μm），与底电极以方向十字交叉的方式固定在ucnps功能层薄膜上；

36、利用电阻加热将au蒸发源加热至蒸发温度，使材料蒸气在真空环境中以直线运动扩散，遇冷基片后凝结形成薄膜，最终热蒸镀约50nm厚的au顶沉积电极，此时au作为高导电性金属，可确保电极的低接触电阻，减少信号传输损耗，最终形成具有crossbar（交叉阵列）结构的ito/mapbi3/ucnps/au钙钛矿光电传感器，即宽光谱感知神经元器件。

37、另一方面，本发明还公开一种主动光强适应运动检测系统，使用上述任一所述的宽光谱感知神经元器件，包括：

38、视频输入与预处理模块，用于接收连续运动视频序列，将彩色视频帧转换为统一大小的灰度像素矩阵，并对像素值进行0～1归一化处理，以消除不同场景亮度范围差异对后续计算的影响，最终将归一化后的图像帧按时间顺序分为前帧图像组与后帧图像组，分别送入两个独立的光导映射通道；

39、双向光导映射模块，内部设置有8×8钙钛矿光电器件阵列，且通过外加偏压控制器件工作状态，最终将前帧图像映射至正光电导通道形成记忆图一，后帧图像映射至负光电导通道形成记忆图二；

40、物理级差分融合模块，用于将正光电导通道与负光电导通道的输出电流进行逐像素叠加，得到差分结果矩阵，在差分结果矩阵中静态背景区域的像素在前后两帧中亮度变化极小，其正、负响应叠加后趋近于零；运动目标区域的像素因位置发生变化，正、负响应无法完全抵消，叠加后能够产生显著的非零输出；

41、阈值判别与二值化模块，用于设定自适应阈值，并对差分结果矩阵进行二值化处理，当像素输出值大于预设定阈值时，判定为运动目标区域，标记为1，当像素输出值小于预设定阈值时，判定为静态背景区域，标记为0，此处阈值可根据环境光照强度动态调整：强光环境下器件光响应灵敏度自动降低，阈值随响应特性同步适配以避免高光区域饱和误检；弱光环境下器件光响应灵敏度自动提升，阈值随响应特性同步适配以增强暗区目标检出能力。以此确保不同场景下的检测稳定性。

42、运动目标输出模块，用于对阈值判别与二值化模块的二值化处理结果进行形态学处理，去除孤立噪声点，并提取运动目标的完整轮廓与位置信息，最终通过显示单元实时输出检测结果，并同时将运动参数传输至后端决策系统。

43、优选的，所述双向光导映射模块通过外加偏压控制器件工作状态如下：

44、施加+0.05v正偏压时，器件工作于正光电导模式，对输入光强产生正向电流响应；

45、施加-0.05v负偏压时，器件工作于负光电导模式，对输入光强产生负向电流响应。

46、优选的，所述的主动光强适应运动检测系统还利用宽光谱感知神经元器件的双向光导特性，在宽光谱感知神经元器件的传感端实现类似生物视觉双极细胞的兴奋-抑制拮抗处理机制，所述兴奋-抑制拮抗处理机制实现的实现流程（数学模型）如下：

47、设第帧输入图像对应的归一化像素矩阵为，第帧输入图像对应的归一化像素矩阵为，矩阵维度均为；

48、根据器件在不同偏压下的光电响应特性，建立正光电导映射函数和负光电导映射函数，存在表示光强为时器件的正向光电流值，表示光强为时器件的负向光电流值；

49、因此系统最终的差分结果矩阵输出可表示为：；

50、对于静态背景像素，其在前后两帧中的光强值近似相等，即，因此，在输出结果中被抑制；

51、对于运动目标像素，其在前后两帧中的光强值或位置存在显著差异，即x≠y，因此，在输出结果中被突出。

52、该系统具备天然的主动光强适应能力：在强光环境下，器件的光响应灵敏度自动降低，避免高光区域饱和；在弱光环境下，器件的光响应灵敏度自动提升，增强暗区目标的可检测性。

53、该系统还通过引入rgb+nir宽光谱输入模式，利用器件对520nm可见光与980nm近红外光的双重响应特性，能够进一步扩展系统的环境适应范围，实现全天候运动检测。

54、又一方面，本发明还公开一种lif神经元动作识别系统，使用上述任一所述的宽光谱感知神经元器件，包括：

55、钙钛矿感知阵列模块，内部设置有40×40规模的ito/mapbi3/ucnps/au钙钛矿感知器件crossbar交叉阵列，每个器件对应一个独立像素节点，其输出用于反映对应空间位置上的光刺激变化信息，之后为降低阵列级读出复杂度并提高系统可扩展性，采用按行并联汇聚的读出方式，将同一行所有像素单元的输出电流并联汇聚，使该行总输出电流包含该行内所有运动事件的空间积分信息，将原始二维视觉阵列转换为40路一维时序电流信号，在保留核心空间信息的同时压缩数据维度；

56、lif神经元读出链路，由跨阻放大器（tia）、阈值比较单元与ne555脉冲发生器三级电路组成，每一行对应一条独立的读出链路，其中：tia将器件输出的微弱模拟尖峰电流转换为稳定、可调的电压信号，同时通过反馈电阻和增益设置实现对不同输入事件强度的放大与归一化；阈值比较单元用于判断经过tia放大的输入信号是否达到预设触发门限，仅当输入电压超过阈值时触发后续脉冲输出；ne555脉冲发生器在达到阈值时输出标准化电压脉冲，该脉冲的出现时间对应输入事件发生时间，脉冲个数和频率与前端输入信号强度相关，完成器件本征模拟尖峰到通用神经脉冲的标准化转换；

57、模数转换模块，集成有高精度adc，用于将各行lif神经元读出链路输出的模拟脉冲序列进行数字化采样，转换为可供微控制器读取和处理的数字信号，此处adc仅对经过神经元模型编码后的脉冲输出进行统计与转换，而非对原始器件模拟电流进行高精度重建，因此数据维度和信息冗余已大幅减少；

58、mcu数据传输模块，采用微控制单元（mcu）对各通道的时序脉冲数据进行整理、封装和传输，最终发送至pc端用于后续神经网络训练与推理；

59、pc端神经网络推理模块，用于在pc端构建基于增强型泄漏积分发放（e-lif）神经元的深层脉冲神经网络分类模型，并对前端传输的脉冲时序数据进行特征提取与分类识别，最终输出49类人体动作的判别结果。

60、优选的，所述pc端神经网络推理模块在pc端构建基于增强型泄漏积分发放神经元（e-lif）的深层脉冲神经网络分类模型的过程中，用于对前端提取的时序运动特征进行分类识别，具体网络结构与训练方法如下：

61、（1）网络结构设计：网络整体由输入层、四层隐藏层和输出层组成，输入层神经元规模为1280，对应群体相位编码后的特征维度；四层隐藏层均采用增强型泄漏积分发放e-lif神经元，神经元数量依次设置为2048、1024、512和256；输出层为全连接分类器，输出49维多维分类结果，对应nutrgbt数据集中的49类动作；

62、（2）神经元模型与参数设置：增强型泄漏积分发放e-lif神经元的膜电位更新过程中遵循典型泄漏积分发放机制，即当前时刻膜电位由上一时刻膜电位经泄漏衰减后与当前输入电流累加得到；当膜电位超过阈值时，神经元产生脉冲输出并进行硬重置；

63、（3）训练与测试步骤：首先提取完整帧差分特征，然后将运动特征编码为尖峰序列，接着训练深层snn模型，最后进行前向推理并评估分类准确率；

64、训练过程采用代理梯度（surrogate gradient）对不可导的脉冲函数进行近似，从而实现基于误差反向传播的参数更新；优化器选用adamw，初始学习率设为0.001，并结合余弦退火策略动态调整学习率；损失函数采用带标签平滑的交叉熵损失函数，并结合有焦点损失思想，以提高难分类样本的权重。

65、由上述技术方案可知，本发明提供了一种宽光谱感知神经元器件及使用该神经元器件的系统。与现有技术相比，本发明具有以下优势：

66、1.本发明通过构建ito/mapbi3/ucnps/au双端钙钛矿异质结交叉阵列结构，依托器件不对称接触特性与内部物理机制实现双模态视觉功能，能够摒弃传统事件驱动视觉所需的光电器件、rc延迟支路、差分放大器、比较器多器件协同架构，解决了传统视觉系统结构复杂、外围电路冗余、像素填充率低、阵列参数失配易产生固定模式噪声的技术难点，最终实现单器件集成感知、编码与初步计算功能，达成近100%像素填充率、近零待机功耗的效果，大幅提升器件阵列一致性与结构紧凑性。

67、2.本发明通过不对称金属-半导体接触形成的可调制内建电场，并利用钙钛矿器件内部快速光伏效应与慢速离子迁移的时间尺度竞争机制，无需依赖rc延迟电路等外围电路即可直接生成光强变化触发的on/off尖峰电流，使得单个器件即可同时实现电场可调的双向光导态与光强变化触发的本征on/off尖峰响应，能够解决传统电路架构响应速度受限、事件生成流程繁琐的问题，从而从物理层面突破传统电路的响应速度桎梏，大幅提升动态光信号、运动事件的检测与响应速率。

68、3.本发明通过引入上转换纳米颗粒光谱拓展层，结合钙钛矿材料本征可见光光电吸收转换特性，能够将近红外光转换为钙钛矿可识别的可见光信号，最终实现可见光至近红外的连续宽光谱响应，保障设备在全天候、复杂光照场景下稳定提取运动目标信息，此时通过引入ucnps层将光谱响应拓展至近红外波段，还能够实现rgb+nir宽光谱感知。

69、4.本发明通过构筑“感知-编码-初步计算一体化”的边缘端视觉架构，依托钙钛矿器件优异的光电特性与离子迁移行为，能够让单器件同时完成光强稳态感知、动态事件编码、图像特征初步提取，解决了传统机器视觉执行数据跨单元传输容易导致出现的延迟高、功耗大的问题，实现前端原位数据预处理，从而极大缩减系统运算延迟、降低整体运行功耗。

70、5.本发明兼容帧驱动与事件驱动两种视觉处理模式，全流程延迟低于10ms，单脉冲能耗低至皮焦级别，在明亮与黑暗环境下均能稳定工作。

71、6.本发明采用磁控溅射、旋涂、热蒸镀等常规半导体制备工艺，适配现有cmos生产线，无需专用设备改造与特殊工艺加持，能够解决现有技术中新型光电器件制备成本高、工艺兼容性差、难以大规模集成量产的问题，从而有效降低器件生产成本，便于大规模阵列集成及落地应用。

72、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。