基于脉冲神经网络的视觉识别方法和装置
本公开涉及模式识别,尤其涉及运动视觉识别领域,具体涉及一种基于脉冲神经网络的视觉识别方法和装置。
背景技术:
1、由于脉冲神经网络更接近人类大脑运行机制,越来越受到学者的关注,深度脉冲神经网络针对rgb和dvs格式的视觉数据处理任务在收集到的视觉数据的脉冲特征存在大量无效信息。
2、由于原生的脉冲神经网络中不同时间点之间权重共享,时空不变性导致模型学到的脉冲特征存在大量无效信息。并且当输入是rgb时,还会对输入进行复制,得到的特征中存在更多无效信息。这些无效信息不但会增加模型的能耗,还会影响模型最后的性能。
技术实现思路
1、针对上述问题,本公开提供一种基于脉冲神经网络的视觉识别方法和装置,能够去除现有技术提取脉冲特征过程中存在的无效信息,解决数据识别效果差及模型能耗高的问题。
2、本公开的一方面提供一种基于脉冲神经网络的视觉识别方法,所述方法包括:获取原始图像并执行预处理得到样本数据;对预处理得到的样本数据执行脉冲编码以得到脉冲序列,通过脉冲神经网络从脉冲序列提取包含时间序列信息的脉冲网络输出特征;基于脉冲网络输出特征通过插入所述脉冲神经网络的空间门控得到空间筛选特征,基于空间筛选特征通过插入所述脉冲神经网络的时间门控得到脉冲特征;将每个时间步的脉冲特征合并为一维向量,将一维向量输入脉冲神经网络的全连接层并计算概率分布以得到每个时间步的识别结果,将预定时间步长的识别结果进行融合得到总体识别结果。
3、可选地,所述原始图像包括rgb图像或dvs事件流,所述预处理包括对原始图像执行数据扩增、数据剪裁、尺寸调整、归一化处理中的至少一个。
4、可选地,对预处理后的样本数据执行脉冲编码以得到脉冲序列包括:对预处理后的样本数据中的张量针对每个像素在预定时间窗口内生成服从泊松分布的脉冲序列。
5、可选地,基于脉冲网络输出特征通过空间门控得到空间筛选特征包括:通过可变形卷积,学习所述脉冲网络输出特征中每个空间位置与邻域脉冲的相关性;通过lif脉冲神经元将所述相关性转换为空间门控掩码;将所述空间门控掩码与脉冲网络输出特征进行相乘,以得到空间筛选特征。
6、可选地,基于空间筛选特征通过时间门控得到脉冲特征包括:将空间筛选特征在时间维度累加,得到累加脉冲向量;基于累加脉冲向量根据伯努利分布生成时间门控掩码;通过将当前时间步的时间门控掩码和下一个时间步的空间筛选特征相乘,得到时间门控输出的脉冲特征。
7、可选地,所述脉冲神经网络通过以下步骤进行训练:将预处理得到的样本数据作为样本数据,将真实类别作为标签数据;将样本数据输入脉冲神经网络得到预测类别,计算预测类别和标签数据的交叉熵损失;以及基于交叉熵损失的损失值,调整脉冲神经网络的参数,其中,脉冲神经网络的参数至少包括空间门控和时间门控的参数。
8、可选地,损失值通过替代梯度回传到脉冲神经网络以实现反向传播。
9、本公开的一方面提供一种基于脉冲神经网络的视觉识别装置,所述装置包括:图像获取模块,获取原始图像并执行预处理得到样本数据;视觉识别模块,对预处理得到的样本数据执行脉冲编码以得到脉冲序列,通过脉冲神经网络从脉冲序列提取包含时间序列信息的脉冲网络输出特征;时空门控模块,插入所述脉冲神经网络,基于脉冲网络输出特征通过空间门控得到空间筛选特征,基于空间筛选特征通过时间门控得到脉冲特征;输出模块,将每个时间步的脉冲特征合并为一维向量,将一维向量输入脉冲神经网络的全连接层并计算概率分布以得到每个时间步的识别结果,将预定时间步长的识别结果进行融合得到总体识别结果。
10、本公开的一方面提供一种存储有计算机程序的计算机可读存储介质,当所述计算机程序在被处理器执行时实现如上所述的基于脉冲神经网络的视觉识别方法。
11、本公开的一方面提供一种计算机设备,所述计算机设备包括:处理器;存储器,存储有计算机程序,当所述计算机程序被处理器执行时,实现如上所述的基于脉冲神经网络的视觉识别方法。
12、本公开的基于脉冲神经网络的视觉识别方法和装置通过高能效脉冲神经网络对待测数据进行识别,具体利用脉冲神经网络从数据中提取包括多个时间序列的脉冲网络输出特征,利用时空门控模块从脉冲网络输出特征中去除无效信息,得到更紧致的脉冲特征信息,提升视觉识别的准确性,降低模型的能耗,提高模型能效。
1.一种基于脉冲神经网络的视觉识别方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述原始图像包括rgb图像或dvs事件流,所述预处理包括对原始图像执行数据扩增、数据剪裁、尺寸调整、归一化处理中的至少一个。
3.根据权利要求1所述的方法,其特征在于,对预处理后的样本数据执行脉冲编码以得到脉冲序列包括:
4.根据权利要求1所述的方法,其特征在于,基于脉冲网络输出特征通过空间门控得到空间筛选特征包括:
5.根据权利要求4所述的方法,其特征在于,基于空间筛选特征通过时间门控得到脉冲特征包括:
6.根据权利要求1所述的方法,其特征在于,所述脉冲神经网络通过以下步骤进行训练:
7.根据权利要求6所述的方法,其特征在于,损失值通过替代梯度回传到脉冲神经网络以实现反向传播。
8.一种基于脉冲神经网络的视觉识别装置,其特征在于,所述装置包括:
9.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序在被处理器执行时实现如权利要求1至7中任意一项所述的基于脉冲神经网络的视觉识别方法。
10.一种计算机设备,其特征在于,所述计算机设备包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com