一种基于时间切片卷积神经网络的目标识别系统与方法与流程

1.本技术涉及目标识别技术领域，更为具体来说，本技术涉及一种基于时间切片卷积神经网络的目标识别系统与方法。


背景技术：

2.事件相机是一种新型的神经拟态视觉传感器，又称动态视觉传感器。它是基于事件驱动的方式捕捉场景中的动态变化，响应像素级的亮度变化，具有低延迟、低功耗、高动态范围、高时间分辨率等优点，越来越受到业内外人士的关注与支持。随着卷积神经网络的发展，计算机视觉方法取得了很大的进步。然而，由于事件流的稀疏性和异步性，传统的计算机视觉算法无法直接应用，现有的方法主要分为基于脉冲神经网络(snn)的方法与基于端到端神经网络的方法。snn尽管具有低延迟的优点，但在高层次任务中的精度有限，这主要是因为灵敏度调优和训练过程困难；基于端到端神经网络的方法在一些视觉基准测试中取得了显著的效果，但缺点是牺牲了事件流的时间相关性，不能有效地利用不同时间段的事件之间的相关信息。
3.由于脉冲神经网络对参数比较敏感，导致其难以训练。目前脉冲神经网络还停留在理论研究阶段，在高层次任务中达到的精度还远不及端到端的深度学习网络。虽然依靠端到端的深度神经网络可以在一系列视觉任务中取得最好的效果，但是这些方法没有考虑到事件数据的时间相关性。目前，如何在卷积神经网络中利用事件流之间的时间相关性是一个值得研究的技术问题。该问题的挑战在于利用事件流时间相关性的同时如何与原有的深度学习方法融合并且有效兼容所有的事件表示方法进行目标识别。


技术实现要素：

4.基于现有技术中有上述缺点，本发明的目的是利用深度学习的技术中利用事件流的时间相关性，从而提供一种基于时间切片卷积神经网络的目标识别方法与系统。
5.一种基于时间切片卷积神经网络的目标识别系统，包括：
6.事件流切分模块，用于将事件流样本进行切分，形成事件集合，将所述事件集合通过事件表示方法表示成伪图像，将所述伪图像按照时间切片卷积神经网络输入通道拼接为第一特征图，再重新对每个通道赋不同的权重，得到第二特征图；
7.特征提取模块，用于将所述第二特征图输入到所述时间切片卷积神经网络中进行特征提取变成预设规格的特征图；
8.分类模块，用于将所述预设规格的特征图转换为向量，获得概率最大的类别，作为目标识别结果。
9.具体地，所述将事件流进行切分，形成事件集合，包括：将事件流样本按照数量平均分成第一预设数个份，形成第一预设数个事件集合。
10.再具体地，所述将事件流进行切分，形成事件集合，还包括：
11.首先获得事件流样本中第一个触发的事件的时间戳；
12.接着计算出第一个事件到最后一个事件的时间间隔；
13.将所述第一个事件到最后一个事件的时间间隔划分成第二预设数个块，每一块时间间隔内的事件形成一个事件集合，最终形成第二预设数个事件集合。
14.进一步地，将所述事件集合通过事件表示方法表示成伪图像，将所述伪图像按照时间切片卷积神经网络输入通道拼接为第一特征图，包括：
15.将所述事件集合中正事件的伪图像存储在所述时间切片卷积神经网络的第一输入通道；
16.将所述事件集合中负事件的伪图像存储在所述时间切片卷积神经网络的第二输入通道；
17.建立第三预设数的双通道伪图像；
18.将所述第三预设数的双通道伪图像按照时间切片卷积神经网络输入通道拼接起来，构成一个特征图。
19.优选地，所述时间切片卷积神经网络是训练好的，其训练步骤为：
20.选择n
‑
caltech101的所有训练集样本作为训练数据集，所述训练数据集包含事件集合和目标类别；
21.初始化迭代次数、批处理大小和学习率；
22.损失函数配置为交叉熵损失函数；
23.将所述训练数据集输入到所述时间切片卷积神经网络中进行训练；
24.在训练过程中验证目标类别的正确性；
25.当迭代次数达到预设次数时，终止训练。
26.优选地，所述特征提取模块包括12个卷积层和5个池化层；所述分类模块包含一个全连接层。
27.本了发明第二方面提供一种基于时间切片卷积神经网络的目标识别方法，包括以下步骤：
28.事件流切分步骤，将事件流样本进行切分，形成事件集合，将所述事件集合通过事件表示方法表示成伪图像，将所述伪图像按照时间切片卷积神经网络输入通道拼接为第一特征图，再重新对每个通道赋不同的权重，得到第二特征图；
29.特征提取步骤，将所述第二特征图输入到所述时间切片卷积神经网络中进行特征提取变成预设规格的特征图；
30.分类步骤，将所述预设规格的特征图转换为向量，获得概率最大的类别，作为目标识别结果。
31.本方明第三方面提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如下步骤：
32.事件流切分步骤，将事件流样本进行切分，形成事件集合，将所述事件集合通过事件表示方法表示成伪图像，将所述伪图像按照时间切片卷积神经网络输入通道拼接为第一特征图，再重新对每个通道赋不同的权重，得到第二特征图；
33.特征提取步骤，将所述第二特征图输入到所述时间切片卷积神经网络中进行特征提取变成预设规格的特征图；
34.分类步骤，将所述预设规格的特征图转换为向量，获得概率最大的类别，作为目标识别结果。
35.本发明第四方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如下步骤：
36.事件流切分步骤，将事件流样本进行切分，形成事件集合，将所述事件集合通过事件表示方法表示成伪图像，将所述伪图像按照时间切片卷积神经网络输入通道拼接为第一特征图，再重新对每个通道赋不同的权重，得到第二特征图；
37.特征提取步骤，将所述第二特征图输入到所述时间切片卷积神经网络中进行特征提取变成预设规格的特征图；
38.分类步骤，将所述预设规格的特征图转换为向量，获得概率最大的类别，作为目标识别结果。
39.本技术的有益效果为：本发明的所述系统与方法利用事件流时间相关性进行切分事件流，同时又与原有的深度学习方法融合并且有效兼容所有的事件表示方法进行目标识别，进而提升了识别效率与精度。
附图说明
40.图1示出了本技术实施例1、2的系统结构示意图；
41.图2示出了本技术实施例2中的系统工作过程示意图；
42.图3示出了本技术实施例3中一方法流程示意图；
43.图4示出了本技术实施例3中另一方法流程示意图；
44.图5示出了本技术一实施例所提供的一种电子设备的结构示意图；
45.图6示出了本技术一实施例所提供的一种存储介质的示意图。
具体实施方式
46.以下，将参照附图来描述本技术的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本技术的概念。对于本领域技术人员来说显而易见的是，本技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本技术发生混淆，对于本领域公知的一些技术特征未进行描述。
47.应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本技术的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
48.现在，将参照附图更详细地描述根据本技术的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需
可以另外设计具有不同形状、大小、相对位置的区域/层。
49.实施例1：
50.一种基于时间切片卷积神经网络的目标识别系统，如图1所示，该系统包括：
51.事件流切分模块101，用于将事件流样本进行切分，形成事件集合，将事件集合通过事件表示方法表示成伪图像，将伪图像按照时间切片卷积神经网络输入通道拼接为第一特征图，再重新对每个通道赋不同的权重，得到第二特征图；
52.特征提取模块102，用于将第二特征图输入到时间切片卷积神经网络中进行特征提取变成预设规格的特征图；
53.分类模块103，用于将预设规格的特征图转换为向量，获得概率最大的类别，作为目标识别结果。
54.具体地，将事件流进行切分，形成事件集合，包括：将事件流样本按照数量平均分成第一预设数个份，形成第一预设数个事件集合。
55.再具体地，将事件流进行切分，形成事件集合，还包括：
56.首先获得事件流样本中第一个触发的事件的时间戳；
57.接着计算出第一个事件到最后一个事件的时间间隔；
58.将第一个事件到最后一个事件的时间间隔划分成第二预设数个块，每一块时间间隔内的事件形成一个事件集合，最终形成第二预设数个事件集合。
59.进一步地，将事件集合通过事件表示方法表示成伪图像，将伪图像按照时间切片卷积神经网络输入通道拼接为第一特征图，包括：
60.将事件集合中正事件的伪图像存储在时间切片卷积神经网络的第一输入通道；
61.将事件集合中负事件的伪图像存储在时间切片卷积神经网络的第二输入通道；
62.建立第三预设数的双通道伪图像；
63.将第三预设数的双通道伪图像按照时间切片卷积神经网络输入通道拼接起来，构成一个特征图。
64.优选地，特征提取模块包括12个卷积层和5个池化层；分类模块包含一个全连接层。
65.优选地，时间切片卷积神经网络是训练好的，其训练步骤为：
66.选择n
‑
caltech101的所有训练集样本作为训练数据集，训练数据集包含事件集合和目标类别；
67.初始化迭代次数、批处理大小和学习率；
68.损失函数配置为交叉熵损失函数；
69.将训练数据集输入到时间切片卷积神经网络中进行训练；
70.在训练过程中验证目标类别的正确性；
71.当迭代次数达到预设次数时，终止训练。
72.实施例2：
73.一种基于时间切片卷积神经网络的目标识别系统，仍如图1所示，该系统包括：事件流切分模块101，用于将事件流样本进行切分，形成事件集合，将事件集合通过事件表示方法表示成伪图像，将伪图像按照时间切片卷积神经网络输入通道拼接为第一特征图，再重新对每个通道赋不同的权重，得到第二特征图；特征提取模块102，用于将第二特征图输
入到时间切片卷积神经网络中进行特征提取变成预设规格的特征图；分类模块103，用于将预设规格的特征图转换为向量，获得概率最大的类别，作为目标识别结果。
74.优选地，事件流切分模块101在执行过程中，将按时间顺序输入的事件流样本根据事件个数平均分配到e1、e2、e3、e4四个事件集合中，如果事件的个数不能被4整除则将最后剩余的事件分配给e4。对于e1、e2、e3、e4四个事件集合，通过将正事件(p＝ 1)存储在时间切片卷积神经网络的第一个通道，将负事件(p＝
‑
1)存储在时间切片卷积神经网络的第二个通道来创建四个双通道伪图像g(e1)、g(e2)、g(e3)、g(e4)，称做事件直方图。优选地，所述第一特征图大小为191
×
255
×
8，将其输入到权重分配网络中，使得每个通道被赋予不同的权重得到所述第二特征图，权重分配网络包括包含1个全局池化层、2个全连接层。
75.特征提取模块102，用于将第二特征图输入到时间切片卷积神经网络中进行特征提取变成预设规格的特征图。优选地，特征提取模块包括12个卷积层和5个池化层；池化层分别为第3、6、9、12、15层。每个卷积层后面都接一个批归一化和激活函数。通过特征提取模块之后最终变成规格为2
×3×
256的特征图，即在本身请实施方式里所述预设规格优选为2
×3×
256。
76.分类模块103，用于将预设规格的特征图转换为向量，获得概率最大的类别，作为目标识别结果。分类模块包含一个全连接层。对于特征提取模块处理后的特征图，分类模块将其处理成101
×
1的向量，向量的每个值代表样本属于该类别的概率，最后通过softmax函数获得概率最大的类别，即为最终的识别结果。
77.系统中将事件流样本进行切分，形成事件集合可以用两种方法。第一种是根据事件数量进行划分的算法，由于算法接收的事件流是按照时间排好序的队列，所以一个直观的将事件流切分的算法就是将事件流样本按照数量平均分成n份，形成n个事件集合。第二种是根据事件时间戳进行切分的算法，首先我们得到事件流e中第一个触发的事件的时间戳t0，并计算出第一个事件到最后一个事件的时间间隔δt。将这段时间划分成n块，每一块时间间隔内的事件形成一个事件集合，形成n个事件集合。事件表示函数g将事件集合表示成伪图像，输出是存放事件直方图的数组histogram，数组中的事件直方图由对应的分段事件流生成。
78.对时间切片卷积神经网络进行训练时，选择n
‑
caltech101的所有训练集样本作为训练数据集，训练数据集样本中共包含101中目标类别。对于训练数据集中的第i个样本，n
‑
caltech101中给出了第i个样本所包含的目标类别以及事件集合e
i
＝{e1,e2,
…
,e
j
,
…
,e
n
}，n表示第i个样本包含的事件数量，其中e
j
＝[x,y,t,p]为包含四个值的一维向量，(x,y)为事件触发时的像素坐标，t为事件触发时的时间戳，p为事件触发时的极性。在选择好训练样本后初始化迭代次数、批处理大小和学习率；损失函数配置为交叉熵损失函数；将训练数据集输入到时间切片卷积神经网络中进行训练；在训练过程中验证目标类别的正确性；当迭代次数达到预设次数时，终止训练。表1给出了本发明与经典识别方法在n
‑
caltech101数据集的测试集上的识别精度对比结果。可以看出，本发明的分类精度要比以往算法的分类精度高。
[0079]
表1识别精度对比表
[0080]
方法准确率h
‑
first0.054
hots0.210gabor
‑
snn0.196hats0.642dart0.713yole0.702asynsparse conv0.761本发明0.784
[0081]
作为可变换的实施方式，本实施方式中的基于时间切片卷积神经网络的目标识别系统还可按照如图2所示的处理过程进行工作。如图2所示，先是准备向目标识别系统中输入的数据，输入的数据可以是从事件相机中获取的事件流；然后对其进行预处理，预处理包括事件流切分模块中实现的切分事件流及生成伪图像的操作；接着是特征提取模块进行的特征提取操作得到预设规格的特征图，之后进行分类，即分类模块计算每个分类的概率，最后将概率最高的分类结果输出。
[0082]
实施例3：
[0083]
一种基于时间切片卷积神经网络的目标识别方法，如图3所示，包括以下步骤：
[0084]
s1、事件流切分步骤，将事件流样本进行切分，形成事件集合，将所述事件集合通过事件表示方法表示成伪图像，将所述伪图像按照时间切片卷积神经网络输入通道拼接为第一特征图，再重新对每个通道赋不同的权重，得到第二特征图；
[0085]
s2、特征提取步骤，将所述第二特征图输入到所述时间切片卷积神经网络中进行特征提取变成预设规格的特征图；
[0086]
s3、分类步骤，将所述预设规格的特征图转换为向量，获得概率最大的类别，作为目标识别结果。
[0087]
作为可变换的实施方式，基于时间切片卷积神经网络的目标识别方法具体实施步骤还可以按照如图4所示的步骤：第一步，构建目标识别系统，第二步，准备目标识别系统的训练数据集，第三步，采用第二步构建的训练数据集训练目标识别系统中的各个模块，第四步，利用目标系统进行目标识别。其中第四步中，可再细分为五步：从事件相机或文件获得需要识别的样本；将训练得到的目标识别系统的网络参数载入到目标识别系统中；将样本根据事件个数分配到四个事件集合中，每个集合对应生成一个伪图像；将四个伪图像拼接成8通道特征图(4个双通道)，并通过权重分配网络赋予每个通道不同权重；通过特征提取模块和分类模块将特征图处理成101个概率值，最大概率所属类别即为最后分类结果，也就是目标识别结果。
[0088]
接下来请参考图5，其示出了本技术的一些实施方式所提供的一种电子设备的示意图。如图5所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本技术前述实施方式所提供的基于时间切片卷积神经网络的目标识别方法。
[0089]
其中，存储器201可能包含高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通
信连接，可以使用互联网、广域网、本地网、城域网等。
[0090]
总线202可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本技术实施例中实施方式揭示的所述基于时间切片卷积神经网络的目标识别方法可以应用于处理器200中，或者由处理器200实现。
[0091]
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
[0092]
本技术实施例提供的电子设备与本技术实施例提供的基于时间切片卷积神经网络的目标识别方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
[0093]
本技术实施方式还提供一种与前述实施方式所提供的基于时间切片卷积神经网络的目标识别方法对应的计算机可读存储介质，请参考图6，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任一实施方式所提供的基于时间切片卷积神经网络的目标识别方法。
[0094]
所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
[0095]
需要说明的是：在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。
[0096]
以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。