一种基于事件相机的静态和动态目标检测方法及设备与流程

1.本发明属于人工智能领域，特别涉及一种基于事件相机的静态和动态的目标识别的检测方法及设备。


背景技术：

2.随着芯片技术和脑启发的技术不断的发展，基于神经科学的传感器芯片不断被提出，事件相机就是其中最有代表性的一种仿生设备。事件相机是一种新型的传感器设备，跟传统的一帧一帧进行拍摄的摄像机有所区别，事件相机关注的是事件的捕捉，即关注像素亮度的变化，它的更新不是根据曝光时间来进行固定帧率的更新，而是事件触发的不固定帧率的更新。事件触发指的是场景中光线发生变化或者目标在场景中进行移动，都可以看作是事件触发，当事件触发在事件相机的感应器件的某一点的积累到达一定的阈值，事件相机就会输出一个事件。相比于传统相机，事件相机有以下三个优点：(1)很少有运动模糊，传统相机以固定的帧率去拍摄捕获视频图像，帧与帧的中间，有以一定的曝光事件，如果移动的目标的速度较快就会产生一定运动模糊，留下一段残影，不利于对快速移动的目标进行检测识别。而事件相机有极高的更新速度率，相邻事件的更新速度可以小于1微秒，可以获取远动目标的变化(2)有较高的动态范围，传统的相机的动态范围较低，当遇到光线较暗或者光线过于明亮的场景时，往往一片模糊，而事件相机可以克服在光线太暗或者太亮的情况，其动态范围是普通相机的两倍(3)较低的功率；事件相机的功率要远低于普通设备，这导致它的适用场景要不普通的相机的范围要广。
3.但在人工智能技术的应用场景中，我们不仅需要对运动的目标进行检测，而且也需要对静态的目标进行检测，针对目前只能利用事件相机对运动目标进行检测的弊端。


技术实现要素：

4.本发明提供了一种基于事件相机的静态和动态的目标识别的检测方法及设备，利用深度学习技术，结合经过改进的事件相机，利用人工神经网络的训练和学习，可以同时利用事件相机有效的对静态和动态的目标进行有效的识别。解决了事件相机无法对静态和动态目标同时获取的问题，以及利用神经网络对事件相机获取到动态和静态目标进行有效的识别的问题。
5.本发明的技术方案如下：
6.根据一个方面，本发明提供了一种基于事件相机的静态和动态的目标识别的检测方法，包括以下步骤：s1.初始化：对事件相机进行启动初始化操作，将事件相机固定在一个位置，保持事件相机静止，并对事件相机进行启动；s2.数据采样：在完成事件相机相机初始化以后，对事件相机的获取的事件相机数据进行采样；s3.动态数据评估：评估采样到的事件相机数据是否属于动态数据；s4.曝光采样：如果步骤s3中的评估显示不属于动态数据，则数据是静态数据，通过曝光采样对静态数据进行采样处理；s5.数据转换：将采样到的事件相机数据通过数据转换，转换成为可以进行特征提取的矩阵数据；s6.特征提取：将转换
好的事件相机数据，利用神经网络提取事件相机数据的目标特征；s7.全连接预测：将提取到的目标特征输入到最后全连接层进行检测结果的预测；以及s8.输出结果：将预测结果得分最高的作为最后的结果进行输出。
7.优选的，在上述基于事件相机的静态和动态的目标识别的检测方法中，在步骤s1中，将启动时候产生的数据删减和丢弃，在初始化阶段要舍弃事件相机启动时获取到的信息。
8.优选的，在上述基于事件相机的静态和动态的目标识别的检测方法中，在步骤s2中，选取在0到1s内的随机时间长度的事件相机数据进行采样。
9.优选的，在上述基于事件相机的静态和动态的目标识别的检测方法中，在步骤s3中，将采样到的事件相机数据输入到动态场景检测模块中进行动态的模型的检测，主要是利用动态场景检测模块来区分动态场景和静态场景，如果是动态场景则将数据传入步骤s5中，如果不是动态场景，则判断属于静态场景，进入步骤s4中。
10.优选的，在上述基于事件相机的静态和动态的目标识别的检测方法中，在步骤s4中，当检测步骤s3中的检测结果显示属于动态场景时，则利用曝光采样模块，针对静态目标进行曝光采样，通过曝光灯的闪烁事件相机就可以对静态场景中的信息进行采集。
11.优选的，在上述基于事件相机的静态和动态的目标识别的检测方法中，在步骤s6中，利用训练好的特征提取模块进行事件相机数据物体特征的提取。
12.优选的，在上述基于事件相机的静态和动态的目标识别的检测方法中，在步骤s8中，经过全连接计算后，输出每个物体所属类别的概率和所在位置，选取概率最高的作为最终的预测结果输出。
13.优选的，在上述基于事件相机的静态和动态的目标识别的检测方法中，包括曝光采样模块、动态场景检测模块和数据转换模块，其中：曝光采样模块：用于针对静态目标进行曝光采样，通过曝光灯的闪烁事件相机就可以对静态场景中的信息进行采集；动态场景检测模块：用于进行动态数据评估，以区分动态场景和静态场景；以及数据转换模块：用于将事件相机数据转换成可以进行特征提取的矩阵形式。
14.根据本发明的技术方案，产生的有益效果是:
15.本发明的基于事件相机的静态和动态目标检测方法及设备，解决事件相机应用场景单一的问题，实现一套可以同时应用于动态场景和静态场景进行目标识别的事件相机的识别算法的方法及设备，以此解决过去事件相机只能进行单一的动态场景感知问题，改进原有目标识别框架流程，使之能够有效的应用于事件相机中的目标识别的问题，有效地解决了事件相机无法感知静态信息的弊端，有效地提升了事件相机的应用场景受限的问题，扩展了事件相机的应用场景，为业界提供了一款低功耗、宽动态、高速率的全天候的硬件感知设备，并在此基础上开发基于人工智能的神经网络识别算法，最终实现软硬一体的动态静态相结合的目标检测方法及设备。
16.为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体
实施方式或现有技术描述中所需要使用的附图作简单地介绍。
18.图1是本发明的基于事件相机的静态和动态的目标识别的检测的流程图；
19.图2是为本发明的基于事件相机的静态和动态的目标识别的检测设备的曝光灯和事件相机镜头的示意图。
具体实施方式
20.本发明方法提供一种可以提供事件相机的静态和动态目标检测的方法及设备，对于动态目标来说，已有的事件相机可以获取到动态目标的信息，然后经过数据转换处理后，输入到神经网络中进行计算，然后输出结果；对于静态，通过我们改进的改进后的事件相机进行信息获取，然后同样经过数据转换处理后，输入到神经网络中进行计算，最后输出结果：神经网络包含两部份内容：特征提取和全连接预测。
21.本发明的原理是：利用曝光灯对事件相机进行改造，具体的是在事件相机镜头周围加设曝光灯设备，并通过算法根据事件相机的当前状态控制曝光灯的闪烁。使得事件相机可以有效的获得到静态场景的信息，改进了以往事件相机只能获取到动态信息的弊端，其次，通过对事件相机获取的信息分析，设计基于深度神经网络的识别算法，可以有效的解决事件相机数据识别的问题。
22.具体地，对于事件相机采集数据进行有效的识别，主要利用一种深度学习的神经网络的方法，通过对现有的事件相机进行改进，以达到可以同时采集动态和静态目标，并进行识别的工作。
23.如图1所示，是本发明的基于事件相机的静态和动态的目标识别的检测方法的流程图。本发明实施例的一种基于事件相机的静态和动态目标检测方法，具体步骤如下：
24.s1.初始化：在这一步骤中对事件相机进行启动初始化操作，将事件相机固定在一个位置，保持事件相机静止，并对事件相机进行启动。
25.在进行应用部署的开始，对事件相机进行初始化设定，具体的初始化操作是，将启动时候产生的数据删减和丢弃，由于事件相机启动时，第一时间所有的数据会从无到有引起事件相机的反应，干扰了后期判断，所以在初始化阶段要舍弃事件相机启动时获取到的信息。
26.s2.数据采样：在完成事件相机相机初始化以后，对事件相机的获取的事件相机数据进行采样。
27.在数据采样的过程中，选取一个时间段对事件相机数据进行采样，这个时间段的设计的时间是随机的，选取在0到1s内的随机时间长度的事件相机数据进行采样，设计随机时间段的好处是可以采样到不同运动场景的事件相机数据。
28.s3.动态数据评估(即，图1中的动态评估)：通过特定的方法评估采样到的事件相机数据是否属于动态数据。
29.将采集到的事件相机数据输入到动态场景检测模型(即，动态场景检测模块)中进行动态的模型的检测，主要是利用动态场景检测模块来区分动态场景和静态场景。如果是动态场景则将数据传入步骤s5中，如果不是动态场景，则判断属于静态场景，进入步骤s4中。
30.s4.曝光采样：如果步骤s3中的评估显示不属于动态数据，则数据是静态数据，通
过曝光采样对静态数据进行采样处理。
31.当检测步骤s3中的检测结果显示属于动态场景时，则利用曝光采样模块，针对静态目标进行曝光采样，通过曝光灯的闪烁事件相机就可以对静态场景中的信息进行采集。
32.s5.数据转换：将采样到的事件相机数据通过数据转换，转换成为可以进行特征提取的矩阵数据。
33.当利用步骤s3和步骤s4采集完事件相机数据后，要对事件相机数据进行转换，利用数据转换模块将事件相机数据转换成可以进行特征提取的矩阵形式。
34.s6.特征提取：将转换好的事件相机数据，利用神经网络提取事件相机数据的目标特征。
35.当完成步骤s5中的事件相机数据转换之后就可以进行数据的特征提取，数据的特征提取主要利用训练好的特征提取模块进行事件相机数据物体特征的提取。
36.s7.全连接预测：将提取到的目标特征输入到最后全连接层进行检测结果的预测。
37.提取完成特征后，将特征输入全连接的网络中进行预测，全连接预测也是利用神经网络模型训练与应用中训练过的全连接模块进行计算。
38.s8.输出结果：将预测结果得分最高的作为最后的结果进行输出。
39.经过全连接计算后，输出每个物体所属类别的概率和所在位置，我们选取概率最高的作为最终的预测结果输出，此时无论是静态或者动态场景都能有效的识别事件相机中的目标。
40.本发明的基于事件相机的静态和动态的目标识别的检测设备，包括曝光采样模块、动态场景检测模块和数据转换模块，其中：
41.曝光采样模块：用于针对静态目标进行曝光采样，通过曝光灯的闪烁事件相机就可以对静态场景中的信息进行采集。以往的事件相机只能针对相对动态的场景进行应用，目标往往要跟事件相机产生相对运动，事件相机才能获取到运动的信息；相对运动一般分为两种情况，一种是事件相机固定静止而需要检测的目标在移动，另一种情况是，目标静止不动，而事件相机在移动，以上这两种情况都需要事件相机与检测的目标发生相对远动，这使得事件相机的应用场景受到了限制。在本发明中，提出利用算法控制的曝光灯来对使得环境的光线发生变化，使得事件相机可以在一个相对静止的环境中感知环境。如图2所示，为本发明的基于事件相机的静态和动态的目标识别的检测设备的曝光灯和事件相机镜头的示意图，曝光灯的事件相机如图2所示，但曝光灯的位置不限于图2中所示位置，当需要检测静态目标的时候，曝光灯会按照一定频率闪烁，这时候外部的光线发生变化，事件相机开始获取外部信息。由于曝光灯闪烁的频率远高于运动目标的远动速度，所有曝光灯闪烁的时候也可以获取到包含背景的远动目标信息。
42.动态场景检测模块：用于进行动态数据评估，以区分动态场景和静态场景。本发明提出一种动态场景的检测算法，用来对动态场景和静态场景进行区分。其原理主要应用图块的大小来检测动态场景，当曝光灯处于关闭的状态，如果还能检测到大面积连续的数据块，说明有目标在进行运动。其方法是对获取到的事件相机数据，在时间序列上进行数据的检测，统计这个固定的时间段，是否有大面积连续的数据块出现，如果是有大面积连续的数据块出现，说明场景中有运动的目标，如果数据不连续，也没有形成一定面积的图块，说明此刻处于静态场景，所产生的数据只是事件相机的噪声数据。
43.数据转换模块：用于将事件相机数据转换成可以进行特征提取的矩阵形式。由于事件相机采集的是一系列时间轴上离散的点，无法有效的进行训练和特征提取，为了能够提取到有效的事件相机特征，需要将事件相机数据转换为矩阵形式。其具体操作是，选取在一个特定的时间段内，将事件相机在这个时间段内所有感知的数据进行叠加，这个时候，叠加的数据就会形成类似于图像的矩阵，然后我们再针对这个矩阵进行训练和特征提取操作。
44.神经网络模型训练与应用：将转换好的的数据输入到神经网络中进行学习和训练，网络主要有特征提取模块和全连接模块组成，具体训练过程类似图像识别中的训练，将事件相机的数据进行标注，标注完成后，利用神经网络进行训练；训练的过程主要是计算一个损失函数，这个函数的主要组成部分有两个，一个是神经网络的预测值，一个是本发明认为标注的真值，通过损失函数不断计算预测值和真值之间的距离，使得它们的距离最小，则网络已经拟合到最佳状态，就可以将神经网络部署应用了，其部署流程如图2所示。
45.本发明方法提出一种针对事件相机进行改进及应用的方法，通过对事件相机进行改进，有效的提升事件相机的性能，扩展的事件相机的应用范围，通过对事件相机进行改进提升，使得事件相机可以有效的感知动态和静态的信息，并利用感知到的信息结合深度学习的方法进行目标识别。
46.以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。