基于事件相机的无人体避障方法、装置及智能无人体与流程

1.本发明属于计算机视觉技术领域，具体涉及一种基于事件相机的无人体避障方法、装置，以及智能无人体。


背景技术：

2.无人机、无人车等智能无人体有着轻便灵活、机动性强、隐蔽性好等特点，被广泛地应用于民用和军事领域。随着无人体的不断发展，复杂多变的任务环境使得预设的全局轨迹不能完全保证无人体在自主任务执行过程中的安全问题，因此在遭遇突发障碍下无人体的自主避障技术是无人体系统的关键组成部分。
3.目前，计算机视觉任务中有很多基于传统视觉相机的目标检测的方案，然而传统视觉相机对于高速运动物体会产生运动模糊，在光照亮度较低的场景不能显著呈现目标物体，在目标物体与背景相似的场景下不能准确发现目标，使得基于传统相机画面的目标检测方法难以在环境复杂和有突发障碍物出现的场景中及时准确地检测到障碍物。
4.与传统视觉相机相比，事件相机有低延迟、高动态范围、无运动模糊、超低功耗的特点，常用于低光照、高动态或捕捉高速运动物体的任务中。例如，中国专利文献cn112200856a公开了一种基于事件相机的视觉测距方法，该方法使用tiny yolov3算法进行目标检测，得到目标的类别以及在图像上的位置，并利用相似三角形算法计算目标与相机间的距离。
5.然而，尽管该方法能够提供较高的测距精度，但仍需要目标的先验信息，例如高度、宽度等参数。同时，该方法仅获取了目标距离，但无法解决针对运动障碍物如何避障的问题。


技术实现要素：

6.本发明旨在公开一种基于事件相机的智能无人体避障方法、装置，用于解决对尺寸未知的运动障碍物进行尺寸和距离测量的问题，以及对高速运动障碍物目标进行避障的问题。
7.根据本发明的第1方面，公开了一种避障方法，用于无人体，该无人体包括双目事件相机，该方法包括：
8.利用双目事件相机实时采集运动障碍物的事件图像；
9.计算并保存各时刻运动障碍物在左侧事件相机图像和右侧相机事件图像中的中心点坐标，以及各时刻运动障碍物的尺寸信息及深度信息；
10.读取任一相机连续帧事件图像中的运动障碍物的中心点坐标以及运动障碍物的尺寸信息、深度信息，计算目标障碍物的运动向量；以及
11.根据目标障碍物的尺寸信息、运动向量以及目标障碍物在事件图像中的位置设置无人体避障触发条件，计算避障方向及运动距离。
12.在另外的一些示例中，利用双目事件相机实时采集运动障碍物的事件图像，将各
时刻获得的左侧事件图像和右侧事件图像分别输入神经网络，得到同一时刻运动障碍物在各自事件图像中的目标框顶点坐标。
13.在另外的一些示例中，利用所述目标框顶点坐标计算运动障碍物在各自事件图像中的中心点坐标，并基于相似三角形原理计算运动障碍物的长宽尺寸及深度信息。
14.在另外的一些示例中，设置两个以事件图像中心点为中心的大小不同的警戒区域，根据运动障碍物的中心点与两个警戒区域之间的相对位置设置避障触发条件。
15.在另外的一些示例中，当运动障碍物的中心点位于事件图像中，但位于大警戒区域外，且深度小于第一阈值时,触发无人体避障。
16.在另外的一些示例中，当运动障碍物的中心点位于大警戒区域内，深度变化值小于0且深度小于第二阈值时，满足以下任一条件触发无人体避障：(i)运动障碍物在成像平面任一维度方向上向无人体方向运动；(i i)运动障碍物的中心点位于小警戒区域内。
17.在另外的一些示例中，避障触发后，将运动障碍物的运动向量的正交向量作为无人体避障方向。
18.在另外的一些示例中，避障触发后，避障运动距离为无人体的实际物理尺寸与运动障碍物长宽尺寸中的较大值之和。
19.根据本发明的第2方面，还公开了一种避障装置，用于无人体，该装置包括：
20.双目事件相机，用于实时采集运动障碍物的事件图像；
21.第一计算单元，用于计算并保存各时刻运动障碍物在左侧事件相机图像和右侧相机事件图像中的中心点坐标，以及各时刻运动障碍物的尺寸信息及深度信息；
22.第二计算单元，用于读取任一相机连续帧事件图像中的运动障碍物的中心点坐标以及运动障碍物的尺寸信息、深度信息，计算目标障碍物的运动向量；以及
23.避障决策单元，用于根据目标障碍物的尺寸信息、运动向量以及目标障碍物在事件图像中的位置设置无人体避障触发条件，计算避障方向及运动距离。
24.根据本发明的第3方面，还公开了一种智能无人体，包括本体、用于驱动本体运动的驱动装置以及控制装置，还包括用于采集运动障碍物信息的双目事件相机，所述控制装置包括处理器及存储器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序，以实现根据上述方案任一项所述的避障方法。
25.与现有技术相比，本发明可以凭借事件相机高动态、低延迟、高动态性的特点完成对快速运动障碍物的避障。同时，在保证可靠避障的同时还能有效避免不必要的过度避障机动行为。并且具有计算成本小的特点，可在几十微秒的时间内输出避障决策，适合轻量化平台，可由无人体机载计算资源实现自主避障。
附图说明
26.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：
27.图1为训练神经网络的示意性方法流程；
28.图2为采用视差法计算运动障碍物尺寸及深度信息的示意性方法流程；
29.图3为根据本发明实施例的无人体避障方法示意性流程；
30.图4为本发明设置无人体避障触发条件示意图；
31.图5为根据本发明实施例的无人体避障装置组成示意图；
32.图6为根据本发明实施例的智能无人体组成示意图；
33.图7为采用本发明实施无人体避障的一个实施示例。
具体实施方式
34.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
35.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
36.本发明中的智能无人体可以是行驶在陆地、空中或水中的无人装置，例如无人机、自动驾驶的车辆、机器人、无人船、水下无人艇等。这些智能无人体具有用于驱动无人体运动的驱动装置、用于采集环境信息的传感器以及用于控制无人体运动的控制装置，所述控制装置通常包括处理器、存储器等。
37.本发明中，无人体设有双目事件相机，即包括左侧相机和右侧相机，两相机中心点之间相隔预定距离，即基线长度b。通常地，所述双目事件相机可以在无人体上水平放置且朝向正前方的，并且经过水平校正配准。
38.事件相机是只对像素亮度变化敏感的相机，可以提供微秒级的响应信号，搭载双目事件相机的无人体可以在低光照、高动态等复杂场景下完成对突发目标(运动障碍物)的测距和对环境的有效感知，从而做到只利用有限的机载计算资源来完成避障任务，增加无人体自主执行复杂任务的成功率，提高了无人体通行安全性。
39.首先，本发明利用所述双目事件相机采集事件数据，生成事件图像，并构建数据集训练目标检测神经网络。具体地，如图1所示，包括以下步骤：
40.s11:利用事件相机采集运动障碍物快速运动产生的事件流；
41.采集到的每个事件用一个四元组(t,x,y,p)表示，t表示事件发生的时间，(x,y)表示事件发生位置的横纵坐标，p表示发生事件的极性，其中亮度增大超过阈值极性为1，亮度减小超过阈值极性为0，亮度变化未超过阈值时，则不产生事件。
42.s12:按照固定时间间隔将所述事件流生成事件图像；
43.基于事件的生成机制，采用固定时间间隔法，将每一段固定时间间隔内的所有事件流生成事件图像，则第n幅事件图像包含时段内的所有事件。其中，采用以下方法生成事件图像：根据事件生成的像素位置，将有极性生成的坐标绘制成白色像素，图像的背景颜色为黑色。
44.s13:在事件图像中标注目标位置和类别，构建训练数据集；
45.目标位置可以用四元数组表示，分别对应目标框四个顶点的横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值。将标记好的事件图像分成3个部分，分别为训练集、测试集和验证集。其中，训练集占60％，测试集和验证集分别占整个数据集的20％。
46.s14：利用数据集对yolov5神经网络进行训练，得到在测试集上性能最好的神经网络的权重文件；
47.可以理解的是，本发明也可以采用yolov3、yolov4、faster r-cnn、ssd等其他神经网络进行目标检测。
48.经过上述步骤，即得到可以对事件相机采集的图像进行运动障碍物类别和位置检测的神经网络。具体地，无人体利用双目事件相机实时采集运动障碍物生成的事件图像，载入权重文件，利用所述神经网络得到运动障碍物的类别和位置检测结果。其中，目标位置检测的结果同样用四元数组(x
right
，x
left
，y
down
，y
up
)的形式输出，分别对应结果目标框四个顶点的横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值，则运动障碍物在事件图像中的中心点坐标(x，y)可以通过目标检测框的顶点坐标表示为：
[0049][0050]
本发明中，由于无人体设置双目事件相机，因此可以采用视差法计算运动障碍物的尺寸以及运动障碍物与无人体之间的距离。具体地，如图2所示，包括如下步骤：
[0051]
s21：利用双目事件相机实时采集运动障碍物的事件图像，将各时刻获得的左侧事件图像和右侧事件图像分别输入神经网络，得到同一时刻运动障碍物在各自事件图像中的目标框顶点坐标；
[0052]
s22：利用所述目标框顶点坐标计算运动障碍物在各自事件图像中的中心点坐标，并基于相似三角形原理计算运动障碍物的长宽尺寸及运动障碍物与无人体之间的距离；
[0053]
左侧事件图像与右侧事件图像之间的的视差dis为；
[0054]
dis＝b-(x
l-xr)
[0055]
其中，b为基线长度，即左右侧相机中心点之间的距离，x
l
为左侧相机采集的事件图像中运动障碍物中心点的横坐标，xr右侧相机采集的事件图像中运动障碍物中心点的横坐标。
[0056]
基于相似三角形原理，可得：
[0057][0058]
则：
[0059][0060]
其中，f为事件相机的焦距，z为深度信息，即运动障碍物距离双目相机中心的距离，本发明中将其简化为运动障碍物与无人体之间的距离，本领域技术人员容易理解，该计算距离与实际距离存在固定的且简单的换算关系。
[0061]
根据左侧相机或右侧相机任一个采集的事件图像中运动障碍物的位置检测结果，即目标框顶点坐标，基于相似三角形原理可以计算运动障碍物的长h，宽w分别为：
[0062]
[0063][0064]
其中，u为图像中一个像素的尺寸长度。
[0065]
通过上述方法，通过使用双目相机，本发明可以获取未知运动障碍物各时刻的中心点坐标、长宽尺寸信息以及目标距离无人体(双目事件相机中心)的距离信息(深度信息)，并至少保存当前k个时刻(即最近的k个)的中心点坐标、尺寸信息以及深度信息，2≤k≤n，优选k＝2。
[0066]
在此基础上，本发明提出了一种针对高速运动障碍物的无人体避障方法，如图3所示，该方法包括如下步骤：
[0067]
s31：利用连续帧事件图像计算目标障碍物的运动向量；
[0068]
选择左侧相机或右侧相机任一个采集的、起始时刻分别为和的两幅相邻事件图像，也即当前时刻及上一时刻采集的事件图像。
[0069]
读取(从内存或存储器中读取)两幅相邻事件图像中的运动障碍物在事件图像中的中心点坐标、运动障碍物的尺寸信息以及运动障碍物与无人体之间的距离(深度信息)，分别记为则运动障碍物在时间段内，在水平和垂直方向的运动距离x
dis，n
，y
dis，n
以及深度的变化可以分别表示为：
[0070][0071][0072][0073]
则，时刻运动障碍物的运动向量表示为：
[0074][0075]
s32：根据目标障碍物的尺寸信息、运动向量以及目标障碍物在事件图像中的位置设置无人体避障触发条件，计算避障方向和运动距离。
[0076]
如图4所示，在高n、宽m的事件图像中设置两个中心点坐标为的警戒区域。警戒区域1的高和宽分别为h
warning1
，w
warning1
个像素，区域的左上顶点和右下顶点坐标分别为警戒区域2的高和宽分别为h
warning2
，w
warning2
个像素，区域的左上顶点和右下顶点坐标分别为个像素，区域的左上顶点和右下顶点坐标分别为其中h
warning1
＞h
warning2
，w
warning1
＞w
warning2
。
[0077]
则避障触发条件为：
[0078]
a.当检测到的运动障碍物中心点位于事件画面中但位于警戒区域1外，且深度z＜d1，触发无人体避障；
[0079]
b.当检测到的运动障碍物中心点位于警戒区域1内，即b.当检测到的运动障碍物中心点位于警戒区域1内，即且时，深度变化(表示测量的运动障碍物向无人体运动，深度逐渐减小)且深度z＜d2时，满足以下任一条件触发无人体避障：
[0080]
b1.若(表示运动障碍物在无人体左侧)且(运动障碍物的运动向量第一项)x
dis，n
＞0(表示运动障碍物从左向右运动)；
[0081]
b2.若(表示运动障碍物在无人体右侧)且(运动障碍物的运动向量第一项)x
dis，n
＜0(表示运动障碍物从右向左运动)；
[0082]
b3.若(表示运动障碍物在无人体下方)且(运动障碍物的运动向量第二项)y
dis，n
＞0(表示运动障碍物从下向上运动)；
[0083]
b4.若(表示运动障碍物在无人体上方)且(运动障碍物的运动向量第一项)y
dis，n
＜0(表示运动障碍物从上向下运动)；
[0084]
b5.当检测到的运动障碍物中心点位于警戒区域2内，即b5.当检测到的运动障碍物中心点位于警戒区域2内，即且时。
[0085]
其中，d1和d2分别为针对出现在警戒区域外、警戒区域内的运动障碍物设置的距离阈值。由于运动障碍物在特定区域出现时与无人体发生碰撞的概率按上述顺序依次增大，碰撞概率越大的区域需要在更远的距离做出避障决策，所以设置d1＜d2。
[0086]
本发明先判断运动障碍物是否是在警戒区域外，对于警戒区域外只设定一个很小的深度阈值，原因是出现在画面边缘的物体与无人体发生碰撞的概率很小，只需在距离无人体很近时再采取避障措施。
[0087]
对于警戒区域内的运动障碍物，则先判断运动障碍物是否在深度上离无人体越来越近，在深度逐渐减小的前提下再进一步判断运动障碍物是否在水平或垂直方向上朝无人体运动，满足以上情况时说明物体与无人体发生碰撞的概率很大，需要在距离无人体较远距离时采取避障措施。
[0088]
除上述场景外，运动障碍物径直向无人体运动，或者运动障碍物虽然未在水平或垂直方向上朝无人体运动，但由于无人体自身的物理尺寸，运动障碍物从无人体正前方一小块区域内向无人体运动，这种情况下同样需要在较远的距离采取避障措施。
[0089]
若时刻避障触发，则将运动障碍物的运动向量的正交向量作为无人体避障方向，即例如，避障方向向量可表示为：
[0090]
[0091]
或者，也可以采用遗传算法、人工势场法、a*算法等方法设置避障方向。
[0092]
无人体避障触发后，避障运动距离为无人体的实际物理尺寸与max(h，w)的和，其中max(h，w)为运动障碍物实际物理长宽中的较大值。
[0093]
本发明利用双目事件相机结合yolov5目标检测算法，能实时地完成对尺寸未知的运动目标障碍物体测距和尺寸测量，部署在无人机、无人车等无人体上可以根据上述测量结果计算出目标障碍物体的运动向量，再根据进一步避障触发条件、避障方向和运动距离的设计，可以使无人体凭借事件相机高动态、低延迟、高动态性的特点完成对快速运动障碍物的避障。
[0094]
本发明通过对运动障碍物体运动向量的计算和事件图像中两个警戒区域的设置，在保证可靠避障的同时还能有效避免不必要的过度避障机动行为。
[0095]
本发明计算成本小，可在十几微秒的时间内输出避障决策，适合轻量化平台，可由无人体机载计算资源实现自主避障。
[0096]
根据本发明的另外一种实施方式，还公开了一种避障装置，用于无人体，如图5所示，该装置包括：
[0097]
双目事件相机501，用于实时采集运动障碍物的事件图像；
[0098]
第一计算单元502，用于计算并保存各时刻运动障碍物在左侧事件相机图像和右侧相机事件图像中的中心点坐标，以及各时刻运动障碍物的尺寸信息及深度信息；
[0099]
第二计算单元503，用于读取任一相机连续帧事件图像中的运动障碍物的中心点坐标以及运动障碍物的尺寸信息、深度信息，计算目标障碍物的运动向量；以及
[0100]
避障决策单元504，用于根据目标障碍物的尺寸信息、运动向量以及目标障碍物在事件图像中的位置设置无人体避障触发条件，计算避障方向及运动距离。
[0101]
根据本发明的再一种实施方式，还公开了一种智能无人体600，如图6所示，包括本体601、用于驱动本体运动的驱动装置602以及控制装置603，还包括用于采集运动障碍物信息的双目事件相机604，所述控制装置包括处理器6031及存储器6032，所述存储器6032中存储有计算机程序，所述处理器6031用于执行所述计算机程序，以实现根据上述方案任一项所述的避障方法。
[0102]
图7为本发明的一个实施实例，以抛出的球作为运动障碍物。球在进入事件画面的警戒区域后，当深度小于阈值时，算法给出避障提示，同时输出运动障碍物运动向量和无人体(无人机)避障方向向量。
[0103]
所述处理器可以为中央处理器(centra l process i ng un it，cpu)，或者其他通用处理器、数字信号处理器(digita l signa l processor，dsp)、专用集成电路(app l i cat i on spec i f i c i ntegrated c i rcu it，as i c)、现场可编程门阵列(f i e l d-programmab l e gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0104]
所述存储器可以是暂态存储器，也可以是非暂态存储器。
[0105]
虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，可以对本本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。