动态物体的检测方法、系统和终端设备与流程

摘要: 本技术涉及计算机视觉,特别是涉及动态物体的检测方法、系统和终端设备。背景技术:1、动态视觉传感器作为一种新型视觉传感器,已被广泛应用于高速运动目标检测等对实时性...
动态物体的检测方法、系统和终端设备与流程

本技术涉及计算机视觉,特别是涉及动态物体的检测方法、系统和终端设备。

背景技术:

1、动态视觉传感器作为一种新型视觉传感器,已被广泛应用于高速运动目标检测等对实时性和功耗有严格要求的边缘计算场景。

2、针对上述运动目标检测场景,相关方案通过引入惯性测量单元提供角速度和线加速度数据以补偿相机自身运动,或利用事件相机自带的灰度图进行背景场景建模,但该类方案需要精确的亚毫秒级时间同步和空间标定,显著增加系统硬件成本、体积、重量和功耗,且当某一辅助传感器失效时检测性能将下降甚至失效。基于深度学习的方法将事件累积图转化为帧式表示后采用卷积神经网络检测,或采用脉冲神经网络直接处理异步事件序列,但该类方案需要大量标注数据进行监督训练,且推理计算量大,依赖图形处理器加速,难以在轻量化的边缘端平台上实时运行。基于光流和背景补偿的几何方法通过计算局部事件流的光流场分析一致性来区分背景与目标,但该类方案通常假设相机本身静止或做已知运动,难以应对相机自身的不规则运动。传统帧间差分法将事件按时间窗口累积为帧式图像后进行差分,部分方案利用随机抽样一致性算法估计单应变换矩阵进行帧间对齐后再差分,以补偿相机自身运动。

3、然而,相关方案的对齐过程存在亚像素级的估计误差,该误差在差分图中表现为随机分布的残差噪声,且当目标与相机同向运动时目标信号微弱,缺乏同时抑制残差噪声并增强弱信号的有效机制,导致检测可靠性下降。

技术实现思路

1、为解决上述技术问题,本技术提供一种动态物体的检测方法,包括:

2、获取事件流数据,根据预设时间间隔将所述事件流数据分割为离散的时间单元,并对各所述时间单元内的事件进行空间累积,生成对应的事件累积表示;

3、根据相邻时间单元的事件累积表示确定变换偏移量,并根据所述变换偏移量确定相机状态;

4、根据所述相机状态确定对应的对齐后累积表示,结合所述事件累积表示,生成当前时间单元与若干时间单元累积的累积差异表示;

5、根据所述相机状态选取对应的差分阈值,采用所述差分阈值对所述累积差异表示进行形态学处理及连通域分析,并结合预设的几何约束条件生成候选目标区域;

6、对所述候选目标区域进行时空一致性筛选及空间聚合,以输出作为动态物体检测结果的目标区域。

7、在一实施例中,所述根据相邻时间单元的事件累积表示确定变换偏移量,并根据所述变换偏移量确定相机状态的步骤,包括:

8、提取各时间单元的所述事件累积表示中的特征点并计算特征描述子;

9、对相邻时间单元的特征描述子进行匹配,根据匹配的特征点对估计相邻时间单元之间的空间变换关系;

10、将相邻的事件单元的边界点通过所述空间变换关系进行变换,计算变换后边界点与原始边界点之间的平均偏移量作为所述变换偏移量;

11、当所述变换偏移量大于预设偏移阈值时,判定相机状态为运动状态,否则判定为静止状态。

12、在一实施例中,根据所述相机状态确定对应的对齐后累积表示的步骤,包括:

13、当所述相机状态为运动状态时,将相邻时间单元中在前时间单元的所述事件累积表示通过空间变换关系变换至当前时间单元的坐标系下,得到所述对齐后累积表示;

14、当所述相机状态为静止状态时,将相邻时间单元中在前时间单元的所述事件累积表示作为所述对齐后累积表示。

15、在一实施例中,所述结合所述事件累积表示,生成当前时间单元与若干时间单元累积的累积差异表示的步骤,包括:

16、对所述事件累积表示与所述对齐后累积表示进行总事件量归一化处理后计算两者之间的差异,生成当前时间单元的差异表示;

17、将当前时间单元的所述差异表示与连续多个时间单元各自对应的差异表示进行累加,生成所述累积差异表示。

18、在一实施例中,结合预设的几何约束条件生成候选目标区域的步骤,包括:

19、获取进行形态学处理及连通域分析后提取的外接矩形,并将外接矩形作为初始区域;

20、剔除所述外接矩形的面积小于预设面积下限的初始区域,剔除所述外接矩形的面积占比大于预设比例上限的初始区域,剔除所述外接矩形的宽高比大于预设宽高比上限的初始区域,并将剔除后保留的各初始区域作为所述候选目标区域。

21、在一实施例中,对所述候选目标区域进行时空一致性筛选的步骤,包括:

22、以当前时间单元为基准,在前后各两个时间单元构成的时间窗口内,搜索与各候选目标区域的空间重叠度大于预设重叠阈值的其他候选目标区域,并统计搜索到的其他候选目标区域的总数作为该候选目标区域的时域重复程度,保留总数达到预设数量阈值的候选目标区域;

23、将保留的候选目标区域按不同时间单元进行关联,为各候选目标区域建立运动轨迹,统计每条运动轨迹所包含的连续时间单元数量作为轨迹时域连续长度,保留所述轨迹时域连续长度达到预设长度阈值的候选目标区域;

24、对进行时空一致性筛选的候选目标区域进行空间聚合,输出作为动态物体检测结果的所述目标区域。

25、在一实施例中,所述对进行时空一致性筛选的候选目标区域进行空间聚合,输出作为动态物体检测结果的所述目标区域的步骤,包括:

26、获取所述候选目标区域经过时空一致性筛选后的第一区域;

27、确定任意两个第一区域在水平方向上以及在垂直方向上的最小边缘间距,将所述最小边缘间距小于预设聚合阈值的至少两个第一区域判定为满足邻近条件;

28、提取满足所述邻近条件的第一区域的最小外接矩形作为聚合后的单个目标区域,迭代执行对候选目标区域进行空间聚合的步骤,直至当前时间单元内的单个目标区域的总数不变,并将最终保留的单个目标区域作为动态物品检测结果输出。

29、在一实施例中,自适应调整所述预设时间间隔的步骤,包括:

30、根据单位时间内所述事件流数据的事件数量判定当前场景的事件密集程度;

31、当所述事件数量高于预设密度阈值时,判定为事件密集场景,根据预设策略缩短所述预设时间间隔以提高时间分辨率;

32、当所述事件数量低于预设密度阈值时,判定为事件稀疏场景,根据所述预设策略延长所述预设时间间隔,以保证各时间单元内具有足够的事件量。

33、此外,为解决上述问题,本技术还提供一种动态物体的检测系统,包括事件提取模块、帧对齐模块、差分检测模块、多级过滤模块以及框合并模块,用于执行如上所述的动态物体的检测方法;

34、事件提取模块,用于获取事件流数据,根据预设时间间隔将所述事件流数据分割为离散的时间单元;

35、帧对齐模块,用于对各所述时间单元内的事件进行空间累积,生成对应的事件累积表示;根据相邻时间单元的事件累积表示确定变换偏移量,并根据所述变换偏移量确定相机状态;

36、差分检测模块,用于根据所述相机状态确定对应的对齐后累积表示,结合所述事件累积表示,生成当前时间单元与若干时间单元累积的累积差异表示;

37、多级过滤模块,用于根据相机的所述运动状态选取对应的差分阈值,采用所述差分阈值对所述累积差异表示进行形态学处理及连通域分析,并结合预设的几何约束条件生成候选目标区域;

38、框合并模块,用于对所述候选目标区域进行时空一致性筛选及空间聚合,以输出作为动态物体检测结果的目标区域。

39、此外,为解决上述问题,本技术还提供一种终端设备,包括存储器和处理器;所述存储器存储有可被处理器执行的程序代码;所述程序代码用于执行如上所述的动态物体的检测方法。

40、本技术提供的动态物体的检测方法、系统和终端设备至少具备以下技术效果:

41、(1)纯事件流处理,有效降低系统复杂度:仅使用dvs事件流作为唯一输入,消除了多传感器时间同步和空间标定的工程难题,降低了硬件成本、体积、重量和功耗,特别适合资源受限的边缘端平台部署。

42、(2)无需训练数据,场景泛化能力强:算法完全基于事件统计特性和几何约束,无需标注数据和模型训练,不存在训练数据偏差导致的泛化问题,能够在新场景中直接使用。

43、(3)边缘端实时运行,无需gpu:在intel core i9-14900k处理器上,单帧处理耗时约17毫秒,小于33毫秒帧间隔,具有约16毫秒实时余量。仅需标准数值计算库和图像处理库,无需gpu,可在边缘端处理器上实时运行。

44、(4)自动适应多种相机运动状态:通过ransac帧间对齐和四角点位移运动状态检测,自动适应相机旋转、平移、静止等状态。三种实验场景(旋转、静止、向前平移)均验证了适应性。

45、(5)同向运动弱信号增强:多帧差分累积利用信号相干叠加(幅度增强2倍)和噪声非相干叠加(幅度增强约1.41倍)的差异,功率信噪比提升2倍,使同向运动弱信号可被可靠检测。

46、(6)多级噪声抑制,检测可靠性高:时序一致性过滤消除随机单帧误检,轨迹连续性过滤利用运动轨迹连续平滑特性区分目标与噪声,框合并减少碎片化检测,三重过滤有效抑制ransac残差噪声。

47、(7)完整目标定位:并查集迭代聚类合并将同一目标的多个局部框合并为完整检测框,提供完整的目标空间定位信息,便于后续跟踪和交互。