高速物体识别方法、装置及设备与流程

本申请涉及图像处理，具体地涉及一种高速物体识别方法、装置及设备。

背景技术：

1、在当前的自动驾驶技术中，为了保证车辆的行驶安全，车辆的自动驾驶系统需处理多样化的道路条件与高速物体的检测和追踪问题，以实现对高速物体的闪避。而现有的自动驾驶系统在追踪小型、高速移动的目标时仍面临许多挑战，这些挑战包括但不限于动态背景下的目标识别、在复杂光照和天气条件下保持高精度追踪、以及快速预测目标未来位置的能力不足。这导致车辆的自动驾驶系统无法准确识别到高速物体，从而引发行驶安全问题。

技术实现思路

1、本发明实施例提供了一种高速物体识别方法、装置及设备，用以解决现有技术中车辆的自动驾驶系统无法准确识别到高速物体，从而引发行驶安全的问题。

2、第一方面，本方面实施例提供了一种高速物体识别方法，所述方法包括：

3、对目标场景采集连续原始图像帧；

4、通过双流网络结构从所述连续原始图像帧中确定出快速运动区域图像；

5、在所述快速运动区域中确定出所述目标场景下的高速物体进行加权突出。

6、可选的，所述通过双流网络结构从所述连续原始图像帧中确定出快速运动区域图像，包括：

7、通过边缘检测算法确定各帧所述连续原始图像帧所对应的边缘图像；

8、确定各相邻两帧所述连续原始图像帧之间的差分图像；

9、对所述边缘图像和所述差分图像进行融合得到运动特征图像；

10、通过所述双流网络结构的空间流分支从所述边缘图像中确定出空间特征；

11、通过所述双流网络结构的时间流分支从所述运动特征图像中确定出运动特征；

12、根据所述空间特征和所述运动特征从所述原始图像帧中确定出快速运动区域图像。

13、可选的，所述对所述边缘图像和所述差分图像进行融合得到运动特征图像，包括：

14、根据预先为所述边缘图像分配的第一权重，和预先为所述差分图像分配的第二权重，将各帧所述差分图像和与其对应的边缘图像融合为所述运动特征图像；或，

15、对各帧所述差分图像和与对应边缘图像中相应位置的像素值进行按位与操作，以将各帧所述差分图像和与其对应的边缘图像融合为所述运动特征图像；或，

16、根据各帧所述差分图像的通道和与各帧差分图像对应的边缘图像的通道，将各帧所述差分图像和与其对应的边缘图像融合为三维的所述运动特征图像。

17、可选的，所述通过所述双流网络结构的空间流分支从所述边缘图像中确定出空间特征，包括：

18、通过所述空间流分支的卷积层分别对各单帧所述边缘图像进行空间特征提取；

19、通过由所述空间流分支的卷积层和池化层所组成的第一深度网络分别对各单帧所述边缘图像进行复杂空间特征的提取；

20、通过所述空间流分支的平均池化层将提取到的所述空间特征和所述复杂空间特征编码至一个向量中，作为所述边缘图像的空间特征；

21、所述通过所述双流网络结构的时间流分支从所述运动特征图像中确定出运动特征，包括：

22、通过所述时间流分支的卷积层分别对各单帧运动特征图像进行时间特征提取；

23、通过所述时间流分支的第二深度网络分别对各单帧运动特征图像进行复杂运动特征的提取；

24、通过所述空间流分支的平均池化层将提取到的所述运动特征和所述复杂运动特征编码至一个向量中，作为所述运动特征图像的运动特征。

25、可选的，所述根据所述空间特征和所述运动特征从所述原始图像帧中确定出快速运动区域图像，包括：

26、将所述空间流分支输出的空间特征和所述时间流分支输出的运动特征融合为目标特征；

27、通过上下文感知模块从所述目标特征中确定出所述原始图像帧的动态变化；

28、根据所述原始图像帧的动态变化是否达到阈值，将所述原始图像帧区分为静止区域和运动区域，其中所述阈值通过自适应阈值法确定；

29、将所述运动区域映射为所述快速运动区域图像。

30、可选的，所述在所述快速运动区域中确定出所述目标场景下的高速物体进行加权突出，包括：

31、通过神经网络模型的时空卷积层对多帧所述快速运动区域图像进行卷积，以从所述快速运动区域图像中获取时空特征；

32、通过所述非线性激活函数对获取到的所述时空特征进行增强，以对所述快速运动区域图像中的高速物体进行突出。

33、可选的，所述从所述快速运动区域图像中获取时空特征之后，所述方法还包括：

34、通过神经网络模型的批量归一化层对获取到的所述时空特征进行归一化处理。

35、第二方面，本发明实施例提供了一种高速物体识别装置，所述装置包括：

36、采集模块，对目标场景采集连续原始图像帧；

37、提取模块，通过双流网络结构从所述连续原始图像帧中确定出快速运动区域图像；

38、标记模块，在所述快速运动区域中确定出所述目标场景下的高速物体进行加权突出。

39、第三方面，本发明实施例提供了一种电子设备，包括：

40、至少一个处理器；以及

41、与所述处理器通信连接的至少一个存储器，其中：

42、所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一方面任一项所述的方法。

43、第四方面，本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面任一项所述的方法。

44、本发明实施例模拟对运动敏感的神经元，通过双流网络结构分别对车辆周边目标场景的空间特征和运动特征进行识别，将其中的高速物体与其他静态物体或缓慢移动的物体进行区分，并通过模拟运动敏感神经元的反应机制对高速物体进行突出，给予其更多的关注，从而在诸多的自动驾驶场景下可以实现对高速物体的快速识别，保障了自动驾驶的安全性。

1.一种高速物体识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述通过双流网络结构从所述连续原始图像帧中确定出快速运动区域图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述边缘图像和所述差分图像进行融合得到运动特征图像，包括：

4.根据权利要求2所述的方法，其特征在于，所述通过所述双流网络结构的空间流分支从所述边缘图像中确定出空间特征，包括：

5.根据权利要求2所述的方法，其特征在于，所述根据所述空间特征和所述运动特征从所述原始图像帧中确定出快速运动区域图像，包括：

6.根据权利要求1所述的方法，其特征在于，所述在所述快速运动区域中确定出所述目标场景下的高速物体进行加权突出，包括：

7.根据权利要求6所述的方法，其特征在于，所述从所述快速运动区域图像中获取时空特征之后，所述方法还包括：

8.一种高速物体识别装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7任一项所述的方法。