基于图像识别的流媒体目标框选补偿方法及装置与流程

摘要: 本技术涉及视频目标跟踪,尤其涉及一种基于图像识别的流媒体目标框选补偿方法及装置。背景技术:1、近年来,工业级无人机(uav)搭载高精度光电吊舱(eo/irpod...
基于图像识别的流媒体目标框选补偿方法及装置与流程

本技术涉及视频目标跟踪,尤其涉及一种基于图像识别的流媒体目标框选补偿方法及装置。

背景技术:

1、近年来,工业级无人机(uav)搭载高精度光电吊舱(eo/ir pods)的“空地协同”作业模式,已在电力巡检、边防安防、灾害救援、森林防火等领域获得规模化应用。这种作业模式下,无人机端通过机载光电吊舱采集高分辨率实时视频流,并同步记录机身及吊舱的机载遥测数据,包括无人机的相对高度、gps坐标、俯仰角、偏航角、相机姿态等。上述视频流与机载遥测数据经无线图传链路下发至地面端的控制站或边缘计算设备。为实现无人机视角下的智能态势感知,地面端需要对视频流中的感兴趣目标进行自动识别与持续锁定,进而驱动云台自动跟随、激光测距打点、目标地理定位等后续物理动作。因此,目标检测与跟踪算法输出的目标边界框,不仅是人机交互层面的视觉叠加元素,更是下游执行机构的控制输入量,其时空精度直接决定了整个作业链路的有效性。

2、然而,在无人机地面端部署目标识别跟踪算法时,受限于边缘设备的算力,高精度深度学习目标检测模型单帧推理运算开销大,无法匹配视频流高频渲染帧率。现有技术普遍采用高频画面渲染、后台低频异步深度学习推理的多线程架构:前端渲染线程按照视频原生帧率持续刷新画面,保障地面站视频显示流畅;后端推理线程对历史视频帧执行深度学习检测,间隔一段时间输出目标识别边界框。该多线程架构存在两类结构性技术问题:第一,异步目标识别输出结果与当前渲染帧之间存在时间漂移,即后端深度学习推理输出的目标边界框对应的是历史图像帧,而前端当前渲染并显示的是最新图像帧。若将历史帧检测得到的目标边界框直接叠加到当前渲染帧,或直接作为下游执行机构的控制输入,则边界框坐标相对于当前画面中真实目标位置会发生错位。无人机及光电吊舱运动越剧烈,该错位越明显。该缺陷源于异步推理机制下检测结果与渲染帧之间的时序错位,属于结构性时序问题,难以通过单纯提高渲染帧率予以消除。第二,由于深度学习推理运行频率显著低于视频渲染帧率,在两次深度学习的目标识别结果输出的间隔周期内,会产生大量推理等待帧,该时间段没有新的目标识别结果输出,形成识别空白帧,会导致目标框间断消失、跳变,无法实现目标的连续持续框选锁定;如果简单复用上一次深度学习输出的历史识别框直接用于空白帧渲染,又会再次引入前述时间漂移、坐标错位缺陷。

3、现有方案针对异步推理延迟,多采用卡尔曼滤波等二维图像平面预测方法进行补偿,该类方法仅依据图像上目标像素变化做预测,只能估算目标自身像素运动,无法感知观测平台自身运动。在无人机、吊舱快速运动场景下,二维预测难以补偿观测平台自身运动带来的视差,即便填补了空白帧,仍然无法解决历史识别结果带来的时间漂移与坐标错位问题。

技术实现思路

1、本技术实施例通过提供一种基于图像识别的流媒体目标框选补偿方法及装置,解决了现有技术难以兼顾目标框选的连续性与时空坐标精度,难以满足无人机空地协同作业对目标持续锁定的实际需求的问题。

2、第一方面,本技术实施例提供了一种基于图像识别的流媒体目标框选补偿方法,包括:

3、解析流媒体数据,提取其中的视频图像帧与机载遥测数据,并将所述视频图像帧与对应的机载遥测数据进行时间对齐;

4、对时间对齐后的视频图像帧进行异步目标识别,若在当前视频图像帧的处理周期内生成新的目标识别结果,则以新的目标识别结果构建绝对基准锚点,并将其作为计算锚点;否则,以上一视频图像帧输出的目标位置构建瞬态基准锚点,并将其作为计算锚点;

5、根据选定的所述计算锚点在历史时段对应的机载遥测数据进行物理推演,得到目标的物理预测位置,以确定当前时刻的目标位置;

6、基于所述目标位置在所述视频图像帧上绘制目标边界框并渲染,以实现目标框选。

7、结合第一方面,在一种可能的实现方式中,所述根据选定的所述计算锚点在历史时段对应的机载遥测数据进行物理推演前,还包括:

8、当所述计算锚点为所述绝对基准锚点时,在所述绝对基准锚点对应的视频图像帧中截取所述目标识别结果处的图像切片,以更新目标特征模板。

9、结合第一方面,在一种可能的实现方式中,所述根据选定的所述计算锚点在历史时段对应的机载遥测数据进行物理推演,得到目标的物理预测位置,包括:

10、确定当前时刻与所述计算锚点对应的视频图像帧的采集时刻之间的时间差;

11、从所述机载遥测数据中提取所述时间差所对应的机载遥测数据段,并通过所述机载遥测数据段解算机载观测平台运动带来的画面偏移量;

12、基于所述画面偏移量对所述计算锚点进行物理推演,得到目标在当前时刻的物理预测位置。

13、结合第一方面,在一种可能的实现方式中,所述通过所述机载遥测数据段解算机载观测平台运动带来的画面偏移量,包括:

14、基于所述机载遥测数据段内的相对高度和吊舱绝对俯仰角确定目标绝对深度;

15、将无人机的速度向量投影至相机切面坐标系,得到相机切面速度分量,并根据所述相机切面速度分量、所述目标绝对深度、相机焦距和所述时间差确定机载观测平台运动带来的平移像素偏移量;

16、根据所述时间差下吊舱绝对偏航角的增量和吊舱绝对俯仰角的增量,结合所述相机焦距确定机载观测平台运动带来的旋转像素偏移量;

17、将所述平移像素偏移量和所述旋转像素偏移量叠加,得到机载观测平台运动带来的画面偏移量。

18、结合第一方面,在一种可能的实现方式中,所述确定当前时刻的目标位置,包括:

19、根据异步目标识别的更新状态,确定目标位置的输出方式;其中,所述输出方式包括:输出所述物理预测位置为目标位置,或以所述物理预测位置为基准进行局部搜索;

20、当输出方式为以所述物理预测位置为基准进行局部搜索时,根据局部搜索结果的置信度确定以所述局部搜索结果或所述物理预测位置为目标位置。

21、结合第一方面,在一种可能的实现方式中,所述根据异步目标识别的更新状态,确定目标位置的输出方式,包括:

22、若当前时刻与所述计算锚点对应的视频图像帧的采集时刻之间的时间差小于预设短路阈值,则所述输出方式为输出所述物理预测位置为目标位置;

23、若所述时间差大于或等于预设短路阈值,则所述输出方式为以所述物理预测位置为基准结合当前的目标特征模板进行局部搜索。

24、结合第一方面,在一种可能的实现方式中,所述以所述物理预测位置为基准进行局部搜索,包括:

25、根据目标在时间差内的最大自主位移量确定搜索域裕值系数,以生成以所述物理预测位置为中心的紧凑搜索域,并在所述紧凑搜索域内进行局部搜索,得到局部搜索结果。

26、结合第一方面,在一种可能的实现方式中,所述以所述物理预测位置为基准进行局部搜索,还包括:

27、当所述局部搜索结果的置信度低于预设安全门限时,进行二次有向搜索,包括:

28、获取无人机与机载吊舱的运动状态,并基于其预测目标在图像平面的预期逃逸位移与逃逸方向;

29、根据紧凑搜索域的中心和所述预期逃逸位移,沿目标的所述逃逸方向对所述紧凑搜索域进行扩展,生成二次搜索域;

30、在所述二次搜索域内进行目标搜索,以重捕获目标。

31、结合第一方面,在一种可能的实现方式中,还包括:

32、当所述二次有向搜索的搜索结果的置信度低于所述预设安全门限时,判断当前目标位置无效,触发回退机制,回退至最近一次有效的历史目标位置;

33、和/或,统计所述置信度连续低于所述预设安全门限的连续失效帧数;当所述连续失效帧数达到次级阈值时,冻结当前的目标特征模板,并基于所述物理预测位置进行平滑盲跟;当所述连续失效帧数超过超时阈值时,注销当前跟踪的目标。

34、第二方面,本技术实施例提供了一种基于图像识别的流媒体目标框选补偿装置,包括:

35、解析对齐模块,用于解析流媒体数据,提取其中的视频图像帧与机载遥测数据,并将所述视频图像帧与对应的机载遥测数据进行时间对齐;

36、锚点选定模块,用于对时间对齐后的视频图像帧进行异步目标识别,若在当前视频图像帧的处理周期内生成新的目标识别结果,则以新的目标识别结果构建绝对基准锚点,并将其作为计算锚点;否则,以上一视频图像帧输出的目标位置构建瞬态基准锚点,并将其作为计算锚点;

37、物理推演模块,用于根据选定的所述计算锚点在历史时段对应的机载遥测数据进行物理推演,得到目标的物理预测位置,以确定当前时刻的目标位置;

38、渲染模块,用于基于所述目标位置在所述视频图像帧上绘制目标边界框并渲染,以实现目标框选。

39、本技术实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

40、本技术实施例通过将视频图像帧与对应的机载遥测数据进行时间对齐,能够消除异步目标识别结果与当前渲染帧之间的时间漂移,使基于历史视频图像帧得到的目标位置能够被准确映射至当前视频图像帧中的真实目标位置,从而降低无人机和机载吊舱运动状态下目标边界框的坐标错位;通过在相邻两次异步目标识别结果之间以计算锚点为起点进行物理推演,持续生成当前时刻的物理预测位置,能够填补因深度学习推理频率不足产生的识别空白帧,减少目标边界框的间断消失和跳变,保证目标框选的连续性和平稳性。有效解决了现有技术难以兼顾目标框选的连续性与时空坐标精度,难以满足无人机空地协同作业对目标持续锁定的实际需求的问题。从而在机载算力受限条件下兼顾目标框选的实时性、精度与鲁棒性。