一种机载光电系统双重目标跟踪方法与流程
本发明属于光电系统目标跟踪,具体涉及机载光电系统双重目标跟踪方法。
背景技术:
1、机载光电系统是无人机及有人机平台实施图像侦查、目标识别与跟踪的重要任务载荷。典型的光电系统内部集成有可见光电视、红外热像仪、视频跟踪器、任务计算机及伺服系统等核心模块。光电系统实时生成的侦查图像,通过网络接口单向输出到控制平台;光电系统实时生成的侦察信息与状态字,经异步rs422串行接口输出到控制平台。控制平台集成高性能计算资源及基于人工智能技术的光电控制软件,能够对输入的侦查图像进行目标识别与跟踪。
2、典型的光电系统,其目标跟踪由光电系统视频跟踪器与伺服系统软件联动完成,视频跟踪器完成目标识别与图像目标跟踪,生成跟踪状态与跟踪偏差,并通过光电系统内部rs422串行接口,向任务计算机运行的伺服系统软件,实时发送跟踪状态与跟踪偏差,伺服系统软件解算跟踪状态与跟踪偏差,驱动光电系统方位与俯仰转动跟踪目标,同时,指示光电系统转动趋势的图像中心十字光标,逐步与图像中跟踪目标中心重合,即完成光电系统目标跟踪过程。但是目前的光电系统目标跟踪方法存在以下缺陷:
3、(1)视频跟踪器安装在光电系统内部,受软硬件平台计算资源,及跟踪算法限制,以传统的模板跟踪算法为主,对可见光电视或红外热像仪生成的侦查图像处理功能单一,目标识别类型少,目标跟踪性能低,特别对复杂背景下频繁遮挡运动目标,跟踪性能低、易丢失,且光电系统视频跟踪器处于跟踪丢失临界状态,即进入记忆跟踪或跟踪丢失时,需大范围再次搜索目标,然而由于侦查图像是单向输入到光电控制软件,再次搜索与识别跟踪难度大,难以恢复持续跟踪;
4、(2)控制平台虽具备基于人工智能的高性能目标识别与跟踪能力,但是由于侦查图像是单向输入至控制平台,控制平台无法实时自动驱动光电系统转动跟踪识别的新目标;
5、(3)现有光电系统是通过视频跟踪器与伺服系统软件联动跟踪目标,无法同步跟踪控制平台识别与跟踪的目标。
6、综上所述,需要提供一种光电系统双重目标跟踪方法,解决上述现有光电系统目标跟踪方法存在的问题。
技术实现思路
1、本发明的目的在于解决现有光电系统目标跟踪技术所存在的目标跟踪性能低,目标易丢失且难以持续跟踪,无法实时自动跟踪目标以及同步跟踪的技术不足之处,而提供了一种光电系统双重目标跟踪方法,能实时自动驱动光电系统转动跟踪新目标,并同步到控制平台,实现目标的实时同步跟踪;目标跟踪性能得到提高,目标不容易丢失,且目标丢失时,能再次搜索与识别跟踪,实现目标的持续跟踪。
2、为实现上述目的,本发明所提供的技术解决方案是:
3、一种机载光电系统双重目标跟踪方法,包括:
4、光电系统像素偏移跟踪过程:视频跟踪器锁定侦查图像十字光标位置的目标,周期计算跟踪偏差并生成跟踪状态,驱动伺服系统使光电系统转动跟踪目标;根据控制平台的偏移跟踪指令及新目标位置,将十字光标指示至新目标位置并进入偏移跟踪状态;根据跟踪确认指令,将跟踪目标切换为新目标;根据跟踪微调指令,逐像素移动跟踪框直至与新目标重合;
5、基于控制平台的双重目标跟踪过程:控制平台接收侦查图像并识别新目标,图像跟踪新目标,计算新目标与图像中心的像素偏差,若偏差大于设定阀值则分次发送偏移跟踪指令与单次像素偏差值,引导光电系统逼近新目标,待光电系统进入偏移跟踪状态后发送跟踪确认指令使其切换至像素偏差值位置新目标,直至偏差小于等于设定阀值,并发送跟踪微调指令使跟踪框与目标精确重合;
6、双重跟踪建立:控制平台与光电系统对同一目标实现双重目标跟踪。
7、进一步限定,所述视频跟踪器锁定侦查图像十字光标位置的目标,周期计算跟踪偏差并生成跟踪状态,驱动伺服系统使光电系统转动跟踪目标的过程具体包括:
8、步骤a1、任务计算机通过第一串行接口接收控制平台跟踪指令,解析并封装为视频跟踪器指令,通过第二串行接口发送至视频跟踪器;
9、步骤a2、视频跟踪器接收并解析跟踪指令,调用模板跟踪算法框选并跟踪侦查图像十字光标位置目标,定义为目标1,周期计算每帧侦查图像目标1的跟踪偏差(x’,y’),同时依据模板跟踪算法处理结果生成跟踪状态,封装跟踪状态与跟踪偏差为状态字,通过第二串行接口反馈至任务计算机;
10、步骤a3、任务计算机接收并解析状态字,将跟踪状态与跟踪偏差传递至伺服系统软件;
11、步骤a4、伺服系统软件解算跟踪状态与跟踪偏差:当跟踪状态为正在跟踪时,依据跟踪偏差驱动光电系统转动,使侦查图像十字光标逐步与跟踪框重合;当跟踪状态为记忆跟踪时,驱动光电系统以当前速度与方向递推转动5秒;当跟踪状态为跟踪丢失时,退出运算等待新输入。
12、进一步限定,所述步骤a2中,跟踪偏差(x’,y’)按照如下公式计算:
13、跟踪偏差(x’,y’)= (x1,y1) - (x0,y0)
14、其中:(x1,y1)为目标1中心点像素值,(x0,y0)为侦查图像中心点像素值;
15、所述跟踪状态包括:正在跟踪、记忆跟踪与跟踪丢失;所述正在跟踪表示视频跟踪器实时识别并稳定跟踪目标;所述记忆跟踪表示目标处于跟踪临界丢失状态;所述跟踪丢失表示视频跟踪器丢失目标。
16、进一步限定,所述根据控制平台的偏移跟踪指令及新目标位置,将十字光标指示至新目标位置并进入偏移跟踪状态的具体步骤是:
17、步骤a5、任务计算机通过第一串行接口接收控制平台发送的偏移跟踪指令与新目标像素偏差值(x2,y2),解析并封装为视频跟踪器指令,通过第二串行接口发送至视频跟踪器;
18、步骤a6、视频跟踪器接收并解析新目标指令与参数,调用模板跟踪算法将十字光标重绘到新目标像素偏差值(x2,y2)位置,进入偏移跟踪状态,封装偏移跟踪状态与原目标跟踪偏差为状态字反馈至任务计算机;
19、步骤a7、任务计算机解析视频跟踪器反馈的状态字;状态字为正在跟踪、记忆跟踪或跟踪丢失,跳转执行步骤a3;状态字为偏移跟踪时,封装为控制平台状态字通过第一串行接口发送至控制平台;任务计算机等待第一串行接口新指令。
20、进一步限定,所述根据跟踪确认指令,将跟踪目标切换为新目标具体是:
21、步骤a8、任务计算机通过第一串行接口接收控制平台发送的跟踪确认指令,解析并封装为视频跟踪器指令,通过第二串行接口发送至视频跟踪器;任务计算机等待第一串行接口新指令;
22、步骤a9、视频跟踪器解析跟踪确认指令,调用模板跟踪算法框选并跟踪步骤a6中的新目标,生成新目标跟踪状态更替原目标跟踪状态,计算新目标跟踪偏差(x’’,y’’)实时更替原目标跟踪偏差,封装新目标跟踪状态与跟踪偏差反馈至任务计算机,同时将十字光标重绘到侦查图像中心点位置;跳转至步骤a3循环执行,驱动光电系统对新目标持续跟踪;
23、所述新目标跟踪偏差(x’’,y’’)按照如下公式计算:
24、新目标跟踪偏差(x’’,y’’)= (x2,y2) - (x0,y0)
25、其中:(x2,y2)为新目标像素偏差值,(x0,y0)为侦查图像中心点像素值。
26、进一步限定,所述根据跟踪微调指令,逐像素移动跟踪框直至与新目标重合的具体过程是:
27、步骤a10、任务计算机通过第一串行接口接收控制平台发送的跟踪微调指令,封装为视频跟踪器指令,通过第二串行接口发送至视频跟踪器;
28、步骤a11、视频跟踪器解析跟踪微调指令:跟踪微调上指令将跟踪框纵向向上移动一个像素,跟踪微调下指令将跟踪框纵向向下移动一个像素,跟踪微调左指令将跟踪框横向向左移动一个像素,跟踪微调右指令将跟踪框横向向右移动一个像素,使跟踪框与目标位置重合。
29、进一步限定,所述控制平台接收侦查图像并识别新目标,计算新目标与图像中心的像素偏差,若偏差大于设定阀值则分次发送偏移跟踪指令引导光电系统逼近新目标,直至偏差小于等于设定阀值的具体过程是:
30、b1、控制平台通过第一串行接口发送跟踪指令至光电系统;光电系统接收跟踪指令后执行光电系统像素偏移跟踪过程,进入对十字光标位置的目标跟踪状态;
31、b2、控制平台通过网络接口实时接收光电系统单向输出的侦查图像,调用智能图像处理模块进行目标识别,识别出新目标时框选目标并定义为目标2,计算目标2中心点像素值为(x3, y3),调用神经网络深度学习跟踪算法对目标2进行跟踪;
32、b3、控制平台计算目标2的单次像素偏差值(x4,y4);并计算单次像素偏差值(x4,y4)与侦查图像中心点像素值(x0,y0)之差,将差值的绝对值较大者与设定阀值比较;若大于设定阀值,则分次向光电系统发送偏移跟踪指令及单次像素偏差值,引导光电系统将十字光标逐步移向新目标,直至偏差小于等于设定阀值;设定阀值为50像素;
33、步骤b3中单次像素偏差值(x4,y4)按以下公式计算:
34、x4=(x3-x0)/(n--)+x0
35、y4=(y3-y0)/(n--)+y0
36、其中:(x3,y3)为目标2中心点像素值;n--为总执行次数,每执行一次,n--减1;(x0,y0)为侦查图像中心点像素值。
37、进一步限定,待光电系统进入偏移跟踪状态后发送跟踪确认指令使其切换至新目标,并发送跟踪微调指令使跟踪框与目标精确重合的具体过程是:
38、b4、控制平台循环接收并解析光电系统反馈的跟踪状态,解析为正在跟踪、记忆跟踪或跟踪丢失时,光电控制软件自动向光电系统发送跟踪指令,光电系统执行光电系统像素偏移跟踪过程使光电系统持续跟踪;当解析为偏移跟踪状态时,向光电系统发送跟踪确认指令,使光电系统自动切换至新目标持续跟踪;
39、b5、光电系统切换至新目标后,控制平台计算横向跟踪微调像素值mx与纵向跟踪微调像素值my,根据mx、my的正负及大小自动发送相应次数的跟踪微调指令,光电系统执行光电系统像素偏移跟踪过程,使微调跟踪框与目标位置精确重合。
40、进一步限定,所述步骤b5中,横向跟踪微调像素值mx与纵向跟踪微调像素值my的计算公式为:
41、mx=x4-y0,my=y4-y0
42、其中:(x4,y4)为单次像素偏差值,(x0,y0)为侦查图像中心点像素值;
43、mx小于0,自动发送mx次跟踪微调右指令;mx大于等于0,自动发送mx次跟踪微调左指令;
44、my小于0,自动发送my次跟踪微调下指令;my大于等于0,自动发送my次跟踪微调上指令。
45、进一步限定,所述侦查图像由光电系统的可见光电视或红外热像仪实时生成;
46、所述侦查图像通过sdi接口输出至视频跟踪器,所述侦查图像通过网络接口实时输出至控制平台;
47、所述第一串行接口为异步rs422串行接口,所述第二串行接口为光电系统内部rs422串行接口。
48、与现有技术相比,本发明的优点是:
49、1、本发明的光电系统双重目标跟踪方法,通过光电系统像素偏移跟踪过程与控制平台引导过程的协同工作,形成双通道并行跟踪架构。光电系统始终保持对十字光标目标的像素偏移闭环跟踪,控制平台独立进行智能目标识别与跟踪,两者对同一目标实现双重锁定。当光电系统因目标遮挡或算法性能受限进入记忆跟踪或跟踪丢失状态时,控制平台可自动发送跟踪指令,使光电系统持续进入目标跟踪状态,有效防止目标丢失,有效解决了现有技术中记忆跟踪或跟踪丢失后难以恢复持续跟踪的问题,实现了目标的持续可靠跟踪。
50、2、本发明在光电系统像素偏移跟踪过程中,视频跟踪器根据控制平台的偏移跟踪指令将十字光标指示至新目标位置并进入偏移跟踪状态,根据跟踪确认指令将跟踪目标切换为新目标,根据跟踪微调指令逐像素移动跟踪框直至与新目标重合。同时,控制平台通过循环接收并解析光电系统反馈的跟踪状态,当解析为偏移跟踪状态时发送跟踪确认指令,使光电系统自动切换至新目标持续跟踪;实现了光电系统对控制平台识别与跟踪目标的同步跟踪,解决了现有技术中两者无法协同跟踪的问题。
51、3、本发明的控制平台通过网络接口接收光电系统单向输出的侦查图像,调用智能图像处理模块与神经网络深度学习跟踪算法,对侦查图像进行多类型目标识别与高性能跟踪。在此基础上,控制平台通过分次发送偏移跟踪指令引导光电系统逼近新目标,待光电系统进入偏移跟踪状态后发送跟踪确认指令使其切换至新目标,并发送跟踪微调指令使跟踪框与目标精确重合,解决了现有控制平台无法实时自动驱动光电系统转动以跟踪识别新目标的问题。
52、4、本发明在控制平台引导光电系统逼近新目标的过程中,计算新目标与侦查图像中心的像素偏差,当偏差大于设定阀值时,采用分次发送偏移跟踪指令的方式,使光电系统分段逐步逼近新目标,而非一次性驱动到位;这一分段驱动机制有效避免了因新目标与原目标在侦查图像中像素位置差较大时,伺服系统驱动光电系统转动产生的过调及驱动力惯性过大问题,解决了临近目标位置时的跟踪振荡问题,使跟踪过程平滑稳定。
53、5、本发明在目标切换过程中设置了偏移跟踪状态作为中间过渡:视频跟踪器首先将十字光标指示至新目标位置,此时跟踪框仍锁定原目标,待控制平台发送跟踪确认指令后,视频跟踪器方将跟踪目标切换为新目标。本发明先指示、后确认的两段式切换机制,避免了无需对新目标跟踪时频繁直接切换而丢失原目标的风险,提高了目标切换的可靠性。自动切换完成后,通过控制平台发送跟踪微调指令,视频跟踪器将跟踪框逐像素移动,实现跟踪框与新目标位置的精确重合,提高目标自动切换时的安全可靠性。
54、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com