一种无人机光电吊舱跟踪控制系统及方法与流程
本发明涉及无人机智能控制,具体涉及一种无人机光电吊舱跟踪控制系统及方法。
背景技术:
1、无人机光电吊舱广泛应用于安防巡检、目标监视、应急救援等领域,其核心功能是在飞行过程中,对地面或建筑物上的特定目标进行自动识别、锁定并持续跟踪,使目标始终稳定在吊舱视场中心。
2、现有技术公开的无人机光电吊舱控制方法大多采用"检测-跟踪-控制"的串行架构,这种串行架构在复杂场景(如森林、楼宇)以及目标短暂遮挡和光照变化等环境干扰下,会导致跟踪算法输出结果跳动或漂移,进而引发伺服控制的剧烈震荡。
3、其次,现有无人机光电吊舱的控制方法通常根据目标中心与图像中心之间的像素偏差,计算云台方位轴和俯仰轴的控制量。该控制方法能够在目标位置偏差较为稳定时控制云台跟随目标,但其控制参数通常取决于当前位置偏差,这会导致伺服控制响应完全取决于目标在图像中的位置误差大小,从而导致云台因位置误差大小变化而产生抖动。
4、此外,现有光电吊舱跟踪系统在精准跟踪、目标纠偏和目标搜索等工作模式之间切换时,通常直接改变控制参数或者控制指令,从而在模式切换瞬间产生云台运动的不连续。
技术实现思路
1、因此,本发明提供了一种具有并行检测-跟踪协同、闭环自适应优化机制和平滑切换工作模式的无人机光电吊舱跟踪控制系统及方法,旨在解决现有技术中串行架构在复杂环境下跟踪漂移与伺服震荡、伺服控制系统缺乏对跟踪状态的综合判别以及模式切换时云台控制参数失真抖动的问题。
2、为了实现上述目的,本发明提供如下技术方案:
3、一种无人机光电吊舱跟踪控制系统,包括:
4、外部接口层,与地面控制站通信连接,其包括图像采集模块和通信模块;其中,图像采集模块用于采集光电吊舱视场内的图像信息,并将图像信息输出至算法处理层;通信模块用于获取包括目标选择指令的控制指令,并将目标选择指令输出至算法处理层;
5、算法处理层,与外部接口层通信连接,其包括图像识别模块、跟踪器模块、并行检测器模块、目标纠偏模块和抗干扰模块,其中,图像识别模块用于根据图像信息识别目标类别和任务场景,根据目标类别和目标选择指令确定跟踪目标,并将目标类别和任务场景分别输出至跟踪器模块及并行检测器模块;所述任务场景至少包括密集建筑场景和空旷场景;跟踪器模块用于通过跟踪边界框持续跟踪目标并输出跟踪结果至目标纠偏模块和抗干扰模块,所述跟踪结果至少包括跟踪目标中心位置坐标和跟踪边界框位置坐标;并行检测器模块用于与所述跟踪器模块并行处理图像信息,通过检测边界框检测跟踪目标并输出检测结果至目标纠偏模块和抗干扰模块,所述检测结果至少包括检测目标中心位置坐标和检测边界框位置坐标;目标纠偏模块用于根据检测目标中心位置坐标和跟踪目标中心位置坐标计算跟踪检测位置偏移量,并根据跟踪检测位置偏移量生成补偿控制量,并将补偿控制量输出至主控决策层;抗干扰模块用于根据检测边界框位置坐标和跟踪边界框位置坐标计算边界框重叠率,根据边界框重叠率识别异常跟踪边界框;当所述边界框重叠率低于预设重叠率阈值,目标置信度满足预设置信度阈值且框合理性指标满足预设合理性阈值时,将所述跟踪边界框确定为异常跟踪边界框并予以滤除;
6、主控决策层,与算法处理层通信连接,其包括模式管理模块、平滑切换模块和判断与决策模块,其中,判断与决策模块配置有跟踪状态映射关系,用于根据检测结果和跟踪结果生成跟踪评价信息,确定跟踪状态,并根据不同跟踪状态切换对应的控制策略;所述控制策略包括保持角度控制策略、纠偏控制策略和重捕获控制策略;所述跟踪评价信息至少包括目标置信度、框合理性指标和连续丢失时间指标;其中,所述框合理性指标用于表征跟踪边界框和检测边界框是否超出图像边界以及宽高比是否超出预设正常范围;所述跟踪状态至少包括稳定跟踪状态、预丢失状态和目标丢失状态;所述目标置信度用于表征当前目标检测结果与目标跟踪结果的可靠程度;所述边界框重叠率指跟踪边界框面积和检测边界框面积的交集与跟踪边界框面积和检测边界框面积的并集的比值;模式管理模块配置有模式映射关系,用于根据跟踪状态和任务场景确定工作模式;所述工作模式至少包括搜索模式、跟踪-并行检测模式、跟踪增强模式和抗扰跟踪模式;平滑切换模块用于对切换前工作模式对应的控制量和切换后工作模式对应的控制量实施渐进式控制过渡;
7、伺服驱动层,与主控决策层通信连接,其包括速度自适应控制模块、角度自适应控制模块和变焦自适应控制模块;其中,速度自适应控制模块用于根据跟踪检测位置偏移量及跟踪评价信息动态调整电机速度控制参数;所述电机速度控制参数包括比例系数、积分参数及微分参数;角度自适应控制模块用于根据跟踪检测位置偏移量动态调整云台角度控制参数,实现大角度快速转动和小角度精细调节的自适应控制;所述云台角度控制参数包括云台角速度、角加速度及角速度限幅;变焦自适应控制模块用于动态调整变焦控制参数,实现控制参数与焦距参数的自适应匹配;
8、自适应优化层分别与算法处理层、主控决策层和伺服驱动层通信连接,用于构建算法处理层、主控决策层与伺服驱动层之间的闭环自适应优化机制;所述自适应优化层用于根据算法处理层输出的检测结果、跟踪结果以及主控决策层反馈的跟踪状态等信息,更新下一控制周期中伺服驱动层中的速度自适应控制模块、角度自适应控制模块、变焦自适应控制模块中的控制参数;所述控制参数包括电机速度控制参数、云台角度控制参数和变焦控制参数。
9、进一步地,所述判断与决策模块配置有跟踪状态映射关系,具体包括:
10、目标置信度不低于预设置信度阈值且框合理性指标不低于预设合理性阈值所对应的跟踪状态为稳定跟踪状态;
11、目标置信度低于所述预设置信度阈值或者框合理性指标低于所述预设合理性阈值所对应的跟踪状态为预丢失状态,所述预丢失状态对应连续丢失时间指标的初始化及累计;
12、所述预丢失状态下,连续丢失时间指标超过预设容忍阈值所对应的跟踪状态为目标丢失状态;所述框合理性指标用于表征检测边界框和跟踪边界框是否超出图像边界,以及边界框宽高比是否处于预设正常范围。
13、进一步地,所述模式管理模块配置有模式映射关系,具体包括:
14、稳定跟踪状态且当前任务场景为密集建筑场景对应抗扰跟踪模式;
15、稳定跟踪状态且当前任务场景为空旷场景对应跟踪增强模式;
16、稳定跟踪状态且当前任务场景为密集建筑场景和空旷场景以外的其他任务场景对应跟踪-并行检测模式;
17、预丢失状态对应目标纠偏模式;
18、目标丢失状态对应搜索模式。
19、进一步地,所述目标纠偏模块包括:
20、位置偏移计算单元,被配置为根据检测结果和跟踪结果,输出水平跟踪检测位置偏移量和垂直跟踪检测位置偏移量;所述检测结果至少包括检测目标中心位置坐标和检测边界框位置坐标;所述跟踪结果至少包括跟踪目标中心位置坐标和跟踪边界框位置坐标;
21、补偿量生成单元,被配置为根据水平跟踪检测位置偏移量和垂直跟踪检测位置偏移量,输出方位角补偿量和俯仰角补偿量。
22、进一步地,所述主控决策层根据不同跟踪状态执行对应的控制策略,包括:
23、当跟踪状态为稳定跟踪状态时,对应保持角度控制策略,速度自适应控制模块对电机速度控制参数进行精细微调;所述电机速度控制参数包括比例系数、积分限幅、积分参数及微分参数。
24、当跟踪状态为预丢失状态时,对应纠偏控制策略,角度自适应控制模块动态调整云台角度控制参数;所述云台角度控制参数包括云台角速度、角加速度及角速度限幅;
25、当跟踪状态为目标丢失状态时,对应重捕获控制策略,变焦自适应控制模块动态调整变焦控制参数,扩大云台扫描范围,所述变焦控制参数包括镜头焦距。
26、一种无人机光电吊舱跟踪控制方法,基于前述的无人机光电吊舱跟踪控制系统得以实施,包括如下步骤:
27、s10,接收地面控制指令并采集图像信息,识别目标类别和当前任务场景,根据所述地面控制指令和目标类别确定跟踪目标;通过跟踪器和并行检测器对所述图像信息进行并行处理,由所述跟踪器通过跟踪边界框持续跟踪所述跟踪目标并输出跟踪结果,由所述并行检测器通过检测边界框检测所述跟踪目标并输出检测结果;所述跟踪结果至少包括跟踪目标中心位置坐标和跟踪边界框位置坐标,所述检测结果至少包括检测目标中心位置坐标和检测边界框位置坐标;
28、s20,根据所述检测结果和跟踪结果生成跟踪评价信息,并计算检测边界框与跟踪边界框之间的边界框重叠率,并根据边界框重叠率滤除异常跟踪边界框;根据所述跟踪评价信息得到跟踪状态;并根据跟踪状态和任务场景确定对应的工作模式,并通过渐进式控制过渡方式由当前工作模式切换至下一工作模式;
29、s30,根据跟踪状态执行对应的控制策略;并根据检测结果、跟踪结果、跟踪状态及跟踪评价信息更新下一控制周期的电机速度控制参数、云台角度控制参数和变焦控制参数;所述电机速度控制参数包括比例系数、积分限幅、积分参数及微分参数;所述云台角度控制参数至少包括云台角速度、角加速度及角速度限幅;所述变焦控制参数至少包括镜头焦距。
30、进一步地,所述步骤s20中,所述工作模式的确定过程包括:
31、当跟踪状态为稳定跟踪状态且当前任务场景为密集建筑场景时,系统切换为抗扰跟踪模式;
32、当跟踪状态为稳定跟踪状态且当前任务场景为空旷场景时,系统切换为跟踪增强模式;
33、当跟踪状态为稳定跟踪状态且当前任务场景为密集建筑场景和空旷场景以外的其他任务场景时,系统切换为跟踪-并行检测模式;
34、当跟踪状态为预丢失状态时,系统切换为目标纠偏模式;
35、当跟踪状态为目标丢失状态时,系统切换为搜索模式。
36、进一步地,所述抗扰跟踪模式具体包括:
37、根据跟踪边界框位置坐标确定目标检测区域;
38、提高目标检测区域的目标检测频率和异常跟踪边界框检测频率;
39、当目标置信度低于预设置信度阈值或框合理性指标低于预设合理性阈值时,退出所述抗扰跟踪模式,并通过渐进式控制过渡切换至目标纠偏模式。
40、进一步地,所述步骤s30中根据跟踪状态执行对应的控制策略,包括:
41、当跟踪状态为稳定跟踪状态时,切换保持角度控制策略,并对电机速度控制参数进行精细微调;所述电机速度控制参数包括比例系数、积分限幅、积分参数及微分参数。
42、当跟踪状态为预丢失状态时,切换纠偏控制策略,并动态调整云台角度控制参数;所述云台角度控制参数包括云台角速度、角加速度及角速度限幅;
43、当跟踪状态为目标丢失状态时,切换重捕获控制策略,并动态调整变焦控制参数,扩大云台扫描范围,所述变焦控制参数包括镜头焦距。
44、进一步地,所述保持角度控制策略根据跟踪目标中心位置坐标与图像中心位置坐标计算目标中心位置偏移量,并根据目标中心位置偏移量生成角速度控制量;当目标中心位置偏移量处于预设跟踪死区范围内时,保持云台当前姿态;当目标中心位置偏移量超出预设跟踪死区范围时,对比例系数、积分限幅、积分参数及微分参数进行精细微调;
45、所述纠偏控制策略根据检测目标中心位置坐标与跟踪目标中心位置坐标计算水平位置偏移量和垂直位置偏移量,并结合云台当前姿态,将所述水平位置偏移量和垂直位置偏移量转换为方位角补偿量和俯仰角补偿量,动态调整云台角速度、角加速度及角速度限幅;
46、所述重捕获控制策略根据目标丢失前的运动方向和云台当前姿态确定搜索中心和初始搜索方向,降低镜头焦距以增大光学视场角,并控制云台以所述搜索中心为基准按照预设扫描轨迹扩大扫描范围。
47、本发明相对于现有技术具有以下有益效果:
48、1、本发明通过并行检测器与跟踪器的协同工作机制,由判断与决策模块根据并行检测器的检测结果和跟踪器的跟踪结果生成跟踪评价信息,并由目标纠偏模块根据检测边界框与跟踪边界框之间的偏移量和重叠率,结合目标置信度和跟踪状态进行综合判断,解决了现有串行架构在复杂背景、目标短暂遮挡和光照变化等环境干扰下跟踪结果跳动漂移、进而引发伺服控制剧烈震荡的问题,提高了复杂环境下目标跟踪的稳定性和伺服控制的平滑性。
49、2、本发明通过闭环自适应优化机制,针对稳定跟踪、预丢失和目标丢失三种跟踪状态分别采用保持角度、目标纠偏和目标重捕获三种控制策略,并由自适应优化层接收算法层输出的跟踪状态和置信度以及伺服驱动层反馈的云台姿态和镜头变焦信息形成闭环自适应调节,解决了现有技术中伺服控制仅依赖目标偏移量而缺乏对位置偏移量综合判别能力的问题,使伺服控制参数能够根据跟踪状态的变化实时自适应匹配。
50、3、本发明通过渐进式控制过渡方式退出当前工作模式,并进入下一工作模式,并根据当前跟踪状态和目标置信度动态确定模式切换时机,解决了现有系统在广域检测模式和精准跟踪模式间切换时控制参数不变导致云台运动不连贯并可能丢失目标的问题,实现了工作模式的抗扰动平滑切换。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com