一种基于智能体的无人机云台对焦和变焦自动控制方法与流程

本发明涉及无人机智能巡检，具体涉及一种基于智能体的无人机云台对焦和变焦自动控制方法。

背景技术：

1、目前无人机巡检已广泛应用于电力杆塔、高层建筑、桥梁工程、户外设备安防检测等领域，常规低空巡检模式技术相对成熟，但在70米以上低空巡检作业场景中，现有技术存在明显技术短板。低空环境下存在空气湍流、光线散射、远距离成像衰减等情况，无人机搭载云台相机拍摄时巡检目标在画面中有效成像像素低，会导致成像画面占比不足、安全隐患等关键细节无法有效呈现等问题，严重影响后续隐患识别精度。

2、现有无人机云台控制多依靠人工预先设定航线、航点动作及固定运行参数，按程序化指令执行作业。飞行途中发现目标后仅能根据预设的固定参数调整镜头进行拍摄，存在无法适配不同高度、位置的巡检目标，极易出现目标偏移、画面占比不足、巡检目标有效像素不足等缺陷。同时，传统巡检方案多搭载单一识别模型，低空常规场景适配性尚可，但针对70米以上高度低质量图像，易出现目标漏检、误检，隐患识别准确率低，依赖人工复核。现有技术暂未实现云台调控、高清成像、隐患识别的全流程自动化联动。

3、综上所述，现有技术缺少针对70米以上低空巡检场景的专用智能调控方案，无法实现目标精准定位、云台自适应对焦变焦、高清采集、隐患智能识别的一体化自动控制，存在作业效率低、成像质量差、隐患识别准确率低、人工依赖度高的缺陷，难以满足空中精细化巡检的作业需求。

技术实现思路

1、本发明所要解决的技术问题是：针对现有技术多依靠人工预设航线、航点动作等固定任务、固定参数调控拍摄的模式无法适配不同高度、不同的巡检目标，易出现目标偏移、画面占比不足、目标成像有效像素不足等问题，提供一种基于智能体的无人机云台对焦和变焦自动控制方法，解决现有70米以上无人机空中巡检成像模糊、云台调控精准度低、目标画面占比不足、巡检自动化程度低、隐患识别精度差的技术问题，实现空中巡检全流程智能化、自动化作业，提升巡检成像质量与隐患检测可靠性。

2、为了解决上述问题，本发明采用如下技术方案：

3、一种基于智能体的无人机云台对焦和变焦自动控制方法，包括以下步骤：

4、采用轻量化小模型，对无人机在空中巡检时采集的实时图像进行目标检测，框选出疑似巡检目标物，并提取与所述疑似巡检目标物对应的三维地理信息系统gis坐标；

5、控制所述无人机保持定点悬停状态，由智能体基于所述三维gis坐标、所述无人机的实时飞行高度以及成像视场角，计算所述无人机与所述疑似巡检目标物的空间位置关系，并调控云台的俯仰角、偏航角和变焦倍数，直至所述疑似巡检目标物在成像画面中的占比不低于预设比例，随后自动触发高清拍照指令，采集高清巡检照片；

6、将所述高清巡检照片推送至视觉大模型进行隐患识别，获得隐患识别结果；

7、输出绑定有隐患目标坐标信息的标准化隐患事件报告。

8、优选地，所述轻量化小模型以低于常规目标检测置信度的阈值对所述实时图像进行目标检测，所述实时图像为存在目标特征弱化的空中远距离模糊图像。

9、优选地，所述智能体调控云台的俯仰角、偏航角和变焦倍数，具体包括以下步骤：

10、基于无人机的gis坐标、历史gis坐标以及所述疑似巡检目标物的三维gis坐标，计算所述无人机与所述疑似巡检目标物之间的水平距离、垂直高度差和空间斜距；

11、基于所述水平距离、垂直高度差、空间斜距以及云台相机的光学参数，计算所述云台所需的俯仰角、偏航角和变焦倍数。

12、优选地，所述计算所述云台所需的俯仰角、偏航角和变焦倍数，进一步包括以下步骤：

13、获取所述疑似巡检目标物在图像中的感兴趣区域roi中心坐标；

14、计算所述roi中心坐标与图像中心坐标之间的中心偏移量；

15、当所述中心偏移量超出预设的目标居中判定阈值时，所述智能体基于所述中心偏移量与预设的映射系数，对所述云台的俯仰角和偏航角进行迭代修正，直至所述中心偏移量处于所述目标居中判定阈值内。

16、优选地，所述映射系数根据所述云台相机的视场角、焦距参数及图像分辨率预先确定。

17、优选地，调控云台的俯仰角、偏航角和变焦倍数，直至所述疑似巡检目标物在成像画面中的占比不低于预设比例，所述预设比例为三分之一。

18、优选地，所述自动触发高清拍照指令，采集高清巡检照片的步骤，具体为：自动触发拍照指令，在连续时序内采集两张所述高清巡检照片。

19、优选地，所述视觉大模型完成隐患识别后，所述方法还包括：对比两张所述高清巡检照片的清晰度、信噪比与目标完整性，择优筛选出一张最优照片；将所述最优照片、所述隐患识别结果、以及绑定的隐患目标经纬度坐标与图像采集时间进行整合，生成所述标准化隐患事件报告并输出。

20、优选地，所述三维gis坐标包括所述疑似巡检目标物相对所述无人机的相对坐标、绝对经纬度坐标、目标尺寸范围及空间高度信息。

21、优选地，所述实时飞行高度为70米至120米之间的任意高度。

22、本发明采用上述技术方案，具有以下有益效果：

23、1、本发明针对性解决70米以上低空巡检痛点，有效克服空中光线散射、远距离成像衰减、气流干扰导致的巡检目标有效像素不足问题，通过智能体自适应参数调控，稳定保证目标物画面占比不低于1/3，大幅提升空中巡检图像质量。

24、2、本发明采用大小模型分级协作架构，小模型适配空中低质量图像、低置信度弱目标检测，避免目标漏检；大模型专注高精度隐患识别，兼顾检测全面性与识别精准度，适配空中复杂巡检场景。

25、3、本发明实现无人机悬停控制、云台对准、自动变焦、高清拍照、隐患识别、信息输出全流程自动化，无需人工操控云台与设备参数，大幅降低人工成本，提升巡检作业效率。

26、4、本发明采用双图采集、择优输出机制，有效规避单张图像拍摄误差、噪点干扰问题，结合经纬度、时间信息绑定，实现隐患信息的精准溯源与标准化输出，巡检结果可靠性更高。

27、5、本发明智能体可根据不同低空高度、不同目标位置动态迭代调控参数，适配性强、通用性广，可适配电力、建筑、桥梁、安防等各类低空无人机巡检场景。

1.一种基于智能体的无人机云台对焦和变焦自动控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述轻量化小模型以低于常规目标检测置信度的阈值对所述实时图像进行目标检测，所述实时图像为存在目标特征弱化的空中远距离模糊图像。

3.根据权利要求1所述的方法，其特征在于，所述智能体调控云台的俯仰角、偏航角和变焦倍数，具体包括以下步骤：

4.根据权利要求3所述的方法，其特征在于，所述计算所述云台所需的俯仰角、偏航角和变焦倍数，进一步包括以下步骤：

5.根据权利要求4所述的方法，其特征在于，所述映射系数根据所述云台相机的视场角、焦距参数及图像分辨率预先确定。

6.根据权利要求1所述的方法，其特征在于，调控云台的俯仰角、偏航角和变焦倍数，直至所述疑似巡检目标物在成像画面中的占比不低于预设比例，所述预设比例为三分之一。

7.根据权利要求1所述的方法，其特征在于，所述自动触发高清拍照指令，采集高清巡检照片的步骤，具体为：自动触发拍照指令，在连续时序内采集两张所述高清巡检照片。

8.根据权利要求7所述的方法，其特征在于，所述视觉大模型完成隐患识别后，所述方法还包括：对比两张所述高清巡检照片的清晰度、信噪比与目标完整性，择优筛选出一张最优照片；将所述最优照片、所述隐患识别结果、以及绑定的隐患目标经纬度坐标与图像采集时间进行整合，生成所述标准化隐患事件报告并输出。

9.根据权利要求1所述的方法，其特征在于，所述三维gis坐标包括所述疑似巡检目标物相对所述无人机的相对坐标、绝对经纬度坐标、目标尺寸范围及空间高度信息。

10.根据权利要求1所述的方法，其特征在于，所述实时飞行高度为70米至120米之间的任意高度。