基于大语言模型工具调用的低空目标三维定位方法及系统
本发明涉及计算机视觉与人工智能,具体地,涉及一种基于大语言模型工具调用的低空目标三维定位方法及系统,尤其是一种基于大语言模型工具调用循环的低空目标三维定位方法。
背景技术:
1、近年来,随着低空经济发展和小型飞行器数量增加,机场净空保护、低空交通管理、园区安防及大型活动保障等场景需要持续监测无人机、鸟类和气球等低空目标。除发现目标外,监测系统还需要给出目标的三维位置,以支持威胁判断、航迹分析和后续处置。远距离低空目标在整幅图像中占据的像素较少,仅依靠通用视觉模型难以稳定确定目标区域;目标检测模型能够输出二维边界框,但二维边界框本身不能直接得到目标相对于监测设备的空间坐标。
2、现有低空目标定位技术主要包括雷达或通感一体化感知、可见光目标检测以及rgb图像与深度图或lidar点云融合。雷达能够估计距离、速度和角度,但对小型无人机、鸟类等相似目标的区分能力受回波特征影响;可见光图像能够提供目标外观和像素位置,但单目图像缺少绝对深度;深度图和lidar点云能够提供距离或三维点,但仍需与图像中的具体目标区域建立对应关系。现有rgb-d定位通常采用预先设定的目标检测、深度读取和坐标解算流水线。
3、现有技术中存在较多机器人导航和三维视觉定位方案,比如:公开号为cn121274998a的专利文献公开了一种机器人导航规划方法及系统,使用rgb-d多视角数据,由多模态大模型选择视角,利用目标定位模型输出像素级边界框,再由空间解算函数结合边界框和深度信息进行定位;公开号为cn121498693a的专利文献公开了一种未知环境下机器人物品导航方法,采集rgb图像和深度图,利用大语言模型和多模态大模型确定策略、调用目标检测模型并反馈检测结果,成功检测后计算目标三维坐标。另有三维视觉定位研究利用大语言模型作为代理分解任务并调用外部视觉定位工具。
4、上述现有技术方案能够利用多种感知信息完成定位,但没有针对远距离低空小目标定位中的高密度深度数据输入和大模型数值计算误差问题提出有效的解决方案。其一,完整深度图属于高密度数值数据,分辨率为1920×1080的深度图包含约207万个数值,无法作为普通文本完整写入上下文长度为128k词元的大语言模型;将深度值转换为可视化图像又难以保持精确数值。其二,三角函数、射线归一化和坐标变换属于确定性数值运算,若由大语言模型直接生成计算结果,会产生舍入误差和累积误差。因此,需要在保留大语言模型任务组织能力的同时,使深度读取和几何计算在模型外部完成,并使各步骤通过结构化字段逐轮衔接。
5、据了解,现有低空目标定位方法尚缺少一种针对上述数据规模和数值计算问题的具体工具调用实现,故本发明面向无人机、鸟类和气球等低空目标,提出一种基于大语言模型工具调用循环的低空目标三维定位方法。
技术实现思路
1、针对现有技术中的缺陷,本发明的目的是提供一种基于大语言模型工具调用的低空目标三维定位方法及系统。
2、根据本发明提供的一种基于大语言模型工具调用的低空目标三维定位方法,包括如下步骤:
3、构建大语言模型的初始上下文,所述初始上下文包含用于引用大数据量文件的引用信息和多个外部工具的结构化描述;其中,所述大数据量文件的完整内容不包含在所述初始上下文中;
4、所述大语言模型根据当前上下文,生成一个指定了待调用工具及其所需参数的机器可解析的工具调用指令;
5、由一个外部执行器解析所述工具调用指令,并调用在所述大语言模型外部实现的计算模块,以执行数据处理或数值计算任务;
6、将所述计算模块执行后返回的结果,提供给所述大语言模型以更新其上下文;
7、所述大语言模型根据更新后的上下文内容判断定位任务是否完成,并在判断为完成后,停止生成工具调用指令,并生成包含最终定位结果的输出。
8、优选的,所述大数据量文件包括同一时刻、同一视场下采集的rgb图像和深度图。
9、优选的,所述外部工具包括目标检测工具;
10、所述大语言模型生成的第一条工具调用指令为调用所述目标检测工具,以处理所述rgb图像并返回目标的边界框。
11、优选的,所述外部工具还包括目标区域深度读取与统计工具;
12、所述大语言模型在上下文中获得所述边界框后,生成调用所述目标区域深度读取与统计工具的指令,以根据所述深度图和所述边界框,计算并返回一个代表性的深度值。
13、优选的,所述代表性的深度值为所述边界框对应区域内有效深度值的中值或均值。
14、优选的,所述初始上下文还包含相机参数,所述相机参数包括相机内参和相机外参。
15、优选的,所述外部工具还包括像素射线计算工具;
16、所述大语言模型生成调用所述像素射线计算工具的指令,以根据所述边界框确定的目标像素坐标和所述相机内参,计算并返回相机坐标系下的单位方向向量。
17、优选的,所述外部工具还包括世界坐标变换工具;
18、所述大语言模型在上下文中获得所述代表性的深度值和所述单位方向向量后,生成调用所述世界坐标变换工具的指令,以结合所述相机外参,计算并返回目标在世界坐标系下的三维坐标作为所述最终定位结果。
19、优选的,所述大数据量文件还包括lidar点云;
20、所述方法进一步包括:将所述单位方向向量与所述lidar点云进行求交或查找最近点,以确定目标的三维坐标作为所述最终定位结果。
21、本发明还提供一种基于大语言模型工具调用的低空目标三维定位系统,包括:
22、一个上下文构建模块,用于构建大语言模型的初始上下文,所述上下文包含用于引用大数据量文件的引用信息和多个外部工具的结构化描述;其中,所述大数据量文件的完整内容不包含在所述初始上下文中;
23、一个大语言模型,配置为根据当前上下文,生成一个指定了待调用工具及其所需参数的机器可解析的工具调用指令;
24、一个外部执行器,配置为解析所述工具调用指令,并调用在所述大语言模型外部实现的计算模块,以执行数据处理或数值计算任务;
25、所述外部执行器还配置为将所述计算模块执行后返回的结果,提供给所述大语言模型以更新其上下文;
26、所述大语言模型还配置为根据更新后的上下文内容判断定位任务是否完成,并在判断为完成后,停止生成工具调用指令,并生成包含最终定位结果的输出。
27、与现有技术相比,本发明具有如下的有益效果:
28、1、本发明有效解决了大语言模型处理大数据量文件的难题,通过在上下文中仅传递文件的引用信息,而将完整的高密度数据保留在模型外部,并由外部的计算模块根据需要仅读取和处理相关的数据子集,这种方式避免了因数据体积过大而超出模型上下文容量限制的问题,使得大语言模型能够调度和处理任意大小的感知数据文件。
29、2、本发明显著提高了定位结果的准确性和可靠性,三维定位中涉及的三角函数、向量运算和坐标变换等确定性数值计算,均被封装在外部计算模块中执行,这避免了让大语言模型直接进行其不擅长的精确数学运算,从而消除了可能产生的近似误差和累积误差,保证了最终输出的三维坐标的精度。
30、3、本发明构建了一个灵活且可追溯的定位框架,通过将定位流程分解为一系列具有明确输入输出的独立工具,并由大语言模型根据当前上下文动态地生成工具调用指令,形成了一条清晰的计算链,每一轮的工具调用、参数和返回结果都被记录在上下文中,使得整个定位过程透明、可复核,便于调试和优化,同时也增强了系统应对不同目标和场景的适应能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com