一种无人机目标检测数据主动构建方法、系统、设备及介质与流程
本发明涉及计算机视觉与无人机应用,具体涉及一种无人机目标检测数据主动构建方法、系统、设备及介质。
背景技术:
1、本节中的陈述仅提供与本公开相关的背景信息,并且可能不构成现有技术。
2、随着无人机技术的快速发展,其在电力巡检、安防监控、应急救援、地理测绘等领域的应用日益广泛。目标检测作为无人机视觉感知系统的核心任务,其准确性与鲁棒性直接决定了无人机智能化作业的水平。深度学习目标检测模型的性能高度依赖于训练数据的规模、质量与场景覆盖度。
3、然而,无人机在真实作业过程中,其飞行状态(如高度、姿态)与成像参数(如云台角度、焦距)呈现高度动态变化,导致目标在图像中表现出显著的尺度跨度、视角畸变、背景复杂及遮挡等特征。这种“飞行-成像”条件的强耦合性,使得目标检测模型在常规场景下表现良好,但在特定飞行成像组合的长尾场景中极易出现漏检、误检或定位偏移等失效现象。
4、目前,业界主要采用基于模型不确定性的主动学习方法、基于难例挖掘与数据增强策略(如ohem、gan等),或基于经验规则的无人机数据盲采方案。但上述技术面临以下显著缺陷:
5、缺乏对“飞行-成像”物理状态的显式建模。现有技术多依赖模型置信度或损失值进行样本筛选,属于“黑盒”反馈,无法解析模型失效的根本物理成因(如区分漏检是因高空像素不足还是因大俯仰角透视畸变),导致数据收集存在较大盲目性。
6、失效模式分析碎片化。现有技术未将“目标类别”、“飞行成像状态”与“检测失效类型”进行系统性关联,缺乏结构化知识载体,历史失效经验难以复用。
7、缺乏量化优先级与闭环反馈机制。现有数据补采多依赖经验,且执行后无法精准评估该动作对特定失效模式的实际改善效果,导致算力与标注资源严重浪费,无法实现系统的自我进化。
技术实现思路
1、本发明的目的在于:针对目前现有技术在面对无人机复杂多变的飞行成像环境时,数据构建存在盲目性(缺乏物理维度指导)、失效经验无法有效沉淀复用,以及缺乏闭环评估机制导致算力和标注资源浪费等问题,本发明提供了一种无人机目标检测数据主动构建方法、系统、设备及介质,基于显式的物理状态映射、多维结构化失效图谱构建、数据构建任务优先级量化评估以及基于历史补强收益的动态闭环更新机制,实现了无人机目标检测数据流水线的智能化、精准化决策与自适应进化,全面提升了目标检测模型在复杂长尾场景下的鲁棒性与作业可靠性。
2、本发明的技术方案如下:
3、一种无人机目标检测数据主动构建方法,包括:
4、步骤s1:获取无人机采集图像、与所述无人机采集图像对应的飞行成像信息、目标检测模型对所述无人机采集图像输出的包含检测框的检测结果,以及包含参考框的参考目标信息;
5、步骤s2:通过预设的飞行成像状态映射规则和/或飞行成像状态映射模型,将所述飞行成像信息映射为飞行成像状态信息;
6、步骤s3:基于所述检测框与所述参考框的空间重合度和类别一致性进行匹配,并根据匹配结果生成检测失效记录,所述检测失效记录至少包括目标类别、飞行成像状态信息、检测失效类型和失效统计值;
7、步骤s4:根据所述检测失效记录构建或更新飞行成像失效图谱,所述飞行成像失效图谱包括目标类别节点、飞行成像状态节点和检测失效类型节点;所述目标类别节点、飞行成像状态节点和检测失效类型节点之间通过边或超边连接,所述边或超边的权重用于表征对应目标类别在对应飞行成像状态下发生对应检测失效类型的失效频次或失效概率;
8、步骤s5:基于所述飞行成像失效图谱中所述边或超边的权重,结合对应目标类别和飞行成像状态组合在训练数据集中的样本覆盖度和/或样本稀缺度,以及所述目标检测模型的不确定性,确定数据构建任务的优先级;
9、步骤s6:根据所述优先级和所述检测失效类型确定并执行数据构建任务,得到主动构建数据;
10、步骤s7:利用所述主动构建数据对所述目标检测模型进行训练、微调或评价,获取执行所述数据构建任务后对应失效频次或失效概率的变化量作为历史补强收益,并根据所述历史补强收益反馈更新所述飞行成像失效图谱中所述边或超边的权重。
11、进一步地,所述飞行成像信息包括飞行高度、相对地形高度、云台角、俯仰角、横滚角、相机焦距、相机视场角和图像分辨率;
12、所述通过预设的飞行成像状态映射规则和/或飞行成像状态映射模型,将所述飞行成像信息映射为飞行成像状态信息,包括:
13、根据所述飞行高度、所述相机焦距和所述图像分辨率,计算确定地面采样距离和有效成像分辨率;
14、根据所述相对地形高度、所述云台角、所述俯仰角、所述横滚角和所述相机视场角,计算确定目标到相机的斜距和视角倾斜程度;
15、将所述地面采样距离、有效成像分辨率、斜距和视角倾斜程度分别映射至预设的状态区间,组合得到结构化的所述飞行成像状态信息。
16、进一步地,基于所述检测框与所述参考框的空间重合度和类别一致性进行匹配,并根据匹配结果生成检测失效记录,包括:
17、将所述检测框与所述参考框进行交并比计算,得到所述空间重合度;
18、在所述检测框与所述参考框的空间重合度满足预设的第一阈值且类别一致的情况下,确定二者匹配成功;
19、在所述参考框不存在匹配成功的检测框的情况下,确定对应目标存在漏检,所述检测失效类型为漏检;
20、在所述检测框不存在匹配成功的参考框的情况下,确定对应检测结果存在误检,所述检测失效类型为误检;
21、在所述检测框与所述参考框的空间重合度低于预设的定位阈值且高于预设的背景阈值的情况下,确定对应目标存在定位偏移,所述检测失效类型为定位偏移;
22、在所述检测框与所述参考框的空间重合度满足所述预设的第一阈值但类别不一致的情况下,确定对应目标存在类别混淆,所述检测失效类型为类别混淆。
23、进一步地,所述数据构建任务的优先级通过如下公式确定:
24、
25、其中,表示目标类别、飞行成像状态和检测失效类型对应的数据构建任务的优先级;表示对应该目标类别、该飞行成像状态组合下发生该检测失效类型的失效频次或失效概率;表示该目标类别和该飞行成像状态组合在所述训练数据集中的所述样本稀缺度;表示所述目标检测模型在该组合下的不确定性;表示所述历史补强收益;、、和为对应的权重系数。
26、进一步地,所述数据构建任务至少包括真实补采任务、合成数据生成任务、图像增强任务和难例挖掘任务;
27、所述根据所述优先级和所述检测失效类型确定并执行数据构建任务,包括:
28、在所述数据构建任务的优先级达到预设的触发阈值时:
29、当所述检测失效类型为漏检时,优先确定并执行所述真实补采任务或所述合成数据生成任务;
30、当所述检测失效类型为误检时,优先确定并执行所述难例挖掘任务;
31、当所述检测失效类型为定位偏移时,优先确定并执行提升分辨率的所述真实补采任务或局部区域的所述图像增强任务。
32、进一步地,执行所述真实补采任务包括:根据待补采的所述目标类别,以及所述飞行成像失效图谱中对应的飞行成像状态,设定无人机的飞行高度和云台角参数执行针对性飞行补采,使补采得到的所述无人机采集图像落入对应的所述飞行成像状态;
33、执行所述合成数据生成任务或图像增强任务包括:利用现有图像,根据预期的所述飞行成像状态包含的视角倾斜程度对目标进行图像裁剪或粘贴,生成具有对应飞行成像状态背景的增强图像,并同步生成对应的边界框标注。
34、进一步地,获取执行所述数据构建任务后对应失效频次或失效概率的变化量作为历史补强收益,并根据所述历史补强收益反馈更新所述飞行成像失效图谱中所述边或超边的权重,包括:
35、在利用所述主动构建数据对所述目标检测模型进行微调后,重新获取所述目标检测模型在预划分的验证数据集上的检测结果;
36、根据重新获取的检测结果,计算对应目标类别在对应飞行成像状态下发生对应检测失效类型的失效概率的变化量,将所述变化量作为正向或负向的所述历史补强收益;
37、利用计算得到的所述历史补强收益更新所述飞行成像失效图谱中对应的所述边或超边的权重,以在下一次迭代确定数据构建任务的优先级时,优先选择具有最高正向历史补强收益的数据构建任务类型。
38、本发明还提出了一种无人机目标检测数据主动构建系统,用于实现如上述的方法,包括:
39、信息获取模块,用于获取无人机采集图像、与所述无人机采集图像对应的飞行成像信息、目标检测模型对所述无人机采集图像输出的包含检测框的检测结果,以及包含参考框的参考目标信息;
40、状态映射模块,用于通过预设的飞行成像状态映射规则和/或飞行成像状态映射模型,将所述飞行成像信息映射为飞行成像状态信息;
41、失效分析模块,用于基于所述检测框与所述参考框的空间重合度和类别一致性进行匹配,并根据匹配结果生成检测失效记录,所述检测失效记录至少包括目标类别、飞行成像状态信息、检测失效类型和失效统计值;
42、图谱构建模块,用于根据所述检测失效记录构建或更新飞行成像失效图谱,所述飞行成像失效图谱包括目标类别节点、飞行成像状态节点和检测失效类型节点;所述目标类别节点、飞行成像状态节点和检测失效类型节点之间通过边或超边连接,所述边或超边的权重用于表征对应目标类别在对应飞行成像状态下发生对应检测失效类型的失效频次或失效概率;
43、优先级确定模块,用于基于所述飞行成像失效图谱中所述边或超边的权重,结合对应目标类别和飞行成像状态组合在训练数据集中的样本覆盖度和/或样本稀缺度,以及所述目标检测模型的不确定性,确定数据构建任务的优先级;
44、数据构建模块,用于根据所述优先级和所述检测失效类型确定并执行数据构建任务,得到主动构建数据;
45、反馈更新模块,用于利用所述主动构建数据对所述目标检测模型进行训练、微调或评价,获取执行所述数据构建任务后对应失效频次或失效概率的变化量作为历史补强收益,并根据所述历史补强收益反馈更新所述飞行成像失效图谱中所述边或超边的权重。
46、本发明还提出了一种电子设备,包括:
47、至少一个处理器;以及与所述至少一个处理器通信连接的存储器;
48、其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令,使得所述至少一个处理器执行如上述的方法。
49、本发明还提出了一种计算机可读存储介质,所述计算机可读存储介质用于存储指令,当所述指令被执行时,使如上述的方法被实现。
50、与现有的技术相比本发明的有益效果是:
51、1、打破“黑盒”局限,实现基于物理成像根源的失效归因分析。本发明通过映射规则或模型,将无人机的抽象传感参数转化为地面采样距离(gsd)、视角倾斜程度等具象的物理成像状态信息,从光学和几何根源上精准解析失效原因,为数据补强提供明确指导,大幅降低盲目性。
52、2、构建多维结构化知识底座,实现长尾失效经验的精准沉淀。创新性构建了包含“目标类别、成像状态、失效类型”三维节点的飞行成像失效图谱,并通过边或超边的权重表征失效频次与概率。该图谱将碎片化错误进行结构化沉淀,直观量化特定类别在特定姿态下的易错模式。
53、3、量化数据构建优先级,实现有限资源的最优配置。综合图谱权重、样本稀缺度、模型不确定性及历史收益,建立了严密的量化公式,并智能匹配差异化的真实补采或合成增强动作,将算力与标注成本精准投放到最稀缺的“刀刃”上。
54、4、形成自适应闭环反馈,赋予系统自我进化能力。通过计算微调后模型在预划分验证数据集上的失效概率变化量,获取历史补强收益并回写至图谱的边权重中。系统具备了“记忆”能力,在后续迭代中自动寻优最高收益的数据构建路径,实现流水线的持续演进。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com