基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测方法及装置

摘要: 本发明属于计算机视觉目标检测,具体涉及一种基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测方法及装置,适用于细粒度类别众多、呈层次结构的大...
基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测方法及装置

本发明属于计算机视觉目标检测,具体涉及一种基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测方法及装置,适用于细粒度类别众多、呈层次结构的大词表目标检测场景。

背景技术:

1、无人机视角工程车辆检测是工程管理与安全监管中的核心视觉任务。在该场景中,需检测的工程车辆细类众多,且类别间在航拍视角下外观相似度高、分布极不均匀。另一方面,工程车辆细类在语义上自然呈现层次结构,同一粗类下包含多个细类。将细类组织为层次结构可降低分类计算量,有利于在类别众多时控制推理开销。

2、然而,在无人机视角工程车辆检测中应用稀疏层次路由检测头时,现有方案在训练稳定性与容量分配合理性上存在缺陷。其一,稀疏路由在训练与推理时使用同一选择集,并通过专家容量限制每个粗类组处理的位置数,其容量按容量因子乘以全局平均负载确定;当某粗类组被选位置数超过容量上限时,超出部分被丢弃,且该丢弃对带监督标签的位置与无标签位置一视同仁,导致带监督位置的目标粗类组可能被丢弃,分类梯度无法回传,训练不稳定甚至崩溃。其二,容量上限按全局平均负载均匀确定,与监督标签的分布无关,监督集中的粗类组与监督稀疏的粗类组获得相同的容量预算,无法从容量分配层面主动降低监督位置被淘汰的概率。其三,已有按类别数量进行分组的方案,仅以类别计数为信号做静态分组,其分组依据为数量本身,未反映监督在组内的细类分布形态,亦未作用于容量预算环节。因此,需要一种在降低分类计算量的同时保证监督信号完整、训练稳定,并使容量分配贴合监督分布形态的目标检测方法。

技术实现思路

1、为解决现有技术存在的问题,本发明提供一种基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测方法及装置,在层次化条件概率分解与稀疏路由构成的已知骨干结构之上,施加两个自研模块:监督锚定容量分配模块(saca)与完备-稀疏双选择集模块(csds);前者将容量分配目标由moe的负载均衡范式转移为监督分布锚定,即容量预算不再按全局平均负载均匀分配,而是按各粗类组的监督分布形态自适应分配,且当监督锚定权重为零时精确退化为全局均匀分配;后者通过推理选择集与损失选择集解耦并保证条件函数同构,从而在降低分类计算量的同时保证监督梯度完整回传、训练稳定。

2、为实现上述目的,本发明提供了如下方案:

3、一种基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测方法,包括:

4、采集目标数据集;

5、根据目标数据集,得到稀疏层次路由目标检测网络;

6、以边界框损失、层次化分类损失与辅助损失之和作为总损失训练稀疏层次路由目标检测网络;

7、使用训练好的稀疏层次路由目标检测网络进行预测,推理阶段使用推理选择集,按层次分解概率解码得分并进行非极大值抑制,输出目标检测结果。

8、作为优选,步骤s1中,标注目标的细类类别与边界框坐标,并将细类按语义相似性划分为若干粗类组,建立细类到粗类的映射。

9、作为优选,稀疏层次路由目标检测网络包括骨干特征提取网络、颈部特征融合网络与稀疏层次路由检测头,所述检测头包括粗粒度路由器、细粒度分类器、监督锚定容量分配模块与完备-稀疏双选择集模块。

10、作为优选,监督锚定容量分配模块将容量分配目标由moe的负载均衡范式转移为监督分布锚定;其中,容量预算不再按全局平均负载均匀分配,而是按各粗类组的监督分布形态自适应分配,且当监督锚定权重为零时精确退化为全局均匀分配;完备-稀疏双选择集模块通过推理选择集与损失选择集解耦并保证条件函数同构。

11、作为优选,步骤s3中的总损失为:

12、

13、其中,与分别为位置的真实粗类与真实细类,为边界框损失,为层次化分类损失,为辅助损失;

14、所述层次化分类损失采用负对数似然形式:

15、。

16、本发明还提供一种基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测装置,包括:

17、第一处理模块,用于采集目标数据集;

18、第二处理模块,用于根据目标数据集,得到稀疏层次路由目标检测网络;

19、第三处理模块,用于以边界框损失、层次化分类损失与辅助损失之和作为总损失训练稀疏层次路由目标检测网络;

20、第四处理模块,用于使用训练好的稀疏层次路由目标检测网络进行预测,推理阶段使用推理选择集,按层次分解概率解码得分并进行非极大值抑制,输出目标检测结果。

21、作为优选,第一处理模块用于标注目标的细类类别与边界框坐标,并将细类按语义相似性划分为若干粗类组,建立细类到粗类的映射。

22、作为优选,稀疏层次路由目标检测网络包括骨干特征提取网络、颈部特征融合网络与稀疏层次路由检测头,所述检测头包括粗粒度路由器、细粒度分类器、监督锚定容量分配模块与完备-稀疏双选择集模块。

23、作为优选,监督锚定容量分配模块将容量分配目标由moe的负载均衡范式转移为监督分布锚定;其中,容量预算不再按全局平均负载均匀分配,而是按各粗类组的监督分布形态自适应分配,且当监督锚定权重为零时精确退化为全局均匀分配;完备-稀疏双选择集模块通过推理选择集与损失选择集解耦并保证条件函数同构。

24、作为优选,总损失为:

25、

26、其中,与分别为位置的真实粗类与真实细类,为边界框损失,为层次化分类损失,为辅助损失;

27、所述层次化分类损失采用负对数似然形式:

28、。

29、与现有技术相比,本发明的有益效果为:

30、本发明通过监督锚定容量分配模块,将容量分配目标由负载均衡范式转移为监督分布锚定,使各粗类组容量随监督分布形态自适应、从源头降低监督位置被容量淘汰的概率,且以熵为信号作用于容量预算环节、与按类别数量静态分组机制不同,并非已知组合的简单换名;当监督锚定权重=0时精确退化为全局均匀容量分配,是均匀范式的严格泛化而非并列方案。通过完备-稀疏双选择集模块,训练用完备损失选择集保证监督梯度完整回传、推理用稀疏选择集保证高效,保持条件函数同构、训练推理无分布偏移。二者协同使稀疏层次路由检测头在大词表场景下降低分类计算量,在大词表目标检测、长尾类别检测等场景具有广阔应用前景。

1.一种基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测方法,其特征在于,包括:

2.如权利要求1所述的基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测方法,其特征在于,步骤s1中,标注目标的细类类别与边界框坐标,并将细类按语义相似性划分为若干粗类组,建立细类到粗类的映射。

3.如权利要求2所述的基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测方法,其特征在于,稀疏层次路由目标检测网络包括骨干特征提取网络、颈部特征融合网络与稀疏层次路由检测头,所述检测头包括粗粒度路由器、细粒度分类器、监督锚定容量分配模块与完备-稀疏双选择集模块。

4.如权利要求3所述的基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测方法,其特征在于,监督锚定容量分配模块将容量分配目标由moe的负载均衡范式转移为监督分布锚定;其中,容量预算不再按全局平均负载均匀分配,而是按各粗类组的监督分布形态自适应分配,且当监督锚定权重为零时精确退化为全局均匀分配;完备-稀疏双选择集模块通过推理选择集与损失选择集解耦并保证条件函数同构。

5.如权利要求4所述的基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测方法,其特征在于,步骤s3中的总损失为:

6.一种基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测装置,其特征在于,包括:

7.如权利要求6所述的基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测装置,其特征在于,第一处理模块用于标注目标的细类类别与边界框坐标,并将细类按语义相似性划分为若干粗类组,建立细类到粗类的映射。

8.如权利要求7所述的基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测装置,其特征在于,稀疏层次路由目标检测网络包括骨干特征提取网络、颈部特征融合网络与稀疏层次路由检测头,所述检测头包括粗粒度路由器、细粒度分类器、监督锚定容量分配模块与完备-稀疏双选择集模块。

9.如权利要求8所述的基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测装置,其特征在于,监督锚定容量分配模块将容量分配目标由moe的负载均衡范式转移为监督分布锚定;其中,容量预算不再按全局平均负载均匀分配,而是按各粗类组的监督分布形态自适应分配,且当监督锚定权重为零时精确退化为全局均匀分配;完备-稀疏双选择集模块通过推理选择集与损失选择集解耦并保证条件函数同构。

10.如权利要求9所述的基于监督锚定容量分配和双选择集解耦的稀疏层次路由无人机视角工程车辆检测装置,其特征在于,总损失为: