一种基于密度与中心先验分层引导的无人机目标检测方法

本发明涉及计算机视觉，具体为一种基于密度与中心先验分层引导的无人机目标检测方法。

背景技术：

1、近年来，无人机因机动性强、视野广阔等优势，在交通监控、农业普查、灾害救援等诸多领域得到广泛应用，针对无人机航拍图像的目标检测技术也随之成为计算机视觉领域的重要研究方向，与常规的地面自然图像相比，无人机航拍图像具有视角高、覆盖范围广的特点。

2、现有的目标检测算法在处理常规图像时已经取得较高的准确率，但在直接迁移至无人机航拍场景时仍面临适应性问题，由于航拍图像中的目标在物理尺寸上较小，且受飞行高度变化影响，同类目标的尺度差异较大，现有网络在提取深层语义特征时，需经过多次下采样操作，这导致小目标原本就微弱的特征信息被背景噪声淹没，同时使空间位置发生偏移，在后续进行多尺度特征融合时，深层特征与浅层特征之间存在空间不对齐的情况，影响网络对细小目标的定位精度。

3、同时，航拍场景下的目标空间分布表现出极度的不均匀性，一幅高分辨率图像中存在大面积的无目标背景区域，而局部区域则聚集着大量密集的车辆或人群，现有的基于查询机制或密集预测的目标检测网络，在整幅图像空间内均匀地初始化检测节点或分配计算资源，这种缺乏基于目标空间密度的自适应机制，使得模型在无目标背景区域消耗不必要的计算量，而在目标高度密集的区域，又因为分配的检测节点数量不足而无法充分覆盖所有目标，造成较高的漏检率。

4、此外，在面对密集排列的相邻目标时，现有模型的注意力机制或特征交互过程主要依赖于特征通道间的语义相似度进行计算，缺乏对目标之间相对几何位置和局部拥挤程度的显式约束，这会导致相邻重叠目标的特征相互混淆，边界框回归过程受到周边背景或其他目标的干扰，从而出现定位不准或在后处理阶段被错误抑制的问题，因此，如何结合空间分布特征对检测过程进行引导，是提高无人机目标检测性能需要解决的技术问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于密度与中心先验分层引导的无人机目标检测方法，解决了现有无人机目标检测在面对多尺度变化时深浅层特征空间不对齐，以及目标分布极度不均时查询节点分配低效、密集小目标混淆漏检的技术问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、一种基于密度与中心先验分层引导的无人机目标检测方法，包括：

4、获取待检测无人机航拍图像，提取所述待检测无人机航拍图像的多尺度视觉特征中的浅层与深层视觉特征；基于所述浅层视觉特征生成中心特征图与密度特征图，利用所述中心特征图与密度特征图调制所述多尺度视觉特征，输出尺度对齐的中心先验特征、密度先验特征及查询分配密度先验特征；

5、基于所述中心先验特征、密度先验特征及浅层视觉特征计算采样偏移场，对所述深层视觉特征执行重采样与融合，输出空间对齐多尺度高语义特征；基于所述查询分配密度先验特征确定局部查询预算，并依据区域密度分布确定各区域的查询候选数量，根据所述查询候选数量及候选位置对应的分类质量、中心响应和密度响应提取局部候选查询点，对未被局部选择的候选位置依据分类质量进行全局补充，得到预设数量的候选查询点；

6、基于所述候选查询点提取对应的内容特征向量、先验特征及参考框，利用所述先验特征对所述内容特征向量和参考框进行修正，生成初始化候选查询集；根据所述参考框的几何特征向量生成注意力偏置矩阵，将所述注意力偏置矩阵嵌入自注意力机制更新查询特征，并将更新后的查询特征与所述空间对齐多尺度高语义特征执行交叉注意力交互，输出检测结果；基于中心特征图与密度特征图同对应空间分布真值间的误差损失，结合分类与回归损失构建联合损失函数更新网络。

7、进一步的，利用所述中心特征图与密度特征图调制所述多尺度视觉特征的步骤包括：

8、对所述中心特征图与所述密度特征图分别进行尺度变换，得到与不同尺度视觉特征空间尺寸相对应的中心先验特征和密度先验特征；

9、将所述多尺度视觉特征按照预设通道比例划分为恒等映射分支、局部空间分支和频域分支，利用所述中心先验特征对所述局部空间分支进行空间注意力权重映射；将所述密度先验特征转换为密度权重矩阵，对所述频域分支的空间域特征执行调制，并经频域变换进行特征处理后恢复为空间域特征；将调制后的局部空间分支、频域分支同所述恒等映射分支进行特征融合。

10、通过对中心特征图与密度特征图进行尺度对齐，并构建多分支结构，利用中心先验增强目标中心附近的局部空间特征，利用密度先验引导频域分支建模目标分布信息，从而提升复杂背景下多尺度视觉特征的表达能力。

11、进一步的，所述输出尺度对齐的中心先验特征、密度先验特征及查询分配密度先验特征的过程包括：

12、将所述浅层视觉特征输入共享先验特征提取网络，并分别输入中心先验预测分支与密度先验预测分支；两分支的输出经激活函数分别得到中心特征图和非负的密度特征图；

13、将所述密度特征图作为查询分配密度先验特征；对所述中心特征图采用保持目标中心峰值响应的尺度变换，得到对应尺度的中心先验特征；对所述密度特征图采用保持区域密度分布的尺度变换，得到对应尺度的密度先验特征。

14、通过从浅层高分辨率视觉特征中并行提取中心与密度先验信息，并采用不同的尺度变换方式分别保持目标中心响应和区域密度分布，为后续层次特征形成、跨尺度特征对齐及查询分配提供统一的空间先验信息。

15、进一步的，基于所述中心先验特征、密度先验特征及浅层视觉特征计算采样偏移场的步骤包括：

16、对所述深层视觉特征进行上采样插值处理得到上采样深层视觉特征；

17、将当前特征交互节点对应的所述中心先验特征、所述密度先验特征、所述上采样深层视觉特征及所述浅层视觉特征在通道维度执行拼接操作；利用卷积映射网络对拼接特征进行降维映射，通过双曲正切函数约束生成含水平与垂直偏移通道的二维网格采样偏移场。

18、通过中心与密度双先验信息同多尺度视觉特征的通道拼接，并利用双曲正切函数约束偏移幅度，生成形变采样网格，为后续特征对齐提供空间坐标偏移约束。

19、进一步的，对所述深层视觉特征执行重采样与融合，输出空间对齐多尺度高语义特征的步骤包括：

20、利用所述二维网格采样偏移场对标准二维空间坐标矩阵进行数值叠加，据此对所述上采样深层视觉特征执行双线性插值的网格重采样，得到空间对齐深层视觉特征；

21、基于所述空间对齐深层视觉特征与重采样前的上采样深层视觉特征构建残差校准特征，利用预设或可学习的校准参数进行加权融合，得到校准后的深层视觉特征，并将所述校准后的深层视觉特征与所述浅层视觉特征进行多尺度特征融合。

22、通过网格重采样对深层视觉特征进行空间位置校准，减少跨尺度特征交互过程中的空间位置偏差，并利用残差校准保留原始深层语义信息，提升多尺度特征的空间对齐精度。

23、进一步的，基于所述查询分配密度先验特征分配查询候选数量，并依据所述查询候选数量提取候选查询点的步骤包括：

24、获取预设的总查询数量参数，依据所述查询分配密度先验特征的整体密度积分确定局部查询预算，并将所述局部查询预算限制于所述总查询数量参数以内；

25、将所述查询分配密度先验特征划分为独立网格区域，依据所述查询分配密度先验特征计算各独立网格区域的密度积分数值及网格区域整体总积分数值；

26、依据比例关系与所述局部查询预算计算各独立网格区域的浮点查询配额；利用汉密尔顿最大余数法依据浮点查询配额整数部分赋予基础数量，按小数部分降序分配剩余额度，确定各网格区域的查询候选数量；

27、根据候选位置对应的分类质量、中心响应及密度响应确定局部联合质量，依据所述查询候选数量在各网格区域内选择局部联合质量较高的候选查询点；排除已选择的局部候选查询点后，对剩余候选位置依据分类质量进行全局排序，并补充候选查询点直至达到所述总查询数量参数。

28、通过引入基于密度积分的局部查询预算和汉密尔顿最大余数法，依据区域密度分布自适应分配整数查询配额，并结合区域局部选择与全局质量补充，在保持总查询数量固定的情况下提高目标密集区域的查询覆盖能力，同时兼顾稀疏区域及全局高质量候选。

29、进一步的，基于所述候选查询点生成初始化候选查询集的步骤包括：

30、根据所述候选查询点在对应尺度的中心先验特征和密度先验特征中执行坐标换算与特征采样，分别提取中心响应和密度响应，并结合所述候选查询点对应的分类质量构成候选先验特征；

31、将所述候选先验特征输入先验内容映射网络对齐特征维度，再与所述内容特征向量进行残差融合，得到修正后的内容特征向量；

32、将所述候选先验特征输入参考框修正网络生成参考框修正量，与对应的所述参考框进行残差融合，得到修正后的参考框，并将所述修正后的内容特征向量及参考框关联生成所述初始化候选查询集。

33、通过将分类质量、中心响应和密度响应形成候选先验特征，利用所述候选先验特征对初始内容特征向量和参考框进行修正，为解码器提供兼具视觉语义、目标中心及局部分布信息的初始化查询条件。

34、进一步的，根据所述参考框的几何特征向量生成注意力偏置矩阵的步骤包括：

35、根据任意两个所述参考框计算归一化相对中心位置、对数尺度比特征、交并比特征及相对方向角，拼接构成所述几何特征向量；

36、将所述几何特征向量经非线性激活的多层感知机网络映射为标量偏置值，生成所述注意力偏置矩阵。

37、通过融合查询节点对应参考框之间的相对位置、尺度差异及空间重叠关系，量化查询节点之间的空间几何关联程度，为注意力计算提供结构化位置先验信息。

38、进一步的，将所述注意力偏置矩阵嵌入自注意力机制更新查询特征，并将更新后的查询特征与所述空间对齐多尺度高语义特征执行交叉注意力交互的步骤包括：

39、基于修正后的内容特征向量生成查询特征矩阵、键特征矩阵和值特征矩阵；计算所述查询特征矩阵与所述键特征矩阵转置矩阵的点积结果；将所述注意力偏置矩阵逐元素叠加至除以缩放因子后的点积结果上；

40、将叠加后的点积结果输入归一化指数激活函数生成注意力权重矩阵，并与所述值特征矩阵执行乘法操作生成自注意力更新后的查询特征；将所述自注意力更新后的查询特征作为查询输入，与作为图像特征输入的所述空间对齐多尺度高语义特征执行多尺度交叉注意力交互。

41、通过将注意力偏置矩阵以数值叠加的方式融入注意力点积运算中，引导自注意力机制建模不同查询节点对应目标之间的空间位置关系，增强密集相邻目标之间的特征区分能力。

42、进一步的，所述基于中心特征图与密度特征图同对应空间分布真值间的误差损失，结合分类与回归损失构建联合损失函数更新网络的步骤包括：

43、依据标注的真实目标二维中心点坐标合成中心点高斯热力图真值矩阵；依据真实边界框尺寸确定高斯密度核的标准差参数，经单位质量归一化及逐元素求和生成自适应高斯密度图真值矩阵；

44、计算所述中心特征图与所述中心点高斯热力图真值之间的误差，得到中心空间误差损失；

45、计算所述密度特征图与所述自适应高斯密度图真值之间的误差，得到密度空间误差损失，并根据所述密度特征图的空间积分与真实目标数量之间的差异得到密度质量一致性损失；

46、将所述中心空间误差损失、密度空间误差损失、密度质量一致性损失与所述分类损失、回归损失按预设权重加权求和构建所述联合损失函数。

47、通过结合中心与密度先验误差构建联合损失函数，能够引导网络在复杂航拍场景下学习更为精准的空间分布及目标密集程度，从而提升模型整体的检测精度。

48、本发明提供了一种基于密度与中心先验分层引导的无人机目标检测方法。具备以下有益效果：

49、1、本发明通过提取浅层视觉特征生成中心特征图与密度特征图，在局部空间分支和频域分支对多尺度视觉特征进行特征调制，并结合采样偏移场对深层视觉特征执行网格重采样与残差校准，利用浅层视觉特征及中心、密度先验信息引导深层语义特征进行空间位置校准，减小不同尺度特征之间的空间位置偏差，提升多尺度高语义特征在复杂航拍背景下的特征表达与空间对齐能力。

50、2、本发明利用查询分配密度先验特征的整体密度积分确定局部查询预算，并依据各网格区域的密度积分采用汉密尔顿最大余数法进行区域查询配额的自适应分配；在各区域内依据分类质量、中心响应和密度响应构成的局部联合质量选择候选查询点，同时利用全局分类质量对剩余查询数量进行补充。这种局部密度感知分配与全局质量补充相结合的策略，能够在保持总查询数量固定的情况下，使有限的查询资源精准覆盖目标密集区域，同时兼顾稀疏区域及全局高质量候选，提高无人机视角下密集小目标的查询覆盖率和检测召回率。

51、3、本发明利用分类质量、中心响应和密度响应构成候选先验特征，对选中候选点的内容特征向量和参考框进行残差修正，并根据初始参考框之间的几何关系生成注意力偏置矩阵嵌入自注意力计算；同时，引入高斯热力图、自适应高斯密度图及密度质量一致性约束构建联合损失函数，使查询初始化过程充分融合目标中心及空间分布信息，利用目标间的空间几何关系增强密集相邻目标的特征区分能力，并在训练阶段有效引导网络学习目标分布规律，从而提高模型在密集小目标和复杂遮挡场景下的检测精度与稳定性。