一种基于改进DEIM-D-FINE的城市遥感目标检测方法

本发明涉及目标检测，具体涉及一种基于改进 deim-d-fine 的城市遥感目标检测方法。

背景技术：

1、城市遥感目标检测是城市规划、交通管理等领域的重要技术支撑，这些目标的分布状况信息关系到城市空间布局优化、公共安全保障、基础设施运维及国土空间治理的科学性与有效性。

2、在实际城市遥感监测工作中，由于城市场景结构复杂、地物类型多样，以及遥感影像受拍摄高度、光照条件、天气状况等因素影响，各类目标不可避免地存在尺度多变、形态各异、背景干扰严重等问题。这些问题会显著降低目标识别的准确性，从而对城市规划决策、交通调度、应急响应等需求产生影响，也对城市精细化管理与公共安全保障构成了潜在威胁。

3、传统的城市遥感目标检测主要依赖于人工判读，即通过专业人员对遥感影像进行逐像素分析、标记目标类别与位置。这种方法不仅效率低下、人力成本高昂，而且受判读人员主观经验、专业水平与工作状态影响巨大，难以实现大范围、高频次的全面检测，也无法满足城市精细化管理对检测及时性、准确性的需求。

4、近年来，随着技术的不断提升，基于计算机视觉的自动化检测技术被引入该领域，以期达到辅助人工判读，实现大范围、高效的自动化目标识别的效果。然而，传统的检测方法在面对密集建筑、复杂路网、植被覆盖等此类复杂城市背景下泛化能力较弱，对于尺度多变、形态各异的目标特征提取不够充分，尤其对小目标的漏检率较高，对桥梁、船舶等细长型目标的识别精度也存在不足。

5、因此，设计一种能够适应复杂城市遥感场景、精准识别多尺度目标的城市遥感目标检测方法，已成为城市精细化管理、土地空间监测及公共安全保障的迫切需求。

技术实现思路

1、针对上述的技术问题，本技术方案提供了一种基于改进 deim-d-fine 的城市遥感目标检测方法，通过改进模型架构设计提升特征提取能力，实现对城市遥感目标的准确检测，能有效的解决上述的技术问题。

2、本发明通过以下技术方案实现：

3、一种基于改进 deim-d-fine 的城市遥感目标检测方法，包括步骤：

4、s1：构建数据集：通过网络获取遥感图像数据集，对其进行数据格式预处理，将处理所得数据按比例进行划分；

5、s2：构建改进模型进行训练：

6、s2.1：以deim-d-fine目标检测算法为基准模型，引入hyperace结构改进原始网络，使模型具备更强的全局特征感知能力，提升整体检测性能。

7、s2.2：联合多尺度并行融合与像素注意力机制，构建mspga模块，强化模型对城市遥感目标关键特征的提取能力；

8、s2.3：构建边缘增强下采样模块lawdsedge，并使用其作为hyperace支路下采样环节，提升模型下采样过程中边缘特征保留与小目标、弱边缘目标的细节学习能力。

9、s3：改进模型训练：通过设置训练超参数，对改进所得模型进行训练，获得权重，并对模型加以验证，得到训练所得的改进模型；

10、s4：目标检测：对训练所得模型进行验证，进而利用改进所得模型对待检测图像实施检测，判断目标位置并加以标注，实现城市遥感目标的准确识别。

11、进一步地，步骤s2.1中使用hyperace结构改进原始网络，提升模型全局特征感知能力，具体的操作方式为：

12、采用deim-d-fine目标检测模型为基础模型，deim是针对detr目标检测算法中存在的监督信息稀疏问题与低质量匹配导致的收敛缓慢问题而提出的新型目标检测方法。deim中所提出的dense o2o策略通过增加正样本数量提升了监督信号密度，并且通过利用包含mosaic在内的多种数据增强方式将单个目标图像拼接为多个目标图像，保持每个检测目标对应一项正样本，相较于detr中的o2o策略能更有助于模型的快速收敛。同时deim所提出的mal损失在低质量匹配环节通过随着置信度的增加逐步加大惩罚，进而提升匹配准确性。deim-d-fine将deim的训练策略与d-fnie进行结合，该模型具备更为快速的收敛能力以及更优的检测性能。

13、在deim-d-fine模型的基础上，使用hyperace结构改进deim-d-fine网络的编码器部分结构，在transformer层后引入hyperace模块，用于接收多尺度特征，并输出其增强后的特征，随后通过网络结构中第11层、12层、17层、21层的多个fullpad_tunnel实现原始特征与增强特征的高效融合与传递；通过引入超图理念，将城市遥感图像中的像素视作超图顶点，通过灵活建立超边来学习不同像素之间可能存在的高级语义关联，进而高效捕捉城市遥感场景中特征间的高阶关系，并聚合不同层的特征信息，生成更为丰富的特征表示，显著增强对城市遥感小目标的检测能力。

14、将骨干网络中第二层与第三层的p3、p4尺度特征经通道压缩后分别得到b3、b4。来自骨干网络第四层p5尺度特征则通过transformer层编码得到b5；最终，将三者一并输入hyperace模块。其中，b3与b5将被调整为与b4相一致的空间大小，随后三者将通过1×1卷积层进行聚合得到特征。则将沿通道维度进一步划分为 以及 三个特征组，并分别用于全局高阶相关建模、局部低阶相关建模以及快捷连接。

15、进一步的，在高阶相关建模部分，特征组将转发至k个并行的用于自适应高阶相关建模的c3ah块中进行高阶相关性的探索进而获得增强后的特征，随后沿通道维度串联k个增强特征得到高阶相关建模分支的输出。该过程可表示为：

16、     （1）；

17、        （2）；

18、其中，即为输入特征组，表示经由第k个c3ah模块处理后的输出，代表串联k个增强特征得到高阶相关建模分支的最终输出。

19、在局部低阶相关建模分支中，特征组则将由l个堆叠的ds-c3k模块来捕获局部信息，该过程可表示为：

20、      （3）；

21、其中，为输入特征组，为经ds-c3k模块处理后的输出。此外，快捷分支部分则可对原有信息进行直接保留，该过程表示为：

22、       （4）；

23、最终，通过在通道维度上对三个分支的输出进行拼接与融合，即可获得hyperace的最终输出，该过程可表示为：

24、    （5）；

25、其中，表示卷积核大小为1×1的卷积处理，y为最终融合输出的结果。

26、鉴于deim-d-fine 的n型网络仅对p4及p5两个尺度特征进行融合，因此在向deim-d-fine-n引入hyperace思想的过程中，对hyperace模块的输入输出配置进行了适应性调整，使得p3尺度信息仅作为超图节点参与高阶相关建模计算，其不形成独立的输出分支，从而避免计算冗余。具体而言，hyperace模块将接收经处理后的p3、p4、p5三层特征作为输入，其中p3与p4层特征经1×1卷积处理后通道维度压缩至128，p5层特征则经transformerencoderblock处理后通道维度扩展至512处理得到后续所需输入特征，随后与p3、p4层特征一并输入至hyperace模块。经hyperace模块进行聚合后，生成增强特征h4，随后通过进一步下采样卷积处理生成增强特征h5。

27、经hyperace处理，模型能在保留快捷信息的同时充分实现跨全局局部高低阶的互补，提升模型对于关键信息的处理能力。

28、进一步地，步骤s2.2中所述的联合多尺度并行融合与像素注意力机制，构建mspga模块，强化模型对城市遥感目标关键特征的提取能力的步骤如下：

29、mspga模块由多尺度并行融合子模块（multi scale parallel fusion，mspf）与像素注意力子模块（pixel attention cga）级联构成，辅之以跨层残差连接，二者相结合形成由特征多尺度提取到像素级注意力增强的递进结构，通过深度融合多尺度特征与像素级关联信息，强化图像目标的特征表达。其中，多尺度并行融合子模块的输出作为像素注意力子模块的输入之一，与经1×1点卷积映射的原始特征共同输入像素注意力子模块，二者经拼接、卷积映射及激活处理后生成像素级注意力权重图，再与原始特征逐元素相乘，输出最终特征图。

30、具体而言，所输入特征图像经压缩后将送入至多尺度融合子模块mspf中加以处理，mspf配置了4条并行的深度可分离卷积分支，其卷积核尺寸大小分别为3×3、(1,5)、7×7、(1,11)。其中，3×3与7×7分支主要用于常规尺度城市遥感小目标特征的获取，(1,5)与(1,11)分支则采用条带卷积形式，其各自由与的卷积串联组成，其主要针对城市遥感场景中存在的船只、桥梁等细长型目标而设计，通过沿水平轴、垂直轴的定向特征提取，能够更精准地捕捉细长目标的轮廓与细节特征，避免细长目标特征被常规卷积稀释；各分支的输出特征经自适应加权融合及进一步处理，最终得到多尺度融合特征，从而在保留关键信息的同时增强多尺度上下文信息的表达。

31、经mspf处理所得特征将与原始特征一并输入至像素注意力子模块pixelattention cga中，通过将两个输入特征进行维度调整与拼接后，依次经过3×3卷积、批归一化处理及1×1卷积，最终通过激活函数计算每个像素的注意力权重，并将其与skip分支特征进行逐元素相乘，进而依据像素权重自适应增强目标特征并抑制背景干扰。

32、经mspga处理后，特征图在保留原始特征信息的同时，进一步强化城市遥感目标的关键特征与多尺度细节，从而提升模型对小目标、弱边缘目标及细长型目标的特征提取能力，进而提升城市遥感目标检测的准确性。

33、进一步地，步骤s2.3中构建边缘增强下采样模块lawdsedge，并使用其作为hyperace支路下采样，其步骤如下：

34、轻量边缘感知型自适应权重下采样模块 lawdsedge，由自适应权重生成分支、下采样分支及边缘增强分支并行构成。输入特征图经下采样分支输出与自适应权重生成分支输出逐元素相乘后加权求和，进而与边缘增强分支输出的边缘门控系数以残差增强形式逐元素相乘，最终经1×1卷积调整通道维度后得到最终输出。该设计旨在解决传统下采样方式固定采样策略导致的语义关键信息丢失、边缘结构模糊问题，其可通过生成自适应权重并作用于下采样过程从而优化不同场景下的特征保留，同时通过边缘增强分支，特征的边缘信息将得到进一步加强，从而缓解下采样中边缘细节模糊问题。

35、进一步地，所述的自适应权重生成基于全局上下文注意力机制，实现空间自适应权重的动态生成，从而实现不同场景下更优的特征保留。具体而言，输入特征图通过平均池化操作来聚合全局空间上的上下文信息，随后输入至1×1卷积层实现通道维度的特征映射与权重初步生成，在这一过程中，特征图维度始终保持[b, c, h, w]不变。随后对该特征图进行空间维度分块重排操作，特征图将依据2×2的空间尺度被划分为多个子区域，经重排后维度转换为 [b, c, h/2, w/2, 4] 并进一步通过softmax归一化处理，进而生成空间自适应权重，为后续下采样加权求和提供引导。下采样分支主要由分组卷积构成，在该分支中特征图经分组卷积与通道重排后将与此前获得的注意力权重进行逐元素相乘与加权求和，实现对语义关键区域的自适应采样，从而增强特征图语义关联性。

36、为进一步提升特征结构的完整性，lawdsedge内还包含了边缘增强分支，该分支通过将原始特征与池化低频特征进行差值运算，从而实现边缘高频信息的有效获取，从而达到突出目标轮廓特征的效果，避免边缘细节在采样过程中丢失。这一过程可表示为：

37、    （6）；

38、其中，x所输入的特征图，表示对原始特征图进行平均池化操作，由此可获得低频信息，edge为所得边缘特征信息。

39、该分支将提取所得的边缘特征经强化后生成边缘门控系数，并将其作用于经注意力加权处理后的下采样特征图，通过逐元素相乘的方式，对下采样特征进行自适应调制，实现边缘区域特征的针对性增强，从而既保留了下采样过程中的语义信息完整性，又强化了目标边缘结构，缓解传统下采样中边缘细节模糊、结构信息丢失的问题。

40、进一步地，s3中训练超参数设置如下：训练迭代次数为300轮，训练策略调整周期为278轮，batch size大小为4。

41、有益效果

42、本发明提出的一种基于改进 deim-d-fine 的城市遥感目标检测方法，与现有技术相比较，其具有以下有益效果：

43、（1）本发明将hyperace结构引入deim-d-fine模型的编码器阶段，通过hyperace的高阶语义关联建模拓展模型自身的跨尺度特征交互，使得深层特征与浅层特征得到了有效交互，经高阶、低阶与快捷分支分别处理实现特征重组，使模型在保留基础信息的同时实现高阶特征与低阶特征的互补增强，增强了改进后模型对于遥感图像深层语义的学习能力，提升目标检测效果。

44、（2）本发明构建了mspga模块，并将其引入至deim-d-fine的特征处理阶段。mspga通过常规卷积与条带卷积的并行组合实现多尺度特征的提取，仅自适应加权后由像素注意力机制实现背景抑制。通过将其与deim-d-fine融合，使得模型能够有效捕获常规尺度与细长型目标的多尺度目标信息，且像素注意力机制为其提供了更为准确的特征信息，减少了背景干扰影响，从而使得改进后模型对于不同尺度下目标的特征提取能力的带了提升，进而提升了检测准确性。

45、（3）本发明构建了lawdsedge边缘感知自适应下采样模块，并将其引入至模型的下采样阶段，lawdsedge通过自适应权重生成机制实现了对原始模型固定下采样方式的优化，使得下采样过程能够更加注重关键位置的特征信息，其边缘增强分支则运用了原始特征与低频特征的差分运算，其通过平均池化操作获取特征图的低频分量，进而使用原始图相减去该低频分量部分，实现了高频边缘信息的提取，从而强化了改进后模型对于目标边缘细节的判别能力，由此进一步提升复杂遥感场景下模型的检测效果。