一种高分辨率遥感图像的目标检测方法及装置与流程

1.本技术涉及深度学习技术、遥感图像处理领域，尤其涉及一种高分辨率遥感图像的目标检测方法及装置。


背景技术：

2.随着传感器技术和航天遥感技术的进步，针对遥感图像目标检测的需求不断提升。遥感卫星一般所处高度在300-2000千米，轨道周期在90分钟左右。高分辨率遥感可以以米级甚至亚米级空间分辨率精细观测非均匀分布在地球表面的各种尺寸目标。高分辨率遥感图像数据在测绘制图、城市规划、交通、水利、农业、林业、环境资源监测、军事等领域得到了众多应用。但是由于高分辨率图像较大和空地通信的带宽限制，不能将所有遥感图像回传至地面处理。星载或机载平台往往通过搭载的边缘计算平台先对遥感图像数据做实时处理，再将结果或者重点区域回传处理。
3.使用深度学习目标检测模型处理图像的技术已经十分常见。大多数目标检测模型都设计了低分辨率的输入，高分辨率图像目标检测的常见做法是调整图像大小，进行图像分割或扩大网络的输入分辨率。调整图像大小和图像分割会影响精度。
4.在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：扩大输入分辨率会导致更慢的模型训练和推理的速度，也会增加单位时间功耗。这些处理方法在资源有限的的边缘计算平台是不适用的。本发明提出了一种对高分辨率遥感图像进行自适应划分后，针对不同的区域使用不同模型的目标检测方法，从而达到提高计算系统的图像目标检测精度和提升系统能效的目的。


技术实现要素：

5.本技术实施例的目的是提供一种高分辨率遥感图像的目标检测方法及装置，以解决相关技术中存在的占用资源大、计算效率低的技术问题。
6.根据本技术实施例的第一方面，提供一种高分辨率遥感图像的目标检测方法，应用于计算平台上，包括：从传感器获取原始高分辨率遥感图像；从历史检测结果中获取所述原始高分辨率遥感图像所对应区域以及所述区域向四周扩展预定距离的扩展区域内的目标信息；根据所述目标信息，对所述原始高分辨率遥感图像进行自适应的图像分区，得到不同的簇侯检区，进而得到必检区和非必检区；进行必检区的模型选择，生成必检区的目标检测方案；执行所述目标检测方案，得到必检区的检测结果；判断计算平台是否有多余计算资源以检测非必检区，若有，则进行非必检区的动态分区检测，得到非必检区的检测结果，将所述必检区的检测结果和所述非必检区的检测结果合并为目标检测结果，否则将所述必检区的检测结果作为目标检测结果。
7.进一步地，从传感器获取原始高分辨率遥感图像之前还包括：离线训练适合不同密度和尺寸的目标检测模型，并测量出不同模型在计算平台上的延迟和检测精度，并将模型及对应的延迟和检测精度装载在所述计算平台上。
8.进一步地，在得到目标检测结果之后还包括：根据所述目标检测结果，更新计算平台上存储的历史检测结果。
9.进一步地，根据所述目标信息，对所述原始高分辨率遥感图像进行自适应的图像分区，得到不同的簇侯检区，进而得到必检区和非必检区，包括：s21：根据目标和目标的位置进行聚类，计算聚类的类别数的初始值，其中所述目标信息包括目标的位置、尺寸和类别；s22：根据所述类别数的初始值，执行聚类算法，得到对应数量的簇；s23：对每个簇构建一个外接矩形，计算该矩形的边长以及矩形内目标的密度；s24：如果矩形的边长超过边长阈值且矩形内目标的密度超过密度阈值，更新所述类别数的值，返回步骤s22重新聚类；反之则根据目标的密度和尺寸，选择能够处理所述密度和尺寸的模型集合；s25：结合目标的运动信息，计算出簇内目标可能出现的区域，设为簇侯检区，所有簇侯检区共同组成必检区，所述原始高分辨率遥感图像中不为必检区的区域则为非必检区，其中所述目标的运动信息存储在所述计算平台上。
10.进一步地，进行必检区的模型选择，生成必检区的目标检测方案，包括：s31：根据目标的密度和尺寸，选择能够处理所述密度和尺寸的模型集合；s32：根据所述模型集合中模型的不同输入尺寸将其中一个簇侯检区均匀分割，产生对该簇侯检区可行的至少一种模型组合；s33：对所述必检区中的每一个簇侯检区，执行s32，将所有簇侯检区的模型组合之后形成至少一种模型方案；s34：根据每个模型方案的精度和延迟信息，计算每个模型方案对于检测所述必检区的精度和总延迟；s35：在所有模型方案中以整体精度优先方式选择总延迟满足所述计算平台的延迟限制的方案作为必检区的目标检测方案。
11.根据本技术实施例的第二方面，提供一种高分辨率遥感图像的目标检测装置，应用于计算平台上，包括：第一获取模块，用于从传感器获取原始高分辨率遥感图像；第二获取模块，用于从历史检测结果中获取所述原始高分辨率遥感图像所对应区域以及所述区域向四周扩展预定距离的扩展区域内的目标信息；分区模块，用于根据所述目标信息，对所述原始高分辨率遥感图像进行自适应的图像分区，得到不同的簇侯检区，进而得到必检区和非必检区；生成模块，用于进行必检区的模型选择，生成必检区的目标检测方案；执行模块，用于执行所述目标检测方案，得到各必检区的检测结果；检测模块，用于判断计算平台是否有多余计算资源以检测非必检区，若有，则进行非必检区的动态分区检测，得到非必检区的检测结果，将所述各必检区的检测结果和所述非必检区的检测结果合并为目标检测结果，否则将所述各必检区的检测结果作为目标检测
结果。
12.根据本技术实施例的第三方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
13.根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
14.本技术的实施例提供的技术方案可以包括以下有益效果：由上述实施例可知，本技术参考历史检测结果，获取图像对应区域及扩展区域内的目标信息，从而减少了获取目标信息时使用的计算资源；根据目标信息，实现自适应分区和必检区、非必检区的分级处理，优先完成必检区检测，避免检测无目标区域浪费资源，提升整体检测精度和加快目标检测的速度。
15.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
16.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
17.图1是根据一示例性实施例示出的一种高分辨率遥感图像的目标检测方法的流程图。
18.图2是根据一示例性实施例示出的步骤s13的流程图。
19.图3是根据一示例性实施例示出的步骤s14的流程图。
20.图4是根据一示例性实施例示出的一种高分辨率遥感图像的目标检测方法的流程图。
21.图5是根据一示例性实施例示出的一种高分辨率遥感图像的目标检测装置的框图。
22.图6是根据一示例性实施例示出的一种电子设备的示意图。
具体实施方式
23.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
24.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
25.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这
些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
26.图1是根据一示例性实施例示出的一种高分辨率遥感图像的目标检测方法的流程图，如图1所示，该方法应用于计算平台中，可以包括以下步骤：步骤s11：从传感器获取原始高分辨率遥感图像；步骤s12：从历史检测结果中获得所述原始高分辨率遥感图像所对应区域以及所述区域向四周扩展预定距离的扩展区域内的目标信息；步骤s13：根据所述目标信息，对所述原始高分辨率遥感图像进行自适应的图像分区，得到不同的簇侯检区，进而得到必检区和非必检区；步骤s14：进行必检区的模型选择，生成必检区的目标检测方案；步骤s15：执行所述目标检测方案，得到必检区的检测结果；步骤s16：判断计算平台是否有多余计算资源以检测非必检区，若有，则进行非必检区的动态分区检测，得到非必检区的检测结果，将所述必检区的检测结果和所述非必检区的检测结果合并为目标检测结果，否则将所述必检区的检测结果作为目标检测结果。
27.由上述实施例可知，本技术参考历史检测结果，获取图像对应区域及扩展区域内的目标信息，从而减少了获取目标信息时使用的计算资源；根据目标信息，实现自适应分区和必检区、非必检区的分级处理，优先完成必检区检测，避免检测无目标区域浪费资源，提升整体检测精度和加快目标检测的速度。
28.在具体实施中，计算平台指的是可运行深度神经网络模型的硬件设备，包含且不限于人工智能处理器，cpu，gpu，fpga等设备。
29.在步骤s11之前，还可以包括：离线训练适合不同密度和尺寸的目标检测模型，并测量出不同模型在计算平台上的延迟和检测精度，并将模型及对应的延迟和检测精度装载在所述计算平台上。
30.具体地， 在离线计算机上对不同目标密度和不同输入尺寸的模型正对遥感目标检测做训练，将训练好的模型在装载在计算平台内，并在输入对应尺寸和密度的图像，实验测试出每个模型在该计算平台的延迟和检测精度。离线训练和实验测试每个模型延迟和精度有利于在实际运行时准确预算模型所需的计算资源，使得在有限的计算资源下获得精度最佳的检测结果。所述计算平台上还设置有目标运动信息、用于检测聚类结果是否合理的边长阈值和密度阈值，根据实际的目标运动信息可以更加准确判断出必检区的区域，边长阈值和密度阈值的设置可以判断目标聚类的结果是否合理，避免聚类时受异常点和局部高密度的影响，他们的设置可以有效避免漏检和浪费计算资源过度检测。
31.在步骤s11的具体实施中，从传感器获取原始高分辨率遥感图像；具体地，通过卫星搭载的光学、雷达成像载荷拍摄到的高分辨率图像，读取到计算平台的存储空间内。
32.在步骤s12的具体实施中，从历史检测结果中获得所述原始高分辨率遥感图像所对应区域以及所述区域向四周扩展预定距离的扩展区域内的目标信息；具体地，根据所述原始高分辨率图像的地理位置，获取对应相同地理位置的历史
遥感图像的目标检测信息，包括目标的大小、地理位置、目标类别。同时根据所述原始高分辨率图像的地理位置，获取历史所述区域向四周扩展预定距离的扩展区域的遥感图像的目标检测信息，包括目标的大小、地理位置、目标类别。其中，所述区域向四周扩展预定距离的方式为：将设定的目标运动速度阈值乘以所述原始高分辨率遥感图像对应的卫星的运动周期时长，获得一个周期内目标的运动距离，所述扩展区域即为所述区域向四周扩展一个周期目标运动距离的区域。通过该设计，可以结合历史检测信息对该周期遥感图像内的可能存在目标位置做预测，辅助自适应分区的算法，同时结合扩展区域内的目标检测信息，可以避免所述区域外向所述区域内运动的新目标信息的遗漏，辅助自适应分区的算法。
33.在具体实施中，若不存在历史检测结果，则将整张图像视为非必检区，执行非必检区的动态分区检测。
34.在步骤s13的具体实施中，根据所述目标信息，对所述原始高分辨率遥感图像进行自适应的图像分区，得到不同的簇侯检区，进而得到必检区和非必检区；具体地，如图2所示，此步骤可以包括以下子步骤：s21：根据目标和目标的位置进行聚类，计算聚类的类别数的初始值，其中所述目标信息包括目标的位置、尺寸和类别；具体地，通过聚类算法实现对遥感图像的自适应分区，其中聚类类别数的初始值可根据历史信息中该区域的目标数量计算得到，其中聚类算法可以包括k-means聚类、层次聚类等算法。
35.s22：根据所述类别数的初始值，执行聚类算法，得到对应数量的簇；具体地，根据所述类别数的初始值，执行聚类算法，每一个聚类得到的类别结果作为一个簇，该步骤可以对遥感图像内所有的可能目标进行聚类，辅助对目标所属分区密集性的判断。
36.s23：对每个簇构建一个外接矩形，计算该矩形的边长以及矩形内目标的密度；具体地，对每个聚类后得到的簇构建一个外接矩形，在簇内水平方向最远两个目标的水平距离为外接矩形的宽，以簇内垂直向最远两个目标的垂直距离为外接矩形的高，构建的外接矩形应为包含簇内所有点的最小矩形，通过该外接矩形的边长以及矩形内目标的数量计算该簇的目标密度。
37.s24：如果矩形内目标的密度超过密度阈值且矩形的边长超过边长阈值，更新所述类别数的值，返回步骤s202重新聚类；具体地，通过预设置的密度阈值与外接矩形内目标的密度比较，若矩形内的密度已经超过密度阈值，但外接矩形的其中一条边长超过了预设置的边长阈值，则表明该簇的目标在水平或垂直方向上太过分散，需要通过更新聚类的类别数来重新进行聚类。对外接矩形目标分布的判断，可以验证聚类的有效性，防止一些异常点的误分类。
38.s25：结合目标的运动信息，计算出簇内目标可能出现的区域，设为簇侯检区，所有簇侯检区共同组成必检区，所述原始高分辨率遥感图像中不为必检区的区域则为非必检区，其中所述目标的运动信息存储在所述计算平台上；具体地，根据历史检测信息中所述区域内目标的位置信息，以及目标的运动信息，可以对聚类后簇内各目标的位置进行运动扩展，得到扩展后的目标区域，即为该簇侯检区。对所有簇进行扩展后，所有簇的侯检区共同组成必检区。所述原始高分辨率遥感图像中除
必检区之外的区域则为非必检区。其中所述簇根据蔟内目标进行运动扩展的方式为：根据簇内各目标的运动速度乘以所述高分辨率遥感图像对应的卫星的运动周期时长，获得一个周期内簇内各目标的运动距离。所述扩展区域即为结合蔟内各目标的地理位置信息，对蔟内各目标进行一个周期运动距离扩展后的区域。对目标可能存在区域的扩展能防止因目标运动离开原所在区域的漏检。
39.在具体实施中，如果存在簇侯检区超出了当前图像的区域，这种情况下，将对超出区域做记录，作为相邻图像做计算时的必检区进行检测。
40.在步骤s14的具体实施中，进行必检区的模型选择，生成必检区的目标检测方案；具体地，如图3所示，此步骤可以包括以下子步骤：s31：根据矩形内目标的密度和尺寸，选择能够处理所述密度和尺寸的模型集合；具体地，根据s23中计算出的该矩形的密度和历史信息中获取的该处目标的大小，遍历计算平台内的所有模型的信息，检索出可以用来计算该密度和模型尺寸的模型集合。对不同密度和大小的目标采用对应的模型可以有效提升检测精度和节省计算资源。
41.s32：根据所述模型集合中模型的不同输入尺寸将其中一个簇侯检区均匀分割，产生对该簇侯检区可行的至少一种模型组合；具体地，如，簇侯检区大小为1024*1024，可以使用一个输入大小为1024*1024的模型，也可以使用4个512*512的模型。
42.s33：对所述必检区中的每一个簇侯检区，执行s32，将所有簇侯检区的模型组合之后形成至少一种模型方案；具体地，每个簇侯检区都有一个或多个可用的模型，将所有的簇侯检区的可用模型组合之后，对整张图像构建出一种或多种目标检测模型方案。
43.s34：根据每个模型方案的精度和延迟信息，计算每个模型方案对于检测所述必检区的精度和总延迟；具体地，根据每个模型的延迟和精度，以及每个模型的使用次数，总的延迟以使用次数为权值对所有模型的延迟加权求和，总精度以使用次数为权值对所有模型的精度做加权求平均数s35：在所有模型方案中以整体精度优先方式选择总延迟满足所述计算平台的延迟限制的方案作为必检区的目标检测方案；具体地，以总精度从高到低的顺序遍历模型方案，选择模型方案中总延迟小于计算平台延迟限制的模型方案。如果有总精度相同的方案，优先选择总延迟小的模型方案。所选模型方案确保检测精度达到最高，并且不超出计算平台的延迟限制。
44.在步骤s15的具体实施中，执行所述目标检测方案，得到必检区的检测结果；具体地，模型方案已确定，也就确定了图像的不同区域所要使用的模型，如果计算平台支持并行计算，可以并行执行各个模型及对应的图像区域。如果不支持并行计算，串行执行各个模型及对应的图像区域。
45.在步骤s16的具体实施中，判断计算平台是否有多余计算资源以检测非必检区，若有，则进行非必检区的动态分区检测，得到非必检区的检测结果，将所述必检区的检测结果和所述非必检区的检测结果合并为目标检测结果，否则将所述必检区的检测结果作为目标检测结果。
46.具体地，根据计算平台的限制减去所执行的模型方案的总延迟，计算出延迟剩余。
47.如果延迟剩余小于计算平台所装载模型中的最小延迟，则不对非必检区进行检测。
48.如果延迟剩余大于计算平台所装载模型中的最小延迟，则对非必检区进行检测。通过非必检区的边界，延迟剩余，各模型输入尺寸，各模型的延迟作为输入，通过动态规划算法，计算出在非必检区的边界和延迟剩余限制下，最大化检测面积的模型方案，如果计算平台支持并行计算，可以并行执行该模型方案。如果不支持并行计算，串行执行该模型方案中的各个模型。并将非必检区的检测结果和必检区的检测结果合并。
49.这样设计是为了在延迟剩余限制下最大化检测非必检区的面积，可以降低目标被漏检的可能，并且最大化的利用计算资源。
50.具体地，如图4所示，在通过步骤s16得到目标检测结果之后，还可以包括：步骤s17：根据所述目标检测结果，更新计算平台上存储的历史检测结果。
51.具体地，通过以上计算检测得该图像对应区域内的目标，在计算平台上存储的历史检测结果中将之前该区域对应的目标全部删除，并将最新的目标检测结果写入。在具体实施中还可以将更新后的历史检测结果传输给卫星计算机系统进行处理。
52.与前述的高分辨率遥感图像的目标检测方法的实施例相对应，本技术还提供了高分辨率遥感图像的目标检测装置的实施例。
53.图5是根据一示例性实施例示出的一种高分辨率遥感图像的目标检测装置框图。参照图5，该装置包括：第一获取模块21，用于从传感器获取原始高分辨率遥感图像；第二获取模块22，用于从历史检测结果中获取所述原始高分辨率遥感图像所对应区域以及所述区域向四周扩展预定距离的扩展区域内的目标信息；分区模块23，用于根据所述目标信息，对所述原始高分辨率遥感图像进行自适应的图像分区，得到不同的簇侯检区，进而得到必检区和非必检区；生成模块24，用于进行必检区的模型选择，生成必检区的目标检测方案；执行模块25，用于执行所述目标检测方案，得到各必检区的检测结果；检测模块26，用于判断计算平台是否有多余计算资源以检测非必检区，若有，则进行非必检区的动态分区检测，得到非必检区的检测结果，将所述各必检区的检测结果和所述非必检区的检测结果合并为目标检测结果，否则将所述各必检区的检测结果作为目标检测结果。
54.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
55.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本技术方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
56.相应的，本技术还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储
一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的高分辨率遥感图像的目标检测方法。如图6所示，为本发明实施例提供的一种高分辨率遥感图像的目标检测方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存以及网络接口之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
57.相应的，本技术还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的高分辨率遥感图像的目标检测方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（smart media card，smc）、sd卡、闪存卡（flash card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
58.本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
59.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。