遥感图像的处理方法、装置和服务器与流程

1.本说明书属于遥感图像处理技术领域，尤其涉及遥感图像的处理方法、装置和服务器。


背景技术：

2.在对一些复杂场景(例如，目标物与背景环境融合度较高的场景)下所获取的遥感图像进行目标物检测时，往往准确较低，容易出现诸如将背景环境误判断为目标物，或者将目标物误判断为背景环境等检测误差。
3.针对上述问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本说明书提供了一种遥感图像的处理方法、装置和服务器，以能够较为精准地从遥感图像中检测识别出目标区域中的目标建筑物，减少检测误差，提高检测识别精度。
5.本说明书实施例提供了一种遥感图像的处理方法，包括：
6.获取目标遥感图像；其中，所述目标遥感图像为针对目标区域的遥感图像；
7.处理所述目标遥感图像，得到对应的目标灰度图像；
8.根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像；
9.根据所述均衡化后的目标灰度图像，检测目标区域中的目标建筑物。
10.在一些实施例中，根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像，包括：
11.确定所述目标灰度图像的图像数据类型；其中，所述图像数据类型包括：连续型和离散型；
12.从基于直方图的均衡化处理的预设的映射关系式中，确定出与所述目标灰度图像的图像数据类型相匹配的目标映射关系式；
13.利用所述目标映射关系式处理目标灰度图像中各个像素点的灰度值，以得到均衡化后的目标灰度图像。
14.在一些实施例中，在确定所述目标灰度图像的图像数据类型为离散型的情况下，确定以下预设的映射关系式作为相匹配的目标映射关系式：
[0015][0016]
其中，s
k
为目标灰度图像中灰度值为r
k
的像素点均衡化处理后的灰度值，l为目标灰度图像中灰度级的数量，r
j
为灰度级与j对应的灰度值，j为灰度级的级数，n
j
为目标灰度图像中灰度值为r
j
的像素点数量，mn为目标灰度图像中像素点的总数。
[0017]
在一些实施例中，在确定所述目标灰度图像的图像数据类型为连续型的情况下，确定以下预设的映射关系式作为相匹配的目标映射关系式：
[0018][0019]
其中，s为目标灰度图像中灰度值为r的像素点均衡化处理后的灰度值，p
s
(s)为灰度值为s的像素点的概率密度参数，p
r
(r)为目标灰度图像中灰度值为r的像素点的概率密度参数，l为目标灰度图像中灰度级的数量。
[0020]
在一些实施例中，在根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理之前，所述方法还包括：
[0021]
根据预设的校正规则，对所述目标灰度图像进行几何精校正处理。
[0022]
在一些实施例中，根据预设的校正规则，对所述目标灰度图像进行几何精校正处理，包括：
[0023]
获取并基于参照遥感图像，在目标灰度图像中确定出符合要求的多个地面控制点；
[0024]
根据所述多个地面控制点，构建预设次数的多项式变换矩阵；
[0025]
利用所述多项式变换矩阵，对目标灰度图像中像素点的位置坐标进行空间变换处理，以得到校正后的目标灰度图像。
[0026]
在一些实施例中，获取并基于参照遥感图像，在目标灰度图像中确定出符合要求的多个地面控制点，包括：
[0027]
生成预设尺寸的滑动窗口；
[0028]
根据预设的移动规则，在所述目标灰度图像中移动所述滑动窗口；
[0029]
以及调用预设的特征提取算法提取滑动窗口中的像素点的图像特征，并根据像素点的图像特征和所述参照遥感图像，在滑动窗口中的像素点中确定出符合要求的地面控制点。
[0030]
在一些实施例中，在得到校正后的目标灰度图像之后，所述方法还包括：
[0031]
对目标灰度图像中地面控制点的预设范围区域中的像素点的亮度值采用立方卷积法进行校正处理；
[0032]
对目标灰度图像中除地面控制点的预设范围区域外的其他范围区域中的像素点的亮度值采用双向线性内插法进行校正处理。
[0033]
在一些实施例中，根据所述均衡化后的目标灰度图像，检测目标区域中的目标建筑物，包括：
[0034]
根据预设的切割规则，将所述均衡化后的目标灰度图像切割为多个子图像块；其中，所述多个子图像块中的相邻的两个子图像块之间存在预设范围的重叠区域；
[0035]
调用预设的处理模型，处理所述多个子图像块，得到对应的图像处理结果；其中，所述预设的处理模型包括嵌入有注意力结构的特征提取网络；所述注意力结构用于学习并确定图像的通道权重；
[0036]
根据所述图像处理结果，确定出目标区域中的目标建筑物，以及目标建筑物的数量。
[0037]
在一些实施例中，所述目标区域包括雪地区域，所述目标建筑物包括白色的建筑物。
[0038]
本说明书实施例还提供了一种遥感图像的处理装置，包括：
[0039]
获取模块，用于获取目标遥感图像；其中，所述目标遥感图像为针对目标区域的遥感图像；
[0040]
第一处理模块，用于处理所述目标遥感图像，得到对应的目标灰度图像；
[0041]
第二处理模块，用于根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像；
[0042]
检测模块，用于根据所述均衡化后的目标灰度图像，检测目标区域中的目标建筑物。
[0043]
本说明书实施例还提供了一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现以下步骤：获取目标遥感图像；其中，所述目标遥感图像为针对目标区域的遥感图像；处理所述目标遥感图像，得到对应的目标灰度图像；根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像；根据所述均衡化后的目标灰度图像，检测目标区域中的目标建筑物。
[0044]
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被计算机设备执行时实现：获取目标遥感图像；其中，所述目标遥感图像为针对目标区域的遥感图像；处理所述目标遥感图像，得到对应的目标灰度图像；根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像；根据所述均衡化后的目标灰度图像，检测目标区域中的目标建筑物。
[0045]
本说明书提供了一种遥感图像的处理方法、装置和服务器，基于该方法，在获取针对目标区域的目标遥感图像之后，可以先处理目标遥感图像，得到对应的目标灰度图像；再根据预设的均衡化处理规则，对该目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像；进而可以根据上述均衡化后的目标灰度图像，检测目标区域中的目标建筑物。通过根据预设的均衡化处理规则，对目标灰度图像进行基于直方图的均衡化处理，可以得到灰度动态范围较大、对比度较高、图像细节更为丰富的均衡化后的目标灰度图像；进而可以基于上述均衡化后的目标灰度图像，较为精准地从遥感图像中检测识别出目标区域中的目标建筑物，以减少检测误差，提高检测识别精度。
附图说明
[0046]
为了更清楚地说明本说明书实施例，下面将对实施例中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]
图1是本说明书的一个实施例提供的遥感图像的处理方法的流程示意图；
[0048]
图2是本说明书的一个实施例提供的服务器的结构组成示意图；
[0049]
图3是本说明书的一个实施例提供的遥感图像的处理装置的结构组成示意图；
[0050]
图4是在一个场景示例中，应用本说明书实施例提供的遥感图像的处理方法的一种实施例的示意图。
具体实施方式
[0051]
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明
书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
[0052]
参阅图1所示，本说明书实施例提供了一种遥感图像的处理方法。其中，该方法具体应用于服务器一侧。具体实施时，该方法可以包括以下内容：
[0053]
s101：获取目标遥感图像；其中，所述目标遥感图像为针对目标区域的遥感图像；
[0054]
s102：处理所述目标遥感图像，得到对应的目标灰度图像；
[0055]
s103：根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像；
[0056]
s104：根据所述均衡化后的目标灰度图像，检测目标区域中的目标建筑物。
[0057]
通过上述实施例，可以先根据预设的均衡化处理规则，对基于目标遥感图像所得到的目标灰度图像进行基于直方图的均衡化处理，得到灰度动态范围较大、对比度较高、图像细节更为丰富的均衡化后的目标灰度图像；进而可以基于上述均衡化的目标灰度图像，更加精准地从目标遥感图像中检测并识别出目标区域中的目标建筑物，从而可以有效地减少了检测误差，提高了检测识别精度。
[0058]
在一些实施例中，本说明书实施例所提供的遥感图像的处理方法具体可以用于监测目标区域中的目标建筑物的施工进度的数据处理系统的服务器一侧。其中，所述服务器具体可以包括一种应用于数据处理系统一侧，能够实现数据传输、数据处理等功能的后台服务器。具体的，所述服务器例如可以为一个具有数据运算、存储功能以及网络交互功能的电子设备。或者，所述服务器也可以为运行于该电子设备中，为数据处理、存储和网络交互提供支持的软件程序。在本实施例中，并不具体限定所述服务器的数量。所述服务器具体可以为一个服务器，也可以为几个服务器，或者，由若干服务器形成的服务器集群。
[0059]
在一些实施例中，可以每隔预设的时间段(例如，1周等)获取卫星针对目标区域的所拍摄的目标遥感图像。其中，每一个目标遥感图像对应一个时间段，用于反映所对应的时间段中目标区域中目标建筑物的具体情况。
[0060]
在一些实施例中，上述所述目标建筑物具体可以包括目标区域中的颜色与背景环境的颜色的差异值小于预设的差异阈值、待检测的建筑物对象。
[0061]
具体的，所述目标区域可以包括白色的雪地区域；相应的，所述目标建筑物可以包括白色的建筑物，例如，白色的风电站、白色的厂房、白色的蔬菜大棚等等。
[0062]
当然，需要说明的是，上述所列举的目标区域和目标建筑物只是一种示意性说明。具体实施时，根据具体的应用场景和处理需求，上述目标区域还可以包括黄色的沙漠区域、绿色的草原区域等等；相应的，所述目标建筑物对应可以包括黄色的建筑物、绿色的建筑物等等。对此，本说明书不作限定。
[0063]
通过上述实施例，可以应用本说明书实施例所提供的遥感图像的处理方法，对包含有较难辨识的目标建筑物的目标区域的遥感图像进行针对性的处理，以精准地从目标区域中检测出与目标区域的背景环境融合度较高的目标建筑物。
[0064]
在一些实施例中，上述目标遥感图像具体可以理解为通过遥感卫星针对范围较广的目标区域所采集到的遥感图像。通常目标遥感图像具有高光谱、高分辨率，以及数据维度
高、数据量大等特点。
[0065]
在一些实施例中，在获取目标遥感图像之后，所述方法具体实施时，还可以包括以下内容：
[0066]
s1：调用预设的高通滤波器处理所述目标遥感图像，以得到噪声协方差矩阵；其中，所述预设的高通滤波器为基于遥感图像中目标建筑物的波谱信息和背景环境的波谱信息所建立的；
[0067]
s2：根据所述噪声协方差矩阵，进行最小噪声分离变换，得到目标遥感图像的主成分分析矩阵；
[0068]
s3：利用所述主成分分析矩阵处理所述目标遥感图像，得到处理后的目标遥感图像。
[0069]
通过上述实施例，可以充分利用遥感图像的高光谱、高分辨率的特性，通过利用基于波谱信息所建立的预设的高通滤波器进行最小噪声分离变换，有效地去除背景噪声，减少颜色接近的背景环境对目标建筑物检测识别的干扰；同时，还通过利用主成分分析矩阵处理目标遥感图像，实现对数据量较大的目标遥感图像进行数据降维，得到数据量相对较少、适于后续模型处理的处理后的目标遥感图像；进而可以基于上述处理后的目标遥感图像，得到对应的目标灰度图像，继续后续的处理，以精准地从目标区域中检测识别出目标建筑物，提高了针对辨识难度大的图像处理场景下目标建筑物的检测精度。
[0070]
在一些实施例中，所述预设的高通滤波器具体可以按照以下方式建立得到：采集针对目标区域的且包含有目标建筑物的遥感图像作为测试图像；在所述测试图像中确定出目标建筑物所在的第一图像区域，以及背景环境所在的第二图像区域；对所述第一图像区域进波谱信息统计，得到目标建筑物的波谱信息统计结果；对所述第二图像区域进行波谱信息统计，得到背景环境的波谱信息统计结果；根据所述目标建筑物的波谱信息统计结果和所述背景环境的波谱信息统计结果，构建所述预设的高通滤波器。
[0071]
通过上述实施例，可以充分利用遥感图像的高光谱的特性，基于测试图像构建得到能够有效地过滤背景环境噪声、效果较好的预设的高通滤波器。
[0072]
在一些实施例中，上述根据所述噪声协方差矩阵，进行最小噪声分离变换，得到目标遥感图像的主成分分析矩阵，具体实施时，可以包括以下内容：根据所述噪声协方差矩阵，构建第一变换矩阵；利用所述第一变换矩阵对所述噪声协方差矩阵进行第一变换处理，得到变换后的数据矩阵；根据所述变换后的数据矩阵，构建第二变换矩阵；根据所述第一变换矩阵和第二变换矩阵，构建最小噪声分离变换矩阵；利用所述最小噪声分离变换矩阵处理所述目标遥感图像，得到目标遥感图像的主成分分析矩阵。
[0073]
通过上述实施例，可以通过构建并利用噪声协方差矩阵，对目标遥感图像进行最小噪声分离变换，以在较大程度上去除背景噪声，得到向量中的各个元素互不相关，并保留下目标遥感图像中的主成分，使得图像的数据维度降低，且按信噪比从大到小排列的目标遥感图像的主成分分析矩阵。这样可以有效地降低背景噪声对图像质量的影响，得到相对较纯净，效果相对较好的主成分分析矩阵。
[0074]
在一些实施例中，上述利用所述主成分分析矩阵处理所述目标遥感图像，得到处理后的目标遥感图像，具体实施时，可以包括以下内容：根据所述主成分分析矩阵，确定出目标遥感图像中的主成分波段；根据所述主成分波段，从目标遥感图像中抽取相应的波谱
信息，以生成对应的rgb伪彩色图片，作为所述处理后的目标遥感图像。
[0075]
通过上述实施例，可以利用遥感图像的高光谱特性，使用主成分分析矩阵对目标遥感图像进行相应处理，以实现对图像的数据降维，得到维度相对较低、数据量相对较少，更适于后续模型处理的处理后的目标遥感图像。
[0076]
在一些实施例中，可以通过对上述处理后的目标遥感图像进行灰度转换处理，以得到对应的目标灰度图像。
[0077]
在一些实施例中，考虑到针对包含有目标区域的遥感图像的颜色往往较为单一。例如，在雪地区域中，大部分的区域都是被白雪所覆盖，导致包含有上述目标区域的目标遥感图像中大部分的图像区域的颜色为白色。相应的，所对应的目标灰度图像表现为一种亮图像，其灰度直方图分量明显地集中偏向于灰度较高的一端，例如，集中在右侧，不利于后续模型进行区分。这样的目标灰度图像，往往存在灰度动态范围较小、对比度较低等问题，基于这种目标灰度图像所提取得到的图像细节信息也容易出现遗失，进而影响后续图像处理的精度。
[0078]
正是注意到上述问题，在本实施例中，提出可以先对目标灰度图像进行基于直方图的均衡化处理，以使得均衡化后的目标灰度图像的灰度直方图能够几乎覆盖整个灰度的取值范围，并且除了个别灰度值的个数表现得较为突出外，灰度值的整体分布近似于均匀分布。从而可以使得均衡化后的目标灰度图像具有相对较大的灰度动态范围较、较高的对比度；基于上述均衡化后的目标灰度图像进行后续图像处理，可以提取到较为丰富、全面的图像细节信息，避免一些图像细节信息遭到掩盖和遗失。
[0079]
在一些实施例中，上述根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像，具体实施时，可以包括以下内容：
[0080]
s1：确定所述目标灰度图像的图像数据类型；其中，所述图像数据类型包括：连续型和离散型；
[0081]
s2：从基于直方图的均衡化处理的预设的映射关系式中，确定出与所述目标灰度图像的图像数据类型相匹配的目标映射关系式；
[0082]
s3：利用所述目标映射关系式处理目标灰度图像中各个像素点的灰度值，以得到均衡化后的目标灰度图像。
[0083]
通过上述实施例，可以根据目标灰度图像的图像数据类型，区分不同图像数据类型的灰度图像，有针对性地选择使用相匹配的目标映射关系式，来处理目标灰度图像中的各个像素点(或者像元)的灰度值，以得到精度较高、效果较好的均衡化后的目标灰度图像。
[0084]
在一些实施例中，上述基于直方图的均衡化处理的预设的映射关系式具体可以是预先根据针对目标区域的样本遥感图像的灰度图像和灰度直方图进行统计学习所得到的。
[0085]
上述基于直方图的均衡化处理的预设的映射关系式具体可以是一种以像素点的灰度值r为自变量的变换函数，记为t(r)。其中，r为目标灰度图像中任意一个像素点的灰度值。
[0086]
并且，上述基于直方图的均衡化处理的预设的映射关系式具体满足以下两个条件：
[0087]
条件1：灰度值r在预设的范围(例如，[0,l
‑
1])内，变换函数严格单调递增；其中，l为目标灰度级的数量；当r＝0表示像素点为黑色，r＝l
‑
1表示像素点为白色；
[0088]
条件2：在预设的范围内，任意的灰度值r的变换函数的函数值属于预设的范围，例如，满足以下关系：0≤r≤l
‑
1时，0≤t(r)≤l
‑
1。
[0089]
其中，条件1是为了保证输出灰度值与输入灰度值是一一对应的，同时像素灰度值之间的相对大小关系是保持不变的，这样可以避免反变换时出现错误。条件2是为了保证了输出图像的像素点的灰度范围是与输入图像的像素点的灰度范围是相同的。
[0090]
在一些实施例中，上述目标灰度图像的图像数据类型为离散型，具体可以理解为目标灰度图像中像素点的像素值是离散的，可以表示为：r
k
，k＝0,1,
……
，l
‑
1，其中，k表示为灰度值r
k
所对应的灰度级的级数。
[0091]
相应的，上述目标灰度图像的图像数据类型为连续型具体可以理解为目标灰度图像中像素点的像素值是连续的，可以表示为：r，0≤r≤l
‑
1。
[0092]
在一些实施例中，上述目标灰度图像中灰度级的数量具体可以根据目标灰度图像的比特数来确定。具体的，例如，目标灰度图像为8比特的图像，则l可以为256。
[0093]
在一些实施例中，在确定所述目标灰度图像的图像数据类型为离散型的情况下，可以从预先确定出的基于直方图的均衡化处理的预设的映射关系式中，确定以下预设的映射关系式作为相匹配的目标映射关系式：
[0094][0095]
其中，s
k
为目标灰度图像中灰度值为r
k
的像素点均衡化处理后的灰度值，l为目标灰度图像中灰度级的数量，r
j
为灰度级与j对应的灰度值，j为灰度级的级数，n
j
为目标灰度图像中灰度值为r
j
的像素点数量，mn为目标灰度图像中像素点的总数。
[0096]
通过上述实施例，针对图像数据类型为离散型的目标灰度图像，可以确定并利用相匹配的目标映射关系式来对该目标灰度图像进行针对性的基于直方图的均衡化处理，得到精度较高、效果较好的均衡化后的目标灰度图像。
[0097]
在一些实施例中，在确定所述目标灰度图像的图像数据类型为连续型的情况下，可以从预先确定出的基于直方图的均衡化处理的预设的映射关系式中，确定以下预设的映射关系式作为相匹配的目标映射关系式：
[0098][0099]
其中，s为目标灰度图像中灰度值为r的像素点均衡化处理后的灰度值，p
s
(s)为灰度值为s的像素点的概率密度参数，p
r
(r)为目标灰度图像中灰度值为r的像素点的概率密度参数，l为目标灰度图像中灰度级的数量。
[0100]
通过上述实施例，针对图像数据类型为连续型的目标灰度图像，可以确定并利用相匹配的目标映射关系式来对该目标灰度图像进行针对性的基于直方图的均衡化处理，得到精度较高、效果较好的均衡化后的目标灰度图像。
[0101]
在一些实施例中，又考虑到由于负责拍摄采集的遥感卫星本身存在偏差等因素，导致所直接得到的目标遥感图像中像素点的位置坐标对应于目标区域中的真实的位置坐标存在误差，进而影响后续目标建筑物的检测精度。例如，基于上述遥感图像，不同时间段所检测出的目标建筑物的位置有可能会出现偏离，影响对目标建筑物施工进度的判断。
[0102]
正是注意到上述问题，在本实施例中，提出可以先获取并利用可靠性较高的参照
遥感图像，对目标灰度图像进行几何精校正处理，以消除目标灰度图像中像素点的位置坐标所存在的误差，得到位置坐标较为精准的校正后的目标灰度图像，进而可以基于上述校正后的目标灰度图像进行后续处理，以精准地检测确定出目标区域中的目标建筑物。
[0103]
在一些实施例中，在根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理之前，所述方法具体实施时，还可以包括以下内容：根据预设的校正规则，对所述目标灰度图像进行几何精校正处理。
[0104]
通过上述实施例，可以先根据预设的校正规则，对目标灰度图像进行对应的几何精校正处理，以消除目标灰度图像中像素点的位置坐标存在的误差，得到精度较高的校正后的目标灰度图像，以便后续可以利用上述校正后的目标灰度图像对目标区域中的目标建筑物进行更为精准的检测识别。
[0105]
在一些实施例中，上述根据预设的校正规则，对所述目标灰度图像进行几何精校正处理，具体实施时，可以包括以下内容：
[0106]
s1：获取并基于参照遥感图像，在目标灰度图像中确定出符合要求的多个地面控制点；
[0107]
s2：根据所述多个地面控制点，构建预设次数的多项式变换矩阵；
[0108]
s3：利用所述多项式变换矩阵，对目标灰度图像中像素点的位置坐标进行空间变换处理，以得到校正后的目标灰度图像。
[0109]
通过上述实施例，可以先获取并根据可靠性较高的参照遥感图像，构建预设次数的多项式变换矩阵；进而可以利用该多项式变换矩阵，对目标灰度图像中像素点的位置坐标进行空间变化处理，以消除目标灰度图像中像素点的位置坐标所存在的误差，得到位置坐标准确的校正后的目标灰度图像，以完成相应的几何精校正处理。
[0110]
在一些实施例中，上述参照遥感图像具体可以是针对目标区域的spot
‑
4遥感图像。其中，上述spot
‑
4具体可以是可靠性较高的spot的第四颗卫星针对目标区域所采集提供的。相对于目标遥感图像(记为tm遥感图像)，spot
‑
4遥感图像在定位上具有更高的精度，适合作为一种基准图像。
[0111]
在一些实施例中，上述获取并基于参照遥感图像，在目标灰度图像中确定出符合要求的多个地面控制点，具体实施时，可以包括以下内容：
[0112]
s1：生成预设尺寸的滑动窗口；
[0113]
s2：根据预设的移动规则，在所述目标灰度图像中移动所述滑动窗口；
[0114]
以及调用预设的特征提取算法提取滑动窗口中的像素点的图像特征，并根据像素点的图像特征和所述参照遥感图像，在滑动窗口中的像素点中确定出符合要求的地面控制点。
[0115]
通过上述实施例，可以较为高效地从目标灰度图像中筛选出相应数量的、效果较好的多个地面控制点。
[0116]
在一些实施例中，上述地面控制点(可以记为gcp)具体可以作为后续对目标灰度图像进行几何精校正处理的基准控制点。
[0117]
在一些实施例中，上述滑动窗口的预设尺寸具体可以根据目标遥感图像的大小和处理精度，灵活设置。
[0118]
在一些实施例中，在根据预设的移动规则，在目标灰度图像中移动滑动窗口的过
程中，滑动窗口每一移动并框出一个新的图像区域时，可以触发根据标注后的参照遥感图像，调用预设的特征提取算法自动对该滑动窗口所框出的新的图像区域中的像素点进行图像特征提取；并根据所提取到图像特征，结合标注后的参照遥感图像，自动筛选出符合要求的像素点作为地面控制点。在完成对滑动窗口当前所框出的图像区域的地面控制点的确定之后，可以根据预设的移动规则，将滑动窗口移动到下一个图像区域，重复上述处理，直到处理完目标灰度图像中的所有图像区域为止。
[0119]
其中，上述预设的特征提取算法具体可以包括：moravec算法，或sift算法等。
[0120]
在一些实施例中，上述根据所述多个地面控制点，构建预设次数的多项式变换矩阵，具体实施时，可以包括以下内容：确定合适的目标数量n作为多项式变换矩阵的预设次数；计算并根据地面控制点的统计参数值(例如，rms值：平方的平均值的平方根)，从多个地面控制点中筛选出n个符合要求的地面控制点，作为目标控制点；再根据n个目标控制点，通过数据拟合，得到对应的预设次数的多项式变换矩阵。
[0121]
在一些实施例中，具体构建预设次数的多项式变换矩阵时，考虑到随着多项式变换矩阵的次数n增加，各gcp的sse(sum of the squared errors，误差平方和)将会逐渐降低。由于n的增大会大幅增加每个gcp的拟合程度，故sse的下降幅度也会变得很大。而当各gcp的拟合程度接近真实坐标时，再增加n所得到的sse回报会迅速变小，即sse的下降幅度也会骤减，然后随着n的继续增大而趋于平缓。具体的，通过数据变化分析，可以发现：sse和n的曲线关系图呈一个手肘形状，而这个肘部对应的n即为一个最优的预设次数。
[0122]
通过上述实施例，利用gcp的sse和n之间手肘形的变换关系，可以快速地找到一个同时兼顾效率和精度的预设次数n，以高效地构建得到效果较好的预设次数的多项式变换矩阵。
[0123]
在一些实施例中，在得到校正后的目标灰度图像之后，所述方法具体实施时，还可以包括以下内容：对目标灰度图像中地面控制点的预设范围区域中的像素点的亮度值采用立方卷积法进行校正处理；对目标灰度图像中除地面控制点的预设范围区域外的其他范围区域中的像素点的亮度值采用双向线性内插法进行校正处理。
[0124]
通过上述实施例，可以针对校正后的目标灰度图像，区分不同的区域，有针对性地对不同区域中的像素点的亮度值进行校正，从而可以以较少的数据处理成本，高效地完成针对目标灰度图像中的亮度值的校正，以完成对校正后的目标灰度图像中像素点灰度值的重采样。
[0125]
在一些实施例中，上述根据所述均衡化后的目标灰度图像，检测目标区域中的目标建筑物，具体实施时，可以包括以下内容：
[0126]
s1：根据预设的切割规则，将所述均衡化后的目标灰度图像切割为多个子图像块；其中，所述多个子图像块中的相邻的两个子图像块之间存在预设范围的重叠区域；
[0127]
s2：调用预设的处理模型，处理所述多个子图像块，得到对应的图像处理结果；其中，所述预设的处理模型包括嵌入有注意力结构的特征提取网络；所述注意力结构用于学习并确定图像的通道权重；
[0128]
s3：根据所述图像处理结果，确定出目标区域中的目标建筑物，以及目标建筑物的数量。
[0129]
通过上述实施例，可以先通过将均衡化后的目标灰度图像分割成多个数据量相对
更小、更适合后续模型处理的子图像块，实现图像数据的降维；再将上述多个子图像块代替完整的、数据量较大、维度较高的均衡化后的目标灰度图像，输入至基于注意力机制训练的预设的处理模型；进而可以通过上述预设的处理模型高效、准确地确定出目标区域中的目标建筑物，以及目标建筑的具体数量，以实现对目标区域中的目标建筑物的检测。
[0130]
在一些实施例中，根据预设的切割规则，具体切割时，为了避免将一个目标建筑物切割到不同的子图像块中，导致后续处理识别时出现误差，可以根据预设的切割规则，在切割时在相邻的两个子图像块之间预留一个重叠区域，并使得该重叠区域的范围大小为预设范围。
[0131]
其中，上述预设的切割规则中包含有预设范围的参数值。上述预设范围的参数值具体可以根据所使用的切割的步长和/或活动窗口的尺寸参数，同时结合目标灰度图像的尺寸参数、目标建筑物的尺寸参数等多种数据来确定。
[0132]
在一些实施例中，在根据预设的切割规则具体进行切割时，在发现目标灰度图像的剩余图像区域不足以切割成一个子图像块时，服务器还可以通过对目标灰度图像进行补零操作(例如，padding)，以将不足的图像区域使用黑色的图像填补；然后再继续进行切割。从而可以切割得到更适用于后续预设的处理模型处理的多个子图像块。
[0133]
在一些实施例中，上述预设的处理模型包括嵌入有注意力结构的特征提取网络；其中，上述注意力结构具体用于学习并确定图像的通道权重。
[0134]
具体实施时，可以将多个子图像块组合作为模型输入，输入至预设的处理模型中，并云行该模型。预设的处理模型具体运行时，可以利用嵌入有注意力结构的特征提取网络，对不同(光谱)通道进行区分，有针对性提取对目标建筑物的检测作用较大的特征；进而可以根据所提取出的特征，识别出图像中的目标建筑物，并定位、统计出目标建筑物的数量，作为模型输出。从而可以完成对目标建筑物的检测。
[0135]
需要说明的是，由于遥感图像本身具有高光谱、多通道的特性，如果对图像的不同光谱、通道不作区分，都统一采用相同的权重进行处理，势必会影响模型的整体处理效率，也会对模型最终输出的结果的准确度产生影响。因此，在本实施例中，在模型中引入并设置了嵌入有注意力结构的特征提取网络，以便在训练预设的处理模型时，模型可以利用上述特征提取网络，通过学习样本数据，确定出针对图像的通道权重。这样，后续在利用预设的处理模型具体处理多个子图像块，进行目标建筑物检测时，模型可以利用上述训练好的嵌入有注意力结构的特征提取网络，来区分不同的图像特征通道，再以相匹配的通道权重来进行特征提取，从而可以使的模型所提取并使用的特征总量更少、针对性更强、效果更好。
[0136]
在一些实施例中，上述注意力结构(也可以称为注意力模块)具体可以用于显式的方式表达出不同特征通道之间的相互依赖关系，具体可以被嵌入在预设的处理模型中的高分辨率特征提取网络中。这样，可以通过上述注意机构采用一种特征重标定的策略，即通过学习的方式来自动学习并获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征，并抑制对目标建筑物的检测用户较小的特征。
[0137]
需要说明的是，上述注意力结构的学习过程具体可以包括：以测试图像的背景环境的波谱信息统计结果、目标建筑物的波谱信息统计结果作为指导依据进行学习，以区分背景环境的波段和目标建筑物的波段，并提升目标建筑物波段的重要程度，同时抑制难以辨识的背景环境的波段，从而可以增强模型的表达能力，提高模型的检测精度。
[0138]
其中，上述目标建筑物的波谱信息统计结果和背景环境的波谱信息统计结果可以按照以下方式获取：预先通过在所述测试图像中确定出目标建筑物所在的第一图像区域，以及背景环境所在的第二图像区域；并对所述第一图像区域进波谱信息统计，得到目标建筑物的波谱信息统计结果；对所述第二图像区域进行波谱信息统计，得到背景环境的波谱信息统计结果。
[0139]
在一些实施例中，所述特征提取网络进一步，还可以包括：主网络、第一子网络、第二子网络，和融合结构。其中，所述主网络用于提取高分辨率特征图；所述第一子网络用于提取第一类低分辨率特征图；所述第二子网络用于提取第二类低分辨率特征图；所述融合结构用于融合所述高分辨率特征图、第一类低分辨率特征图、第二类低分辨率特征图，得到融合后的特征图。
[0140]
通过上述实施例，预设的处理模型可以基于特征提取网络有效地提取出同时保留并融合了遥感图像中的高分辨率特征和低分辨率特征的融合后的特征图(或者称特征热图)，进而后续可以根据上述融合后的特征图得到更加精准的图像处理结果。
[0141]
在一些实施例中，上述主网络具体可以包括串联的多个卷积层。上述第一子网络、第二子网络具体可以分别通过进行2倍下采样、4倍下采样，以分别得到对应的第一类低分辨率特征图、第二类低分辨率特征图。
[0142]
在一些实施例中，在特征提取网络中，上述主网络、第一子网络和第二子网络相互之间可以是并联的，各自再经过3个卷积层后与融合结构相连。这样，分别从主网络、第一子网络、第二子网络输出的高分辨率特征图、第一类低分辨率特征图、第二类低分辨率特征图在通过三次卷积操作后，可以流入融合结构进行融合，以得到融合后的特征图。
[0143]
在一些实施例中，上述融合结构具体可以被设置为采用预设的融合方式进行融合。其中，上述预设的融合方式具体可以包括：逐个像元的相加融合(例如，elementwise
‑
add)，和/或，信道的堆叠融合。
[0144]
在一些实施例中，所述预设的处理模型具体还可以包括预设的回归与分类网络。所述预设的回归与分类网络用于根据融合后的特征图，定位出多个锚框，并确定出所述多个锚框中的各个锚框内存在目标建筑物的预测概率。
[0145]
通过上述实施例，预设的处理模型基于预设的回归与分类网络，可以根据预设的特征提取网络输出的融合后的特征图，精准地定位出多个可能存在目标建筑物的锚框，并确定出各个锚框中存在目标建筑物的预测概率，得到精度较高的图像处理结果。
[0146]
在一些实施例中，上述预设的回归与分类网络具体可以理解为一种预先训练好的能够在图像中定位出存在目标建筑物的锚框的同时，确定出锚框内存在目标建筑物的预测概率的神经网络结构。
[0147]
在一些实施例中，所述预设的回归与分类网络具体可以包括：第一卷积层，以及与第一卷积层相连的第二卷积层和第三卷积层。其中，所述第一卷积层具体可以用于处理融合后的特征图输出中间数据；所述第二卷积层具体可以用于根据所述中间数据，通过在目标区域中找出多个坐标点的组合，以定位出多个锚框；所述第三卷积层具体可以用于根据所述中间数据，计算锚框内存在目标建筑物的预测概率。上述第二卷积层与第一卷积层相连，第三卷积层与第一卷积层相连。
[0148]
通过上述实施例，利用上述预设的回归与分类网络，可以同时高效地确定出多个
可能存在目标建筑物的锚框，并准确地确定出各个锚框中存在目标建筑物的预测概率。
[0149]
在一些实施例中，具体的，上述第一卷积层可以包括一个尺寸为3*3的卷积层。上述第二卷积层可以包括一个尺寸为1*1的卷积层。上述第三卷积层可以包括一个尺寸为1*1的卷积层。其中，第二卷积层用于找到4个坐标点组合出的锚框，输出n*4的数据。第一卷积层用于对预测锚框内存在目标建筑物的概率，输出n*2的数据。
[0150]
在一些实施例中，具体实施前，在训练上述预设的回归与分类网络时，可以在样本图像中标注出真实包含有目标建筑物的框，记为ground thuth框，得到标注后的样本图像。再将利用上述标注后的样本图像，输入值初始的回归与分类网络中，以输出初始的基础锚框。计算基础锚框与ground thuth框之间的重叠度(iou值)。进一步，将标注后的样本图像中重叠度大于第一重叠度(例如，0.7)的标注后的样本图像确定并标识为正样本；将重叠度小于第二重叠度(例如，0.3)的标注后的样本图像确定标识为负样本。再根据正样本、负样本，训练初始的回归与分类网络，并计算出对应的网络损失。根据网络损失，有针对性地调整网络参数，以得到符合要求的预设的回归与分类网络。
[0151]
在一些实施例中，服务器具体可以调用相应的gpu资源来运行预设的处理模型，以便可以更加高效地得到对应图像处理结果。
[0152]
在一些实施例中，具体实施前，可以获取样本数据，并对样本数据进行标注，得到标注后的样本数据；同时，构建至少包括嵌入有初始的注意力结构的特征提取网络的初始模型；再利用上述标注后的样本数据对上述初始模型进行训练学习，以得到至少包括嵌入有注意力结构的特征提取网络的预设的处理模型。
[0153]
在一些实施例中，在具体训练上述至少包括嵌入有注意力结构的特征提取网络的预设的处理模型时，可以分别进行以下三个操作来完成针对性的训练。
[0154]
首先，可以对模型进行squeeze操作(简记为f
sq
操作)。具体的，可以令模型顺着空间维度来进行特征压缩，可以将每个二维的特征通道变成一个实数，这个实数在某种程度上会具有全局的感受野，并且使得输出的特征z的维度和输入的特征通道数相匹配，表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野。
[0155]
具体实现时，可以在模型中利用以下算式，完成全局平均池化操作：
[0156][0157]
其中，u表示从上一步高分辨率特征提取网络中得到的c个大小为h*w的特征图(feature map)；u
c
表示u中第c个二维矩阵，下标c表示对应的特征通道(channel)。通过按照上述算式进行f
sq
操作，可以将h*w*c的输入特征转换成1*1*c的输出，用于表征该层c个f特征图的特征数值分布情况，也可以称为全局信息。
[0158]
其次，可以对模型进行excitation操作(简记为f
ex
操作)。该操作具体可以理解为一种类似于基于循环神经网络中门的机制的操作。具体的，可以通过参数w来为每个特征通道生成对应权重。其中，参数w通过后续的模型训练，用显式方式来表征出建模特征通道间的相关性：
[0159]
s＝f
ex
(z，w)＝σ(g(z，w))＝σ(w2δ(w1z))
[0160]
具体的，根据上述算式在先用w1乘以前面squeeze操作得到的结果z，可以理解为
是一个全连接层操作。其中，w1的维度具体可以表示为c/r*c，r是一个缩放参数，目的是为了减少通道个数以降低计算量。又因为z的维度是1*1*c，所以w1z的维度为1*1*c/r。然后再经过一个relu层后，输出的维度不变。接着可以再和w2相乘，即第二个全连接层操作。其中，w2的维度具体可以表示为c*c/r。因此输出的维度就是1*1*c。最后再经过sigmoid函数，可以得到f
ex
操作结果s，一个权重矩阵。
[0161]
其中，s可以用来刻画张量u中c个特征图的权重。这个权重具体可以是通过前面这些全连接层和非线性层，对标注后的样本数据进行学习得到。因此可以支持端到端的训练。这两个全连接层的作用就是融合各通道的特征图的特征信息。因为前面的squeeze操作都是在某个通道的特征图里面进行操作的。
[0162]
最后，可以对模型再进行一个reweight操作(简记为f
scale
操作)。具体的，可以将excitation操作输出的权重s作为用于表征经过特征选择后的每个特征通道的重要程度的参数；然后通过乘法运算，利用s中对应通道的权重s
c
逐通道加权到先前的特征u
c
上，完成在通道维度上的对原特征的权重标定，可以表示为：
[0163][0164]
其中，可以表示加权重标定后的通道特征。
[0165]
从而可以得到效果较好的、精度较高的嵌入有注意力结构的特征提取网络。
[0166]
在一些实施例中，在具体训练模型的过程中，还可以引入难样本挖掘模块。利用上述难样本挖掘模块，可以将训练过程中模型识别错误的样本数据通过mixup的数据扩增方法生成新的样本数据；再将新的样本数据输入到模型中进行进一步的迭代优化，以提高模型准确率。
[0167]
在一些实施例中，在确定出目标区域中的目标建筑物，以及目标建筑物的数量之后，所述方法具体实施时，还可以包括以下内容：获取基于上一个时间段的目标遥感图像所确定出的上一个时间段目标区域中的目标建筑物，以及目标建筑物的数量；根据上一个时间段目标区域中的目标建筑物，以及目标建筑物的数量；以及当前确定出目标区域中的目标建筑物，以及目标建筑物的数量，确定出目标区域自上一个时间段到当前目标建筑物的施工进度。
[0168]
通过上述实施例，服务器可以通过比较当前所确定出目标区域中的目标建筑物，以及上一个时间段目标区域中的目标建筑物，准确地确定出目标区域中目标建筑物的施工进度，进而可以为目标区域中的目标建筑物的远程施工管理提供较好的参考依据。
[0169]
由上可见，基于本说明书实施例提供的遥感图像的处理方法，在获取针对目标区域的目标遥感图像之后，可以先处理目标遥感图像，得到对应的目标灰度图像；再根据预设的均衡化处理规则，对该目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像；进而可以根据上述均衡化后的目标灰度图像，检测目标区域中的目标建筑物。通过根据预设的均衡化处理规则，对该目标灰度图像进行基于直方图的均衡化处理，可以得到灰度动态范围较大、对比度较高、图像细节更为丰富的均衡化后的目标灰度图像；进而可以基于上述均衡化后的目标灰度图像较为精准地从遥感图像中检测识别出目标区域中的目标建筑物，减少检测误差，有效地提高了针对目标区域中的目标建筑物的检测精度。
[0170]
本说明书实施例还提供了一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器具体实施时可以根据指令执行以下步骤：获取目标遥感图像；其
中，所述目标遥感图像为针对目标区域的遥感图像；处理所述目标遥感图像，得到对应的目标灰度图像；根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像；根据所述均衡化后的目标灰度图像，检测目标区域中的目标建筑物。
[0171]
为了能够更加准确地完成上述指令，参阅图2所示，本说明书实施例还提供了另一种具体的服务器，其中，所述服务器包括网络通信端口201、处理器202以及存储器203，上述结构通过内部线缆相连，以便各个结构可以进行具体的数据交互。
[0172]
其中，所述网络通信端口201，具体可以用于获取目标遥感图像；其中，所述目标遥感图像为针对目标区域的遥感图像。
[0173]
所述处理器202，具体可以用于处理所述目标遥感图像，得到对应的目标灰度图像；根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像；根据所述均衡化后的目标灰度图像，检测目标区域中的目标建筑物。
[0174]
所述存储器203，具体可以用于存储相应的指令程序。
[0175]
在本实施例中，所述网络通信端口201可以是与不同的通信协议进行绑定，从而可以发送或接收不同数据的虚拟端口。例如，所述网络通信端口可以是负责进行web数据通信的端口，也可以是负责进行ftp数据通信的端口，还可以是负责进行邮件数据通信的端口。此外，所述网络通信端口还可以是实体的通信接口或者通信芯片。例如，其可以为无线移动网络通信芯片，如gsm、cdma等；其还可以为wifi芯片；其还可以为蓝牙芯片。
[0176]
在本实施例中，所述处理器202可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式等等。本说明书并不作限定。
[0177]
在本实施例中，所述存储器203可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如ram、fifo等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、tf卡等。
[0178]
本说明书实施例还提供了一种基于上述遥感图像的处理方法的计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：获取目标遥感图像；其中，所述目标遥感图像为针对目标区域的遥感图像；处理所述目标遥感图像，得到对应的目标灰度图像；根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像；根据所述均衡化后的目标灰度图像，检测目标区域中的目标建筑物。
[0179]
在本实施例中，上述存储介质包括但不限于随机存取存储器(random access memory,ram)、只读存储器(read
‑
only memory,rom)、缓存(cache)、硬盘(hard disk drive,hdd)或者存储卡(memory card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
[0180]
在本实施例中，该计算机可读存储介质存储的程序指令具体实现的功能和效果，
可以与其它实施方式对照解释，在此不再赘述。
[0181]
参阅图3所示，在软件层面上，本说明书实施例还提供了一种遥感图像的处理装置，该装置具体可以包括以下的结构模块：
[0182]
获取模块301，具体可以用于获取目标遥感图像；其中，所述目标遥感图像为针对目标区域的遥感图像；
[0183]
第一处理模块302，具体可以用于处理所述目标遥感图像，得到对应的目标灰度图像；
[0184]
第二处理模块303，具体可以用于根据预设的均衡化处理规则，对所述目标灰度图像进行基于直方图的均衡化处理，得到均衡化后的目标灰度图像；
[0185]
检测模块304，具体可以用于根据所述均衡化后的目标灰度图像，检测目标区域中的目标建筑物。
[0186]
需要说明的是，上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0187]
由上可见，基于本说明书实施例提供的遥感图像的处理装置，通过根据预设的均衡化处理规则，对该目标灰度图像进行基于直方图的均衡化处理，可以得到灰度动态范围较大、对比度较高、图像细节更为丰富的均衡化后的目标灰度图像；进而可以基于上述均衡化后的目标灰度图像较为精准地从遥感图像中检测识别出目标区域中的目标建筑物，减少检测误差，提高检测精度。
[0188]
在一个具体的场景示例中，可以应用本说明书实施例提供的遥感图像的处理方法来构建相应系统，以对雪地(例如，目标区域)中的风电站的风车(例如，目标建筑物)进行检测。具体实施时，参与图4所示，可以包括以下内容。
[0189]
在本场景示例中，可以先将输入的高光谱遥感图像x(例如，目标遥感图像)经过预处理模块进行诸如几何校正、直方图均衡化、重叠切割法等处理，以对遥感图像进行坐标校准、对比度调整，并作匹配的切割。随后，可以将卫星图像碎片被送入(预设的处理模型中)特征提取网络，使用多卷积层融合网络保留高分辨率信息，并利用嵌入通道注意力机制模块(例如，嵌入于特征提取网络的注意力结构)，根据之前标注选择出的典型目标(目标建筑物)与难区分背景区域(背景环境)的波段信息，给予图像不同波段不同的权重；再进一步增强特征热图的表达能力。最后，可以通过(预设的处理模型中的)锚框回归与分类网络将输出预测锚框的坐标与类别信息。此外，还可以同时加入难样本挖掘模块，以将模型识别错误的样本通过mixup的数据扩增方法生成新的训练样本，再利用新的训练样本进一步迭代优化模型，提高模型准确率。
[0190]
在本场景示例中，输入此系统的遥感影像是专业卫星公司使用卫星定期拍摄并上
传的图像(tm图像)，具有占用内存大、高光谱、分辨率高等特征，需要遥感影像读取模块进行读取，并保存高光谱信息。
[0191]
在本场景示例中，初次读取并获得图像信息后，用户可以对图像中感兴趣的区域和背景区域进行多边形框选。框选出典型目标与背景区域后，系统将对区域包含像元所对应的波谱信息进行统计。用户可以选择保存这些目标与背景波段的统计信息，以便下次检测时自动载入。
[0192]
在本场景示例中，接下来进入遥感图像预处理模块。首先，系统可以采用几何精校正法，即利用地面控制点(gcp)对各种因素引起的遥感图像几何畸变进行校正。从数学上说，其原理是通过一组gcp建立原始的畸变图像空间与校正空间的坐标变换关系，利用这种对应关系把畸变空间中全部元素变换到校正空间中去，从而实现几何精校正。
[0193]
系统具体可以以具有地理参考的spot4全色波段作为基准影像，对后续拍摄的tm图像的几何精校正，具体可以包含三个步骤：
[0194]
s1：gcp的选择：一般gcp需要手动选择，且需要标注较多典型gcp以提升校准精度，对缺少专业知识的用户来说易用性不高。本系统可以将用户在spot图与待校正tm图上选择的典型目标与难区分背景区域的坐标作为典型地面控制点输入系统，系统将生成n*n大小的窗口在图像上滑动，并利用特征提取算法(moravec算法/sift算法)生成候选地面控制点。用户可以目视并手动调整或删除误提取的控制点。
[0195]
s2：构建拟合变换多项式(例如，多项式变换矩阵)：可以选择rms最小的n个gcp拟合一个多项式变换矩阵。为了降低用户的使用门槛，本系统可以利用手肘法确定多项式次数n。随着多项式次数n增加，各gcp的sse(sum of the squared errors，误差平方和)将会逐渐降低。由于n的增大会大幅增加每个gcp的拟合程度，故sse的下降幅度会很大，而当各gcp的拟合程度接近真实坐标时，再增加n所得到的sse回报会迅速变小，所以sse的下降幅度会骤减，然后随着n的继续增大而趋于平缓，也就是说sse和n的关系图是一个手肘的形状，而这个肘部对应的n即为用户选取多项式次数的依据。
[0196]
s3：图像像元灰度值重采样：经过上述图像像元坐标的空间变换，得到对应于实际地面或无几何畸变的图像坐标的图像，但并没有校正图像中的像元亮度值。具体可以通过数学方法形成无几何畸变的遥感数据。本系统可以采用双向线性内插法 立方卷积法。具体的，可以在gcp周边区域采用立方卷积法，提高区域内图像质量；对其他区域采用双向线性内插法，从而节约计算量与耗时。
[0197]
在本场景示例中，遥感图像预处理模块的第二步是直方图均衡化。对于雪地风电站场景，由于图像大部分被白雪覆盖，即基本为亮图像，其直方图分量偏向于灰度较高的一端。因此可以利用直方图均衡化，使得一幅图像的灰度直方图几乎覆盖了整个灰度的取值范围，并且除了个别灰度值的个数较为突出，整个灰度值分布近似于均匀分布，那么这幅图像就具有较大的灰度动态范围和较高的对比度，同时也可以使得图像的细节更为丰富。
[0198]
具体的，可以设待处理图像为灰度图像(例如，目标灰度图像)，其中，r表示待处理图像的灰度值，取值范围为[0,l
‑
1]。当r＝0表示黑色，r＝l
‑
1表示白色，直方图均衡化的过程对应于一个变换t(预设的映射关系式)：
[0199]
s＝t(r)，0≤r≤l
‑
1。
[0200]
对于输入图像的某个灰度值r，可以通过变换t得到均衡化后的图像对应位置的灰
度值s。其中变换t满足以下条件：
[0201]
(a)t(r)在[0,l
‑
1]上严格单调递增；
[0202]
(b)当0≤r≤l
‑
1时，0≤t(r)≤l
‑
1。
[0203]
其中，条件(a)是为了保证输出灰度值与输入灰度值一一对应，同时像素灰度值之间的相对大小关系不变，这样可以避免反变换时出现问题。条件(b)是为了保证了输出图像的灰度范围与输入图像相同。
[0204]
具体的，对于连续形式(图像数据类型为连续型)的灰度图像的灰度级可以看作区间[0,l
‑
1]内的随机变量，因此可用其概率密度函数(pdf)描述。
[0205]
可以假设p
s
(s)、p
r
(r)分别表示随机变量r和s的pdf，p
r
(r)和变换t已知，且t(r)在定义域内连续可微，则变换后s的pdf可由下式得到：
[0206][0207]
其中，
[0208][0209]
因此，输出图像灰度s的pdf可以表示为以下算式：
[0210][0211][0212]
同理，对于离散形式(例如，图像数据类型为离散型)的图像，输出图像中像素的灰度值可由输入图像中像素灰度r
k
映射为s
k
得到：
[0213][0214][0215]
其中，mn为图像像素总数，n
k
是灰度为r
k
的像素个数，l是图像可能的灰度级数量(例如对于8比特图像l＝256)。
[0216]
在本场景示例中，预处理模块可以利用重叠切割脚本将把大型遥感图像切割成大小相等的小图像块(例如，多个子图像块)，以便输入后续的网络(例如，预设的处理模型)中进行预测。其中，相邻图片需要根据目标尺寸预留重叠部分长度，从而保证感兴趣目标，如风车，不会在切割时被分成两半。具体的，用户首先可以输入或直接使用预设切割后小图的宽与高，以及相邻图片的重叠部分长度。随后系统会根据宽，高与步长对图片进行padding补零并执行滑动窗口切割，保证切割图片尺寸相同，且感兴趣目标总能在某一张小图中完整出现。
[0217]
在本场景示例中，切割后的卫星图片将被打包送入特征提取网络，生成特征热图。其中，特征提取主网络将多个卷积层串联，同时通过2倍与4倍下采样，并行生成两个低分辨
率特征图，也采用多个卷积层串联。为了保留卫星图像的高分辨率特征，主网络与两个低分辨率子网络的特征图在每三次卷积后都会进行一次elementwise
‑
add的特征融合操作，从而在深层网络中仍能保留浅层网络中的高低分辨率特征信息。
[0218]
在本场景示例中，由于遥感图像具有高光谱特性，通道数通常很多，还采用了一种特征重标定的策略，即通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。这个学习的过程可以由用户选择的典型目标与难区分背景区域的波段信息进行指导，提升目标波段的重要程度，并抑制难区分背景波段的特征，从而增强模型的表达能力，改善模型的检测精度。
[0219]
具体步骤可以包括以下内容：
[0220]
s1：进行squeeze操作。可以令模型顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野。数学上实现的方式为一个全局平均池化操作：
[0221][0222]
具体可以用u表示从上一步高分辨率特征提取网络中得到的c个大小为h*w的feature map。而u
c
表示u中第c个二维矩阵，下标c表示channel。通过f
sq
操作将h*w*c的输入转换成1*1*c的输出，相当于表明该层c个feature map的数值分布情况，或者叫全局信息。
[0223]
s2：进行excitation操作。该操作具体可以理解是一个类似于循环神经网络中门的机制。通过参数w来为每个特征通道生成权重，其中参数w被学习用来显式地建模特征通道间的相关性：
[0224]
s＝f
ex
(z，w)＝σ(g(z，w))＝σ(w2δ(w1z))。
[0225]
具体操作时，可以先用w1乘以前面squeeze得到的结果z，就是一个全连接层操作，w1的维度是c/r*c，r是一个缩放参数，目的是为了减少channel个数从而降低计算量。又因为z的维度是1*1*c，所以w1z的维度为1*1*c/r；然后再经过一个relu层，输出的维度不变；然后再和w2相乘，即第二个全连接层的过程，w2的维度是c*c/r，因此输出的维度就是1*1*c；最后再经过sigmoid函数，得到s。s是用来刻画张量u中c个feature map的权重。这个权重是通过前面这些全连接层和非线性层学习得到的，因此可以端到端地训练。这两个全连接层的作用就是融合各通道的feature map信息，因为前面的squeeze都是在某个channel的feature map里面操作。
[0226]
s3：进行reweight操作。具体的，模型可以将excitation操作输出的权重s看做是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征u
c
上，完成在通道维度上的对原始特征的重标定：
[0227][0228]
在本场景示例中，所使用的锚框回归与分类网络首先通过一个3*3卷积与两个1*1卷积，将上一步得到的特征图进行维度变换，得到n*2的是否包含物体的分数预测，以及n*4的锚框坐标预测。训练时，网络中预设了5个不同尺寸的基础锚框，并与ground truth框计
算iou值，将a个iou大于0.7的设为正样本，b个小于0.3的设为负样本，从而得到(a b)*2个样本分类标签与a*4的锚框回归张量，用于计算网络损失。
[0229]
在本场景示例中，系统最终可以将预测出的风车数量、坐标位置，一带标注框的图像等业务信息结果存入json文件输出，并与上月数据进行比对，从而反映当月相较上月的施工进度进展。用户也可将误识别与漏识别的图片使用系统转存，用于输入预处理模块增加预设目标与背景波段，或者输入特征提取网络、锚框回归与分类网络进行迭代优化，进一步提高模型识别精度。
[0230]
通过上述场景示例，验证了本说明书实施例提供的遥感图像的处理方法能够通过充分利用遥感图像特征，设计了遥感图像预处理模块，优化了遥感图像几何校正与对比度调整的预处理流程；通过降维、重叠切割方法，将大容量、大尺寸的原始卫星图片变为多张小图片，并利用gpu设备并行预测，大大提高了遥感图像的检测速度；还通过利用深度神经网络进行特征提取与回归预测，充分保留了遥感图像的高分辨率特征，使得复杂背景下的小目标检测精度得到了较大提升。
[0231]
虽然本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
[0232]
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0233]
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机可读存储介质中。
[0234]
通过以上的实施例的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
[0235]
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
[0236]
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。