星载遥感图像的轻量化目标检测方法、装置、设备及介质

1.本发明涉及图像处理技术领域，可用于星载遥感图像检测技术领域，特别涉及一种星载遥感图像的轻量化目标检测方法、装置、设备及介质。


背景技术：

2.卫星数据在轨处理是指依靠卫星平台自身搭载的各类计算设备对传感器采集的数据进行即时处理，并按需将处理结果下传的一种工作模式。该模式避免了大规模星地数据传输，提高了系统的敏捷性，以目标检测为例，相比下传原始图像数据，星上检测结果下传的数据量降低2-3个数量级，优势明显。
3.但受限于卫星体积、系统功耗和计算设备性能，在星上部署大规模的目标检测算法相对困难。为提高运行效率，降低存储空间以及满足更新需求，一般需要对模型进行量化。检测模型中含有大量接近于零的浮点参数，由于量化误差的存在，量化过程中过于集中在零点附近的参数均会被量化为浮点数零点对应的定点零点。上述量化效果等同于在浮点模型中的大量参数被设置为零，使得检测模型的拟合能力将会下降，进而影响目标检测的准确性。并且，由于量化参数依赖于该代表性样本集合，对于与集合数据分布有差异的数据，量化后模型的拟合能力将会下降，也会影响目标检测的准确性。


技术实现要素：

4.有鉴于此，本发明提供一种星载遥感图像的轻量化目标检测方法，包括：获取第一训练样本集，其中，第一训练样本集包括历史星载遥感图像；采用第一训练样本集对初始检测模型的模型参数进行训练，以学习星载遥感图像的特征，得到第一检测模型；其中，训练过程中以模型参数的倒数为约束条件来约束模型参数的分布；从第一训练样本集获取代表性样本集，利用代表性样本集对第一检测模型的模型参数进行量化，得到第二检测模型；将待检测的星载遥感图像输入第二检测模型，以输出目标检测结果。
5.根据本发明的实施例，在将待检测的星载遥感图像输入第二检测模型之前，方法还包括：对待检测的星载遥感图像的灰度进行分段拉伸，以使拉伸后的待检测的星载遥感图像的灰度分布趋近于代表性样本集中历史星载遥感图像的灰度分布。
6.根据本发明的实施例，其中，训练过程中以模型参数的倒数为约束条件来约束模型参数的分布包括：将模型参数的倒数乘以一个趋于零的系数后加入训练所需的损失函数，以约束模型参数的分布。
7.根据本发明的实施例，其中，对待检测的星载遥感图像的灰度进行分段拉伸包括：获取待检测的星载遥感图像的灰度分割阈值；分别计算待检测的星载遥感图像中灰度高于灰度分割阈值的第一灰度均值和灰度低于灰度分割阈值的第二灰度均值；分别计算代表性样本集中历史星载遥感图像亮区对应的第三灰度均值和暗区对应的第四灰度均值；根据第一灰度均值、第二灰度均值、第三灰度均值和第四灰度均值对待检测的星载遥感图像各像素的灰度进行映射。
8.根据本发明的实施例，根据第一灰度均值、第二灰度均值、第三灰度均值和第四灰度均值对待检测的星载遥感图像各像素的灰度进行映射包括：设定第一灰度值和第二灰度值，其中，第一灰度值小于第二灰度值；根据第一灰度值和第二灰度值将待检测的星载遥感图像分为低亮度段、中亮度段和高亮度段；根据第一灰度均值、第二灰度均值、第三灰度均值和第四灰度均值分别对低亮度段、中亮度段和高亮度段中各像素的灰度进行映射。
9.根据本发明的实施例，其中，根据第一灰度均值、第二灰度均值、第三灰度均值和第四灰度均值分别对低亮度段、中亮度段和高亮度段中各像素的灰度进行映射包括：根据，，分别对低亮度段、中亮度段和高亮度段中各像素的灰度进行映射，其中，r为映射后的灰度值，p为映射前的灰度值，p_l为第一灰度均值，p_d为第二灰度均值，r_l为第三灰度均值，r_d为第四灰度均值， min为待检测的星载遥感图像中的最小灰度值，max为待检测的星载遥感图像中的最大灰度值。
10.根据本发明的实施例，采用最大类间方差阈值分割算法获取待检测的星载遥感图像的灰度分割阈值。
11.本发明另一方面提供一种星载遥感图像的轻量化目标检测装置，包括：获取模块，用于获取第一训练样本集，其中，第一训练样本集包括历史星载遥感图像；训练模块，用于采用第一训练样本集对初始检测模型的模型参数进行训练，以学习星载遥感图像的特征，得到第一检测模型；其中，训练过程中以模型参数的倒数为约束条件来约束模型参数的分布；量化模块，用于从第一训练样本集获取代表性样本集，利用代表性样本集对第一检测模型的模型参数进行量化，得到第二检测模型；检测模块，用于将待检测的星载遥感图像输入第二检测模型，以输出目标检测结果。
12.本发明另一方面还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
13.本发明另一方面还提供一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现上述的方法。
附图说明
14.通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：图1示意性示出了根据本发明一实施例星载遥感图像的轻量化目标检测方法流程图。
15.图2示意性示出了根据本发明另一实施例星载遥感图像的轻量化目标检测方法流程图。
16.图3示意性示出了根据本发明一实施例的操作s201的流程图。
17.图4示意性示出了根据本发明一实施例的分段线性拉伸原理图。
18.图5示意性示出了根据本发明实施例的星载遥感图像的轻量化目标检测装置的框图。
19.图6示意性示出了根据本发明实施例的适于实现上文描述的方法的电子设备的框图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
22.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
23.在本发明的描述中，需要理解的是，术语“纵向”、“长度”、“周向”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的子系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
24.贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本发明的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。另外，在本发明中，不应将位于括号之间的任何参考符号构造成对本发明的限制。
25.类似地，为了精简本发明并帮助理解各个公开方面中的一个或多个，在上面对本发明示例性实施例的描述中，本发明的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。
26.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
27.针对于现有技术的不足，本发明实施例提供一种星载遥感图像的轻量化目标检测方法，该方法以学习星载遥感图像的特征得到的模型参数的倒数为约束条件来约束模型训
练过程中模型参数的分布，使模型参数合理分布，从而降低量化带来的性能损失，以提高模型压缩后目标检测的准确率。此外，针对数据差异的问题，基于分段线性拉伸的方法，根据训练集中最具代表性的样本集合的统计量设定拉伸参数对待检测图像进行拉伸，提高数据的一致性，降低了对量化后模型泛化性能的要求，以进一步提高目标检测的准确率。
28.图1示意性示出了根据本发明一实施例星载遥感图像的轻量化目标检测方法流程图。
29.如图1所示，该方法例如可以包括操作s101~操作s104。
30.在操作s101，获取第一训练样本集，其中，第一训练样本集包括历史星载遥感图像。
31.在本发明实施例中，历史星载遥感图像一般是与待检测的星载遥感图像同类型的图像。
32.在操作s102，采用所述第一训练样本集对初始检测模型的模型参数进行训练，以学习星载遥感图像的特征，得到第一检测模型；其中，训练过程中以模型参数的倒数为约束条件来约束模型参数的分布。
33.检测模型的模型参数通过学习图像的特征得到，因此它具备识别图像中目标的特征的能力。也就是说，模型参数的合理分布直接影响量化后检测模型检测目标的准确度。为了避免模型参数过于集中到零点附近的小数区间，本发明实施例提出一种基于惩罚项的参数分布限定条件，在模型的训练过程中，在损失函数部分加入该惩罚项，以约束模型参数的分布。
34.在本发明一实施例中，可以将模型参数的倒数乘以一个趋于零的系数后加入训练所需的损失函数，以约束模型参数的分布，以得到第一模型。
35.示例性的，在损失函数部分加入该惩罚项α/||ω||1，具体实现如下：其中，α设置为一个接近于0的小数，如0.001，x是模型输入，f
ω (
∙
)是模型，gt是模型理想预测值，∑|| f
ω (x)-gt|| 随具体任务而定。
36.在约束项中模型参数ω的倒数限制下，检测模型在达成训练目的同时，会自动限制模型参数分布，使得模型参数ω无法大量集中于零附近，从而不会被大量量化为定点零点，保持检测模型的拟合能力，降低量化过程中的精度损失，进而提高检测目标准确性。
37.在操作s103，从第一训练样本集获取代表性样本集，利用代表性样本集对第一检测模型的模型参数进行量化，得到第二检测模型。
38.采用代表性样本集为第一检测模型参数量化提供依据，以对第一检测模型的模型参数进行量化，以保证量化前后模型参数分布的一致性。
39.在操作s104，将待检测的星载遥感图像输入第二检测模型，以输出目标检测结果。
40.在本发明实施例中，可以将整幅遥感图像按照一定的步长和尺寸切割为固定尺寸的切片s，并将这些图像切片输入到检测模型中，从而获得检测结果。
41.根据本发明实施例提供的星载遥感图像的轻量化目标检测方法，以学习星载遥感图像的特征得到的模型参数的倒数为约束条件来约束模型训练过程中模型参数的分布，使模型参数合理分布，从而降低量化带来的性能损失，以提高目标检测的准确率。
42.图2示意性示出了根据本发明另一实施例星载遥感图像的轻量化目标检测方法流程图。
43.如图2所示，该方法除了包括操作s101~操作s104之外，在操作s104之前还包括操作s201。
44.在操作s201，对待检测的星载遥感图像的灰度进行分段拉伸，以使拉伸后的待检测的星载遥感图像的灰度分布趋近于代表性样本集中历史星载遥感图像的灰度分布。
45.根据本发明实施例，由于采用分段线性拉伸的方式对待检测的图像进行拉伸，使得拉伸后的待检测的图像中目标灰度、背景灰度以及目标与背景之间的对比度都得到了归一化，与代表性样本集合中遥感图像分布更加一致。根据代表性样本集合量化而来的模型对于这种与集合分布一致的待检测图像具有更好的拟合能力和检测效果，进而提高了目标检测的准确率。
46.图3示意性示出了根据本发明一实施例的操作s201的流程图。
47.如图3所示，操作s201例如可以包括操作s301~操作s304。
48.在操作s301，获取待检测的星载遥感图像的灰度分割阈值。
49.在本发明实施例中，采用最大类间方差阈值分割算法（otsu）获取待检测的星载遥感图像的灰度分割阈值k。若采用的是将整幅遥感图像按照一定的步长和尺寸切割为固定尺寸的图像切片s以识别目标的方式，可以获取每一图像切片s的灰度分割阈值k。
50.在操作s302，分别计算待检测的星载遥感图像中灰度高于灰度分割阈值的第一灰度均值和灰度低于灰度分割阈值的第二灰度均值。
51.在本发明实施例中，以k为界限，分别计算灰度值高于k的像素的第一灰度均值p_l和灰度值低于k的像素的第二灰度均值p_d。
52.在操作s303，分别计算代表性样本中历史星载遥感图像亮区对应的第三灰度均值和暗区对应的第四灰度均值。
53.在本发明实施例中，为了使得拉伸后的待检测遥感图像（图像切片s）更加适应于训练得到的检测模型，可以利用代表性样本集
∅
计算线性拉伸的目标参数：第三灰度均值r_l和第四灰度均值r_d。
54.具体的，首先，设代表性样本集中含有n张含有目标的切片ii，i=1
…
n，根据otsu阈值分割算法对代表性样本集进行处理，计算可得每一幅切片亮暗两区均值r_li，i=1
…
n和r_di，i=1
…
n。
55.其次，利用k-means聚类算法分别对r_li，i=1
…
n和r_di，i=1
…
n进行聚类，其中聚类中心簇个数设为1，获得代表性样本集的统计结果亮暗两区均值r_l和r_d。
56.在操作s304，根据第一灰度均值、第二灰度均值、第三灰度均值和第四灰度均值对待检测的星载遥感图像各像素的灰度进行映射。
57.在本发明一实施例中，分段线性拉伸曲线共分三段，即低亮度段、高亮度段和中等亮度段，对这三段对应的像素的回去分别进行映射。
58.具体的，设定第一灰度值和第二灰度值，其中，第一灰度值小于第二灰度值。根据第一灰度值和第二灰度值将待检测的星载遥感图像分为低亮度段、中亮度段和高亮度段。根据第一灰度均值、第二灰度均值、第三灰度均值和第四灰度均值分别对低亮度段、中亮度段和高亮度段中各像素的灰度进行映射。
59.图4示意性示出了根据本发明一实施例的分段线性拉伸原理图。
60.如图4所示，示例性的，高亮度段的映射方法为：中等亮度段的映射方法为：低亮度段的映射方法为： 。
61.其中，r为映射后的灰度值，p为映射前的灰度值，p_l为第一灰度均值，p_d为第二灰度均值，r_l为第三灰度均值，r_d为第四灰度均值， min为待检测的星载遥感图像中的最小灰度值，max为待检测的星载遥感图像中的最大灰度值。
62.采用本发明实施例的分段线性拉伸的方法，不同灰度和对比度的原始遥感图像在拉伸后表现出高度的一致性。
63.图5示意性示出了根据本发明实施例的星载遥感图像的轻量化目标检测装置的框图。
64.如图6所示，星载遥感图像的目标检测装置500可以包括获取模块510、训练模块520、量化模块530以及检测模块540。
65.获取模块510，用于获取第一训练样本集，其中，第一训练样本集包括历史星载遥感图像。
66.训练模块520，用于采用第一训练样本集对初始检测模型的模型参数进行训练，以学习星载遥感图像的特征，得到第一检测模型；其中，训练过程中以模型参数的倒数为约束条件来约束模型参数的分布。
67.量化模块530，用于从第一训练样本集获取代表性样本集，利用代表性样本集对所述第一检测模型的模型参数进行量化，得到第二检测模型。
68.检测模块540，用于将待检测的星载遥感图像输入所述第二检测模型，以输出目标检测结果。
69.根据本发明的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（fpga）、可编程逻辑阵列（pla）、片上系统、基板上的系统、封装上的系统、专用集成电路（asic），或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本发明实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
70.例如，获取模块510、训练模块520、量化模块530以及检测模块540中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模
块/单元/子单元中实现。根据本发明的实施例，获取模块510、训练模块520、量化模块530以及检测模块540中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（fpga）、可编程逻辑阵列（pla）、片上系统、基板上的系统、封装上的系统、专用集成电路（asic），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块510、训练模块520、量化模块530以及检测模块540中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
71.需要说明的是，本发明的实施例中星载遥感图像的轻量化目标检测装置部分与本发明的实施例中星载遥感图像的轻量化目标检测方法部分是相对应的，其具体实施细节及带来的技术效果也是相同的，在此不再赘述。
72.图6示意性示出了根据本发明实施例的适于实现上文描述的方法的电子设备的框图。图6示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
73.如图6所示，根据本发明实施例的电子设备600包括处理器601，其可以根据存储在只读存储器（rom）602中的程序或者从存储部分608加载到随机访问存储器（ram）603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器（例如cpu）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（asic）），等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
74.在ram 603中，存储有电子设备600操作所需的各种程序和数据。处理器 601、rom 602以及ram603通过总线604彼此相连。处理器601通过执行rom 602和/或ram603中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 602和ram 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
75.根据本发明的实施例，电子设备600还可以包括输入/输出（i/o）接口605，输入/输出（i/o）接口605也连接至总线604。电子设备600还可以包括连接至i/o接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（crt）、液晶显示器（lcd）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
76.根据本发明的实施例，根据本发明实施例的方法流程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
77.本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
78.根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
79.例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的rom602和/或ram 603和/或rom 602和ram 603以外的一个或多个存储器。
80.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本发明的各个实施例中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。