遥感影像的分类方法以及装置、电子设备和存储介质

1.本发明涉及图像分类技术领域，尤其涉及一种遥感影像的分类方法以及装置、电子设备和存储介质。


背景技术：

2.对时间序列影像的分类主要应用于获取实时、准确、时间连续的土地覆盖制图信息。从而为规划和管理自然资源(如开发、保护)、环境变量建模、了解生态栖息地分布、以及研究区域和全球变化提供基础支持数据。遥感传感技术的快速发展使目前所能获取的时序影像数据的时间和空间分辨率都得到了极大的提升。高时空分辨率时序影像数据的不断获取和开放也为更实时、精确的时序影像分类制图提供了数据支持。
3.已有的时序影像分类方法大多是对时序影像中的每一景影像进行单一分类形成连续的制图结果，基本只考虑像素的光谱时间序列特征，从而使得土地覆盖的准确提取和分类带来了局限性，不能满足准确有效的时序土地覆盖的分类制图目标。


技术实现要素：

4.本发明提供一种遥感影像的分类方法以及装置、电子设备和存储介质，用以解决现有技术中无法准确实现时序土地覆盖的分类制图目标的缺陷，实现准确高效的分类制图。
5.本发明提供一种遥感影像的分类方法，包括：获取基于时间序列的遥感影像；对所述遥感影像进行多尺度分割以获得多个时空立方体；获取每一所述时空立方体的时序特征；根据多个所述时序特征建立时空上下文分类模型；基于所述时空上下文分类模型，对所述遥感影像进行分类制图。
6.根据本发明提供的一种遥感影像的分类方法，所述对所述遥感影像进行多尺度分割以获得多个时空立方体的步骤包括：设置梯度变化的多个时空尺度参数，根据每一所述时空尺度参数进行分割获得一种时空立方体分割方案；按照预设的分割评价模型获取每一时空立方体分割方案的所对应的异质度；当所述异质度为多个时空立方体的分割方案中确定的最大异质度时，以所述异质度对应的时空尺度参数分割所述遥感影像以获取分割后的多个时空立方体。
7.根据本发明提供的一种遥感影像的分类方法，所述获取每一所述时空立方体的时序特征的步骤包括：当所述时序特征为光谱特征时，所述光谱特征包括光谱平均值、光谱标准差、光谱坡度；获取每一时空立方体在每一波段上的光谱值，将多个波段的光谱值的平均值作为光谱平均值；获取每一时空立方体各像元标准光谱值与其光谱平均值离差平方的算术平均数的平方根作为光谱标准差；获取每一波段光谱值在每一时空立方体所包含时间域内的坡度变化作为光谱坡度。
8.根据本发明提供的一种遥感影像的分类方法，所述获取每一所述时空立方体的时序特征的步骤包括：当所述时序特征为纹理特征时；将每一所述时空立方体的单时相灰度
共生矩阵扩展至时空域构建时空灰度共生矩阵(st-glcm)，以获取时空纹理特征量；根据所述时空纹理特征量确定每一所述时空立方体的纹理特征。
9.根据本发明提供的一种遥感影像的分类方法，所述获取每一所述时空立方体的时序特征的步骤包括：当所述时序特征为时间特征时；所述时间特征包括每一所述时空立方体的起始时间点、终止时间点、时间域长度、中间时间点和时间幅度特征。
10.根据本发明提供的一种遥感影像的分类方法，所述获取每一所述时空立方体的时序特征的步骤包括：当所述时序特征为空间特征时，所述空间特征包括每一所述时空立方体的多边形的面积、边界、长宽比以及几种典型形状的适应程度指数、矩形相识度、椭圆相似度以及紧凑度。
11.根据本发明提供的一种遥感影像的分类方法，所述根据所述时序特征建立时空上下文分类模型的步骤包括：构建基于多个所述时空立方体的的特征关联作用势；构建基于多个所述时空立方体的空间上下关联作用势；构建基于多个所述时空立方体的时间上下文关联作用势；所述时间上下文关联作用势、所述特征关联作用势以及所述空间上下关联作用势以及多个所述时空立方体构成所述时空上下文分类模型。
12.本发明还提供一种遥感影像的分类装置，包括：第一数据获取单元，获取基于时间序列的遥感影像；图像分割单元，对所述遥感影像进行多尺度分割以获得多个时空立方体；第二数据获取单元，获取每一所述时空立方体的时序特征；建模单元，根据多个所述时序特征建立时空上下文分类模型；制图单元，基于所述时空上下文分类模型，对所述遥感影像进行分类制图。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述遥感影像的分类方法的步骤。
14.本发明还提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述遥感影像的分类方法的步骤。
15.本发明提供的遥感影像的分类方法以及装置、电子设备和存储介质，通过获取基于时间序列的遥感影像，对所述遥感影像进行多尺度分割以获得多个时空立方体，获取每一所述时空立方体的时序特征，根据多个所述时序特征建立时空上下文分类模型，提升了目前时间序列遥感影像的分类精度，基于所述时空上下文分类模型，对所述遥感影像进行分类制图，从而实现了高时空分辨率时序影像的准确分类制图。
附图说明
16.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明提供的遥感影像的分类方法的流程示意图之一；
18.图2是本发明提供的遥感影像的分类方法中时空灰度共生结构示意图；
19.图3是传统单时相中的crf以及本发明提供的基于时空立方体的st-crf的结构示意图；
20.图4是本发明提供的遥感影像的分类方法验证的实验数据示意图；
21.图5是本发明提供的遥感影像的分类方法和已有三种方法在选定的四个时间点上的时序影像分类结果；
22.图6是本发明遥感影像的分类方法和已有三种方法在每个时间点分类结果的总体精度(图6a)和kappa系数(图6b)的对比示意图；
23.图7是本发明提供的遥感影像的分类方法的流程示意图之二；
24.图8是本发明提供的电子设备的结构示意图；
25.图9是本发明提供的遥感影像的分类方法的流程示意图之三；
26.图10是本发明提供的遥感影像的分类方法的流程示意图之四；
27.图11是本发明提供的遥感影像的分类装置的结构示意图。
28.附图标记：
29.100：第一数据获取单元；
ꢀꢀ
200：图像分割单元；
ꢀꢀ
300：第二数据获取单元；
30.400：建模单元；
ꢀꢀꢀꢀꢀꢀ
500：制图单元；
ꢀꢀꢀꢀꢀꢀ
810：处理器；
31.820：通信接口；
ꢀꢀꢀꢀꢀꢀ
830：存储器；
ꢀꢀꢀꢀꢀꢀꢀ
840：通信总线；
具体实施方式
32.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.下面结合图1-8描述本发明的一种遥感影像的分类方法，包括：
34.s1、获取基于时间序列的遥感影像；
35.基于时间序列的遥感影像一般是通过卫星获取，本实施例中所处理的基于时间序列的遥感影像从现有的遥感影像获取平台获取遥感影像，然后基于时间先后顺序进行排列，从而获得基于时间序列的遥感影像。需要说明的是，时间序列是指将某种现象某一个统计指标在不同时间上的各个数值，按时间先后顺序排列而形成的序列，而基于时间序列的遥感影像则包含着丰富的光谱、空间和时间信息，这些信息能够从不同的方面描述地理对象的分布特点，可用来区分不同的土地覆盖类型，因此表达并正确提取合适的影像特征是保证遥感影像分类精度的关键。
36.s2、对所述遥感影像进行多尺度分割以获得多个时空立方体；
37.其中，时空立方体可以是指由遥感影像的二维的几何位置和一维的时间就组成了一个三维的立方体。任意给定一个时间点，就可从三维的立方体中获取相应的截面，即现实世界的平面几何状态。时间立方体也可以是遥感影像的三维空间加以一维的时间组成的立方体。多尺度分割可以是时间尺度也可以是空间尺度，将其进行分割后可以得到多个时空立方体。
38.s3、获取每一所述时空立方体的时序特征；通过对每一所述时空立方体进行特征提取来获取时序特征，其中，所述时序特征包括光谱特征、纹理特征、空间特征以及时间特征中一种或多种。
39.s4、根据多个所述时序特征建立时空上下文分类模型；
40.其中，时空上下文分类模型依照多个所述时序特征，确定多个时序特征的上下文关联作用势，从而可以建立时空上下文分类模型，需要说明的是，由于时空立方体的时序特征可以包含丰富的特征信息，因此，此时的上下文关联作用势不仅仅是其中某一个的特征，而是光谱特征、纹理特征、空间特征以及时间特征等的上下文分类关联作用势。此模型可以清楚的表达每一时空立方体的时序特征以及上下文关联作用势，能对地物的特征进行准确的语义类别标注。使得建立的时空上下文分类模型能够准确反应出遥感影像中每一地物特征。
41.s5、基于所述时空上下文分类模型，对所述遥感影像进行分类制图。
42.在上述实施例中，通过对每一所述时空立方体进行特征提取来获取时序特征，而时序特征包含了光谱特征、纹理特征、空间特征以及时间特征等，时序特征包含着丰富的光谱、空间和时间信息，这些信息能够从不同的方面描述地理对象的分布特点，可用来区分不同的土地覆盖类型，并考虑连续基于遥感影像在时间上的演化关系和变化等特征，在增加了时序特征包含的分类的信息以及建模特征之后，使得分类所依据的特征增多，表达和提取时序特征用来描述地物，从而进一步提升了时间序列的遥感影像的分类精度。上述建模方法大大的提升了模型的拟合度，使得土地覆盖类型的分类效果更为准确。还可以克服基于像素单元或者单时相的对象单元的分类制图的局限性，充分的表达了基于时序特征的遥感影像中的地物的时空异质性和多尺度，从而充分和准确地综合表达和利用时空信息，使得分类精度大幅度提高。
43.基于上述实施例，通过对时序特征进行提取和表达，可以通过正确提取合适的时序特征以保证遥感影像分类精度。
44.在一实施例中，参考图7，所述对所述遥感影像进行多尺度分割以获得多个时空立方体的步骤包括：
45.s21、设置梯度变化的多个时空尺度参数，根据每一所述时空尺度参数进行分割获得一种时空立方体分割方案；
46.其中，采用迭代试错法来确定时空尺度参数。在空间和时间尺度上都设置若干个梯度增大的参数值，形成最终的多个时空尺度参数组合来进行分割。在一可选实施方案中，采用基于时空立方体的多尺度基于时序的遥感影像分割方法进行时序分割。以基于时序的遥感影像分割方法为st-mrs为例，st-mrs为多时空尺度分割方法，能在多个时空尺度下分割基于时间序列的遥感影像生成时空立方体，采用迭代试错法来确定时空尺度分割参数时，在空间和时间尺度上都设置若干个梯度增大的参数值，形成最终的多个时空尺度参数组合来进行st-mrs分割。因此通过st-mrs可生成多个时空立方体分割结果。从多个时空尺度参数组合确定一个合适的时空尺度参数来分割获取最优的时空立方体结果。
47.s22、按照预设的分割评价模型获取每一时空立方体分割方案的所对应的异质度；
48.其中，为了提高分割评价模型的准确性，当前时空立方体分割方案的异质度通过每个时空立方体内部异质度以及各时空立方体间的异质度确定。可选地，预设的分割评价模型可以为非监督的时空全局评分模型(stgs)进行评估，衡量分割后的时空立方体内部和立方体之间异质性的综合表现。以下以非监督的时空全局评分模型(stgs)为例，说明获取当前时空立方体分割方案的异质度的方法：
49.1、首先，获取第i个时空立方体的内部异质度。
50.stgs是一种适用于时空立方体的非监督分割评价模型。stgs考虑每个时空立方体内部以及各时空立方体间的异质性差异，并整合这两种异质性形成综合判据。时空立方体内部异质度描述了时空立方体内部的异质性程度，用时空立方体内部的光谱标准差来度量。因此，对于分割结果中的第i个时空立方体，其内部异质度可被形式化表达为定义如下：
[0051][0052]
其中，n表示第i个时空立方体中包含的像素数量，pj表示立方体中第j个像素在某个波段上的光谱值，表示当前时空立方体的平均光谱值。内部光谱标准差较小的时空立方体应该是相对均质的，因此采用光谱标准差来度量时空立方体内部异质度。
[0053]
2、获取当前时空立方体与其邻域间的领域异质度，时空立方体间的异质度为不同时空立方体间的异质性程度。在本发明中，假设当前处理的第i个时空立方体和其周围的时空邻域内的立方体进行合并，并采用合并后立方体的光谱标准差来度量当前时空立方体与其邻域间的领域异质度，可表达为定义如下：
[0054][0055]
其中，n
inter
表示第i个时空立方体和其时空邻域所包含的像素总数，pj表示n
inter
个像素中第j个像素在某个波段上的光谱值，表示平均光谱值，m表示时空邻域中立方体的个数，nk表示第k个时空邻域立方体所包含的像素数，ni表示当前第i个时空立方体所包含的像素数。较大的值意味着时空立方体间的异质度也较大，此时若对基于时序的遥感影像进行分割，则其分割的边界比较清楚，有助于提高分类制图的准确程度。
[0056]
3、根据第i个时空立方体的内部异质度以及当前时空立方体i与其邻域间的领域异质度确定第i个时空立方体的局部评分。
[0057]
对于时序分割结果中的每个时空立方体，时空立方体内部异质度和时空立方体间异质度都将被计算。为了综合地考虑时空立方体内部和立方体间的异质度度量，对于结果中的第i个时空立方体，通过立方体内部和立方体间的异质度比率来计算该立方体的局部评分，形式化表达为lsi，定义如下：
[0058][0059]
显然，较大的lsi值表明第i个时空立方体内部相对同质，且与周围相邻立方体相对异质，表明分割的边界比较清楚，有助于提高分类制图的准确程度。
[0060]
4、根据时空立方体数量、每一时空立方体的局部评分、空间域面积以及时间域长度确定当前时空尺度下分割结果的全局评分。
[0061]
对于整个基于时序的遥感影像分割结果，通过综合考虑所有时空立方体的局部得分，即可得到某一时空尺度下分割结果的全局评分(stgs)，定义如下：
[0062]
vi＝areai*ti[0063]
其中，c表示分割结果中的所有时空立方体数量，stgs是基于所有分割立方体的全局评分。vi表示第i个时空立方体的体积尺寸，它是时空立方体的空间域面积(areai)和时间域长度(ti)的乘积。利用时空立方体的体积大小对光谱方差进行加权，使得大尺寸立方体对时空异质性的影响大于小尺寸的立方体。
[0064]
5、根据时序数据中波段数以及每一波段上的全局评分的确定当前时空立方体分割方案的异质度。
[0065]
异质度stgs值较大表明分割时空立方体整体的内部异质性较小，而立方体间的异质性较大，因此对应着更好的时序分割，而stgs值较小的分割结果往往是欠分割或过分割的。利用stgs可以定量评价不同尺度下的基于时序的遥感影像分割结果。对于具有多个波段的时序影像数据，因为所有波段都包含有用信息，因此需要在分割结果评价时得以考虑。故通过计算所有波段的平均stgs值形成最终指标(stgs
avg
)，用来确定最优时空分割尺度。stgs
avg
定义如下：
[0066][0067]
其中，m表示时序数据中波段数，stgsk表示在k个波段上的stgs值，stgs
avg
允许所有波段对分割结果的评估具有相同的影响。此时计算出来的为当前时空立方体分割方案的异质度，重复上述步骤1-5可以获得多个不同的时空立方体分割方案的异质度。
[0068]
s23、当所述异质度为多个时空立方体的分割方案中确定的最大异质度时，以所述异质度对应的时空尺度参数分割所述遥感影像以获取分割后的多个时空立方体。
[0069]
此时，将多个时空立方体分割方案的异质度进行比对，具有最大的stgs
avg
值分割结果所对应时空尺度参数将被确认为最优的时空尺度参数，因为在该尺度下，所有光谱波段下的时空立方体内部同质性和立方体间异质性最大。从而可以实现最优的分割方案。从而提升了基于时间序列的遥感影像的分类精度。为实现了高时空分辨率时序影像的准确分类制图提供了精确的时空尺度参数分割方案。
[0070]
在一实施例中，参照图9，所述获取每一所述时空立方体的时序特征的步骤包括：
[0071]
s31、当所述时序特征为光谱特征时，所述光谱特征包括光谱平均值、光谱标准差、光谱坡度；
[0072]
其中，时空立方体的时空光谱特征记录时序中不同时间点地物的物理辐射属性，取决于其所代表地理对象的组成材料和外观。本发明中，基于时空立方体可提取的时序光谱特征包括：时空立方体的光谱平均值、光谱标准差、光谱坡度、亮度值、最大差值比等。
[0073]
s32、获取每一时空立方体在每一波段上的光谱值，将多个波段的光谱值的平均值作为光谱平均值；
[0074]
时空立方体的平均光谱特征是指对整个时空立体对象中所有像元在给定波段上
的光谱值进行求平均。定义gi为当前时空立方体的第i个光谱波段上的平均值，设时空立方体包含的像素集合p＝{p1，p2…
pn}，表示时空立方体中第k个像元在第i个波段的值。则时空立方体在各波段的平均光谱向量定义为g＝{g1,g2…gm
}，m为波段数，gi定义如下：
[0075][0076]
其中，n为时空立方体包含的像素总数。
[0077]
s33、获取每一时空立方体各像元标准光谱值与其光谱平均值离差平方的算术平均数的平方根作为光谱标准差；
[0078]
标准差是概率统计中作为统计分布程度的最常用测量。时空立方体的光谱标准差指的是时空立方体中各像元标准光谱值与其光谱平均值离差平方的算术平均数的平方根。它反映了时空立方体内各像元间的离散程度。定义gi为当前时空立方体的第i个光谱波段上的平均值，vi为在第i个光谱波段上的标准差，设时空立方体包含的像素集合p＝{p1,p2…
pn}，表示时空立方体中第k个像元在第i个波段的值。包含m个波段的时空立方体的光谱标准差向量定义为stdv＝{v1,v2…
vm}，vi定义如下：
[0079][0080]
s34、获取每一波段光谱值在每一时空立方体所包含时间域内的坡度变化作为光谱坡度。
[0081]
在地理学中，坡度表示地表单元陡缓的程度，通常把坡面的垂直高度和水平距离的比值称为坡度。坡度指数可以用来表示单元内某一变量的变化程度。时空立方体是一系列在空间和时间上相对同质的像元组成的立体对象，因此包含有时间上的连续信息，针对时间序列数据的特点，有些地物类型在时序影像中随时间的变化较大(如农田、植被类型)，所以需要定义一种与时间相关的特征来反映地物在时间上的变化信息。因此，本发明考虑每一波段光谱值在立方体所包含时间域内的坡度变化，来反映地物在时间上的光谱变化信息。
[0082]
定义为当前时空立方体的第i个波段的最大光谱值和最小光谱值，ts和te分别表示时空立方体时间域中的起始时间点和终止时间点，si为在第i个光谱波段上的坡度特征，则时空立方体在各波段撒上的光谱坡度向量定义为slope＝{s1,s2…
sm}，si定义如下：
[0083][0084]
基于上述实施例，可以精准得将光谱特征参数化，从而方便记录以及运算。具体的，本发明选取了全波段的光谱(包括红、绿、蓝、近红外、短波红外)、两个光谱导出的指数(归一化植被指数和增强型植被指数)来定义上述的时空立方体光谱平均、光谱标准差、光谱坡度以及亮度值和最大差值比。
[0085]
在一实施例中，所述获取每一所述时空立方体的时序特征的步骤包括：当所述时
序特征为纹理特征时；将每一所述时空立方体的单时相灰度共生矩阵扩展至时空域构建时空灰度共生矩阵(st-glcm)，以获取时空纹理特征量；基于时空立方体，将传统的单时相glcm扩展至时空域构建时空灰度共生矩阵(st-glcm)，来描述地物在空间和时间维度上的纹理表现。空间维度上，在时空立方体所包含每个影像层的影像空间域上，以一个像素为步长在四个共生方向上(0
°
,45
°
,90
°
和135
°
)获取空间域灰度共生矩阵(图2a)。同时在时间维度上，为了反映出时空立方体在时间上的纹理特征，采用垂直于空间域的90度方向(平行于时间轴)作为灰度共生方向(即平行于时间维方向)，在步长为一个像素上获取时间域灰度共生矩阵。根据所述时空纹理特征量确定每一所述时空立方体的纹理特征。在生成时空灰度共生矩阵之后，往往在共生矩阵基础上计算相应的时空纹理特征量，本发明中使用了时空灰度对比度、时空灰度相关性、时空灰度差异性、时空灰度同质性、以及时空灰度熵等特征量来表示时空立方体的纹理特征。
[0086]
通过上述实施例，可以准确地提取出反应时空纹理特征的特征量，将其用于建模，可以更加准确地表达地物间的时空特征和语义上下文依赖关系。
[0087]
可选地，所述获取每一所述时空立方体的时序特征的步骤包括：当所述时序特征为时间特征时；所述时间特征包括每一所述时空立方体的起始时间点、终止时间点、时间域长度、中间时间点和时间幅度特征。基于时空立方体的时域信息，本发明定义了时空立方体的起始时间点、终止时间点、时间域长度、中间时间点和时间幅度特征(具体描述见表1)，这些时间特征与物候特征的定义存在着对应关系，从而能描述地物的时间物候分布特点。其中，时间幅度指时空立方体内所有像素的的最大和最小ndvi值之间的差异，定义如下：
[0088]
amplitude
t
＝ndvi
max-ndvi
min
[0089]
其中，amplitude
t
代表时间幅度，ndvi
max
和ndvi
min
分别表示时空立方体内所有像素的最大和最小ndvi值。通过对时间特征的提取，能考虑到连续时序的遥感影像在时间上的演化关系和变化等特征，从而使得模型还能清楚的依据时间上的地物变化进行分类制图，进一步提高分类制图的准确性以及精确度。
[0090]
可选地，所述获取每一所述时空立方体的时序特征的步骤包括：
[0091]
当所述时序特征为空间特征时，所述空间特征包括每一所述时空立方体的多边形的面积、边界、长宽比以及几种典型形状的适应程度指数、矩形相识度、椭圆相似度以及紧凑度。
[0092]
时空立方体的空间特征反映了地理对象空间范围的大小、形状和几何分布。基于立方体的空间域信息，提取空间域范围的多边形，即可基于空间域多边形来定量化定义地物的空间几何特征。基于时空立方体的空间域，本发明提取了空间域多边形的面积、边界、长宽比以及几种典型形状(如正方形和椭圆形)的适应程度指数，如矩形相识度和椭圆相似度，以及紧凑度等，共9维空间特征，描述如表1所示。
[0093]
其中，时空立方体的体积特征是指立方体在整个时序影像时空三维空间中所占的立体区域大小，能反映地物在时空上的持续范围，不同地物在空间和时间上的连续分布特点不同，因此时空立方体体积特征有助于描述地物的这一特性。从数学上看，时空立方体的体积由空间域面积与立方体的高度(即时间域的间隔)相乘得到，定义如下：
[0094]
volume
st
＝s
area
·
δt
[0095]
与时空立方体相关的时间特征可以度量地理对象的时间分布、物候期和时间变化
特点，有助于识别在时间上存在变化的地理对象。在时空立方体分割层次上，可以将时空立方体作为一个整体直接度量土地覆盖的时间分布信息。
[0096]
表1 基于时空立方体的特征体系
[0097][0098][0099]
通过对空间特征的提取，并结合时间特征，可以准确地表达遥感影像的时空信息，充分的考虑到了时空异质性以及地物的多尺度表达，从而为更加准确地提取时序特征和对遥感影像进行分类制图提供了数据支撑和理论依据。
[0100]
在一实施例中，参照图10，所述根据所述时序特征建立时空上下文分类模型的步骤包括：
[0101]
s41、构建基于多个所述时空立方体的的特征关联作用势；
[0102]
s42、构建基于多个所述时空立方体的空间上下关联作用势；
[0103]
s43、构建基于多个所述时空立方体的时间上下文关联作用势；
[0104]
s44、所述时间上下文关联作用势、所述特征关联作用势以及所述空间上下关联作用势以及多个所述时空立方体构成所述时空上下文分类模型。
[0105]
具体来说，在时序影像的分类中，为了有效地表达和利用地物的时空上下文信息，本发明将传统的单时相条件随机场(crf)模型扩展至时序影像时空域，构建了基于时空立方体的时空上下文crf模型(st-crf)。图3展示了传统单时相中的crf以及基于时空立方体的st-crf的结构，sc表示空间上下文关联，tc表示时间上下文关联。对于广泛应用于单时相分类的传统crf模型，只考虑空间邻域间的上下文交互关系(如图3a所示)。然而，在时序影
像中，除了空间相邻立方体间的相关性外，还需要考虑时间邻域间的关系(如图3b所示)。
[0106]
为了清晰地构建所提出的时序分类时空上下文模型，首先定义了相关的数据项和符号。对于所输入的时序影像数据，在经过时序影像分割(st-mrs)后可被表达为由总共n个时空立方体组成的一个时空立方体数据集c＝{1,2,
…
,n}。因此，在经过特征提取后，所有时空立方体的特征数据可用特征集其中yi表示c中第i个时空立方体的时空特征向量，维度为d。时序影像中所有时空立方体的土地覆盖类型标记为x＝{xi∈l|i＝1,2,
…
,n}，其中xi表示c中第i个时空立方体的类别标记，xi值取自所有类别标记集合l＝{1,2,
…
,k}，k为时序语义类别体系中类别标记数量。因此，整个时空上下文模型(st-crf)可定义如下，其整合了时序影像中的时空特征关联作用、空间和时间上下文关联作用。作为一种判别式分类方法，st-crf分类模型可以被认为是在最大化后验概率p(x|y)条件下，寻找最优的时序语义类别配置x。
[0107][0108]
其中，z表示归一化常量也称划分函数。a代表时空特征关联作用，反映时空立方体本身特征对于类别的影像，其中第i个时空立方体的类别标记xi与特征集y相连。sc表示空间上下文关联作用势，si代表当前第i个时空立方体的空间邻域立方体集，因此j∈si表示立方体i的某个空间邻域j。tc为时间上下文关联作用势，ti为当前第i个时空立方体的时间邻域立方体集合，k∈ti表示立方体i的某个空间邻域k。
[0109]
特征关联作用势度量了时空立方体语义类别和时序特征间的关系，计算了时空立方体i在时空特征下取类别xi为某个标记l的成本。因此，a(xi,y)可表示为相应时空立方体的类别隶属概率。该类别隶属概率可以用一个判别式分类器来计算，该分类器给出了在给定时空特征向量下的类别xi取某个标记的概率估计。通常来说，任何带有概率输出的判别式分类器都可以在这种情况下使用。在本发明中，选取概率输出的bp神经网络(bpnn)来提供基于时空特征下的土地覆盖类型的判别信息，因为bpnn在高维时空特征和复杂的非线性分类问题中具有更好的适应性。综上，a(xi,y)具体定义如下：
[0110]
a(xi,y)＝-ln(p[xi＝l|y])＝-ln(p
bpnn
[xi＝l|y])
[0111]
其中p
bpnn
[xi＝l|y]表示时空立方体i取类别xi为标记l的类别隶属概率。a(xi,y)中使用的特征(y)可以因不同情况而异，本发明中采用的特征是步骤二中给出的基于时空立方体的特征(表1)。
[0112]
空间上下文关联作用势度量了时空立方体和其空间邻域在语义类别因素和时空特征因素上的相互关联作用。在空间相关性建模中，一个广泛采用的原则是将空间相邻地物分配相同的类别，因此也称为空间平滑项。然而，空间相邻的地物并不总是类别相同的情况，如果两个空间相邻的地物实际上对应不同类别并具有不同的特征表现，则在空间邻域中就会存在类别变化，因此需要在空间上下文中考虑语义类别的关系。因此，为了综合考虑
空间上下文中的特征和语义关联，本发明采用一种扩展的差异敏感性potts模型来建模空间上下文关联，该模型在支持空间平滑效应下的同时，如果空间邻域间的特征存在显著差异时，则也允许语义类别的不同。综上，sc(xi,xj,y)可定义如下：
[0113][0114]
||f
ij
(y)||表示f
ij
(y)的欧式范式，建模了两个空间相邻时空立方体间的时空特征向量差异，因此||f
ij
(y)||＝||y
i-yj||。ωs表示权重参数用于度量空间上下文在整个时序分类过程中的影响。θs表示交互系数用于调节特征依赖项在空间上下文中的影响。r表示时空立方体的时空特征向量yi的维度。对于空间上下文关联势，除以特征维度数r可以保证每个维度特征对于空间上下文的贡献相同。
[0115]
时间上下文关联作用势度量了时空立方体和其时间邻域在语义类别和时空立方体特征上的相互关联作用。通常来说，和sc(xi,xj,y)类似，可以通过直接惩罚时空特征向量的差异来直接建模tc(xi,xk,y)。但这种建模方式会受到不同时间点的不同成像条件(包括大气环境、光照、气候等)引起的附加噪声所带来的特征误差的不利影响，阻碍时间相互作用势的建模和精确表达。此外，地物在不同时间上的类别分布和变化存在着一定得规律，例如农田由于耕种活动更有可能转换为收割期农田而不是其他的语义类别。这种时间上的语义关系能为时序影像的分类提供重要指导，因此需要在时间上下文中得以考虑。因此，为了综合表达时间上的语义类别依赖和特征依赖，本发明结合时间类别转换矩阵和特征差异来构建tc(xi,xk,y)模型，定义如下：
[0116]
tc(xi,xk,y)＝ω
t
·
(1-tm(xi，xk))
·
{1-exp(-θ
t
d(xi，xk，y))}
[0117]
ω
t
加权了tc在整个时序分类中影响。tm(xi,xk)表示时间转换概率矩阵，建模了土地覆盖的时间变化特点，其中的每一个元素都对应着一个条件概率p(xi＝li|xk＝lk)，计算了在当前时空立方体i取类别li条件下，其时间邻域立方体取类别lk的概率。时间邻域的时间被选择为当前立方体的最邻近前一和后一个时间点t
s-1和te 1(如果它们都存在)，其中ts和te分别指当前时空立方体的起始和终止时间。d表示时间邻域立方体之间的特征差异，其定义如下所示。θ
t
是特征差异的调整系数，用于在tc中权衡语义和特征依赖性。
[0118][0119]
其中，和表示样本中类别为li和lk的立方体集的特征向量中心。因此，d在特征上惩罚了时间邻域从类别li变换到lk的误差(li→
lk)。如果当前时空立方体的类别与li差别越大，也意味着时间上的类别变化与li→
lk差异越大，则d的值越大，反之亦然。和定义如下：
[0120]
[0121][0122]
s是时空立方体的样本集，i为指示函数。特别地，为了综合地度量时空特征间的依赖性，d(xi,xk,y)中所使用的特征与sc(xi,xj,y)和a(xi，y)包括相同，都包括了表1中定义的所有时空特征。
[0123]
通过上述过程构建完基于时空立方体的时空上下文分类模型后，训练各关联作用势的参数，并采用基于图割的α-扩展(α-expansion)推理模型进行分类模型的推理解算，获取时序影像分类结果。基于上述实施例，时空上下文分类模型可以通过时序特征进行地物的分类处理，然后将其用于分类制图，可以实现高时空分辨率的时序影像的准确分类制图，为基于时间序列的遥感影像的土地覆盖和土地利用分类制图提供了解决方法。另外，对于时间序列的遥感影像中、的地物间时空上下文关系建模和利用，通过时空上下文分类模型准确表达地物真实的时空依赖关系，还能表达清楚地物间的时空特征和语义上下文依赖关系。
[0124]
实验效果分析：
[0125]
最后为验证本发明的效果，采用由42幅时间连续的sentinel-2影像组成的时序影像数据进行实验，这些影像在2017.02～2018.02一年内大致均匀分布，影像时间点分布信息如表2所示，平均时间间隔大概在5～10天，空间分辨率为10m。所在地区为北京市顺义区的城郊区域，影像大小为1665
×
1610，如图4所示。该区域涵盖了耕地、建筑、森林、草地、水体、裸土等典型地物覆盖类型，适合于验证本发明提出方法的有效性。选择本发明所提出的st-crf和已有的三种流行的时序影像分类方法进行比较：(1)传统未考虑上下文的基于对象分类方法(nobc)，(2)基于像素的时空上下文分类方法(st-pc)，(3)未考虑时空上下文的基于时空立方体的分类方法(nscc)。
[0126]
表2 sentinel-2密集时序数据信息，影像获取日期采用“yy-mm-dd”格式
[0127][0128]
在这四种方法在42个时间点共生成42
×
4的土地覆盖制图结果，并对各时间点的分类结果的精度进行了评价。为便于比较和评价，在42个时间点中选取了2017-05-25、
2017-08-16、2017-11-16、2018-02-12四个时间点(在一年内均匀分布)的具体结果进行展示分析，如图5所示。
[0129]
通过从视觉角度对分类结果进行分析，st-pc方法在分类结果中产生了椒盐噪声，而其它三种方法的结果中则降低了椒盐误差。因此，st-pc的结果更为破碎化，因为该方法以像素为基本单位，仅建模像素级的上下文关系，导致光谱的时空异质性没有得到有效的消除。就nobc的结果而言，植被类型之间存在许多误分现象。nscc的结果仍然存在一些破碎效应，并且在2017-11-16和2018-02-12时间点结果中存在建筑区和棚盖期农田之间的误分现象。总体而言，st-crf方法产生的最佳的分类结果，因为在st-crf结果中，nscc中的破碎分类块被显著的平滑修正，并且成功地消除了其他三种方法的误分类错误，这表明时空立方体和st-crf方法在建模时空上下文和提升密集时序影像分类方面的有效性。
[0130]
从定量角度对分类结果进行分析，st-crf在每个类的所有42个时间点的用户和制图的平均精度方面相比其他三种方法也更高，结果见表3和表4。图6给出了四种方法在全部42个时间点的每个时间点产生的分类结果的总体精度和kappa系数。在四个实验中，st-crf提供了最好的结果，表现在每个时间点的总体准确度和kappa系数最高，如图6a和6b中的绿线所示。就两个指标的平均值而言，st-crf的平均准确度最高，为93.71％，与未考虑上下文的时空立方体分类方法(nscc)相比，精度提升了3.02％，和基于像素的时空上下文分类(st-pc)相比，精度提升了6.03％。同时，st-crf获得了最高的平均kappa系数值，为0.9275，比nscc提高了0.0312，比st-pc提高了0.06。总的来说，上述这些结果表明，本发明提出的方法相比已有其他方法能更准确地进行时序影像土地覆盖类型的分类。
[0131]
表3 四种方法在全部42个时间点上各类的平均用户精度，粗体显示对应最高值
[0132][0133]
表4 四种方法在全部42个时间点上各类的平均制图精度，粗体显示对应最高值
[0134]
[0135][0136]
因此，可以确定，基于上述实施例，时空上下文分类模型可以通过时序特征进行地物的分类处理，然后将其用于分类制图，可以实现高时空分辨率的时序影像的准确分类制图，为基于时间序列的遥感影像的土地覆盖和土地利用分类制图提供了解决方法。另外，对于时间序列的遥感影像中、的地物间时空上下文关系建模和利用，通过时空上下文分类模型准确表达地物真实的时空依赖关系，还能表达清楚地物间的时空特征和语义上下文依赖关系。
[0137]
下面对本发明提供的遥感影像的分类装置进行描述，下文描述的遥感影像的分类装置与上文描述的遥感影像的分类方法可相互对应参照。
[0138]
参照图11所示，遥感影像的分类装置包括：第一数据获取单元，获取基于时间序列的遥感影像；图像分割单元，对所述遥感影像进行多尺度分割以获得多个时空立方体；第二数据获取单元，获取每一所述时空立方体的时序特征；建模单元，根据多个所述时序特征建立时空上下文分类模型；制图单元，基于所述时空上下文分类模型，对所述遥感影像进行分类制图。
[0139]
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行遥感影像的分类方法，该方法包括：
[0140]
s1、获取基于时间序列的遥感影像；
[0141]
s2、对所述遥感影像进行多尺度分割以获得多个时空立方体；
[0142]
s3、获取每一所述时空立方体的时序特征；
[0143]
s4、根据多个所述时序特征建立时空上下文分类模型；
[0144]
s5、基于所述时空上下文分类模型，对所述遥感影像进行分类制图。
[0145]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0146]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的遥感影像的分类方法，该方法包括：
[0147]
s1、获取基于时间序列的遥感影像；
[0148]
s2、对所述遥感影像进行多尺度分割以获得多个时空立方体；
[0149]
s3、获取每一所述时空立方体的时序特征；
[0150]
s4、根据多个所述时序特征建立时空上下文分类模型；
[0151]
s5、基于所述时空上下文分类模型，对所述遥感影像进行分类制图。
[0152]
又一方面，本发明还提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的遥感影像的分类方法，该方法包括：s1、获取基于时间序列的遥感影像；
[0153]
s2、对所述遥感影像进行多尺度分割以获得多个时空立方体；
[0154]
s3、获取每一所述时空立方体的时序特征；
[0155]
s4、根据多个所述时序特征建立时空上下文分类模型；
[0156]
s5、基于所述时空上下文分类模型，对所述遥感影像进行分类制图。
[0157]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0158]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0159]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。