分类方法、分类装置及存储介质与流程

1.本公开内容总体上涉及图像处理，更具体的，涉及基于高光谱图像估计物体分类的分类方法、分类装置以及存储介质。


背景技术：

2.确定林区树木的组成情况有重要的意义。传统的人工现场确认、标识是费时、费力的。利用遥感技术对林区进行检测、研究是一种新近出现的有效手段。例如，使用高光谱图像确定林区各个区域的树木的种类。
3.高光谱图像不仅包含位置信息，还包括光谱信息。高光谱图像中的每个点可以具有位置坐标。在光谱维度，高光谱图像中的每个点还具有高光谱信息。例如，选择高光谱图像的示例性波长范围为380nm至780nm，可以将该波长范围分成80个波段(波长分段)；高光谱图像中的每个点具有关于波段(横坐标)的高光谱值(纵坐标)曲线。每种物质的高光谱值曲线会有不同的特点，因此可以基于高光谱图像进行物体识别或分类。
4.利用例如遥感卫星等获取的高光谱图像可以对地表的物体分布进行分析，得到有意义的结果。例如，利用遥感卫星获取的针对某林区的高光谱图像，进行图像分析，可以获取该林区的树木分布情况的信息。例如，可以获取该林区各种类型的树木的数量、分布面积等。
5.但是，使用高光谱图像进行物体分类是具有挑战的。例如，不同类物体之间高的高光谱相似性(异物同谱)和同类物体不同点高光谱的变化(同物异谱)都会增加基于高光谱图像进行正确的物体分类的难度。
6.近年来，随着神经网络的发展，神经网络也被用在高光谱图像分析方面。例如，使用训练后的基于神经网络的分类模型，基于高光谱图像对其中出现的物体进行分类。例如，向分类模型输入已分割好的示出了单个树木轮廓的高光谱图像，分类模型可以基于该树木轮廓内的多个点(也可以称为高光谱点)中每个点的高光谱信息，提取该树木轮廓内多个点中每个点的分类特征；考虑到该树木轮廓内多个点中每个点的分类特征可能有差异，用单个点的分类特征来确定相应树木的分类可能会出现较大的偏差，因此，可以考虑将这些分类特征进行平均，利用得到的平均特征来估计相应树木的分类。但是，这样的分类方法的分类结果可能仍然难以令人满意或者说还有改进的空间。


技术实现要素：

7.在下文中将给出关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，此概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
8.根据本公开内容的一个方面，提供了一种由计算机实现的用于基于高光谱图像估计物体分类的分类方法。该分类方法包括：使用基于第一神经网络的点级分类器提取高光
谱图像中的单个感兴趣类型物体的轮廓区内的多个点中的各点的点级分类特征；以及使用基于第二神经网络的块级分类器基于与多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数相关联的块级分类特征估计单个感兴趣类型物体的相对于感兴趣类型的下级分类；其中，点级分类器基于各点的高光谱值提取相应点的点级分类特征；点级分类器被配置成能够基于轮廓区内的单个点的高光谱信息估计单个点的关于下级分类集的分类；单个感兴趣类型物体的轮廓区是在高光谱图像中单个感兴趣类型物体的轮廓或单个感兴趣类型物体的轮廓的外接框指示的区域；聚类特征组集是通过对点级分类器从预定高光谱图像集提取的点级分类特征进行聚类来确定；并且多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数指示多个点的点级分类特征中落入相应聚类特征组的点级分类特征的计数。
9.据本公开内容的一个方面，提供了一种用于基于高光谱图像估计物体分类的分类装置。该分类装置包括：存储器，其上存储有指令；以及一个或更多个处理器，一个或更多个处理器能够与存储器通信以执行从存储器获取的指令，并且指令使一个或更多个处理器：使用基于第一神经网络的点级分类器提取高光谱图像中的单个感兴趣类型物体的轮廓区内的多个点中的各点的点级分类特征；以及使用基于第二神经网络的块级分类器基于与多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数相关联的块级分类特征估计单个感兴趣类型物体的相对于感兴趣类型的下级分类；其中，点级分类器基于各点的高光谱值提取相应点的点级分类特征；点级分类器被配置成能够基于轮廓区内的单个点的高光谱信息估计单个点的关于下级分类集的分类；单个感兴趣类型物体的轮廓区是在高光谱图像中单个感兴趣类型物体的轮廓或单个感兴趣类型物体的轮廓的外接框指示的区域；聚类特征组集是通过对点级分类器从预定高光谱图像集提取的点级分类特征进行聚类来确定；并且多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数指示多个点的点级分类特征中落入相应聚类特征组的点级分类特征的计数。
10.据本公开内容的另一方面，提供了一种其上存储有程序的计算机可读存储介质。程序使计算机：使用基于第一神经网络的点级分类器提取高光谱图像中的单个感兴趣类型物体的轮廓区内的多个点中的各点的点级分类特征；以及使用基于第二神经网络的块级分类器基于与多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数相关联的块级分类特征估计单个感兴趣类型物体的相对于感兴趣类型的下级分类；其中，点级分类器基于各点的高光谱值提取相应点的点级分类特征；点级分类器被配置成能够基于轮廓区内的单个点的高光谱信息估计单个点的关于下级分类集的分类；单个感兴趣类型物体的轮廓区是在高光谱图像中单个感兴趣类型物体的轮廓或单个感兴趣类型物体的轮廓的外接框指示的区域；聚类特征组集是通过对点级分类器从预定高光谱图像集提取的点级分类特征进行聚类来确定；并且多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数指示多个点的点级分类特征中落入相应聚类特征组的点级分类特征的计数。
11.本公开内容的分类方法、分类装置以及存储介质的有益效果至少包括：提高分类的准确度、改善分类方案的鲁棒性。
附图说明
12.参照附图下面说明本公开内容的实施例，这将有助于更加容易地理解本公开内容
的以上和其他目的、特点和优点。附图只是为了示出本公开内容的原理。在附图中不必依照比例绘制出单元的尺寸和相对位置。相同的附图标记可以表示相同的特征。在附图中：
13.图1示出了根据本公开内容的一个实施例的估计物体分类的分类方法的示例性流程图；
14.图2示出了单个感兴趣类型物体的轮廓区内的多个点的高光谱曲线；
15.图3示出了根据本公开内容的一个实施例的第一神经网络的示意图；
16.图4示出了根据本公开内容的一个实施例的各聚类特征组的示例性计数；
17.图5示出了根据本公开内容的一个实施例的估计物体分类的分类方法的示例性流程图；
18.图6示出了根据本公开内容的一个实施例的用于基于高光谱图像估计物体分类的分类装置；
19.图7示出了根据本公开内容的一个实施例的用于基于高光谱图像估计物体分类的分类装置；以及
20.图8是根据本公开内容的一个实施例的信息处理设备的示例性框图。
具体实施方式
21.在下文中将结合附图对本公开内容的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施例的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中可以做出很多特定于实施例的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施例的不同而有所改变。
22.在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开内容，在附图中仅仅示出了与根据本公开内容的方案密切相关的装置结构，而省略了与本公开内容关系不大的其他细节。
23.应理解的是，本公开内容并不会由于如下参照附图的描述而只限于所描述的实施形式。在本文中，在可行的情况下，实施例可以相互组合、不同实施例之间的特征替换或借用、在一个实施例中省略一个或多个特征。
24.用于执行本公开内容的实施例的各方面的操作的计算机程序代码可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c 之类，还包括常规的过程式程序设计语言，诸如"c"程序设计语言或类似的程序设计语言。
25.本公开内容的分类方法可以通过具有相应功能配置的电路或电路系统来实现。所述电路包括用于处理器的电路。
26.本公开内容的一个方面提供了一种用于基于高光谱图像估计物体分类的分类方法。该分类方法可以由计算机来实现。该分类方法的输入包括高光谱图像，其中，高光谱图像中的感兴趣类型物体已通过目标检测或分割被标识出了其轮廓区。单个感兴趣类型物体的轮廓区是在高光谱图像中单个感兴趣类型物体的轮廓或单个感兴趣类型物体的轮廓的外接框指示的区域。感兴趣类型物体包括树木。例如，输入的高光谱图像是包含单颗树木的高光谱图像，其中，该树木的轮廓区已示出，或者说，该树木的高光谱图块在图中占据区域已被预先确定。轮廓区的确定方法不是本公开内容的要点，因此不再展开描述。本公开内容
的分类方法的输出包括感兴趣类型物体的相对于感兴趣类型的下级分类。各下级分类构成了下级分类集。例如，感兴趣类型为树木，相对于感兴趣类型的下级分类可以包括：松树、梧桐、柳树等。例如，感兴趣类型为松树，相对于感兴趣类型的下级分类可以包括：罗汉松、樟子松、红松等。例如，为了利用高光谱图像研究某林区的63种树木的分布情况，则由这63个树木类型构成下级分类集。总体而言，本公开内容的分类方法分为两个阶段，在第一阶段得到点级分类特征；在第二阶段得到用于分类的块级分类特征。
27.下面参照图1对本公开内容的分类方法进行示例性说明。
28.图1示出了根据本公开内容的一个实施例的用于基于高光谱图像估计物体分类的分类方法100的示例性流程图。
29.在步骤s101，使用基于第一神经网络nn1的点级分类器cpo提取高光谱图像imh中的单个感兴趣类型物体ob的轮廓区ct内的多个点中的各点p[i]的点级分类特征fpo[i]。这里的多个点可以是轮廓区ct内的所有高光谱点，也可以是随机选定或框选的部分高光谱点，优选是所有高光谱点。轮廓区ct优选是轮廓的外接框的指示的区域。第一神经网络nn1可以是包含若干全连接层的深度神经网络以保证特征综合能力。点级分类器cpo可以基于各点的高光谱值p[i].wl[k].value提取相应点的点级分类特征，其中，k是波段(用wl表示)的索引，取值范围为1至kmax的整数。kmax通常大于100，例如，取值200。例如，高光谱图像的光谱范围被分为100个波段，则k可以取1至100内整数，对每个点，有100个高光谱值，每个高光谱值与一波段对应。高光谱图像包含表征针对高光谱图像内的各点的关于多个波段中的各波段的高光谱值的信息。点级分类器cpo被设计成能够基于轮廓区内的单个点的高光谱信息估计单个点的关于下级分类集的分类。也就是是说，点级分类器cpo被设计成能够提取高光谱点的分类特征，并基于提取的分类特征给出该高光谱点所对应的下级分类。可以根据该功能要求，使用训练样本集对初始点级分类器进行训练，以确定第一神经网络nn1的参数。可以选择第一神经网络nn1的最后一个全连接层输出的特征作为点级分类特征。例如，点级分类特征为具有2048个分量的向量。第一神经网络nn1的最后一个全连接层可以与输出层连接。输出层可以采用softmax逻辑回归给出各个下级分类的概率。softmax逻辑回归的输入是n*1的向量，输出也是n*1的向量(n为下级分类集的元素总数)，这个输出向量中的每个元素的值表示检测对象属于每个下级分类的概率。输出向量中的每个元素的值的大小范围为0到1以表征概率。示例性的，为了引入非线性，可以对除最后一个全连接层以外的全连接层的输出执行非线性激活，例如relu(rectified linear unit；修正线性单元)激活。例如，当前全连接层对来自前一全连接层的输入特征进行诸如relu激活的非线性激活。为了增强点级分类器cpo的性能，在训练点级分类器cpo可以使用各种数据增强方案，例如使用mixup方案。当感兴趣类型物体ob为树木时，轮廓区ct是图像中该树木的树冠的轮廓或树冠轮廓的外接框指示的区域。
[0030]
在步骤s103，使用基于第二神经网络nn2的块级分类器cpa基于与多个点的点级分类特征关于聚类特征组集中的各聚类特征组c[j]的计数c[j].count相关联的块级分类特征fpa估计单个感兴趣类型物体ob的相对于感兴趣类型的下级分类。聚类特征组集是通过对点级分类器cpo从预定高光谱图像集shi提取的点级分类特征进行聚类来确定。预定高光谱图像集shi可以包括训练样本集及其他有效数据集。训练样本集可以是针对点级分类器cpo和/或块级分类器cpa的训练样本集。其他有效数据集可以包括检测集。可以采用各种聚
类方式对点级分类器cpo从预定高光谱图像集shi提取的点级分类特征进行聚类，例如，k-means聚类方式。聚类后得到聚类特征组集包括的聚类特征组的数量记为l。对这样的获得的聚类特征组集，l》n，即，聚类特征组的数量大于下级分类集中下级分类的数量。聚类特征组的索引j可以取1至l的整数。多个点的点级分类特征关于聚类特征组集中的各聚类特征组c[j]的计数指示多个点的点级分类特征中落入相应聚类特征组的点级分类特征的计数。例如，单个感兴趣类型物体ob的轮廓区ct内具有imax个高光点，则提取到imax个点级分类特征fpo[1]、fpo[2]、
……
、fpo[imax]；imax个点级分类特征关于聚类特征组集中的各聚类特征组c[1]、c[2]、
……
、c[l]的计数为c[1].count、c[2].count、
……
、c[l].count。在统计计数c[j].count时，在imax个点级分类特征中每找到一个落入聚类特征组c[j]的点级分类特征，则当前计数加1。计数的最小值为零。块级分类特征fpa可以为具有l个分量的向量，每个分量与相应聚类特征组的点级分类特征的计数相关联。块级分类器cpa被设计成能够基于块级分类特征fpa估计单个感兴趣类型物体的相对于感兴趣类型的下级分类。本领域技术人员能够理解，在使用块级分类器cpa进行分类前，需要使用样本训练集对块级分类器cpa进行训练，以确定合适的神经网络参数并保证预期性能水平。这里的聚类特征集相当于特征字典(feature dictionary)或编码本(codebook)。
[0031]
分类方法100是基于针对单个感兴趣类型物体的轮廓区的块级分类特征估计轮廓区内的物体的分类，而不是基于对轮廓区内的点级分类特征求平均得到的平均分类特征来估计分类。同类物体的块级分类特征存在一定的规律，对轮廓区内的点级分类特征求平均会掩盖这种规律。试验表明，分类方法100具有改善的准确度。
[0032]
下面参照图2示例性说明方法100的一个优选实施例。试验表明，在使用点级分类器cpo提取高光谱图像imh中的单个感兴趣类型物体ob的轮廓区ct内的多个点中的各点的点级分类特征时，优选对轮廓区ct内的多个点的高光谱值进行归一化。图2示出了单个感兴趣类型物体ob的轮廓区ct内的多个点的高光谱曲线，其中，图2(a)示出了高光谱图像的轮廓区内的多个点的关于各波段索引(横坐标)的高光谱值(纵坐标)，图2(b)示出了高光谱图像的轮廓区内的多个点的关于各波段索引(横坐标)的归一化的高光谱值(纵坐标)。图2(a)中每条曲线与轮廓区内的一个高光谱点对应。从图2(a)中可以看到，至少部分由于散射现象，同一物体的各点的高光谱曲线并不相同，存在一定的发散。为了体现各点属于同一物体的共性，可以对同一轮廓区内的多个点的高光谱值进行归一化处理，以抑制高光谱曲线发散。在本实施例中，示例性地选择min-max归一化(标准化)方法对轮廓区ct内的多个点的多个高光谱值进行归一化。具体的，针对图2(a)中的多条曲线，确定所有高光谱值中的最小高光谱值vmin(例如1)和最大高光谱值vmax(例如5501)，然后利用vmin和vmax通过线性变换将所有高光谱值正相关地变换到[0,1]的区间。例如，轮廓区内有100个点，每个点有80个高光谱值，则从共计8000个高光谱值中确定最小高光谱值vmin和最大高光谱值vmax。如图2(b)所示，归一化后的同一轮廓区内的多个点的高光谱曲线会聚拢。各曲线会表现出更明显的相似性。归一化处理有利于提高分类方法100的分类准确度。该归一化方法可以看作一种更新高光谱值的方法。
[0033]
为了充分利用数据，在分类方法100中可以采用一些数据增强操作。示例性的，对高光谱点的高光谱值以预定概率进行随机空间增强。随机空间增强包括以下操作：用相应点的邻近点的高光谱值及相应点的高光谱值的加权平均值更新相应点的高光谱值。使用随
机函数生成用于计算加权平均值的多个权重。以预定概率进行随机空间增强意味着不对轮廓区内的部分点进行数据增强操作。例如，可以利用相应点p[5]周围的8个邻近点p[1]、p[2]、p[3]、p[4]、p[6]、p[7]、p[8]、p[9]的高光谱值来更新更新相应点p[5]的高光谱值。这些点构成3*3的矩阵，相应点p[5]位于矩阵中心。计算公式如下：
[0034][0035]
可以设定规则，对边缘的点不进行数据增强操作。w[i]为用于计算加权平均值(p[5].wl[k].value”)的多个权重；p[5].wl[k].value”为点p[5]的更新后的高光谱值，p[5].wl[k].value'为点p[5]的更新前的高光谱值。权重可以利用随机函数产生。例如，利用随机高斯分布函数一次产生9个随机数作为w[1]至w[9]。可以理解，可以在归一化操作前进行随机空间增强也可以在归一化操作后进行随机空间增强。即，使用点级分类器提取所述点级分类特征包括：在归一化操作之前或之后对相应点的高光谱值以预定概率进行随机空间增强以更新相应点的高光谱值。该预定概率可以根据经验确定。试验表明，优选在在归一化操作之前对相应点的高光谱值以预定概率进行随机空间增强以更新相应点的高光谱值。
[0036]
图3示出了根据本公开内容的一个实施例的示例性第一神经网络nn1示意图。如图3中所示，第一神经网络nn1包括输入层l1、全连接层l2、全连接层l3、全连接层l4、输出层l5。示例性的，三个全连接层的输出的维度分别为2048、4096和2048。输入层l1接收高光谱图像。全连接层l4的输出的特征提供给输出层l5。输出层l5对输入特征进行变换后，进行softmax逻辑回归处理，输出一个n*1的向量(n为下级分类集的元素总数)。这个输出向量中的每个元素的值表示检测对象属于每个下级分类的概率。在分类方法100中使用全连接层l4的输出作为点级分类特征。使用全连接层l3的输出特征作为点级分类特征也是可能的，但是优选使用最后一级全连接层的输出特征作为点级分类特征供块级分类器使用。
[0037]
分类方法100利用计数构建块级分类特征。下面参考图4对计数进行描述。图4示出了根据本公开内容的一个实施例的各聚类特征组的示例性计数。如图4中所示，聚类特征组集中包括l个聚类特征组，其中，l为整数。l的示例性取值例如为100。为了区分这些聚类特征组，为各特征组分配从1至l的索引。因此，可以用c[j]表示某个聚类特征组，j可以取1至l中的整数。聚类特征组中包括的点级分类特征的提取规则同点级分类器提取轮廓区内的高光谱点的点级分类特征的提取规则。图4中的纵坐标为统计的针对相应聚类特征组的计数。统计各聚类特征组的计数时，需要对落入该聚类特征组的点级分类特征的数量进行计数。每增加一个落入该聚类特征组的点级分类特征，计数加1。可以基于距离、相似度等判断点级分类特征是否落入该聚类特征组。考虑到聚类特征组集是针对所有下级分类构建的集合，所以对于某个感兴趣类型物体，统计其关于聚类特征组集的计数时，一些聚类特征组的计数可能会为0。另外，能够理解的，图4中的计数是针对高光谱图像中的某个感兴趣类型物体而言的，各聚类特征组的计数的和等于该感兴趣类型物体的轮廓区内的选择的高光谱点的数量。该感兴趣类型物体的块级分类特征可以表示为一个l维的向量，记作：(c[1].count，c[2].count，
……
，c[l].count)。该块级分类特征也可以称为该感兴趣类型物体的高光谱图像纹理特征(可以简写为“hsi特征”)。
[0038]
进一步的，为了提高分类的准确度，可以更新与计数相关联的块级分类特征。在一个实施例中，确定所述块级分类特征包括：确定由多个点的点级分类特征关于聚类特征组
集中的各聚类特征组的计数构成的中间向量；以及对中间向量进行归一化作为块级分类特征。中间向量(也可以称为更新前的块级分类特征)例如为(c[1].count，c[2].count，
……
，c[l].count)，归一化后的中间向量(即，块级分类特征，或称为更新后的块级分类特征)为(c[1].count/sum，c[2].count/sum，
……
，c[l].count/sum)，其中，sum为各计数的和(sum＝∑c[j].count)。
[0039]
当感兴趣类型物体为树木时，轮廓区可以为树冠轮廓指示的区域，块级分类特征即为树冠级分类特征，该树冠级分类特征代表树冠的高光谱图像的hsi特征。树冠轮廓中高光谱点的分布可以表征为属于各聚类特征组的高光谱点的出现频次分布，即不同特征点的频次分布。轮廓内的异常点、低频次类型的点对块级分类特征的贡献很小。本公开内容的分类方法对轮廓内的异常点、低频次类型的点具有高的鲁棒性。
[0040]
在一个实施例中，第二神经网络nn2的输入为l维的块级分类特征，第二神经网络nn2包括多个全连接层(例如两个全连接层)，各全连接层的输出例如为具有2048个分量的向量，在前级全连接层(例如，第一级全连接层)后使用非线性激活(例如relu激活)以引入非线性，第二神经网络nn2还包括输出层——softmax层，softmax层被设计成估计出当前轮廓区所对应的感兴趣物体的关于n个下级分类中的各分类的概率。
[0041]
在一个实施例中，预定高光谱图像集包括：检测集图像，其中，检测集中包括的要检测的高光谱图像被称为检测集图像。例如，在地域性方面检测集和训练样本集相差较大时，为了改善地域适应性，可以采用以下操作：通过对点级分类器从包括训练样本及检测集图像的预定高光谱图像集提取的点级分类特征进行聚类来确定聚类特征组集。预定高光谱图像集可以包括训练样本及检测集中的部分检测集图像。例如，当当前检测集的采集地域与训练样本集的图像采集地域纬度的差的绝对值大于预定维度阈值的情况下，可以将检测数据集的至少部分点级分类特征添加到待聚类的点级分类特征集中并聚类。
[0042]
下面参考图5对本公开内容的一个实施例进行描述。图5示出了根据本公开内容的一个实施例的估计物体分类的分类方法500的示例性流程图。在步骤s51011，归一化从高光谱图像中的单个感兴趣类型物体的轮廓区内提取的多个点的高光谱值。在步骤s51013，对轮廓区内的选定点的归一化后的高光谱值以预定概率进行随机空间增强以更新轮廓区内的点高光谱值。选定点可以是具有加权平均值所需的邻近点的高光谱点。步骤s51011至s51013可以由第一神经网络的输入层完成。在步骤s51015，基于更新后的高光谱值确定点级分类特征。可以将第一神经网络的全连接层中的最后1级全连接层的输出特征作为该点级分类特征。在步骤s51031，确定轮廓区内的多个点关于聚类特征组集中的各聚类特征组的计数以生成中间向量。在步骤s51033，对中间向量进行归一化作为块级分类特征。在步骤s51035，基于块级分类特征估计单个感兴趣类型物体的相对于感兴趣类型的下级分类。s51031至步骤s51033可以由第二神经网络的输入层完成。
[0043]
本公开内容还提供一种用于基于高光谱图像估计物体分类的分类装置。下面参照图6进行示例性描述。图6示出了根据本公开内容的一个实施例的用于基于高光谱图像估计物体分类的分类装置600。该分类装置包括：点级分类特征提取单元601和分类单元603。点级分类特征提取单元601使用基于第一神经网络的点级分类器提取高光谱图像中的单个感兴趣类型物体的轮廓区内的多个点中的各点的点级分类特征。分类单元603使用基于第二神经网络的块级分类器基于与多个点的点级分类特征关于聚类特征组集中的各聚类特征
组的计数相关联的块级分类特征估计单个感兴趣类型物体的相对于感兴趣类型的下级分类。点级分类器基于各点的高光谱值提取相应点的点级分类特征。点级分类器被配置成能够基于轮廓区内的单个点的高光谱信息估计单个点的关于下级分类集的分类。单个感兴趣类型物体的轮廓区是在高光谱图像中单个感兴趣类型物体的轮廓或单个感兴趣类型物体的轮廓的外接框指示的区域。聚类特征组集是通过对点级分类器从预定高光谱图像集提取的点级分类特征进行聚类来确定。多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数指示多个点的点级分类特征中落入相应聚类特征组的点级分类特征的计数。该分类装置与本公开内容的分类方法存在对应关系。该分类装置的进一步配置情况可参考本公开内容对分类方法的描述。
[0044]
本公开内容还提供一种用于基于高光谱图像估计物体分类的分类装置。下面参考图7描述这种图像处理装置。图7示出了根据本公开内容的一个实施例的用于估计物体分类的分类装置700。分类装置700包括：存储器701，其上存储有指令；以及一个或更多个处理器703。一个或更多个处理器能够与存储器通信以执行从存储器获取的指令，并且指令使一个或更多个处理器：使用基于第一神经网络的点级分类器提取高光谱图像中的单个感兴趣类型物体的轮廓区内的多个点中的各点的点级分类特征；以及使用基于第二神经网络的块级分类器基于与多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数相关联的块级分类特征估计单个感兴趣类型物体的相对于感兴趣类型的下级分类；其中，点级分类器基于各点的高光谱值提取相应点的点级分类特征；点级分类器被配置成能够基于轮廓区内的单个点的高光谱信息估计单个点的关于下级分类集的分类；单个感兴趣类型物体的轮廓区是在高光谱图像中单个感兴趣类型物体的轮廓或单个感兴趣类型物体的轮廓的外接框指示的区域；聚类特征组集是通过对点级分类器从预定高光谱图像集提取的点级分类特征进行聚类来确定；并且多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数指示多个点的点级分类特征中落入相应聚类特征组的点级分类特征的计数。该分类装置与本公开内容的分类方法存在对应关系。该分类装置的进一步配置情况可参考本公开内容对分类方法的描述。
[0045]
本公开内容的一个方面提供一种其上存储有程序的计算机可读存储介质。程序使计算机：使用基于第一神经网络的点级分类器提取高光谱图像中的单个感兴趣类型物体的轮廓区内的多个点中的各点的点级分类特征；以及使用基于第二神经网络的块级分类器基于与多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数相关联的块级分类特征估计单个感兴趣类型物体的相对于感兴趣类型的下级分类；其中，点级分类器基于各点的高光谱值提取相应点的点级分类特征；点级分类器被配置成能够基于轮廓区内的单个点的高光谱信息估计单个点的关于下级分类集的分类；单个感兴趣类型物体的轮廓区是在高光谱图像中单个感兴趣类型物体的轮廓或单个感兴趣类型物体的轮廓的外接框指示的区域；聚类特征组集是通过对点级分类器从预定高光谱图像集提取的点级分类特征进行聚类来确定；并且多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数指示多个点的点级分类特征中落入相应聚类特征组的点级分类特征的计数。程序的功能与本公开内容的分类方法存在对应关系。该程序的进一步配置情况可参考本公开内容对分类方法的描述。
[0046]
根据本公开内容一个方面，还提供一种信息处理设备。
[0047]
图8是根据本公开内容的一个实施例的信息处理设备800的示例性框图。在图8中，中央处理单元(cpu)801根据存储在只读存储器(rom)802中的程序或从存储部分808加载到随机存取存储器(ram)803的程序来进行各种处理。在ram 803中，也根据需要来存储在cpu 801执行各种处理时所需的数据等。
[0048]
cpu 801、rom 802以及ram 803经由总线804彼此连接。输入/输出接口807也连接至总线804。
[0049]
下述部件连接至输入/输出接口807：包括软键盘等的输入部分806；包括诸如液晶显示器(lcd)等的显示器以及扬声器等的输出部分807；诸如硬盘的存储部分808；以及包括网络接口卡如lan卡、调制解调器等的通信部分809。通信部分809经由诸如英特网、局域网、移动网络的网络或其组合执行通信处理。
[0050]
驱动器810根据需要也连接至输入/输出接口807。可拆卸介质811如半导体存储器等根据需要安装在驱动器810上，使得从其中读取的程序根据需要被安装到存储部分808。
[0051]
cpu 801可以运行用于实现根据本公开内容的用于基于高光谱图像估计物体分类的程序。该程序能够实现分类方法100所具有的功能。
[0052]
本公开内容的方案在基于高光谱图像估计物体分类时，使用两级分类器实现最终的分类。这有利于提高分类的准确度；并且改善了分类方案的鲁棒性。
[0053]
如上所述，根据本公开内容，提供了用于估计物体分类的分类方法分类最终装置的原理。需要注意的是，本公开内容的方案的效果不一定限于上述效果，并且除了前面段落中描述的效果之外或代替前面段落中描述的效果，可以取得本说明书中示出的效果中的任何效果或者可以从本说明书中理解的其他效果。
[0054]
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改(包括在行的情况下，各实施例之间特征的组合或替换)、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。例如，当高光谱图像已被数据化，每个高光谱点的位置坐标数据、每个高光谱点的每个波段的光谱值数据都已知，则可以将点级分类器配置成基于这些数据提取高光谱图像中的单个感兴趣类型物体的轮廓区内的多个点中的各点的点级分类特征，而不必分析高光谱图像以获取这些数据。
[0055]
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
[0056]
此外，本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
[0057]
附记
[0058]
1.一种由计算机实现的用于基于高光谱图像估计物体分类的分类方法，其特征在于，包括：
[0059]
使用基于第一神经网络的点级分类器提取所述高光谱图像中的单个感兴趣类型物体的轮廓区内的多个点中的各点的点级分类特征；以及
[0060]
使用基于第二神经网络的块级分类器基于与所述多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数相关联的块级分类特征估计所述单个感兴趣类型物
体的相对于感兴趣类型的下级分类；
[0061]
其中，所述点级分类器基于各点的高光谱值提取相应点的点级分类特征；
[0062]
所述点级分类器被配置成能够基于所述轮廓区内的单个点的高光谱信息估计所述单个点的关于下级分类集的分类；
[0063]
所述单个感兴趣类型物体的轮廓区是在所述高光谱图像中所述单个感兴趣类型物体的轮廓或所述单个感兴趣类型物体的轮廓的外接框指示的区域；
[0064]
所述聚类特征组集是通过对所述点级分类器从预定高光谱图像集提取的点级分类特征进行聚类来确定；并且
[0065]
所述多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数指示所述多个点的点级分类特征中落入相应聚类特征组的点级分类特征的计数。
[0066]
2.根据附记1所述的分类方法，其中，所述感兴趣类型包括树木，并且所述下级分类集包含多种树木类型。
[0067]
3.根据附记1所述的分类方法，其中，所述高光谱图像包含表征针对所述高光谱图像内的各点的关于多个波段中的各波段的高光谱值的信息。
[0068]
4.根据附记1所述的分类方法，其中，使用所述点级分类器提取所述点级分类特征包括：对所述轮廓区内的点的高光谱值进行归一化。
[0069]
5.根据附记1所述的分类方法，其中，使用所述点级分类器提取所述点级分类特征包括：对所述轮廓区内的点的高光谱值以预定概率进行随机空间增强；
[0070]
其中，所述随机空间增强包括以下操作：用相应点的邻近点的高光谱值及所述相应点的高光谱值的加权平均值更新所述相应点的高光谱值；
[0071]
其中，使用随机函数生成用于计算所述加权平均值的多个权重。
[0072]
6.根据附记5所述的分类方法，其中，所述随机空间增强包括以下操作：基于随机高斯分布确定用于计算所述加权平均值的多个权重。
[0073]
7.根据附记6所述的分类方法，其中，用所述相应点的周围的八个邻近点的高光谱值及所述相应点的高光谱值的加权平均值更新所述相应点的高光谱值。
[0074]
8.根据附记1所述的分类方法，其中，所述第一神经网络包括多个全连接层。
[0075]
9.根据附记8所述的分类方法，其中，所述第一神经网络被配置成对所述多个全连接层中的部分全连接层的输出特征进行非线性激活。
[0076]
10.根据附记9所述的分类方法，其中，所述非线性激活包括relu激活。
[0077]
11.根据附记1所述的分类方法，其中，所述聚类特征组集包括l个聚类特征组，所述下级分类集包括n个下级分类，并且l》n。
[0078]
12.根据附记1所述的分类方法，其中，所述块级分类特征是由所述块级分类器根据所述多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数来确定。
[0079]
13.根据附记1所述的分类方法，其中，确定所述块级分类特征包括：
[0080]
确定由所述多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数构成的中间向量；以及
[0081]
对所述中间向量进行归一化作为所述块级分类特征。
[0082]
14.根据附记1所述的分类方法，其中，其中，所述第二神经网络包括多个全连接层。
[0083]
15.根据附记14所述的分类方法，其中，其中，所述第二神经网络被配置成对所述多个全连接层中的前级全连接层的输出特征进行非线性激活。
[0084]
16.根据附记15所述的分类方法，其中，其中，所述非线性激活包括relu激活。
[0085]
17.一种用于基于高光谱图像估计物体分类的分类装置，其特征在于，包括：
[0086]
存储器，其上存储有指令；以及
[0087]
一个或更多个处理器，所述一个或更多个处理器能够与所述存储器通信以执行从所述存储器获取的所述指令，并且所述指令使所述一个或更多个处理器：
[0088]
使用基于第一神经网络的点级分类器提取高光谱图像中的单个感兴趣类型物体的轮廓区内的多个点中的各点的点级分类特征；以及
[0089]
使用基于第二神经网络的块级分类器基于与所述多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数相关联的块级分类特征估计所述单个感兴趣类型物体的相对于感兴趣类型的下级分类；
[0090]
其中，所述点级分类器基于各点的高光谱值提取相应点的点级分类特征；
[0091]
所述点级分类器被配置成能够基于所述轮廓区内的单个点的高光谱信息估计所述单个点的关于下级分类集的分类；
[0092]
所述单个感兴趣类型物体的轮廓区是在所述高光谱图像中所述单个感兴趣类型物体的轮廓或所述单个感兴趣类型物体的轮廓的外接框指示的区域；
[0093]
所述聚类特征组集是通过对所述点级分类器从预定高光谱图像集提取的点级分类特征进行聚类来确定；并且
[0094]
所述多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数指示所述多个点的点级分类特征中落入相应聚类特征组的点级分类特征的计数。
[0095]
18.一种其上存储有程序的计算机可读存储介质，其特征在于，所述程序使计算机：
[0096]
使用基于第一神经网络的点级分类器提取高光谱图像中的单个感兴趣类型物体的轮廓区内的多个点中的各点的点级分类特征；以及
[0097]
使用基于第二神经网络的块级分类器基于与所述多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数相关联的块级分类特征估计所述单个感兴趣类型物体的相对于感兴趣类型的下级分类；
[0098]
其中，所述点级分类器基于各点的高光谱值提取相应点的点级分类特征；
[0099]
所述点级分类器被配置成能够基于所述轮廓区内的单个点的高光谱信息估计所述单个点的关于下级分类集的分类；
[0100]
所述单个感兴趣类型物体的轮廓区是在所述高光谱图像中所述单个感兴趣类型物体的轮廓或所述单个感兴趣类型物体的轮廓的外接框指示的区域；
[0101]
所述聚类特征组集是通过对所述点级分类器从预定高光谱图像集提取的点级分类特征进行聚类来确定；并且
[0102]
所述多个点的点级分类特征关于聚类特征组集中的各聚类特征组的计数指示所述多个点的点级分类特征中落入相应聚类特征组的点级分类特征的计数。