图像处理方法、图像处理装置及存储介质与流程

1.本公开内容总体上涉及图像处理，更具体的，涉及用于确定物体分布的图像处理方法、图像处理装置以及存储介质。


背景技术：

2.在现实世界中，存在对目标区域内的物体进行检测、识别、定位、监视等的需要。这需要图像处理、神经网络等方面的技术。
3.图像处理在物体检测方面有广泛的应用。这方面的示例包括：生物识别(例如，人脸识别)、物体识别等。以人脸识别为例，可以使用深度神经网络(deep neural network，dnn)对输入图像进行诸如特征提取、特征变换等的处理，从而可以基于得到的特征完成对图像中人脸区域的定位、分割，进一步的还可以对图像中人脸图像块进行分类。
4.在许多领域中，dnn能够超越人类决策的准确率。dnn的出众表现源自它能使用统计学习方法从原始输入数据中提取深度特征，从而在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。
5.现实世界中，物体通常是三维的，不仅具有二维投影形状，还具有高度。另外，在目标区域内，可能会有多个三维感兴趣类型物体。并且物体之间还可能存在遮挡关系。如何基于针对该目标区域的图像确定这些物体的分布是具体挑战的。


技术实现要素：

6.在下文中将给出关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，此概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
7.根据本公开内容的一个方面，提供了一种由计算机实现的用于确定物体分布的图像处理方法。该图像处方法包括：使用卷积神经网络基于针对同一目标区域的rgb图像和高度图像确定表示目标区域内分布的至少一个感兴趣类型物体的分布的掩模分布图，其中，高度图像内的每个像素具有表征被拍摄物体的相应部位的高度的高度属性，掩模分布图中的每个掩模指示单个感兴趣类型物体在同一目标区域内占据的前景区域；以及基于高度图像更新掩模分布图。
8.据本公开内容的一个方面，提供了一种用于确定物体分布的图像处理装置。该图像处理装置包括：存储器，其上存储有指令；以及一个或更多个处理器，一个或更多个处理器能够与存储器通信以执行从存储器获取的指令，并且指令使一个或更多个处理器：使用卷积神经网络基于针对同一目标区域的rgb图像和高度图像确定表示目标区域内分布的至少一个感兴趣类型物体的分布的掩模分布图，其中，高度图像内的每个像素具有表征被拍摄物体的相应部位的高度的高度属性，掩模分布图中的每个掩模指示单个感兴趣类型物体在同一目标区域内占据的前景区域；以及基于高度图像更新掩模分布图。
9.据本公开内容的另一方面，提供了一种其上存储有程序的计算机可读存储介质。程序使计算机：使用卷积神经网络基于针对同一目标区域的rgb图像和高度图像确定表示目标区域内分布的至少一个感兴趣类型物体的分布的掩模分布图，其中，高度图像内的每个像素具有表征被拍摄物体的相应部位的高度的高度属性，掩模分布图中的每个掩模指示单个感兴趣类型物体在同一目标区域内占据的前景区域；以及基于高度图像更新掩模分布图。
10.本公开内容的图像处理方法、图像处理装置以及存储介质的有益效果至少包括：准确确定目标区域内的感兴趣类型物体的分布，和/或改善确定的目标区域内的感兴趣类型物体的分布的准确度。
附图说明
11.参照附图下面说明本公开内容的实施例，这将有助于更加容易地理解本公开内容的以上和其他目的、特点和优点。附图只是为了示出本公开内容的原理。在附图中不必依照比例绘制出单元的尺寸和相对位置。相同的附图标记可以表示相同的特征。在附图中：
12.图1示出了根据本公开内容的一个实施例的用于确定物体分布的图像处理方法的示例性流程图；
13.图2示出了根据本公开内容的一个实施例的由卷积神经网络convnet确定的掩模的示例性分布情况；
14.图3示出了根据本公开内容的一个实施例的卷积神经网络convnet执行的示例性掩模分布确定方法；
15.图4示出了根据本公开内容的一个实施例的示例性高度图；
16.图5示出了根据本公开内容的一个实施例的移除了低高度掩模后的掩模分布图；
17.图6示出了根据本公开内容的一个实施例的三维图的二维截面的示意图；
18.图7示出了根据本公开内容的一个实施例的移除了大上坡面积比率掩模后的掩模分布图；
19.图8示出了根据本公开内容的一个实施例的经过重置操作后的掩模分布图；
20.图9示出了根据本公开内容的一个实施例的用于确定物体分布的图像处理装置；以及
21.图10是根据本公开内容的一个实施例的信息处理设备的示例性框图。
具体实施方式
22.在下文中将结合附图对本公开内容的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施例的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中可以做出很多特定于实施例的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施例的不同而有所改变。
23.在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开内容，在附图中仅仅示出了与根据本公开内容的方案密切相关的装置结构，而省略了与本公开内容关系不大的其他细节。
24.应理解的是，本公开内容并不会由于如下参照附图的描述而只限于所描述的实施
形式。在本文中，在可行的情况下，实施例可以相互组合、不同实施例之间的特征替换或借用、在一个实施例中省略一个或多个特征。
25.用于执行本公开内容的实施例的各方面的操作的计算机程序代码可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c 之类，还包括常规的过程式程序设计语言，诸如"c"程序设计语言或类似的程序设计语言。
26.本公开内容的图像处理方法可以通过具有相应功能配置的电路来实现。
27.本公开内容的一个方面提供了一种用于确定物体分布的图像处理方法。该图像处理方法可以由计算机来实现。该图像处理方法的输入包括rgb图像和高度图像。该图像处理方法的输出包括掩模分布图。在现实世界中，存在确定目标区域内物体的分布的需要。目标区域内可能存在多种物体，并且在大部分情况下仅需要确定感兴趣类型物体的分布。也就是说初步确定的物体分布图中可能存在非感兴趣类型物体。另外，初步确定的物体分布图中还可能存在与对图像的错误分割对应的错误的物体分布图案。感兴趣类型物体的一种示例是树木。例如，确定某一区域树木的分布可以用于监视森林/林区的树木生长情况。
28.下面参照图1对本公开内容的图像处理方法进行示例性说明。
29.图1示出了根据本公开内容的一个实施例的用于确定物体分布的图像处理方法100的示例性流程图。在步骤s101，使用例如卷积神经网络convnet基于针对同一目标区域reg_t的rgb图像im_rgb和高度图像im_h确定表示目标区域reg_t内分布的至少一个感兴趣类型物体obj(当需要区分各感兴趣类型物体时，可以用obj[i]指代被关注物体，i为索引)的分布的掩模分布图im_dis。高度图像im_h内的每个像素具有表征被拍摄物体的相应部位的高度的高度属性。该高度属性可以表示为im_h.pixel[x][y].height，其中，x和y用于表示相应像素的坐标。掩模分布图im_dis中的每个掩模mask[j]指示单个感兴趣类型物体在同一目标区域内reg_t占据的前景区域reg[j]。每个前景区域例如可以具有：位置属性、轮廓属性、面积属性等。能够理解的是：掩模分布图指示的感兴趣类型物体的分布情况可以与实际分布情况不同，例如一个掩模所指示的前景区域可能实际上有两个感兴趣类型物体。卷积神经网络convnet是包含卷积操作的神经网络。这里的卷积操作可以用于特征提取和特征转换。卷积神经网络convnet可以包括输入层、若干隐藏层和输出层。目标区域reg_t的示例是林区的某个矩形区域。例如，可以将林区划分为多个矩形网格，目标区域reg_t是多个矩形网格中的一个矩形网格区域。rgb图像im_rgb是示出目标区域reg_t内景物的彩色图像，其中，rgb图像im_rgb的每个像素包含位置属性和颜色属性，颜色属性又例如可以细分为红色(r)亮度、绿色(g)亮度和蓝色(b)亮度。rgb图像im_rgb可以用数码摄像机来获取，并且也可以是由多个图像合成的rgb图像。例如，这里的rgb图像im_rgb可以是由原始rgb图像、红外图像合成的图像。高度图像im_h是示出目标区域reg_t内景物的高度图像，其中，高度图像im_h的每个像素包含位置属性和高度属性。高度属性pixel[x][y].height的值可以等于被拍摄物体的相应部位的高度的值。确切的说是，pixel[x][y].height的值可以是检测到的高度的值。该检测到的高度和实际高度可以不同，例如存在误差。pixel[x][y].height的值也可以是对检测高度进行变换后的值，例如平滑后的值或平均值等。高度图像im_h可以使用例如的雷达设备来获取，例如使用激光雷达来获取。高度图像im_h可以是合成或变换后的图像，而不是获取高度图像的器材获取的原始图像。为了获得针对同一目标
区域reg_t的rgb图像im_rgb和高度图像im_h，可以分别使用rgb图像获取设备和高度图像获取设备在目标区域reg_t上方同时或准同时获取图像。在一个示例中，可以在目标区域reg_t上方的同一视点获取这两种图像的原始图像。为了简化后续的处理，rgb图像im_rgb和高度图像im_h可以是基于同一目标区域reg_t对准的图像。例如，进行对准处理使得对对准的图像而言，在两个图像的同一位置，都对应目标区域reg_t内的景物的同一点。两个图像的大小优选相同。掩模分布图im_dis中可以包含多个掩模。这多个掩模构成掩模集sm＝{mask[j]}(简化起见，仅示出一个代表性元素mask[j])。掩模分布图im_dis包括前景和背景，其中，背景例如可以被设置为单一纯色。各掩模在掩模分布图im_dis被示出为前景。每个掩模具有确定的轮廓和边界。不同的掩模可能发生交叠。
[0030]
在步骤s103处，基于高度图像im_h更新掩模分布图。更新后的掩模分布图imupdated_dis所包含的关于目标区域reg_t内的感兴趣类型物体分布信息会更接近真实情况，并且相对于由卷积神经网络convnet确定的初始掩模分布图im_dis具有更高的准确度。更新后的掩模分布图imupdated_dis可作为其他图像处理的输入。例如比较对应不同时间的imupdated_dis，分析树木分布的变化趋势、树木的生长情况等。
[0031]
作为一种示例，基于高度图像更新掩模分布图可以包括以下操作中的至少一个：移除掩模分布图中的满足第一预定条件的掩模；以及重置掩模分布图中的满足第二预定条件的彼此交叠的两个掩模。前述移除掩模的操作在本公开内容中被简称为“移除操作”。前述重置掩模的操作在本公开内容中被简称为“重置操作”。被移除的掩模可以是经过分析确定的对应非感兴趣类型物体的掩模。掩模分布图中的每个像素im_dis.pixel[x][y]可以被配置有高度属性im_dis.pixel[x][y].height；并且掩模分布图中的每个像素的高度属性的值可以根据高度图像中的相应位置处的相应像素的高度属性的值来确定。例如：
[0032]
im_dis.pixel[x][y].height＝im_h.pixel[x][y].height。
[0033]
当然这两个值也可以根据需要呈特定正比关系或线性正相关关系。第一预定条件例如为：被关注掩模内所有像素的高度属性的值的平均值小于预定阈值。重置掩模操作包括将一个掩模划分为两个掩模。这例如对应消除在图像处理中将两颗树误认为一棵树的失误。第二预定条件例如为：被关注掩模的最窄宽度小于预定宽度阈值。基于高度图像更新掩模分布图可以改善输出的掩模分布图的准确性。
[0034]
相较于仅使用rgb图像确定物体分布，方法100在使用卷积神经网络确定掩模分布图时还使用了高度图像im_h，这有利于提高确定的物体分布的准确度。进一步的，方法100在在使用卷积神经网络确定掩模分布图后，还基于高度图像对掩模分布图进行更新，这进一步提高了最终得到的物体分布的准确度。
[0035]
下面对使用卷积神经网络convnet确定的掩模分布图im_dis进行进一步的描述。图2示出了根据本公开内容的一个实施例的由卷积神经网络convnet确定的掩模的示例性分布情况。如图2中示出的，卷积神经网络convnet估计出对应感兴趣类型物体的多个掩模，每个掩模指示单个感兴趣类型物体在同一目标区域内占据的前景区域。每个掩模内的像素的位置可以由横坐标、纵坐标确定。图2中，还利用灰度指示了掩模的交叠情况，其中，“交叠数”是指在被关注像素处交叠的掩模的数量，其中，“交叠数”＝1表示无交叠。可以看到，在某些像素处，交叠数达到了6。图2中颜色最深的区域对应背景，对应的交叠数大于或等于1的区域对应掩模。图2示出的分布情况可以对应由卷积神经网络convnet确定的掩模分布图
im_dis。
[0036]
下面对使用卷积神经网络convnet确定掩模分布图im_dis进行进一步的描述。图3示出了根据本公开内容的一个实施例的卷积神经网络convnet执行的示例性掩模分布确定方法300。卷积神经网络convnet可以为包含卷积操作的深度神经网络。在步骤s311，从rgb图像im_rgb提取纹理特征。可以针对rgb图像im_rgb中的每个像素点提取其纹理特征。在步骤s313，从高度图像im_h提取高度特征。可以针对高度图像im_h中的每个像素点提取其高度特征。在步骤s315，基于提取的纹理特征及高度特征确定掩模分布图im_dis。本领域技术人员能够理解的，在进行特征提取前，卷积神经网络convnet已基于标记过的样本经过了必要的训练。图像处理方法还可以包括：使用卷积神经网络基于rgb图像和高度图像中的至少一个确定与掩模分布中的每个掩模对应的单个物体的物体类型。例如，当感兴趣类型物体为树木时，可以包括使用卷积神经网络基于rgb图像和高度图像中的至少一个确定与掩模分布中的每个掩模对应的单个树木的树木类型。示例的非限制性树木类型包括：松树、杨树和柳树。示例的非限制性树木类型可以包括更细的分类，例如松树类下的各种松树子类型。
[0037]
下面对本公开内容的基于高度图像更新掩模分布图进行描述。
[0038]
在一个实施例中，基于高度图像更新掩模分布图包括：从掩模分布图中移除掩模内最大像素高度hmax小于预定高度阈值hth的低高度掩模。该操作属于本公开内容的移除操作中的一种。这里，低高度掩模是指其内部的像素的最大像素高度小于预定高度阈值的掩模。掩模内最大像素高度hmax为被关注掩模内的像素的高度属性的值中的最大值所指示的高度。例如，被关注掩模mask[j]内的像素的高度属性的值中的最大值为0.8米，而预定高度阈值hth为1.0米，则可以从掩模分布图im_dis中移除该被关注掩模mask[j]以更新掩模分布图im_dis。图4示出了根据本公开内容的一个实施例的示例性高度图。每个像素的位置可以由横坐标、纵坐标确定。图4中，还利用灰度指示了像素的高度属性的值的信息。如图4中所示，在一些具有高高度属性的区域之间存在低高度属性区域。这些区域的相应掩模可能属于需要被移除的低高度掩模。至少将掩模分布图中的一个低高度掩模移除。优选将掩模分布图中的所有低高度掩模都移除。图5示出了根据本公开内容的一个实施例的移除了低高度掩模后的掩模分布图。与图2中的掩模数量相比，图5中的掩模数量明显减少。低高度掩模可能对应的不是感兴趣类型物体。例如，低高度掩模可能对应地表的凸起小土堆、岩石块等，这些并不是需要分析的树木。因此，移除低高度掩模有利于提高最后输出的掩模分布图的准确度。
[0039]
在一个实施例中，基于高度图像更新掩模分布图包括：在掩模分布图中的两个掩模mask[j1]、mask[j2]的各最高像素mask[j1].phmax、mask[j2].phmax之间的距离d小于第一预定距离阈值dth1的情况下，从掩模分布图中移除两个掩模mask[j1]、mask[j2]中的具有较大上坡面积比率的大上坡面积比率掩模。最高像素mask[j].phmax是被关注掩模mask[j]内的高度属性的值最大的像素。上坡面积比率是被关注掩模内的上坡区域的总面积与被关注掩模的面积的比。上坡区域是在掩模分布图内以被关注掩模的最高像素为起点向被关注掩模的边缘直线移动过程中，所经过的像素的高度属性的值增大的像素所组成的区域。考虑像素的高度属性后，二维的掩模分布图可以对应零高度平面(基准平面)上分布的一些三维波峰构成的三维图，波峰的各点的高度与其投影到基准平面的点所对应的高度属性的值对应。波峰之间的区域可以认为是波谷。该三维图的一个二维截面如图6所示，该截
面垂直于基准平面。图6示出了根据本公开内容的一个实施例的三维图的二维截面的示意图。直线l代表代表零高度基准线，横向坐标代表基准平面内的位置，纵向坐标代表高度。图中示出了2个波峰像素phmax和pum，其中，像素phmax具有最大高度；还示出了一个谷底像素pu0。以被关注掩模的最高像素phmax为起点向被关注掩模的边缘直线(沿直线l)移动过程中，所经过的像素中，像素phmax至pu0区段对应的高度属性的值减小，为下坡区段，像素pu0至pum区段高度属性的值增大，为上坡区段。根据这样的定义，像素phmax至pr区段为下坡区段；像素pum至pl区段为下坡区段。这些上坡区段、下坡区段扩展到三维图中，对应上坡区域和下坡区域。因此，可以针对每个掩模计算出上坡面积比率。对应真实世界中的高度存在分布的物体，可能存在多个高度为极值的顶点。这可能导致卷积神经网络为一个物体分配了两个掩模，即，误将一个物体识别为两个物体。因此，在本实施例中，基于最高像素间距离及上坡面积比率将满足条件的掩模从掩模分布图中移除以更新掩模分布图。举例而言，对于一棵树，可能存在两个树梢，其中一个为最高树梢(即，该树梢对应树顶)。这两个树梢可能导致卷积神经网络为该树分配了两个掩模。但是，在检测结果表明这两个树梢足够靠近的情况下，仅保留两个掩模中，高度分布更接近伞形分布(从最高点开始向外行进，高度单调下降)的掩模，移除上坡面积比率较大的较不可信掩模。优选对掩模分布图中所有的掩模进行距离及上坡面积比率检测，以移除上坡面积比率较大的较不可信掩模。图7示出了根据本公开内容的一个实施例的移除了大上坡面积比率掩模后的掩模分布图。相比于图2，图7中掩模数量及交叠数均有所下降。通过与目标区域的物体的真实分布情况比较，这样的操作有利于提高掩模分布图的准确度。本实施例中的操作属于本公开内容的移除操作中的一种。
[0040]
在一个实施例中，基于高度图像更新掩模分布图包括：在掩模分布图中的彼此交叠的两个目标掩模mask[ja]和mask[jb]的两个最高像素ptopa、ptopb之间的距离d大于第二预定距离阈值dth2的情况下，在两个最高像素之间存在谷底线的情况下，将谷底线设置为两个目标掩模之间的边界；在两个最高像素之间不存在谷底线的情况下，从掩模分布图中移除两个目标掩模中面积较小的掩模。最高像素是被关注掩模内的高度属性的值最大的像素，其对应三维图中，被关注掩模区域的最高波峰点。两个最高像素之间的谷底线为在掩模分布图中两个目标掩模的总覆盖区域内两个最高像素之间的高度属性的值局部极小的像素形成的线。这可以参考图6来描述，若像素pum和phmax为分别为两个目标掩模的最高像素，则像素pu0为谷底像素。从二维截面图扩展到三维图，这样的谷底像素形成谷底线。优选对掩模分布图中的所有掩模进行这样的重置操作，以更新掩模并提高掩模分布的准确度。图8示出了根据本公开内容的一个实施例的经过重置操作后的掩模分布图。这样的操作可以用于消除误将一个物体识别为两个物体的失误。本实施例的前述操作属于本公开内容的重置操作中的一种。
[0041]
根据目标区域内感兴趣类型物体的实际分布特点，可以设计出更多类型的更新掩模分布图的操作。本公开内容的更新掩模分布图的操作不限于上面公开示例性操作。
[0042]
本公开内容还提供一种图像处理装置。下面参考图9描述这种图像处理装置。图9示出了根据本公开内容的一个实施例的用于确定物体分布的图像处理装置900。图像处理装置900包括：存储器901，其上存储有指令；以及一个或更多个处理器903。一个或更多个处理器能够与存储器通信以执行从存储器获取的指令，并且指令使一个或更多个处理器：使
用卷积神经网络基于针对同一目标区域的rgb图像和高度图像确定表示目标区域内分布的至少一个感兴趣类型物体的分布的掩模分布图，其中，高度图像内的每个像素具有表征被拍摄物体的相应部位的高度的高度属性，掩模分布图中的每个掩模指示单个感兴趣类型物体在同一目标区域内占据的前景区域；以及基于高度图像更新掩模分布图。指令的进一步配置情况可参考本公开内容对图像处理方法的描述。这些指令的集合可以构成本公开内容中用于确定物体分布的图像处理程序。
[0043]
本公开内容还提供一种图像处理装置，其用于确定物体分布。该图像处理装置包括：确定单元和更新单元。确定单元使用卷积神经网络基于针对同一目标区域的rgb图像和高度图像确定表示目标区域内分布的至少一个感兴趣类型物体的分布的掩模分布图，其中，高度图像内的每个像素具有表征被拍摄物体的相应部位的高度的高度属性，掩模分布图中的每个掩模指示单个感兴趣类型物体在同一目标区域内占据的前景区域。更新单元基于高度图像更新掩模分布图。该图像处理装置与本公开内容的图像处理方法存在对应关系。该图像处理装置的进一步配置情况可参考本公开内容对图像处理方法的描述。
[0044]
本公开内容的一个方面提供一种其上存储有程序的计算机可读存储介质。程序使计算机：使用卷积神经网络基于针对同一目标区域的rgb图像和高度图像确定表示目标区域内分布的至少一个感兴趣类型物体的分布的掩模分布图，其中，高度图像内的每个像素具有表征被拍摄物体的相应部位的高度的高度属性，掩模分布图中的每个掩模指示单个感兴趣类型物体在同一目标区域内占据的前景区域；以及基于高度图像更新掩模分布图。程序的功能与本公开内容的图像处理方法存在对应关系。该程序的进一步配置情况可参考本公开内容对图像处理方法的描述。
[0045]
根据本公开内容一个方面，还提供一种信息处理设备。
[0046]
图10是根据本公开内容的一个实施例的信息处理设备1000的示例性框图。在图10中，中央处理单元(cpu)1001根据存储在只读存储器(rom)1002中的程序或从存储部分1008加载到随机存取存储器(ram)1003的程序来进行各种处理。在ram 1003中，也根据需要来存储在cpu 1001执行各种处理时所需的数据等。
[0047]
cpu 1001、rom 1002以及ram 1003经由总线1004彼此连接。输入/输出接口1005也连接至总线1004。
[0048]
下述部件连接至输入/输出接口1005：包括软键盘等的输入部分1006；包括诸如液晶显示器(lcd)等的显示器以及扬声器等的输出部分1007；诸如硬盘的存储部分1008；以及包括网络接口卡如lan卡、调制解调器等的通信部分1009。通信部分1009经由诸如英特网、局域网、移动网络的网络或其组合执行通信处理。
[0049]
驱动器1010根据需要也连接至输入/输出接口1005。可拆卸介质1011如半导体存储器等根据需要安装在驱动器1010上，使得从其中读取的程序根据需要被安装到存储部分1008。
[0050]
cpu 1001可以运行用于实现根据本公开内容的用于确定物体分布的图像处理的程序。
[0051]
本公开内容的方案在确定物体分布时，除了使用rgb图像，还使用了高度图像。这有利于提高确定的物体分布的准确度；另外，本公开内容的方案在使用卷积神经网络确定了掩模分布图后，还基于高度图像更新掩模分布图，这进一步提高了确定的物体分布的准
确度。
[0052]
如上所述，根据本公开内容，提供了用于确定物体分布的图像处理方法、图像处理装置的原理。需要注意的是，本公开内容的方案的效果不一定限于上述效果，并且除了前面段落中描述的效果之外或代替前面段落中描述的效果，可以取得本说明书中示出的效果中的任何效果或者可以从本说明书中理解的其他效果。
[0053]
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改(包括在行的情况下，各实施例之间特征的组合或替换)、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
[0054]
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
[0055]
此外，本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
[0056]
附记
[0057]
1.一种由计算机实现的用于确定物体分布的图像处理方法，其特征在于，包括：
[0058]
使用卷积神经网络基于针对同一目标区域的rgb图像和高度图像确定表示所述目标区域内分布的至少一个感兴趣类型物体的分布的掩模分布图，其中，所述高度图像内的每个像素具有表征被拍摄物体的相应部位的高度的高度属性，所述掩模分布图中的每个掩模指示单个感兴趣类型物体在所述同一目标区域内占据的前景区域；以及
[0059]
基于所述高度图像更新所述掩模分布图。
[0060]
2.根据附记1所述的图像处理方法，其中，基于所述高度图像更新所述掩模分布图包括以下操作中的至少一个：
[0061]
移除所述掩模分布图中的满足第一预定条件的掩模；以及
[0062]
重置所述掩模分布图中的满足第二预定条件的彼此交叠的两个掩模。
[0063]
3.根据附记1所述的图像处理方法，其中，使用卷积神经网络基于针对同一目标区域的rgb图像和高度图像确定表示所述目标区域内分布的至少一个感兴趣类型物体的分布的掩模分布图包括：
[0064]
从所述rgb图像提取纹理特征；
[0065]
从所述高度图像提取高度特征；以及
[0066]
基于所述纹理特征及所述高度特征确定所述掩模分布图。
[0067]
4.根据附记1所述的图像处理方法，其中，所述至少一个感兴趣类型物体为树木。
[0068]
5.根据附记1所述的图像处理方法，其中，所述掩模分布图中的每个像素被配置有高度属性；并且
[0069]
所述掩模分布图中的每个像素的高度属性的值是根据所述高度图像中的相应位置处的相应像素的高度属性的值来确定。
[0070]
6.根据附记5所述的图像处理方法，其中，基于所述高度图像更新所述掩模分布图包括：从所述掩模分布图中移除掩模内最大像素高度小于预定高度阈值的低高度掩模；
[0071]
其中，所述掩模内最大像素高度为被关注掩模内的像素的高度属性的值中的最大
值所指示的高度。
[0072]
7.根据附记5所述的图像处理方法，其中，基于所述高度图像更新所述掩模分布图包括：在所述掩模分布图中的两个掩模的各最高像素之间的距离小于第一预定距离阈值的情况下，从所述掩模分布图中移除所述两个掩模中的具有较大上坡面积比率的大上坡面积比率掩模；
[0073]
其中，最高像素是被关注掩模内的所述高度属性的值最大的像素；
[0074]
上坡面积比率是所述被关注掩模内的上坡区域的总面积与所述被关注掩模的面积的比；并且
[0075]
所述上坡区域是在所述掩模分布图内以所述被关注掩模的所述最高像素为起点向所述被关注掩模的边缘直线移动过程中，所经过的像素的高度属性的值增大的像素所组成的区域。
[0076]
8.根据附记5所述的图像处理方法，其中，基于所述高度图像更新所述掩模分布图包括：在所述掩模分布图中的彼此交叠的两个目标掩模的两个最高像素之间的距离大于第二预定距离阈值的情况下，
[0077]
在所述两个最高像素之间存在谷底线的情况下，将所述谷底线设置为所述两个目标掩模之间的边界；
[0078]
在所述两个最高像素之间不存在谷底线的情况下，从所述掩模分布图中移除所述两个目标掩模中面积较小的掩模；
[0079]
其中，最高像素是被关注掩模内的所述高度属性的值最大的像素；并且
[0080]
所述两个最高像素之间的谷底线为在所述掩模分布图中所述两个目标掩模的总覆盖区域内所述两个最高像素之间的所述高度属性的值局部极小的像素形成的线。
[0081]
9.根据附记2所述的图像处理方法，其中，移除所述掩模分布图中的满足第一预定条件的掩模包括：移除经过分析确定的对应非感兴趣类型物体的掩模。
[0082]
10.根据附记5所述的图像处理方法，其中，所述掩模分布图中的每个像素的高度属性的值等于所述高度图像中的相应位置处的相应像素的高度属性的值。
[0083]
11.根据附记2所述的图像处理方法，其中，所述第一预定条件为：被关注掩模内所有像素的高度属性的值的平均值小于预定阈值。
[0084]
12.根据附记2所述的图像处理方法，其中，所述第二预定条件为：被关注掩模的最窄宽度小于预定宽度阈值。
[0085]
13.根据附记4所述的图像处理方法，其特征在于，还包括：使用所述卷积神经网络基于所述rgb图像和所述高度图像中的至少一个确定与所述掩模分布中的每个掩模对应的单个树木的树木类型。
[0086]
14.一种用于确定物体分布的图像处理装置，其特征在于，包括：
[0087]
存储器，其上存储有指令；以及
[0088]
一个或更多个处理器，所述一个或更多个处理器能够与所述存储器通信以执行从所述存储器获取的所述指令，并且所述指令使所述一个或更多个处理器：
[0089]
使用卷积神经网络基于针对同一目标区域的rgb图像和高度图像确定表示所述目标区域内分布的至少一个感兴趣类型物体的分布的掩模分布图，其中，所述高度图像内的每个像素具有表征被拍摄物体的相应部位的高度的高度属性，所述掩模分布图中的每个掩
模指示单个感兴趣类型物体在所述同一目标区域内占据的前景区域；以及
[0090]
基于所述高度图像更新所述掩模分布图。
[0091]
15.一种其上存储有程序的计算机可读存储介质，其特征在于，所述程序使计算机：
[0092]
使用卷积神经网络基于针对同一目标区域的rgb图像和高度图像确定表示所述目标区域内分布的至少一个感兴趣类型物体的分布的掩模分布图，其中，所述高度图像内的每个像素具有表征被拍摄物体的相应部位的高度的高度属性，所述掩模分布图中的每个掩模指示单个感兴趣类型物体在所述同一目标区域内占据的前景区域；以及
[0093]
基于所述高度图像更新所述掩模分布图。