一种深度图像的边缘飞点处理方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种深度图像的边缘飞点处理方法及装置。


背景技术：

2.与传统的灰度图像或彩色图像相比，深度图像具有物体的三维特征信息，因而越来越多的应用于计算机视觉、计算机图形学等领域。目前主要采用tof(time of flight，飞行时间)相机生成物体的深度图像。
3.然而在采用tof技术时，在图像边缘处会产生飞点效应，即由景深相差较大造成的深度测量非连续的情况，具体在itof(indirect time of flight，间接飞行时间)相机中由于其成像原理，边缘处的深度值是由不同距离的物体共同作用得到的，因此会不可避免的出现在前景和背景之间飞点，而在dtof(direct time of flight，直接飞行时间)相机中，虽然边缘附近的深度会在前景和背景两个深度值中选取最大概率的深度值，理论上dtof技术不会出现在前景和背景之间的飞点，但是由于dtof技术在深度计算过程中的误差，在边缘处同样容易出现深度误差比较大的飞点。
4.目前针对itof中的飞点现象一般采用图像的方法进行飞点滤除处理，而dtof虽然可以借鉴这种方式，但容易存在漏检和误检的问题，且过滤之后的图像容易形成孔洞，使得针对dtof相机的飞点处理不够准确。


技术实现要素：

5.鉴于上述现有技术的不足，本发明的目的在于提供一种深度图像的边缘飞点处理方法及装置，以提高直接飞行时间深度图像中飞点现象的处理精度，提高深度图像的边缘清晰度。
6.为了达到上述目的，本发明采取了以下技术方案：
7.本发明第一方面提供一种深度图像的边缘飞点处理方法，包括如下步骤：
8.对深度图进行边缘检测，得到边缘区域，所述边缘区域包括飞点在内的若干个边缘点；
9.在峰值对应的时间箱图上，以每个边缘点为中心构建对应的多个搜索区域；
10.对每个所述搜索区域内的所有像素点进行聚类分析，确认所述搜索区域内每个像素点的场景类别；
11.在一个搜索区域内，获取一个边缘点的场景类别，并以相同类别中与该边缘点距离最近的像素点的时间箱作为该边缘点的校正值，以此类推，完成对所有边缘点的时间箱的校正。
12.在一个实施例中，所述以每个边缘点为中心构建对应的多个搜索区域，包括：
13.以每个边缘点为中心、n个像素间距为半径构建圆形，其中n为正整数；
14.将每个圆形对应的外切正方形区域确认为所述搜索区域。
15.在一个实施例中，所述n的取值范围为2-5。
16.在一个实施例中，所述深度图由以下步骤获得：
17.以第一分辨率获取像素阵列中每个像素点的粗略直方图；
18.根据所述粗略直方图计算每个像素点的粗略飞行时间，根据所述粗略飞行时间确认曝光窗区域；
19.在所述曝光窗区域以第二分辨率获取所述像素阵列中每个像素点的精细直方图；
20.根据所述精细直方图计算每个像素点的深度值后生成深度图。
21.在一个实施例中，所述对深度图进行边缘检测，得到边缘区域，所述边缘区域包括飞点在内的若干个边缘点，之后还包括：对粗略直方图进行边缘点的时间箱校正；
22.在所述完成对所有边缘点的时间箱的校正后，还包括：；
23.根据校正后的粗略直方图计算每个像素点的粗略飞行时间，根据所述粗略飞行时间确认曝光窗区域；
24.在所述曝光窗区域以第二分辨率获取所述像素阵列中每个像素点的精细直方图；
25.根据所述精细直方图计算每个像素点的深度值后生成精细深度图。
26.在一个实施例中，所述对深度图进行边缘检测，得到边缘区域之后，所述方法还包括：
27.通过腐蚀算法对所述边缘区域进行扩大。
28.在一个实施例中，所述对每个所述搜索区域内的所有像素点进行聚类分析，确认所述搜索区域内每个像素点的场景类别，包括：
29.根据所述搜索区域内各个像素点的时间箱，对所述搜索区域内的像素点进行聚类分析，得到若干个聚类中心；
30.根据各个聚类中心的时间箱确认对应的场景类别。
31.在一个实施例中，所述对所述搜索区域内的像素点进行聚类分析，确认所述搜索区域内每个像素点的场景类别之前，所述方法还包括：
32.根据当前场景中的前景物体以及背景物体的数量，调整所述聚类中心的数量。
33.在一个实施例中，所述聚类中心的数量范围为2-5个。
34.本发明第二方面提供一种深度图像的边缘飞点处理装置，包括：
35.边缘检测模块，用于对深度图进行边缘检测，得到边缘区域，所述边缘区域包括飞点在内的若干个边缘点；
36.构建模块，用于在峰值对应的时间箱图上，以每个边缘点为中心构建对应的多个搜索区域；
37.聚类分析模块，用于对每个所述搜索区域内的所有像素点进行聚类分析，确认所述搜索区域内每个像素点的场景类别；
38.边缘校正模块，用于在一个搜索区域内，获取一个边缘点的场景类别，并以相同类别中与该边缘点距离最近的像素点的时间箱作为该边缘点的校正值，以此类推，完成对所有边缘点的时间箱的校正。
39.本发明的有益效果为：提供一种深度图像的边缘飞点处理方法及装置，通过结合峰值对应的时间箱图，对深度图中各个边缘点构建搜索区域并进行聚类分析后完成时间箱的校正，有效提高直接飞行时间深度图像中飞点现象的处理精度以及边缘清晰度。
附图说明
40.下面将结合附图及实施例对本发明作进一步说明，附图中：
41.图1为本发明实施例中深度图像的边缘飞点处理方法的流程图；
42.图2为本发明实施例中一种边缘区域的示意图；
43.图3为本发明实施例中一种搜索区域的示意图；
44.图4为本发明实施例中深度图像的边缘飞点处理装置的结构图。
具体实施方式
45.为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
46.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。
47.需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
48.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
49.本发明实施例提供的深度图像的边缘飞点处理方法应用于基于dtof(direct time of flight，直接飞行时间)技术的深度成像系统，该深度成像系统至少包括控制器、发射器和接收器，控制器分别与发射器和接收器连接，其中，发射器用于向目标物体发射探测光束，至少部分的探测光束会经过目标物体反射形成反射光；接收器包括由多个像素组成的像素阵列，用于接收经所述目标物体反射回的反射光；控制器用于同步控制光的发射和接收，对接收器接收的光子以时间箱(时间bin)区分进行直方图统计，后续再通过直方图计算光子的飞行时间，进而得到每个像素的深度值，以构成目标物体的深度图。
50.具体地，发射器包括驱动器和光源等，光源可以是发光二极管(led)、激光二极管(ld)、边发射激光器(eel)、垂直腔面发射激光器(vcsel)、皮秒激光器等等，光源在驱动器的驱动控制下向外发射探测光束，该探测光束可以是可见光、红外光、紫外光等等，探测光束的至少部分向目标物体发射，至少部分的探测光束经过目标物体反射产生的反射光被接收器接收。
51.接收器包括像素阵列和接收光学元件等，接收光学元件可以是透镜、微透镜阵列、反射镜等等形式中的一种或多种组合，通过接收光学元件接收反射光并引导至像素阵列上，像素阵列包括多个采集光子的像素，在一个实施例中，像素阵列由多个单光子雪崩光电二极管(spad)组成，spad可以对入射的单个光子进行响应并输出指示所接收光子在每个
spad处相应到达时间的光子信号，当然在其它实施例中，还可采用例如雪崩光电二极管、光电倍增管、硅光电倍增管等等光电转换器件。
52.目前，在dtof相机中，针对由景深相差较大造成的深度测量非连续的情况，即图像边缘处的飞点现象，若采用类似itof相机中图像的处理方式，容易存在漏检误检，且处理后的图像容易形成孔洞，导致边缘飞点处理不够准确，影响深度图的边缘清晰度，因此本发明通过应用于dtof成像系统的边缘飞点处理方法来描述如何通过对边缘点的时间箱校正来解决这一问题，以利用dtof中丰富的直方图信息对深度图中的飞点现象进行校正，提高边缘清晰度。
53.如图1所示，图1为本发明一个实施例中深度图像的边缘飞点处理方法的流程图，该方法具体包括如下步骤：
54.s101、对深度图进行边缘检测，得到边缘区域，所述边缘区域包括飞点在内的若干个边缘点。
55.本实施例中，对dtof相机采集的深度图进行边缘检测，查找边缘集合，图像边缘检测的原理是检测出图像中所有灰度值变化较大的边缘点，这些边缘点连接起来就构成了图像边缘线条，所有的边缘点的集合则构成了边缘区域。
56.如图2所示，在检测得到的边缘区域201中，包括了飞点201在内的若干个边缘点，即边缘区域可以全部都为深度值不准确的飞点201，也可以如图2所示既包括飞点201又包括深度值准确的正常像素点202，具体与边缘检测的结果相关，本实施例对此不作限定。
57.具体实施时，可以通过现有的例如soble边缘检测算法、拉普拉斯边缘检测算法、canny边缘检测算法等等对其进行边缘检测，进而得到边缘区域，优选采用canny边缘检测算法，其不容易受噪声干扰且具有较好的边缘定位以及没有重复的检测，可对深度图实现高效精准的边缘区域获取。
58.s102、在峰值对应的时间箱图上，以每个边缘点为中心构建对应的多个搜索区域。
59.由于dtof相机可获取到各个像素点的直方图信息，各个像素点的直方图中的峰值对应的粗略时间，其与每个像素点的深度值是相对应的，因此本实施例结合该时间箱图来作为边缘飞点校正处理的基础，在时间箱图上，以每个边缘点为中心一一对应构建多个搜索区域，使得可以结合时间箱值来分析每个边缘点与其领域附近点的特性。
60.s103、对每个所述搜索区域内的所有像素点进行聚类分析，确认所述搜索区域内每个像素点的场景类别。
61.针对每个边缘点所对应的搜索区域，对每个搜索区域内的所有像素点进行聚类分析，即基于搜索区域内全部像素点的时间箱进行聚类分析，假如一个搜索区域内有25个像素点，则聚类分析的输入是25个像素点的id位置以及对应的时间箱，输出是每个像素点属于哪个场景类别，将具有相同特性的像素点聚类为同一类别，按聚类结果与预先设置的场景判断规则确认搜索区域内每个像素点所归属的场景类别，例如属于前景或者背景等等。
62.s104、在一个搜索区域内，获取一个边缘点的场景类别，并以相同类别中与该边缘点距离最近的像素点的时间箱作为该边缘点的校正值，以此类推，完成对所有边缘点的时间箱的校正。
63.之后在一个搜索区域内，基于聚类分析的结果随机获取该搜索区域内的边缘点的场景类别，例如属于前景类别，则在同样属于前景类别的所有像素点中，选择与该边缘点距
离最近的像素点的时间箱作为该边缘点的校正值，来完成对该边缘点的时间箱的校正，之后针对下一个搜索区域重复上述过程，完成对下一个边缘点的时间箱的校正，以此类推，直到完成所有边缘点的时间箱的校正。
64.具体地，同样以边缘点为前景类别为例，若校正时边缘点为深度值不准确的飞点，则校正后将该飞点的时间箱更新为前景类别中与其距离最近的像素点的时间箱；若该边缘点为深度值准确的正常像素点，校正后同样将其时间箱更新为前景类别中与其距离最近的像素点的时间箱，此时正常像素点的时间箱在校正前后不发生变化，即本实施例针对边缘区域进行统一的时间箱的校正，确保飞点处理的覆盖率，不容易发生飞点处理的遗漏。
65.本实施例中，通过结合峰值对应的时间箱图对每个边缘点构建搜索区域并进行聚类分析，以分析边缘点与其邻近像素点之间的特性关系，在具有相同特性的同一场景类别中进行边缘点的时间箱校正，时间箱的校正即对应了深度值的校正，使得对包括飞点在内的边缘区域进行准确可靠的深度值校正，不容易存在对飞点处理的遗漏，也不会存在孔洞，有些提高了直接飞行时间深度图像中飞点现象的处理精度，提高深度图像的边缘清晰度。
66.在一个实施例中，步骤s102包括：
67.以每个边缘点为中心、n个像素间距为半径构建圆形，其中n为正整数；
68.将每个圆形对应的外切正方形区域确认为所述搜索区域。
69.本实施例中，在针对每个边缘点构建相应的搜索区域时，以每个边缘点为中心、n个像素间距为半径构建圆形，并将圆形对应的外切正方形区域确认为搜索区域，也即以每个边缘点为中心n个像素间距为半径，其上下左右最外层像素划定的区域作为搜索区域，其中n为正整数，示例性的，当n取2时，则构建得到的搜索区域如图3所示，包括有5*5＝25个像素，具体n的数值可根据需求灵活调整，本实施例对此不作限定。
70.在一个实施例中，所述n的取值范围为2-5。
71.本实施例中，构建搜索区域时，区域半径的范围优选为2-5个像素间距，由于半径越小即搜索区域过小，使得聚类分析时样本数量不够，影响聚类分析结果；而半径越大，搜索区域内的正常像素点会更多，使得在做聚类分析时分析结果会比较准确，但是过大的半径也会导致搜索区域内包括较多的飞点，使得在利用临近像素点的时间箱对飞点进行异常值校正时不够准确，选取合适的半径能有效提高聚类分析以及时间箱校正的准确性。
72.在一个实施例中，深度图由以下步骤获得：
73.以第一分辨率获取像素阵列中每个像素点的粗略直方图；
74.根据所述粗略直方图计算每个像素点的粗略飞行时间，根据所述粗略飞行时间确认曝光窗区域；
75.在所述曝光窗区域以第二分辨率获取所述像素阵列中每个像素点的精细直方图；
76.根据所述精细直方图计算每个像素点的深度值后生成深度图。
77.本实施例中，通过粗细的深度计算方式，先以较低的第一分辨率获取像素阵列中每个像素点的粗略直方图，基于粗略直方图中的最高峰计算每个像素点的粗略飞行时间，即现在较大的范围内进行粗略定位，得到待成像的目标物体的大概距离，之后基于粗略飞行时间确认曝光窗区域，即包含真实飞行时间值的测量范围区间，在曝光窗区域以较高的第二分辨率获取所述像素阵列中每个像素点的精细直方图，即第二分辨率大于第一分辨率，使得在粗略定位的基础上进行进一步的精细定位，基于精细直方图中的最高峰计算每
个像素点的精细飞行时间，进而得到每个像素点的深度值后生成高精度的深度值，针对动态粗细调整成像得到的深度图，再通过上述实施例中的边缘飞点处理过程进行边缘点的时间箱校正，进一步提高深度图的边缘清晰度。
78.在一个实施例中，步骤s101之后还包括：
79.对粗略直方图进行边缘点的时间箱校正；
80.在所述完成对所有边缘点的时间箱的校正后，还包括：
81.根据校正后的粗略直方图计算每个像素点的粗略飞行时间，根据所述粗略飞行时间确认曝光窗区域；
82.在所述曝光窗区域以第二分辨率获取所述像素阵列中每个像素点的精细直方图；
83.根据所述精细直方图计算每个像素点的深度值后生成精细深度图。
84.本实施例中，与上一实施例类似的是，同样采用动态的粗细调整进行深度计算来生成深度图，不同的是，本实施例中在深度图的生成过程中还对粗略直方图进行了边缘点的时间箱校正，即以较低的第一分辨率获取像素阵列中每个像素点的粗略直方图后，通过上述实施例中的边缘飞点处理过程对粗略直方图进行边缘点的时间箱校正，在完成对粗略直方图中所有边缘点的时间箱的校正后，基于校正后的粗略直方图再进行后续的精细定位成像过程，实现在深度图生成过程中的边缘飞点处理。
85.在一个实施例中，步骤s101之后，方法还包括：
86.通过腐蚀算法对所述边缘区域进行扩大。
87.本实施例中，在边缘检测得到边缘区域后，进一步对边缘区域进行扩大，增加边缘区域中的边缘点数量，具体通过腐蚀算法，以每个边缘点为中心上下左右扩大一个像素点的距离，最外侧轮廓即构成扩大后的边缘区域，由于在边缘检测后可能存在对飞点的漏检测，在扩大后可提高飞点的检测率，确保后续边缘飞点处理的覆盖率。
88.在一个实施例中，步骤s103包括：
89.根据所述搜索区域内各个像素点的时间箱，对所述搜索区域内的像素点进行聚类分析，得到若干个聚类中心；
90.根据各个聚类中心的时间箱确认对应的场景类别。
91.本实施例中，在针对每个搜索区域进行像素点的聚类分析时，结合峰值对应的时间箱图，根据搜索区域内各个像素点的时间箱进行聚类分析，具体可采用现有的例如k-means聚类算法、knn聚类算法等进行聚类分析，进而得到若干个聚类中心，每个聚类中心代表一个簇，每一簇中包括若干个像素点，归属于同一聚类中心即同一簇的像素点则具有相近的时间箱特征，因此根据各个聚类中心的时间箱确认对应的场景类别后，即可得到搜索区域内每个像素点的场景类别，具体可提前设定时间箱与场景类别之间的对应关系，以便实现高效的场景类别划分。
92.进一步地，步骤s103之前，方法还包括：
93.根据当前场景中的前景物体以及背景物体的数量，调整所述聚类中心的数量。
94.本实施例中，聚类中心的数量可基于场景的复杂程度进行灵活设置，优选设置为2-5个聚类中心，以场景较为简单，仅包括一个目标物体以及一个背景为例，此时可设置2个聚类中心，即聚类分析时将搜索区域内的像素点分为两类，在进行边缘飞点的校正处理时，若边缘左侧像素点的时间箱值为4(分为a类)，边缘右侧像素点的时间箱值为2(分为b类)，
边缘区域中某个边缘点的时间箱值为3.5(分为a类)，该边缘点在经过聚类分析后将被同样为a类的左侧像素点的时间箱值进行替换，即被校正为4，进而实现边缘飞点的校正处理，避免图像过滤方式出现的孔洞，而在更加复杂的场景中，可能产生的时间箱值较多，则可基于前景物体以及背景物体的数量进一步区分为3-5类，以便实现更加精确的边缘飞点处理。
95.需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
96.本发明还相应提供一种深度图像的边缘飞点处理装置，如图4所示，图4为本发明一个实施例中深度图像的边缘飞点处理装置的结构图，包括边缘检测模块401、构建模块402、聚类分析模块403和边缘校正模块404，边缘检测模块401、构建模块402、聚类分析模块403和边缘校正模块404依次电连接，其中边缘检测模块401用于对深度图进行边缘检测，得到边缘区域，所述边缘区域包括飞点在内的若干个边缘点；构建模块402用于在峰值对应的时间箱图上，以每个边缘点为中心构建对应的多个搜索区域；聚类分析模块403用于对每个所述搜索区域内的所有像素点进行聚类分析，确认所述搜索区域内每个像素点的场景类别；边缘校正模块404用于在一个搜索区域内，获取一个边缘点的场景类别，并以相同类别中与该边缘点距离最近的像素点的时间箱作为该边缘点的校正值，以此类推，完成对所有边缘点的时间箱的校正。由于上述方法实施例已对边缘飞点的校正处理过程进行了详细介绍，具体可参考上述对应的方法实施例，此处不做赘述。
97.综上，本发明提供公开的一种深度图像的边缘飞点处理方法及装置，其中，方法包括：对深度图进行边缘检测，得到边缘区域，边缘区域包括飞点在内的若干个边缘点；在峰值对应的时间箱图上，以每个边缘点为中心构建对应的多个搜索区域；对每个搜索区域内的所有像素点进行聚类分析，确认搜索区域内每个像素点的场景类别；在一个搜索区域内，获取一个边缘点的场景类别，并以相同类别中与该边缘点距离最近的像素点的时间箱作为该边缘点的校正值，以此类推，完成对所有边缘点的时间箱的校正。通过结合峰值对应的时间箱图，对深度图中各个边缘点构建搜索区域并进行聚类分析后完成时间箱的校正，有效提高直接飞行时间深度图像中飞点现象的处理精度以及边缘清晰度。
98.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。