一种基于图像深度估计的三维目标识别系统及方法与流程

1.本发明属于图像处理技术领域，具体涉及一种基于图像深度估计的三维目标识别系统及方法。


背景技术：

2.二维图像是三维物体的投影，目前图像识别以基于二维图像为主，虽然能在目标检测和目标识别中取得很好的效果；但是随着应用需求的提升，仅仅依靠二维图像呈现的信息来进行分析处理，无法获取某些场景需要得到目标的空间位置信息，不能满足使用需求。
3.在电力应用场景中，由于采集区域比较固定，出现运动目标或者位置偏移的情况比较少，应用最多的就是单目摄像头，单目摄像头具有成本低、便于维护、能耗低等优点。但是单目摄像头的深度估计是基于单张图像进行的估计，准确性在实际应用中仍不能达到要求。


技术实现要素：

4.为了解决上述现有技术中存在的单目摄像头的深度估计是基于单张图像进行的估计，准确性在实际应用中不能达到要求等问题，本发明提供一种基于图像深度估计的三维目标识别系统及方法，通过修正特定场景下的多项影响因素的拟合系数，对初始深度图像进行更新，将二次深度图像与采集的真彩图像进行融合，多源图像进行估计，提高了目标识别的准确性。其具体技术方案为：
5.一种基于图像深度估计的三维目标识别系统，系统用于识别单目摄像头采集的真彩图像，系统包括：单目深度估计模块、超像素分割模块、边缘检测模型、深度估计权重修正模块、深度估计修正模块、物迹线选取模块、剖面图像分割模块；用于获取真彩图像的初始深度图；用于对真彩图像进行超像素分割，得到真彩图像的超像素分割情况矩阵；用于对真彩图像进行边缘检测，得到真彩图像的连通情况矩阵；用于对真彩图像进行计算，得到真彩图像的颜色信息矩阵和亮度信息矩阵，获取双目深度图的准确深度值，并比对双目深度图和初始深度图，对初始深度图和双目深度图进行拟合，得到修正参数；用于根据修正参数、初始深度值、真彩图像的超像素分割情况矩阵、图像连通情况矩阵、颜色信息矩阵、亮度信息矩阵计算修正后的深度值，得到修正后的二次深度估计值；其中，初始深度值为在初始深度图中选取的深度值；用于根据二次深度估计值，得到三维物迹线；用于根据三维物迹线进行剖面图像切割，得到目标所在三维区域的投影。
6.另外，本发明提供的上述技术方案中的一种基于图像深度估计的三维目标识别系统还可以具有如下附加技术特征：
7.可选的，深度估计权重修正模块还包括：权重计算模块、深度计算模块和参数修正计算模块；用于得到颜色信息矩阵和亮度信息矩阵；用于计算双目深度图，获取准确深度值；用于对初始深度值、超像素分割情况矩阵、目标图像连通情况矩阵、颜色信息矩阵和亮
度信息矩阵以及准确深度值，进行拟合，得到修正参数。
8.本技术的另一方面，提供了一种基于图像深度估计的三维目标识别方法，包括：图像深度估计、超像素分割、边缘检测、深度估计权重修正、二次深度估计、三维物迹线选取和剖面图像分割；获取真彩图像的初始深度图；超像素分割真彩图像，得到真彩图像的超像素分割情况矩阵；检测真彩图像，得到真彩图像的连通情况矩阵；对真彩图像进行计算，得到真彩图像的颜色信息矩阵和亮度信息矩阵，获取双目深度图的准确深度值后，比对双目深度图和初始深度图，对初始深度图和双目深度图进行拟合，得到修正参数；根据修正参数、初始深度值和真彩图像的超像素分割情况矩阵、图像连通情况矩阵、颜色信息矩阵、亮度信息矩阵计算修正后的深度值，得到修正后的二次深度估计值；根据修正后的二次深度估计值，得到三维物迹线；根据三维物迹线切割出剖面图像，得到目标所在三维区域的投影。
9.另外，本发明提供的上述技术方案中的一种基于图像深度估计的三维目标识别方法还可以具有如下附加技术特征：
10.可选的，深度估计权重修正步骤，还包括：比对获取的双目深度图和初始深度图时，选取并输入初始深度图的深度值、真彩图像的超像素分割情况矩阵、图像连通情况矩阵、颜色信息矩阵、亮度信息矩阵和真值，对各项因素进行拟合，得到拟合系数后，重新更新初始深度图的深度值，得到二次深度图。
11.可选的，真值为：对应初始深度图像深度值选取点的双目深度图深度值。
12.可选的，三维物迹线选取步骤，还包括：在水平方向和垂直方向进行图像分割得到目标的三维轮廓线后，深度方向上根据二次深度估计值，选取局部最大值作为深度轮廓线上的点，得到三维物迹线。
13.可选的，剖面图像分割步骤，还包括：根据深度值切割得到的目标所在区域，投影之后在水平方向和垂直方向进行图像分割，得到目标所在三维区域的投影。
14.可选的，大于局部最大值深度值的为目标的背景部分，小于局部最大值深度值的为目标的所在区域。
15.可选的，方法还包括：采用随机选取的方式在初始深度图中选取初始深度值。
16.可选的，方法还包括：选取初始深度值的像素点占比不小于初始深度图像素的5％。
17.本发明的一种基于图像深度估计的三维目标识别系统及方法，与现有技术相比，有益效果为：
18.本发明提出一种基于图像深度估计的三维目标识别系统及方法，通过获取单目摄像头采集的真彩图像中图像超像素块分割情况、目标连通域情况、图像颜色信息以及图像亮度分布信息，形成超像素分割情况矩阵、连通情况矩阵、颜色信息矩阵以及亮度信息矩阵，并将上述信息作为深度估计影响因素，将初始深度图与双目或者激光测量得到的准确深度图进行比对，修正特定场景下的多项影响因素的拟合系数，对初始深度图像进行更新，得到二次深度图像。将二次深度图像与采集的真彩图像进行融合，得到图像场景中的三维物迹线，并进行剖面切割，得到目标特定深度下的分割图，实现了图像中目标和复杂背景的分割，多源图像进行估计，有助于复杂背景下的目标实现更好的识别，目标识别的准确性得到提高。
附图说明
19.图1为本发明实施例的一种基于图像深度估计的三维目标识别方法的流程图。
具体实施方式
20.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
21.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
22.在本技术中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
23.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
24.结合参见图1所示，根据本技术的实施例，一种基于图像深度估计的三维目标识别系统，系统包括：单目深度估计模块、超像素分割模块、边缘检测模型、深度估计权重修正模块、深度估计修正模块、物迹线选取模块、剖面图像分割模块；用于获取真彩图像的初始深度图；用于对真彩图像进行超像素分割，得到真彩图像的超像素分割情况矩阵；用于对真彩图像进行边缘检测，得到真彩图像的连通情况矩阵；用于对真彩图像进行计算，得到真彩图像的颜色信息矩阵和亮度信息矩阵，获取双目深度图的准确深度值，并比对双目深度图和初始深度图，对初始深度图和双目深度图进行拟合，得到修正参数；用于根据修正参数、初始深度值、真彩图像的超像素分割情况矩阵、图像连通情况矩阵、颜色信息矩阵、亮度信息矩阵计算修正后的深度值，得到修正后的二次深度估计值；其中，初始深度值为在初始深度图中选取的深度值；用于根据二次深度估计值，得到三维物迹线；用于根据三维物迹线进行剖面图像切割，得到目标所在三维区域的投影。通过单目深度估计模块获取单目摄像头采集到的真彩图像的初始深度图，得到目标各点与单目摄像机的距离；通过超像素分割模块对单目摄像头采集的真彩图像进行超像素分割，得到图像的超像素分割情况，并根据超像素分割情况进行像素点赋值，得到超像素分割情况矩阵，以定位真彩图像中的目标边界；通过边缘检测模块对采集的真彩图像图像进行边缘检测，得到真彩图像的连通情况，并根据连通情况进行像素点赋值，得到真彩图像的连通情况矩阵，大幅度地减少了数据量，剔除了不相关的信息，保留了图像重要的结构属性，可以更好的实现图像信息的综合考虑；通过深度估计权重修正模块对真彩图像进行计算，得到真彩图像的颜色信息矩阵和亮度信息矩阵，获取双目深度图的准确深度值，并比对双目深度图和初始深度图，对初始深度图和双目
深度图进行拟合，以修正特定场景下的各项影响因素的拟合系数，得到修正参数；通过深度估计修正模块，根据修正参数、初始深度值、真彩图像的超像素分割情况矩阵、图像连通情况矩阵、颜色信息矩阵、亮度信息矩阵计算修正后的深度值，进而对初始深度图像进行更新，得到修正后的二次深度估计值；通过物迹线选取模块根据二次深度估计值求取深度方向局部最大值作为物迹线上的点，连续遍历，将二次深度图像与采集的真彩图像进行融合，得到图像场景中三维物迹线；通过剖面图像分割模块根据三维物迹线进行剖面图像切割，根据物迹线的走势，得到目标所在三维区域的投影，得到目标特定深度下的分割图，分割图能够将图像中目标和复杂背景的分割，能够更好的识别出目标。
25.权重计算模块用于得到颜色信息矩阵和亮度信息矩阵；深度计算模块用于计算双目深度图，获取准确深度值；参数修正计算模块用于对初始深度值、超像素分割情况矩阵、目标图像连通情况矩阵、颜色信息矩阵和亮度信息矩阵以及准确深度值，进行拟合，得到修正参数。通过权重计算模块对真彩图像的hsv颜色空间进行颜色信息和亮度信息的计算和赋值，得到颜色信息矩阵和亮度信息矩阵；深度计算模块通过双目或者激光获取数据计算深度值，计算得出双目深度图的深度值作为准确深度值参与后续计算；通过参数修正计算模块对初始深度值、超像素分割情况矩阵、目标图像连通情况矩阵、颜色信息矩阵和亮度信息矩阵以及准确深度值，作为输入和输出，进行拟合，得到拟合参数，即为修正参数，再根据修正参数对初始深度图进行更新，从而达到减少各因素对目标识别准确性的影响，实现图像信息的综合考虑的技术效果，提高目标识别的准确性。
26.结合参见图1所示，本实施例的另一方面，提供了一种基于图像深度估计的三维目标识别方法，包括：图像深度估计、超像素分割、边缘检测、深度估计权重修正、二次深度估计、三维物迹线选取和剖面图像分割；获取真彩图像的初始深度图；超像素分割真彩图像，得到真彩图像的超像素分割情况矩阵；检测真彩图像，得到真彩图像的连通情况矩阵；对真彩图像进行计算，得到真彩图像的颜色信息矩阵和亮度信息矩阵，获取双目深度图的准确深度值后，比对双目深度图和初始深度图，对初始深度图和双目深度图进行拟合，得到修正参数；根据修正参数、初始深度值和真彩图像的超像素分割情况矩阵、图像连通情况矩阵、颜色信息矩阵、亮度信息矩阵计算修正后的深度值，得到修正后的二次深度估计值；根据修正后的二次深度估计值，得到三维物迹线；根据三维物迹线切割出剖面图像，得到目标所在三维区域的投影。采用单目摄像头采集的真彩图像作为输入，以单目深度估计算法获取初始深度图，并对单目深度估计算法进行训练、验证和测试；对真彩图像进行超像素分割，得到超像素分割情况矩阵；采用边缘算法检测真彩图像，得到连通情况矩阵；根据得到的修正参数、初始深度值和真彩图像的超像素分割情况矩阵、图像连通情况矩阵、颜色信息矩阵、亮度信息矩阵计算修正后的深度值，得到修正后的二次深度估计值，综合了真彩图像信息和深度估计图像信息，实现了深度图像和真彩图像的融合；根据修正后的二次深度估计值，将二次深度图像与真彩图像进行融合，得到图像场景中的三维物迹线；根据得到的三维物迹线进行剖面图像切割，得到目标所在三维区域的投影，实现了目标与周边物体和背景的分割，有助于复杂背景下的目标实现更好的识别。
27.进一步的，单目深度估计算法采用kitti公开训练集作为数据集进行训练、验证和测试。
28.需要说明的是，三维物迹线是在水平、垂直和深度方向上的局部最大值轮廓线的
结合。
29.进一步的，在进行剖面图像分割时，根据三维物迹线的走势，剖面切割可以为平面切割，也可以为不规则曲面切割。
30.进一步的，在超像素分割取值时，将超像素块中心像素点取值为0，以半径方向2个像素为步长，取值增加0.1，超像素块边界上的像素点取值为相邻超像素块在该像素点计算值的平均值。
31.进一步的，在边缘检测取值时，将连通域内取值为1，连通域外取值为0。
32.进一步的，在对图像的颜色信息取值时，采用hsv颜色空间，将h分量和v分量和作为颜色信息取值。
33.进一步的，在对图像的亮度信息取值时，将s分量作为亮度信息取值。
34.比对获取的双目深度图和初始深度图时，选取并输入初始深度图的深度值、真彩图像的超像素分割情况矩阵、图像连通情况矩阵、颜色信息矩阵、亮度信息矩阵和真值，对各项因素进行拟合，得到拟合系数后，重新更新初始深度图的深度值，得到二次深度图。将图像中目标连通情况、图像颜色信息、图像亮度分布信息以及图像超像素块分割情况作为深度估计的影响因素，修正特定场景下的各项影响因素的拟合系数，得到修正参数，对初始深度图像进行更新，进而得到二次深度图像。
35.真值为对应初始深度图像深度值选取点的双目深度图深度值。计算双目摄像头采集双目深度图的深度值，并用双目深度图深度值作为准确深度值参与后续计算，得到拟合系数。
36.在水平方向和垂直方向进行图像分割得到目标的三维轮廓线后，深度方向上根据二次深度估计值，选取局部最大值作为深度轮廓线上的点，得到三维物迹线。
37.根据深度值切割得到的目标所在区域，投影之后在水平方向和垂直方向进行图像分割，得到目标所在三维区域的投影。
38.切割图像大于局部最大值深度值的为目标的背景部分，小于局部最大值深度值的为目标的所在区域，能够准确识别出目标。
39.采用随机选取的方式在初始深度图中选取初始深度值，以减少图像局部信息对目标识别的影响。
40.选取初始深度值的像素点占比不小于初始深度图像素的5％，保证选取足够竖梁的像素点，确保参数修正的准确性，便于目标更好的识别。
41.本领域的技术人员容易理解的是，在不冲突的前提下，上述各有利方式可以自由地组合、叠加。
42.以上仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术的保护范围之内。以上仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本技术的保护范围。