深度估计方法及装置与流程

本申请属于图像处理，具体涉及一种深度估计方法及装置。

背景技术：

1、深度估计是计算机视觉领域的核心技术之一，广泛应用于电子设备的拍照虚化、主体抠图、三维重建、增强现实（augmented reality，ar）及自动对焦等场景。通过获取图像中每个像素位置距摄像头的真实物理距离，电子设备能够感知场景的三维结构，从而支撑上述各类图像后处理功能，提升用户的拍摄体验与交互体验。

2、目前，电子设备通常采用双目立体视觉方案，通过双摄像头采集图像并计算视差来获取深度。该方案中，深度估计精度与两个摄像头之间的基线距离强相关：近景高精度要求配置适度基线距离以控制视差范围、减少遮挡与匹配空洞；远景高精度则依赖足够大的基线距离以放大微小视差、降低量化误差。

3、然而，相关技术中双摄像头之间的基线距离一经硬件布局确定后即保持不变，近景与远景难以同时达到最优精度：基线距离设置偏大时，近景视差过大、匹配搜索范围急剧增大、遮挡区域增多，近景深度图空洞严重；基线距离设置偏小时，远景视差仅1像素~3像素，深度误差显著放大，背景虚化层次感差，无法兼顾近景完整性与远景高精度，导致全物距段深度估计的整体质量较差。

技术实现思路

1、本申请实施例的目的是提供一种深度估计方法及装置，能够兼顾近景完整性与远景高精度，有效提升全物距段深度估计的整体质量。

2、第一方面，本申请实施例提供了一种深度估计方法，应用于电子设备，所述电子设备包括多个摄像头和驱动机构，所述多个摄像头包括第一摄像头和第二摄像头，所述驱动机构用于驱动所述第二摄像头移动，所述方法包括：

3、在所述第一摄像头与所述第二摄像头之间的基线距离为第一基线距离的情况下，控制所述第一摄像头和所述第二摄像头对目标场景进行图像采集，得到所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像；

4、控制所述驱动机构驱动所述第二摄像头相对于所述第一摄像头从所述第一基线距离对应的位置移动至第二基线距离对应的位置；其中，所述第二基线距离与所述第一基线距离不同；

5、在所述第一摄像头与所述第二摄像头之间的基线距离为所述第二基线距离的情况下，控制所述第一摄像头和所述第二摄像头对所述目标场景进行图像采集，得到所述第一摄像头采集的第三图像和所述第二摄像头采集的第四图像；

6、根据所述第一图像和所述第二图像生成第一深度图，并根据所述第三图像和所述第四图像生成第二深度图；

7、根据像素点的深度值对所述第一深度图和所述第二深度图进行融合，生成目标深度图。

8、第二方面，本申请实施例提供了一种深度估计装置，应用于电子设备，所述电子设备包括多个摄像头和驱动机构，所述多个摄像头包括第一摄像头和第二摄像头，所述驱动机构用于驱动所述第二摄像头移动，所述装置包括：

9、第一控制模块，用于在所述第一摄像头与所述第二摄像头之间的基线距离为第一基线距离的情况下，控制所述第一摄像头和所述第二摄像头对目标场景进行图像采集，得到所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像；

10、第二控制模块，用于控制所述驱动机构驱动所述第二摄像头相对于所述第一摄像头从所述第一基线距离对应的位置移动至第二基线距离对应的位置；其中，所述第二基线距离与所述第一基线距离不同；

11、第三控制模块，用于在所述第一摄像头与所述第二摄像头之间的基线距离为所述第二基线距离的情况下，控制所述第一摄像头和所述第二摄像头对所述目标场景进行图像采集，得到所述第一摄像头采集的第三图像和所述第二摄像头采集的第四图像；

12、第一生成模块，用于根据所述第一图像和所述第二图像生成第一深度图，并根据所述第三图像和所述第四图像生成第二深度图；

13、第二生成模块，用于根据像素点的深度值对所述第一深度图和所述第二深度图进行融合，生成目标深度图。

14、第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的深度估计方法的步骤。

15、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的深度估计方法的步骤。

16、第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的深度估计方法的步骤。

17、在本申请实施例中，在第一摄像头与第二摄像头之间的基线距离为第一基线距离的情况下，控制第一摄像头和第二摄像头对目标场景进行图像采集，得到第一摄像头采集的第一图像和第二摄像头采集的第二图像；控制驱动机构驱动第二摄像头相对于第一摄像头从第一基线距离对应的位置移动至第二基线距离对应的位置；其中，第二基线距离与第一基线距离不同；在第一摄像头与第二摄像头之间的基线距离为第二基线距离的情况下，控制第一摄像头和第二摄像头对目标场景进行图像采集，得到第一摄像头采集的第三图像和第二摄像头采集的第四图像；根据第一图像和第二图像生成第一深度图，并根据第三图像和第四图像生成第二深度图；根据像素点的深度值对第一深度图和第二深度图进行融合，生成目标深度图。

18、可见，本申请实施例中，通过在同一拍摄流程中先后获取不同基线距离下的两组双目图像，并分别生成深度图后融合输出，能够在不增加摄像头数量的前提下，兼顾近景深度完整性与远景深度精度，有效提升全物距段深度估计的整体质量。

1.一种深度估计方法，其特征在于，应用于电子设备，所述电子设备包括多个摄像头和驱动机构，所述多个摄像头包括第一摄像头和第二摄像头，所述驱动机构用于驱动所述第二摄像头移动，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述控制所述驱动机构驱动所述第二摄像头相对于所述第一摄像头从所述第一基线距离对应的位置移动至第二基线距离对应的位置，包括：

3.根据权利要求1所述的方法，其特征在于，所述第二基线距离大于所述第一基线距离；

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一深度图中各像素点的第一深度值，确定所述第一深度图中各像素点对应的第一融合权重系数和所述第二深度图中各像素点对应的第二融合权重系数，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.一种深度估计装置，其特征在于，应用于电子设备，所述电子设备包括多个摄像头和驱动机构，所述多个摄像头包括第一摄像头和第二摄像头，所述驱动机构用于驱动所述第二摄像头移动，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述第二控制模块，具体用于在检测到所述第二摄像头的垂直消隐信号的情况下，控制所述驱动机构驱动所述第二摄像头相对于所述第一摄像头从所述第一基线距离对应的位置移动至所述第二基线距离对应的位置。

8.根据权利要求6所述的装置，其特征在于，所述第二基线距离大于所述第一基线距离；

9.根据权利要求8所述的装置，其特征在于，所述第二生成模块，具体用于在所述第一深度值小于或等于第一阈值的情况下，确定所述第一融合权重系数为1，所述第二融合权重系数为0；在所述第一深度值大于或等于第二阈值的情况下，确定所述第一融合权重系数为0，所述第二融合权重系数为1；其中，所述第二阈值大于所述第一阈值；在所述第一深度值大于所述第一阈值且小于所述第二阈值的情况下，根据所述第一深度值、所述第一阈值和所述第二阈值确定所述第一融合权重系数和所述第二融合权重系数；其中，所述第一融合权重系数随所述第一深度值的增大从1线性递减至0，所述第二融合权重系数随所述第一深度值的增大从0线性递增至1。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：