基于光场成像的深度估计方法、装置及终端设备与流程

本申请涉及图像处理，具体涉及一种基于光场成像的深度估计方法、装置及终端设备。

背景技术：

1、基于光场的深度恢复通常依托极线平面图像（epipolar plane image，epi）分析实现，该分析方案主要通过固定一组空间坐标与角度坐标生成epi切片，场景中物点在不同视角下的投影在epi域内形成线状结构，该线状结构的斜率与物点深度成反比，即深度估计问题可转化为epi域内线状结构方向的检测问题。

2、现有的光场深度估计方法普遍存在纹理方向共线性这一根本性缺陷，尤其是当目标表面的主导纹理方向与epi采样方向平行时，视差梯度消失，导致深度估计出现严重伪影或重建空洞。而且，传统方法对所有角度视图采用统一权重处理，难以区分可靠方向与不可靠方向，在水稻、苦瓜等具有显著纹理特征的种子样本表面，该问题尤为突出。

3、可见，相关技术中的光场深度估计方法存在鲁棒性差的问题。

技术实现思路

1、本申请旨在解决相关技术中的光场深度估计方法存在的鲁棒性差的问题，提供一种基于光场成像的深度估计方法、装置及终端设备。

2、为解决上述问题，本申请是这样实现的：

3、第一方面，本申请提供了一种基于光场成像的深度估计方法，包括：

4、获取目标种子的光场原始图像，并将所述光场原始图像解码为四维光场数据，基于所述四维光场数据生成沿多个方向的极线平面图像；

5、基于所述四维光场数据，对每个宏像素对应的空间区域进行多特征纹理显著性评估，筛选出纹理有效宏像素；

6、通过数字重聚焦对每个纹理有效宏像素进行焦平面多样性分析，计算得到每个纹理有效宏像素的深度可靠性权重；

7、通过梯度方向指数分析，在所述纹理有效宏像素对应的空间区域内构建梯度幅值加权的方向直方图，并基于所述方向直方图的峰值方向确定所述纹理有效宏像素的主导纹理方向；

8、根据所述深度可靠性权重与所述主导纹理方向，通过软投票加权生成所述各方向的极线平面图像的投票结果，对所述投票结果进行归一化处理，得到所述各方向的极线平面图像的加权系数；

9、对每个方向的极线平面图像分别进行深度估计，得到各方向的深度估计结果；

10、采用所述加权系数对所述深度估计结果进行加权融合，输出所述目标种子的最终深度图，所述最终深度图用于表征所述目标种子的三维表面结构。

11、第二方面，本申请提供了一种基于光场成像的深度估计装置，包括：

12、获取模块，用于获取目标种子的光场原始图像，并将所述光场原始图像解码为四维光场数据，基于所述四维光场数据生成沿多个方向的极线平面图像；

13、评估筛选模块，用于基于所述四维光场数据，对每个宏像素对应的空间区域进行多特征纹理显著性评估，筛选出纹理有效宏像素；

14、第一分析模块，用于通过数字重聚焦对每个纹理有效宏像素进行焦平面多样性分析，计算得到每个纹理有效宏像素的深度可靠性权重；

15、第二分析模块，用于通过梯度方向指数分析，在所述纹理有效宏像素对应的空间区域内构建梯度幅值加权的方向直方图，并基于所述方向直方图的峰值方向确定所述纹理有效宏像素的主导纹理方向；

16、第一处理模块，用于根据所述深度可靠性权重与所述主导纹理方向，通过软投票加权生成所述各方向的极线平面图像的投票结果，对所述投票结果进行归一化处理，得到所述各方向的极线平面图像的加权系数；

17、第二处理模块，用于对每个方向的极线平面图像分别进行深度估计，得到各方向的深度估计结果；

18、输出模块，用于采用所述加权系数对所述深度估计结果进行加权融合，输出所述目标种子的最终深度图，所述最终深度图用于表征所述目标种子的三维表面结构。

19、第三方面，本申请提供了一种终端设备，该终端设备包括处理器和存储器，所述存储器上存储有可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

20、第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

21、第五方面，本申请提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法的步骤。

22、第六方面，本申请提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤。

23、与现有技术相比，本申请具有如下有益效果：通过对目标种子的光场数据进行多方向 epi 分析，结合焦平面多样性深度置信度评估与梯度方向指数各向异性特征解码，实现了纹理方向共线性问题的有效抑制，显著提升了深度估计的鲁棒性。

1.一种基于光场成像的深度估计方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述四维光场数据，对每个宏像素对应的空间区域进行多特征纹理显著性评估，筛选出纹理有效宏像素，包括：

3.根据权利要求2所述的方法，其特征在于，所述通过数字重聚焦对每个纹理有效宏像素进行焦平面多样性分析，计算得到每个纹理有效宏像素的深度可靠性权重，包括：

4.根据权利要求3所述的方法，其特征在于，所述通过梯度方向指数分析，在所述纹理有效宏像素对应的空间区域内构建梯度幅值加权的方向直方图，包括：

5.一种基于光场成像的深度估计装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，所述评估筛选模块，具体用于：

7.根据权利要求6所述的装置，其特征在于，所述第一分析模块，具体用于：

8.根据权利要求7所述的装置，其特征在于，所述第二分析模块，具体用于：

9.一种终端设备，其特征在于，包括处理器和存储器，所述存储器上存储有可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至4中任一项所述的方法的步骤。