图像处理方法、装置、终端设备、存储介质及产品与流程

本公开涉及图像处理，尤其涉及一种图像处理方法、装置、终端设备、存储介质及产品。

背景技术：

1、图像的深度信息能够用于对采集的图像以及视频等进行背景的虚化、图像分割以及目标检测等各个领域，是图像中的重要信息之一。目前，主要是通过神经网络模型来获取单目图像的深度图像。但是，通过神经网络模型获取的深度图像的深度信息的精准度不足。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供一种图像处理方法、装置、终端设备、存储介质及产品，可以得到深度信息更为精准的深度图像。

2、根据本公开实施例的第一方面，提供一种图像处理方法，该方法包括：获取第一图像，其中，第一图像为单目图像；对第一图像进行至少一次下采样处理，以得到至少一个第二图像；其中，至少一个第二图像和第一图像构成图像金字塔；将图像金字塔输入深度估计模型，以得到第三图像，其中，第三图像为第一图像的深度图像。

3、在一些实施例中，深度估计模型包括第一模块和第二模块；其中，将图像金字塔输入深度估计模型，以得到第三图像，包括：将图像金字塔输入第一模块进行结构特征提取，以得到第一特征图像；其中，第一特征图像的数量与第二图像的数量相同；将第一特征图像输入第二模块进行深度特征提取，以得到第三图像。

4、在一些实施例中，第一模块包括第一子模块和第二子模块；其中，将图像金字塔输入第一模块进行结构特征提取，以得到第一特征图像，包括：将第一图像输入第一子模块进行结构特征提取，以得到第二特征图像；将第二特征图像和至少一个第二图像输入第二子模块进行结构特征提取，以得到第一特征图像。

5、在一些实施例中，第二子模块包括n个第一单元，第二图像的数量为n，n为正整数；其中，将第二特征图像和至少一个第二图像输入第二子模块进行行结构特征提取，以得到第一特征图像，包括：将第三特征图像和与三特征图像尺寸相同的第二图像在通道维度进行拼接，以得到第一拼接图像，其中，不同的第二图像的尺寸不同，第三特征图像为第i-1个第一单元输出的第一特征图像或第二特征图像；将第一拼接图像输入第i个第一单元中进行结构特征提取，以得到第i个第一单元输出的第一特征图像，i的取值为1至n的整数。

6、在一些实施例中，n个第一单元中的每个第一单元包括第一卷积子单元、空间聚合子单元和通道聚合子单元；其中，将第一拼接图像输入第i个第一单元进行结构特征提取，以得到第i个第一单元输出的第一特征图像，包括：将第一拼接图像输入第i个第一单元包括的第一卷积子单元进行卷积处理，以得到第四特征图像；将第四特征图像输入第i个第一单元包括的空间聚合子单元中进行空间特征聚合，以得到第五特征图像；将第五特征图像输入第i个第一单元包括的通道聚合子单元进行通道特征聚合，以得到第i个第一单元输出的第一特征图像。

7、在一些实施例中，第二模块包括第三子模块和第四子模块；其中，将第一特征图像输入第二模块进行深度特征提取，以得到第三图像，包括：将第一特征图像输入第三子模块进行深度特征提取，以得到第六特征图像；将第六特征图像输入第四子模块进行图像生成，以得到第三图像。

8、在一些实施例中，第一特征图像的数量为多个；第三子模块包括m个第二单元，m为正整数；其中，将第一特征图像输入第三子模块进行深度特征提取，以得到第六特征图像，包括：将第七特征图像和与第七特征图像尺寸相同的第一特征图像在通道维度进行拼接，以得到第二拼接图像，第七特征图像为对第一模块输出的最后一个第一特征图像进行上采样后得到的特征图像或第j-1个第二单元输出的第八特征图像；将第二拼接图像输入第j个第二单元中进行深度特征提取，以得到第j个第二单元输出的第八特征图像，j的取值为1至m的整数；将第m个第二单元输出的第八特征图像确定为第六特征图像。

9、在一些实施例中，第一图像包括单目视频流中的至少一帧单目图像。

10、根据本公开实施例的第二方面，提供一种图像处理装置，该装置包括：获取模块，配置为获取第一图像，其中，第一图像为单目图像；处理模块，配置为对第一图像进行至少一次下采样处理，以得到至少一个第二图像；其中，至少一个第二图像和第一图像构成图像金字塔；输入模块，配置为将图像金字塔输入深度估计模型，以得到第三图像，其中，第三图像为第一图像的深度图像。

11、在一些实施例中，深度估计模型包括第一模块和第二模块；其中，输入模块，配置为：将图像金字塔输入第一模块进行结构特征提取，以得到第一特征图像；其中，第一特征图像的数量与第二图像的数量相同；将第一特征图像输入第二模块进行深度特征提取，以得到第三图像。

12、在一些实施例中，第一模块包括第一子模块和第二子模块；其中，输入模块，配置为：将第一图像输入第一子模块进行结构特征提取，以得到第二特征图像；将第二特征图像和至少一个第二图像输入第二子模块进行结构特征提取，以得到第一特征图像。

13、在一些实施例中，第二子模块包括n个第一单元，第二图像的数量为n，n为正整数；其中，输入模块，配置为：将第三特征图像和与三特征图像尺寸相同的第二图像在通道维度进行拼接，以得到第一拼接图像，其中，不同的第二图像的尺寸不同，第三特征图像为第i-1个第一单元输出的第一特征图像或第二特征图像；将第一拼接图像输入第i个第一单元中进行结构特征提取，以得到第i个第一单元输出的第一特征图像，i的取值为1至n的整数。

14、在一些实施例中，n个第一单元中的每个第一单元包括第一卷积子单元、空间聚合子单元和通道聚合子单元；其中，输入模块，配置为：将第一拼接图像输入第i个第一单元包括的第一卷积子单元进行卷积处理，以得到第四特征图像；将第四特征图像输入第i个第一单元包括的空间聚合子单元中进行空间特征聚合，以得到第五特征图像；将第五特征图像输入第i个第一单元包括的通道聚合子单元进行通道特征聚合，以得到第i个第一单元输出的第一特征图像。

15、在一些实施例中，第二模块包括第三子模块和第四子模块；其中，输入模块，配置为：将第一特征图像输入第三子模块进行深度特征提取，以得到第六特征图像；将第六特征图像输入第四子模块进行图像生成，以得到第三图像。

16、在一些实施例中，第一特征图像的数量为多个；第三子模块包括m个第二单元，m为正整数；其中，输入模块，配置为：将第七特征图像和与第七特征图像尺寸相同的第一特征图像在通道维度进行拼接，以得到第二拼接图像，第七特征图像为对第一模块输出的最后一个第一特征图像进行上采样后得到的特征图像或第j-1个第二单元输出的第八特征图像；将第二拼接图像输入第j个第二单元中进行深度特征提取，以得到第j个第二单元输出的第八特征图像，j的取值为1至m的整数；将第m个第二单元输出的第八特征图像确定为第六特征图像。

17、在一些实施例中，第一图像包括单目视频流中的至少一帧单目图像。

18、根据本公开实施例的第三方面，提供一种终端设备，包括：处理器；用于存储计算机程序或指令的存储器；其中，所述处理器执行所述计算机程序或指令以实现上述第一方面所述方法的步骤。

19、根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，存储有可执行指令或计算机程序，当所述存储介质中的计算机程序或指令由处理器执行时，实现上述第一方面所述方法的步骤。

20、根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时，实现上述第一方面所述方法的步骤。

21、本公开的实施例提供的技术方案可以包括以下有益效果：

22、在本公开中，对第一图像进行至少一次下采样处理，可以得到由第一图像和第二图像构成的图像金字塔。由于图像金字塔包括多个不同尺寸的图像。基于此，将图像金字塔输入深度估计模型中，可以实现对不同尺寸的图像进行特征提取，以得到第一图像中的更多深度特征，进而可以使得到的深度图像中包括的深度信息更为的精准。

23、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。