图像特征融合及三维信息确定方法、装置、设备及介质与流程

摘要: 本公开实施例涉及图像处理,尤其涉及一种图像特征融合及三维信息确定方法、装置、设备及介质。背景技术:1、相关技术中,多目图像可理解为通过至少两个相机对同一对象在不...
图像特征融合及三维信息确定方法、装置、设备及介质与流程

本公开实施例涉及图像处理,尤其涉及一种图像特征融合及三维信息确定方法、装置、设备及介质。

背景技术:

1、相关技术中,多目图像可理解为通过至少两个相机对同一对象在不同采集视角下进行采集所得到的图像。目前,通常直接将提取的多目图像的图像特征进行融合,该种方式下图像信息未得到充分利用,从而影响下游业务的处理精确度和准确度。

技术实现思路

1、本公开实施例提供了一种图像特征融合及三维信息确定方法、装置、设备及介质,能够提高图像信息的利用程度,以提高下游业务的处理精准度和准确度。

2、第一方面,本公开实施例提供了一种图像特征融合方法,包括:

3、获取第一图像中预设像素点的第一信息;其中,所述第一图像包括预设对象在至少两个视角下的图像;其中,所述第一信息包括像素值和射线信息;所述射线信息包括与所述预设像素点对应的相机原点的位置信息,以及所述预设像素点与所述相机原点间射线的方向信息;

4、对所述第一信息进行特征提取,得到第一特征;

5、对所述第一特征进行融合,得到第一融合特征。

6、第二方面,本公开实施例提供了一种三维信息确定方法,包括:

7、获取第一图像的第一融合特征;其中,所述第一图像包括预设对象在至少两个视角下的图像;所述第一融合特征基于第一特征融合得到,且所述第一特征包括对第一信息进行特征提取得到的特征;所述第一信息包括所述第一图像中预设像素点的像素值和射线信息;所述射线信息包括与所述预设像素点对应的相机原点的位置信息,以及所述预设像素点与所述相机原点间射线的方向信息;

8、根据所述第一融合特征,确定所述预设对象的三维信息。

9、第三方面,本公开实施例还提供了一种图像特征融合装置,包括:

10、第一获取模块,用于获取第一图像中预设像素点的第一信息;其中,所述第一图像包括预设对象在至少两个视角下的图像;其中,所述第一信息包括像素值和射线信息;所述射线信息包括与所述预设像素点对应的相机原点的位置信息,以及所述预设像素点与所述相机原点间射线的方向信息;

11、特征提取模块,用于对所述第一信息进行特征提取,得到第一特征;

12、特征融合模块,用于对所述第一特征进行融合,得到第一融合特征。

13、第四方面,本公开实施例还提供了一种三维信息确定装置,包括:

14、第二获取模块,用于获取第一图像的第一融合特征;其中,所述第一图像包括预设对象在至少两个视角下的图像;所述第一融合特征基于第一特征融合得到,且所述第一特征包括对第一信息进行特征提取得到的特征;所述第一信息包括所述第一图像中预设像素点的像素值和射线信息;所述射线信息包括与所述预设像素点对应的相机原点的位置信息,以及所述预设像素点与所述相机原点间射线的方向信息;

15、三维信息确定模块,用于根据所述第一融合特征,确定所述预设对象的三维信息。

16、第五方面,本公开实施例还提供了一种电子设备,所述电子设备包括:

17、一个或多个处理器;

18、存储装置,用于存储一个或多个程序,

19、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开实施例任一所述的图像特征融合方法,或者实现如本公开实施例任一所述的三维信息确定方法。

20、第六方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于实现如本公开实施例任一所述的图像特征融合方法,或者实现如本公开实施例任一所述的三维信息确定方法。

21、第七方面,本公开实施例还提供了一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现如本公开实施例任一所述的图像特征融合方法,或者实现如本公开实施例任一所述的三维信息确定方法。

22、本公开实施例的技方案中,图像特征融合方法可以包括:获取第一图像中预设像素点的第一信息;其中,第一图像包括预设对象在至少两个视角下的图像;其中,第一信息包括像素值和射线信息;射线信息包括与预设像素点对应的相机原点的位置信息,以及预设像素点与相机原点间射线的方向信息;对第一信息进行特征提取,得到第一特征;对第一特征进行融合,得到第一融合特征。在多相机情况下,通过将相机参数以射线的方式引入图像特征,可实现将射线信息相匹配的特征进行融合,能够在不增加模型参数量和计算量的情况下提高图像信息和几何信息的利用程度,以提高下游业务的处理精准度和准确度。

1.一种图像特征融合方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述预设像素点包括所述第一图像中的全部像素点;表征所述第一信息的信息张量的宽高尺寸,与所述第一图像的宽高尺寸相同。

3.根据权利要求1所述的方法,其特征在于,所述预设像素点包括所述预设对象的预设特征点;信息张量中信息元素的排布,与所述第一图像中所述预设像素点的位置相对应;其中,所述信息张量用于表征所述第一信息。

4.根据权利要求3所述的方法,其特征在于,所述预设对象包括眼部对象;所述预设特征点包括瞳孔中心区域的第一特征点、瞳孔轮廓的第二特征点和角膜轮廓的第三特征点。

5.一种三维信息确定方法,其特征在于,包括:

6.根据权利要求5所述的方法,其特征在于,所述预设对象包括眼部对象;所述三维信息包括视线方向和/或入瞳位置。

7.根据权利要求6所述的方法,其特征在于,所述视线方向的确定过程,包括:

8.根据权利要求6所述的方法,其特征在于,所述预设像素点包括所述眼部对象的预设特征点;所述三维信息还包括所述预设特征点的深度信息,且所述视线方向和/或所述入瞳位置基于所述深度信息和所述第一融合特征确定。

9.根据权利要求8所述的方法,其特征在于,所述预设特征点包括瞳孔中心区域的第一特征点;所述视线方向的确定过程,包括:

10.一种图像特征融合装置,其特征在于,包括:

11.一种三维信息确定装置,其特征在于,包括:

12.一种电子设备,其特征在于,所述电子设备包括:

13.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-4中任一所述的图像特征融合方法,或者实现如权利要求5-9中任一所述的三维信息确定方法。

14.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现如权利要求1-4中任一所述的图像特征融合方法,或者实现如权利要求5-9中任一所述的三维信息确定方法。