基于光场多视角约束的相位展开方法及相关组件

1.本发明涉及光场成像技术领域，尤其涉及一种基于光场多视角约束的相位展开方法及相关组件。


背景技术：

2.光场成像(light field imaging)可通过单帧曝光同时记录光线的强度信息与方向信息，具备计算反演场景三维形貌的能力。
3.被动式的光场深度估计技术无需投射主动照明，仅需要光场成像系统对场景的单次曝光成像，即可利用算法从光场数据中恢复出场景的深度信息，具有灵活高效，适用于动态场景的优点，但其缺点是精度低、稳定性差；针对该缺点，研究人员将相位编码结构光技术引入光场成像中，实现主动式光场成像，可大幅提升光场深度估计精度。
4.主动式的结构光场成像(structured lightfield)对空间进行相位编码，从采集的条纹图像中通过计算恢复受场景深度调制的相位信息，该过程需对解调得到的包裹相位进行展开；常用的相位展开方法包括时间相位展开与空间相位展开，前者通过对待测物体投射额外编码，确定包裹相位的级次，进而实现相位展开，但需对场景投射额外编码信息，损失了对动态场景的适用性。后者仅需在包裹相位上进行算法推算，无需投射额外编码，其根据包裹相位图邻域像素间的相位关系指导相位展开，但空间相位展开易受噪声与复杂细节形貌等因素影响而无法获得正确级次，且该类方法发生展开错误后，其误差会累积传递，影响后续的展开结果。
5.除此外，研究人员提出了用于结构光场相位展开的方法，该方法通过多步映射判断正确级次实现相位展开，但该方法需进行多步骤的标定，在相位展开时需进行多步骤的映射计算，算法流程较为复杂繁琐，且多步骤的映射计算存在误差传递累积的情况，降低了相位展开的正确率。


技术实现要素：

6.本发明的目的是提供一种基于光场多视角约束的相位展开方法，旨在解决现有结构光场相位展开方法仍有待提高的问题。
7.第一方面，本发明实施例提供一种基于光场多视角约束的相位展开方法，包括：
8.标定步骤：
9.通过结构光场系统采样测量场景中不同深度下的主视角相位和辅视角相位，具体包括采样每一深度下的主视角图像中每个像素的相位和一个或多个辅视角图像中每个像素的相位；
10.利用相位一致性原则，获取每一深度下的所述主视角相位在各个所述辅视角图像中的对应点像素坐标，得到每一深度下的映射样本集，使用所述映射样本集对所述主视角相位到各个所述辅视角图像中的对应点像素坐标的映射关系进行多项式标定；
11.根据采样数据，计算所述主视角图像中每个像素的候选级次范围；
12.完成采样标定后，执行如下相位展开计算步骤：
13.根据所述候选级次范围计算并得到每个像素的候选绝对相位集；
14.根据所述主视角图像中每个像素的候选绝对相位集，基于标定的所述主视角相位到各个所述辅视角图像中的对应点像素坐标的映射关系，遍历计算所述候选绝对相位集中每个候选绝对相位在各个所述辅视角图像的对应点像素坐标；
15.遍历所述主视角图像中每个像素的候选绝对相位集，并计算其与所述辅视角图像的对应点像素坐标的包裹相位的误差值，并将最小误差值对应的候选相位作为所述主视角图像中每个像素的绝对相位。
16.第二方面，本发明实施例提供一种基于光场多视角约束的相位展开装置，包括：
17.标定步骤：
18.相位获取单元，用于通过结构光场系统采样测量场景中不同深度下的主视角相位和辅视角相位，具体包括采样每一深度下的主视角图像中每个像素的相位和一个或多个辅视角图像中每个像素的相位；
19.标定单元，用于利用相位一致性原则，获取每一深度下的所述主视角相位在各个所述辅视角图像中的对应点像素坐标，得到每一深度下的映射样本集，使用所述映射样本集对所述主视角相位到各个所述辅视角图像中的对应点像素坐标的映射关系进行多项式标定；
20.范围计算单元，用于根据采样数据，计算所述主视角图像中每个像素的候选级次范围；
21.完成采样标定后，执行如下相位展开计算步骤：
22.相位集计算单元，用于根据所述候选级次范围计算并得到每个像素的候选绝对相位集；
23.对应点计算单元，用于根据所述主视角图像中每个像素的候选绝对相位集，基于标定的所述主视角相位到各个所述辅视角图像中的对应点像素坐标的映射关系，遍历计算所述候选绝对相位集中每个候选绝对相位在各个所述辅视角图像的对应点像素坐标；
24.绝对相位确认单元，用于遍历所述主视角图像中每个像素的候选绝对相位集，并计算其与所述辅视角图像的对应点像素坐标的包裹相位的误差值，并将最小误差值对应的候选相位作为所述主视角图像中每个像素的绝对相位。
25.第三方面，本发明实施例提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于光场多视角约束的相位展开方法。
26.第四方面，本发明实施例提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于光场多视角约束的相位展开方法。
27.本发明实施例公开了基于光场多视角约束的相位展开方法及相关组件。该方法包标定与展开计算两部分。标定部分包括：通过结构光场系统采样测量场景中不同深度下的主视角相位和辅视角相位；利用相位一致性原则，获取每一深度下的主视角相位在各个辅视角图像中的对应点的像素坐标，并对主视角相位到辅视角图像中对应点像素坐标的映射关系进行多项式标定；计算主视角图像中每个像素的候选级次范围；展开计算部分包括：利
用采样数据计算主视角图像中每个像素的候选绝对相位集，然后遍历候选绝对相位集，并利用已标定映射关系计算其与各个辅视角图像的对应点像素坐标的包裹相位的误差值，并将最小误差值对应的候选相位作为主视角图像中每个像素的绝对相位。本发明实施例无需投射额外编码信息，具有可稳定实现结构光场准确的相位展开的优点。
附图说明
28.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1为本发明实施例提供的基于光场多视角约束的系数标定方法的流程示意图；
30.图2为本发明实施例提供的步骤s101的子流程示意图；
31.图3为本发明实施例提供的基于光场多视角约束的相位展开计算方法的流程示意图；
32.图4为本发明实施例提供的结构光场系统获取相位分布的原理图；
33.图5为本发明实施例提供的系数标定装置的示意性框图；
34.图6为本发明实施例提供的相位展开计算装置的示意性框图；
35.图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
38.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
39.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
40.请参阅图1，图1为本发明实施例提供的基于光场多视角约束的系数标定方法的流程示意图；
41.如图1所示，包括标定步骤s101～s103。
42.s101、通过结构光场系统采样测量场景中不同深度下的主视角相位和辅视角相位，具体包括采样每一深度下的主视角图像中每个像素的相位和一个或多个辅视角图像中每个像素的相位；
43.具体的，步骤s101包括：
44.将平面标靶放置于结构光场系统的测量空间中的不同深度；
45.针对每一深度，如图2所示，执行步骤s201～s203的相位采样流程：
46.s201、通过结构光场系统的投影光机向测量场景投射相移条纹与互补型格雷码；
47.s202、通过结构光场系统的光场相机获取测量场景的主视角图像和一个或多个辅视角图像；
48.s203、利用相位计算法计算并得到主视角图像中每个像素的相位和各个辅视角图像中每个像素的相位。
49.本实施例中，将白色的平面标靶放入测量场景的一个深度，然后通过投影光机向测量场景投射相移条纹与互补型格雷码，然后通过光场相机获取测量场景的多个视角下的子孔径图像，其中一个视角下的子孔径图像作为主视角图像，其余视角下的子孔径图像作为辅视角图像，最后通过相移法与互补型格雷码相位解调方法解算得当前深度下的主视角图像中每个像素的相位和各个辅视角图像中每个像素的相位。
50.改变平面标靶在测量场景中的深度位置(如图4中例举了p
1-pn的不同深度位置)，重复计算即可获取结构光场系统测量场景的不同深度的主视角相位和辅视角相位。
51.s102、利用相位一致性原则，获取每一深度下的主视角相位在各个辅视角图像中的对应点像素坐标，得到每一深度下的映射样本集，使用映射样本集对主视角相位到各个辅视角图像中的对应点像素坐标的映射关系进行多项式标定。
52.具体的，步骤s102包括：
53.利用相位一致性原则，获取每一深度下的主视角图像中单个像素的候选相位φ，得到单个映射样本其中ui表示第i个辅视角图像中的对应点的像素坐标,v表示辅视角图像像素的数量；
54.基于每一深度下的主视角图像中的所有像素，得到每一深度下的映射样本集其中n表示数据样本序号，n表示所采用的辅视角数目；
55.按如下公式对主视角相位到各个辅视角图像中的对应点像素坐标的映射关系进行多项式标定，并得到多项式系数dn：
[0056][0057]
其中，ui表示第i个辅视角图像中的对应点的像素坐标，表示将主视角绝对相位映射至第i个辅视角的对应点坐标与ui对应的主视角图像中的像素的候选绝对相位，表示主视角图像中第n个像素的候选绝对相位。
[0058]
本实施例中，根据光场相机结构特性与极平面图像(epipolar plane image,epi)的形成方式，对于主视角图像中某一确定的像素，则其辅视角图像中对应点的像素坐标ui与深度存在着单调映射关系，可表示为基于深度与绝对相位的非线性单调关系可得到即表明了主视角图像中某一像素的绝对相位与辅视角对应点的像素坐标存在单调的映射关系，对于不同的辅视角图像，均利用上述公式进行标定；通过将各个参数代入上述标定公式进行计算，即可得到多项式系数dn的值。
[0059]
s103、根据采样数据，计算主视角图像中每个像素的候选级次范围；
[0060]
具体包括：
[0061]
获取结构光场系统的测量深度，得到深度范围；
[0062]
根据深度与绝对相位的非线性单调关系以及不同的绝对相位对应不同的级次的对应关系，得到选级次范围。
[0063]
本实施例中，受限于光场成像系统中投影光机与光场相机的景深范围，可得到深度范围[d
min
,d
max
]；根据深度与绝对相位的非线性单调关系以及不同的绝对相位对应不同的级次的对应关系，得到候选级次范围；具体可以理解为：根据采样数据，也就是已知的结构光场系统的深度范围，不同深度对应了不同的绝对相位值，而不同的绝对相位值对应于不同的级次，因此有限的测量深度范围反映了有限个级次，也就是候选级次范围[k
min
,k
max
]。
[0064]
基于上述步骤s101-s103的标定过程，可得到足够的样本以便于后续进行相位展开计算。
[0065]
请参阅图3，图3为本发明实施例提供的基于光场多视角约束的相位展开计算方法的流程示意图；
[0066]
如图3所示，针对每一深度下的相位分布，执行相位展开计算步骤s301～s303：
[0067]
s301、根据候选级次范围计算并得到每个像素的候选绝对相位集；
[0068]
s302、根据主视角图像中每个像素的候选绝对相位集，基于标定的主视角相位到各个辅视角图像中的对应点像素坐标的映射关系，遍历计算候选绝对相位集中每个候选绝对相位在各个辅视角图像的对应点像素坐标；
[0069]
s303、遍历主视角图像中每个像素的候选绝对相位集，并计算其与辅视角图像的对应点像素坐标的包裹相位的误差值，并将最小误差值对应的候选相位作为主视角图像中每个像素的绝对相位。
[0070]
本实施例中，针对每一深度下的相位分布执行步骤s301-s303的相位展开计算方法，该方法无需投射额外编码信息，通过利用结构光场多视角(即主视角和各个辅视角)的包裹相位一致性原则，对主视角图像进行相位展开，并借助其余辅视角的包裹相位来判断，以实现相位展开的准确性。
[0071]
下面针对相位展开计算的具体过程进行介绍：
[0072]
在一实施例中，步骤s301包括：
[0073]
按如下公式计算不同候选级次下的候选绝对相位φm：
[0074][0075]
其中，表示主视角图像中像素的包裹相位，k表示不同候选级次；
[0076]
基于每一候选级次，得到候选绝对相位集{φk＝k∈[k
min
,k
max
]}，其中k表示第k级。
[0077]
本实施例中，通过不同候选级次k与主视角图像中像素的包裹相位的组合即可得到有限个的候选绝对相位；通过集合每一候选级次下的所有候选绝对相位，即可得到候选绝对相位集。
[0078]
在一实施例中，步骤s302包括：
[0079]
基于上述标定公式使用已标定的多项式系数dn，遍历计算候选绝对相位集中每个候选绝对相位在各个辅视角图像的对应点像素坐标。
[0080]
本实施例中，将前述计算并得到多项式系数dn代入上述公式后，主视角图像中像
素的候选绝对相位通过该映射关系可计算得到其在不同辅视角图像中对应点的像素坐标，并根据各个辅视角图像中对应点的像素坐标可以得到对应点的像素坐标的包裹相位，以便在下述步骤中进行误差函数计算。
[0081]
在一实施例中，步骤s304包括：
[0082]
按如下误差函数计算误差值：
[0083][0084]
其中，表示主视角图像中对应点像素坐标的包裹相位，表示第个i个辅视角图像的对应点像素坐标的包裹相位，n表示所采用的辅视角数目；
[0085]
将最小误差值对应的候选相位作为主视角图像中每个像素的绝对相位。
[0086]
本实施例中，在遍历主视角图像中每个像素的候选绝对相位集的过程中，候选绝对相位集中有且仅有一个对应的深度为正确的物点深度，在该深度处真实物点的包裹相位信息会被辅视角图像记录，因此通过主视角图像中像素坐标的包裹相位与其在各个辅视角图像的对应点像素坐标的包裹相位的一致性可确定出正确的绝对相位，具体可通过上述误差函数计算得到误差值最小者即为正确绝对相位。
[0087]
其中，主视角图像中像素坐标的包裹相位与其在各个辅视角图像的对应点像素坐标的包裹相位均是已知的数值矩阵，因此只需知道主视角图像中的像素坐标和其在各个辅视角中对应点像素坐标，即可得到主视角的像素坐标的包裹相位和各个辅视角图像的对应点像素坐标的包裹相位。
[0088]
本发明实施例还提供一种基于光场多视角约束的相位展开装置，该基于光场多视角约束的相位展开装置用于执行前述基于光场多视角约束的相位展开方法的任一实施例。具体地，该基于光场多视角约束的相位展开装置包括系数标定装置500和相位展开计算装置600。
[0089]
请参阅图5，图5是本发明实施例提供的系数标定装置500的示意性框图。
[0090]
请参阅图6，图6是本发明实施例提供的相位展开计算装置600的示意性框图。
[0091]
如图5所示，系数标定装置500包括相位获取单元501和坐标获取单元502。
[0092]
相位获取单元501，用于通过结构光场系统采样测量场景中不同深度下的主视角相位和辅视角相位，具体包括采样每一深度下的主视角图像中每个像素的相位和一个或多个辅视角图像中每个像素的相位；
[0093]
标定单元502，用于利用相位一致性原则，获取每一深度下的主视角相位在各个辅视角图像中的对应点像素坐标，得到每一深度下的映射样本集，使用映射样本集对主视角相位到各个辅视角图像中的对应点像素坐标的映射关系进行多项式标定；
[0094]
范围计算单元503，用于根据采样数据，计算主视角图像中每个像素的候选级次范围
[0095]
如图6所示，相位展开计算装置600包括相位集计算单元601、对应点计算单元602以及绝对相位确认单元603。
[0096]
针对每一深度下的相位分布，执行如下相位展开计算流程：
[0097]
相位集计算单元601，用于根据候选级次范围计算并得到每个像素的候选绝对相
位集；
[0098]
对应点计算单元602，用于根据主视角图像中每个像素的候选绝对相位集，基于标定的主视角相位到各个辅视角图像中的对应点像素坐标的映射关系，遍历计算候选绝对相位集中每个候选绝对相位在各个辅视角图像的对应点像素坐标；
[0099]
绝对相位确认单元603，用于遍历主视角图像中每个像素的候选绝对相位集，并计算其与辅视角图像的对应点像素坐标的包裹相位的误差值，并将最小误差值对应的候选相位作为主视角图像中每个像素的绝对相位。
[0100]
该装置无需投射额外编码信息，通过利用结构光场多视角的包裹相位一致性原则，对主视角图像进行相位展开，此过程借助其余辅视角的包裹相位来判断，实现了结构光场准确的相位展开。
[0101]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0102]
上述基于光场多视角约束的相位展开装置可以实现为计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
[0103]
请参阅图7，图7是本发明实施例提供的计算机设备的示意性框图。该计算机设备700是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
[0104]
参阅图7，该计算机设备700包括通过系统总线701连接的处理器702、存储器和网络接口705，其中，存储器可以包括非易失性存储介质703和内存储器704。
[0105]
该非易失性存储介质703可存储操作系统7031和计算机程序7032。该计算机程序7032被执行时，可使得处理器702执行基于光场多视角约束的相位展开方法。
[0106]
该处理器702用于提供计算和控制能力，支撑整个计算机设备700的运行。
[0107]
该内存储器704为非易失性存储介质703中的计算机程序7032的运行提供环境，该计算机程序7032被处理器702执行时，可使得处理器702执行基于光场多视角约束的相位展开方法。
[0108]
该网络接口705用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0109]
本领域技术人员可以理解，图7中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图7所示实施例一致，在此不再赘述。
[0110]
应当理解，在本发明实施例中，处理器702可以是中央处理单元(central processing unit，cpu)，该处理器702还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0111]
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的基于光场多视角约束的相位展开方法。
[0112]
存储介质为实体的、非瞬时性的存储介质，例如可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
[0113]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0114]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。