一种基于序列间稀疏聚合的三维形貌重建方法

1.本发明属于三维重建领域，具体涉及一种基于序列间稀疏聚合的三维形貌重建方法。


背景技术：

2.基于二维图像序列的三维形貌重建方法因其具有数据采集形式多样易用、重建算法条件约束较少、兼顾高重建效率与高精度、深度图像可附加纹理信息等优势而广受工业界关注，相关技术已成功应用于医疗美容检查与海关物品虚拟3d建模等领域。
3.现阶段基于二维图像序列的三维形貌重建方法根据重建步骤主要分为图像序列分解和深度表征信息聚合两方面。图像序列分解主要通过不用类型的算子与图像序列中各图像进行卷积运算，然后得到所有图像聚焦水平的整体评价，这种整体聚焦评价结果通常以稀疏系数的形式表示，典型的算子包括拉普拉斯类算子、可变形类算子、梯度类算子等，不同类型的算子适用场景有所不同。因此如何消弭不同算子对三维形貌重建结果的影响是深度表征信息聚合的关键任务，图像序列经过分解后可以得到表征深度信息的稀疏系数，然后通过设计特定的稀疏聚合方法可实现稀疏系数到稠密系数的转换，最后通过稠密系数在图像序列维度的投影得到待测场景最终的三维形貌重建结果。整个深度表征信息聚合过程实现由图像序列稀疏系数到深度结果之间的映射，代表性的稀疏聚合方法包括引导滤波、加权中值滤波、均值滤波等。
4.通过了解研究现状，我们认为该领域方法主要面临如下挑战：现有的三维形貌重建方法中深度表征信息聚合过程中通常仅考虑单幅图像本身的稀疏聚合问题，并未考虑图像序列之间的信息，而图像序列之间会隐含较多的场景三维结构信息，这类信息的缺失将会导致三维形貌重建结果中无法保持场景结构的完整性。因此，如何提出一种兼顾图像序列间结构信息与图像局部聚焦信息的稀疏聚合方法是提升三维形貌重建结果精度的关键。
5.综上可知，本专利引入图像序列间的关联性解决现有三维形貌重建过程中稀疏聚合结果的结构信息缺失问题，在重建过程中兼顾图像本身的局部聚焦信息与图像序列之间的结构信息，可以得到精度更高的三维形貌重建结果。


技术实现要素：

6.为克服上述技术中存在的问题，本发明的目的是提供一种基于序列间稀疏聚合的三维形貌重建方法。
7.本发明所采取的技术方案是：一种基于序列间稀疏聚合的三维形貌重建方法，包括以下步骤：
8.步骤1，通过移动相机与场景之间的距离得到待测场景不同聚焦水平的图像序列其中c为图像序列下标且其取值范围是1≤c≤c，c为图像序列总数，p为像素坐标位置且其取值为(x,y)；
9.步骤2，对步骤1中的图像序列按照式(1)与拉普拉斯算子(lapa)进行卷积操作，得到图像序列中所有图像的聚焦评价稀疏系数
[0010][0011]
其中c代表图像数且其取值范围是1≤c≤c，p为像素坐标位置取值为(x,y)，表示卷积操作符，lapa为拉普拉斯算子且其表达式为操作符，lapa为拉普拉斯算子且其表达式为表示偏导数符；
[0012]
步骤3，将步骤2得到的稀疏系数根据式(2)进行稀疏聚合得到稠密系数
[0013][0014]
其中w
p,q
表示像素坐标p与像素坐标q之间的权重，表达式如式(3)所示，
[0015]wp,q
＝exp(-a(p-q)2)exp(-b(g
p-gq)2)
ꢀꢀꢀ
(3)
[0016]
其中像素坐标q＝(i,j)，a,b为比例系数，exp为指数函数标识符，g
p
,gq分别为p与q位置的梯度，表达式如式(4)所示，
[0017][0018]
其中表示第c幅图像中位置为(x,y)的像素值，表示第c幅图像中位置为(i,j)的像素值，c代表图像数且其取值范围是1≤c≤c，
[0019]
式(2)中表示以像素坐标p为中心，q＝(i,j)为长宽，d为高的三维立体像素空间，表达式如式(5)所示；
[0020][0021]
步骤4，将步骤3中得到的稠密系数根据式(6)计算其在图像序列维度c中稠密系数的绝对值最大值所在位置得到场景最终的三维形貌重建结果depth
p
，
[0022][0023]
其中abs(
·
)表示绝对值函数，表示求解稠密系数下标c的函数。
[0024]
与现有技术相比，本发明的方法能够有效保留待测场景中的三维结构信息，得到精度更高的三维形貌重建结果。
附图说明
[0025]
图1是一种基于序列间稀疏聚合的三维形貌重建方法的流程图；
[0026]
图2是一种基于序列间稀疏聚合的三维形貌重建方法的示意图。
具体实施方式
[0027]
如图1、图2所示，一种基于序列间稀疏聚合的三维形貌重建方法，包括以下步骤：
[0028]
步骤1，通过移动相机与场景之间的距离得到待测场景不同聚焦水平的图像序列其中c为图像序列下标且其取值范围是1≤c≤c，c为图像序列总数，p为像素坐标位置且其取值为(x,y)；
[0029]
步骤2，对步骤1中的图像序列按照式(1)与拉普拉斯算子(lapa)进行卷积操作，得到图像序列中所有图像的聚焦评价稀疏系数
[0030]
[0031]
其中c代表图像数且其取值范围是1≤c≤c，p为像素坐标位置取值为(x,y)，表示卷积操作符，lapa为拉普拉斯算子且其表达式为示卷积操作符，lapa为拉普拉斯算子且其表达式为表示偏导数符；
[0032]
步骤3，将步骤2得到的稀疏系数根据式(2)进行稀疏聚合得到稠密系数
[0033][0034]
其中w
p,q
表示像素坐标p与像素坐标q之间的权重，表达式如式(3)所示，
[0035]wp,q
＝exp(-a(p-q)2)exp(-b(g
p-gq)2)
ꢀꢀꢀ
(3)
[0036]
其中像素坐标q＝(i,j)，a,b为比例系数，exp为指数函数标识符，g
p
,gq分别为p与q位置的梯度，表达式如式(4)所示，
[0037][0038]
其中表示第c幅图像中位置为(x,y)的像素值，表示第c幅图像中位置为(i,j)的像素值，c代表图像数且其取值范围是1≤c≤c，
[0039]
式(2)中表示以像素坐标p为中心，q＝(i,j)为长宽，d为高的三维立体像素空间，表达式如式(5)所示；
[0040][0041]
步骤4，将步骤3中得到的稠密系数根据式(6)计算其在图像序列维度c中稠密系数的绝对值最大值所在位置得到场景最终的三维形貌重建结果depth
p
，
[0042][0043]
其中abs(
·
)表示绝对值函数，表示求解稠密系数下标c的函数。


技术特征：
1.一种基于序列间稀疏聚合的三维形貌重建方法，其特征包括以下步骤：步骤1，通过移动相机与场景之间的距离得到待测场景不同聚焦水平的图像序列其中c为图像序列下标且其取值范围是1≤c≤c，c为图像序列总数，p为像素坐标位置且其取值为(x,y)；步骤2，对步骤1中的图像序列按照式(1)与拉普拉斯算子(lapa)进行卷积操作，得到图像序列中所有图像的聚焦评价稀疏系数操作，得到图像序列中所有图像的聚焦评价稀疏系数其中c代表图像数且其取值范围是1≤c≤c，p为像素坐标位置取值为(x,y)，表示卷积操作符，lapa为拉普拉斯算子且其表达式为积操作符，lapa为拉普拉斯算子且其表达式为表示偏导数符；步骤3，将步骤2得到的稀疏系数根据式(2)进行稀疏聚合得到稠密系数数其中w
p,q
表示像素坐标p与像素坐标q之间的权重，表达式如式(3)所示，w
p,q
＝exp(-a(p-q)2)exp(-b(g
p-g
q
)2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中像素坐标q＝(i,j)，a,b为比例系数，exp为指数函数标识符，g
p
,g
q
分别为p与q位置的梯度，表达式如式(4)所示，其中表示第c幅图像中位置为(x,y)的像素值，表示第c幅图像中位置为(i,j)的像素值，c代表图像数且其取值范围是1≤c≤c，式(2)中表示以像素坐标p为中心，q＝(i,j)为长宽，d为高的三维立体像素空间，表达式如式(5)所示；
步骤4，将步骤3中得到的稠密系数根据式(6)计算其在图像序列维度c中的绝对值最大值所在位置得到场景最终的三维形貌重建结果depth
p
，其中abs(
·
)表示绝对值函数，表示求解稠密系数下标c的函数。

技术总结
本发明涉及一种基于序列间稀疏聚合的三维形貌重建方法。包括：步骤1，获取待测场景不同聚焦水平的图像序列；步骤2，采用拉普拉斯算子与图像序列进行卷积操作得到聚焦评价稀疏系数；步骤3，通过构建三维立体像素空间，利用该立体空间将稀疏系数聚合为稠密系数，该聚合过程兼顾图像本身的局部聚焦信息与图像序列间的结构信息；步骤4，计算稠密系数在图像序列维度中绝对值最大值所在位置得到待测场景最终的三维形貌重建结果。本发明的方法能够有效保留待测场景中的三维结构信息，得到精度更高的三维形貌重建结果。的三维形貌重建结果。


技术研发人员：闫涛 盖彦辛 吴鹏
受保护的技术使用者：山西大学
技术研发日：2022.09.05
技术公布日：2022/11/15