一种基于稀疏样本的单目3D重建方法与流程

一种基于稀疏样本的单目3d重建方法
技术领域
1.本发明涉及图像处理技术领域，尤其涉及一种基于稀疏样本的单目3d重建方法。


背景技术：

2.图像集合中的样本图像要求50％以上的重合度，才可以进行较为完整的特征匹配重建出场景结构。现有的重建算法均是针对稠密的重建样本，对所有样本采用相同权重重建，导致样本浪费重叠过多，使用重叠率较少样本重建得到的点云不完整。无法获得更完整的目标点云结构。现有技术中均未对稀疏样本下重建进行优化。


技术实现要素：

3.鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种基于稀疏样本的单目3d重建方法。
4.根据本发明的一个方面，提供了一种基于稀疏样本的单目3d重建方法，所述重建方法包括：
5.步骤100：获取具有重叠区域的输入图像i＝{i1,i2,..,in}；
6.步骤200：利用sift算法提取所述输入图像的特征，得到特征集f＝{f1,f2,...,fn}；
7.步骤300：采用局部特征描述符来计算来自不同图像的匹配度；
8.步骤400：根据所述匹配度进行增量重建，得到稀疏点云集p
initial
；
9.步骤500：计算图像对稀疏点云贡献度并进行弱贡献度图像增强后，重复步骤100至步骤400，并对步骤400生成的稀疏点云集进行稠密化，获得重建点云。
10.可选的，所述采用局部特征描述符来计算来自不同图像的匹配度具体包括：
11.采用局部特征描述符来计算来自不同图像的两个特征点之间的相似性；
12.利用相似性矩阵：
13.m
ab
＝{(f
ai’，f
bj’)|i’∈[1，na]，j’∈[1，nb]}
[0014]
根据两幅图像之间的特征对应数来衡量匹配的强度：
[0015]
s(ia，ib)＝|m
ab
|，其中|.|表示元素个数。
[0016]
可选的，所述步骤400：根据所述匹配度进行增量重建，得到稀疏点云集p
initial
；
[0017]
步骤500：计算图像对稀疏点云贡献度并进行弱贡献度图像增强后，重复步骤100至步骤400，并对步骤400生成的稀疏点云集进行稠密化，获得重建点云具体包括：
[0018]
计算相机的姿态信息zi和稀疏点云集p
initial
；
[0019]
根据下面的度量函数公式计算每个图像ii∈i对初始点云的贡献f
metric
(ii)，其中：
[0020]fmetric
(ii)＝|f
imap
|，
[0021][0022]f′
map
：f
←
p
initial
为从三维点云初始的点到输入二维图像中的特征点映射；
[0023]
根据贡献度值生成新的图像集合序列，i’＝{i1’
,i2’
...,i
n’}，按贡献度升序排
列；
[0024]
选择前r个图像生成弱贡献度图像集合i
weak
，其中r为阈值；
[0025]
选择与i
weak
中图像匹配最强的图像，形成集合i
link
；
[0026]ienhanced
＝i
link
∪i
weak
；其中i
enhanced
为需要增强的图像集合，在初始集合i中，扩大i
enhanced
的权重，重复步骤100，步骤200，步骤300，步骤400；重新获得稀疏点云集合；
[0027]
对所述稀疏点云集合进行稠密化，获得最终点云p。
[0028]
本发明提供的一种基于稀疏样本的单目3d重建方法，所述重建方法包括：步骤100：获取具有重叠区域的输入图像i＝{i1,i2,..,in}；步骤200：利用sift算法提取所述输入图像的特征，得到特征集f＝{f1,f2,...,fn}；步骤300：采用局部特征描述符来计算来自不同图像的匹配度；步骤400：根据所述匹配度进行增量重建，得到稀疏点云集p
initial
；步骤500：计算图像对稀疏点云贡献度并进行弱贡献度图像增强后，重复步骤100至步骤400，并对步骤400生成的稀疏点云集进行稠密化，获得重建点云，在不均匀或相对稀疏图像序列上，通过单目3d重建方法生成点云，模拟真实场景效果，减少重建所需的样本量，改善了重建的效果。
[0029]
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
[0030]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0031]
图1为本发明实施例提供的一种基于稀疏样本的单目3d重建方法的流程图；
[0032]
图2为本发明实施例提供的一种基于稀疏样本的单目3d重建方法逻辑示意图。
具体实施方式
[0033]
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0034]
本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
[0035]
下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。
[0036]
如图1和图2所示，本文提出了一种基于稀疏图像样本进行优化3维重建的方法。方法的输入是一组有足够的重叠区域的图像i＝{i1,
[0037]
i2，..，in}。输出一组三维空间中的点集合用来模拟三维真实场景，集合p＝{p1，p2，...，pm}。
[0038]
具体方法如下：
[0039]
1)利用sift算法提取输入图像的特征，得到特征集f＝{f1，f2，...，fn}。每个fi(i＝1，2，...，n)由一个三元组f
ij
＝(x
ij
，y
ij
，f
ij
)|j＝1，2，...，ni}表示。其中ni是第i个输入图像中的特征点数，x
ij
和y
ij
表示第j个特征点的坐标，f
ij
是相应的局部特征描述符。
[0040]
2)使用局部特征描述符来计算来自不同图像的两个特征点之间的相似性。利用相似性矩阵：
[0041]mab
＝{(f
ai’，f
bj，
)|i’∈[1，na]，j’∈[1，nb]}
[0042]
判断两幅图像的匹配强度。例如，如果ia和ib不重叠，那么m
ab
就是一个空的集合对于每个图像对(ia、ib)，通过这两幅图像之间的特征对应数来衡量匹配的强度，即：
[0043]
s(ia，ib)＝|m
ab
|这里|.|表示元素个数。
[0044]
3)对匹配结果进行几何验证后，进行增量重建，其中计算相机的姿态信息zi和稀疏点云集p
initial
。
[0045]
4)根据下面的度量函数公式计算每个图像ii∈i对稀疏点云的贡献f
metric
(ii)，其中：
[0046]fmetric
(ii)＝|f
imap
|，
[0047][0048]f′
map
：f
←
p
initial
表示从三维点云初始的点到输入二维图像中的特征点映射。
[0049]
5)根据贡献度值生成新的图像集合序列，i’＝{i1’
,i2’
...,i
n’}，按贡献度升序排列。选择前r(阈值)个图像，生成弱贡献图像集合i
weak
。
[0050]
6)选择与i
weak
中图像匹配最强的图像，形成集合i
link
；
[0051]
7)i
enhanced
＝i
link
∪i
weak
；其中i
enhanced
为需要增强的集合，在初始集合i中，扩大i
enhanced
的权重，重复步骤1)，2)，3)。对得到结果进行稠密化，得到最终点云p。
[0052]
有益效果：在不均匀或相对稀疏图像序列上，通过单目3d重建方法生成点云，模拟真实场景效果，减少重建所需的样本量，改善了重建的效果。
[0053]
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。