一种拟合深度图像的几何运动细节重建方法及装置与流程

1.本发明涉及计算机视觉、计算机图形学技术领域，特别涉及一种拟合深度图像的几何运动细节重建方法。


背景技术：

2.三维几何重建在计算机图形学与视觉中一直是一个非常重要且有着广泛应用范围的研究内容。随着深度相机的发展，三维几何重建技术已经被广泛地运用到了专业级的应用以及一般用户的日常生活之中。而对于运动对象几何运动细节的重建对于得到高质量的重建结果至关重要。几何运动细节的重建对于渲染真实感强的图像序列、基于几何的物体编辑、重光照等应用都会带来明显的提升。
3.现有的方法大多关注于大尺度运动的重建而忽视了几何运动细节的重建，而一些现有的细节重建方法难以同时达到高重建质量与高运行效率。对于重建动态物体的运动序列，本发明提出了一种拟合深度图像的几何运动细节重建方法，借助深度相机输入，拟合其深度数据并加入正则项从而高效地完成动态对象几何运动细节的高质量重建。


技术实现要素：

4.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本发明的第一个目的在于提出一种拟合深度图像的几何运动细节重建方法，在粗糙的几何与运动重建基础上，通过拟合深度数据的方法快速计算重建几何表面点的细节位置偏移量，从而建模物体表面的几何运动细节。
6.本发明的第二个目的在于提出一种拟合深度图像的几何运动细节重建装置。
7.为达上述目的，本发明第一方面实施例提出了一种拟合深度图像的几何运动细节重建方法，包括：
8.s1，构造含有数据项的势能函数，根据所述势能函数计算位置偏移量大小；其中，所述数据项用于拟合深度数据，约束几何表面点在添加位置偏移量之后与输入的深度图像接近；
9.s2，根据所述位置偏移量大小，基于粗糙基础几何运动在几何表面点添加位置偏移量，所述位置偏移量在空间中的方向为沿相机视线方向；
10.s3，根据所述位置偏移量对细节几何运动进行重建。
11.另外，根据本发明上述实施例的拟合深度图像的几何运动细节重建方法还可以具有以下附加的技术特征：
12.进一步的，在本发明的一个实施例中，所述构造含有数据项的势能函数，还包括：正则项，所述正则项约束某一几何表面点偏移量接近前一帧几何表面点偏移量的平均值。
13.进一步的，在本发明的一个实施例中，所述基于粗糙基础几何运动在几何表面点添加位置偏移量，包括：使用网格的形式对每个几何表面点添加一个位置的偏移量，并表示所述每个几何表面点的三维空间位置坐标。
14.进一步的，在本发明的一个实施例中，计算每一个网格顶点的偏移量，所述偏移量大小由下面的公式计算：
15.e
geo
(d)＝e
fit
(d) w
reg
e
reg
(d)
16.其中d为偏移量的大小，e
fit
为数据项，e
reg
为正则项，w
reg
为正则项的预定义权重。
17.进一步的，在本发明的一个实施例中，所述数据项e
fit
的拟合输入的深度图像由下面的公式计算：
18.e
fit
(d)＝(d
base
d
‑
d
in
)219.其中，d
base
为基础几何顶点在作用基础运动后到相机的距离，d
in
为该帧中对应于该顶点的输入图像的深度值。
20.进一步的，在本发明的一个实施例中，所述正则项e
reg
由下面的公式计算：
[0021][0022]
其中，n表示邻域集合。
[0023]
进一步的，在本发明的一个实施例中，还包括：建立体素集并存储每个体素内网格顶点的平均偏移量。
[0024]
本发明实施例的拟合深度图像的几何运动细节重建方法，通过构造含有数据项的势能函数，根据势能函数计算位置偏移量大小，其中，数据项用于拟合深度数据，约束几何表面点在添加位置偏移量之后与输入的深度图像接近，根据位置偏移量大小，基于粗糙基础几何运动在几何表面点添加位置偏移量，位置偏移量在空间中的方向为沿相机视线方向，根据位置偏移量对细节几何运动进行重建。该方法基于已重建得到的粗糙基础几何与运动，对于其每个表面点添加一个位置的偏移量，能够基于粗糙几何运动计算物体表面点的准确偏移量，从而重建物体的细节几何运动，不同表面点的计算过程完全并行进行，运行效率极高，允许粗糙的基础几何有网格拓扑上的变化。
[0025]
为达上述目的，本发明第二方面实施例提出了一种拟合深度图像的几何运动细节重建装置，包括：
[0026]
构造模块，用于构造含有数据项的势能函数，根据所述势能函数计算位置偏移量大小；其中，所述数据项用于拟合深度数据，约束几何表面点在添加位置偏移量之后与输入的深度图像接近；
[0027]
添加模块，用于根据所述位置偏移量大小，基于粗糙基础几何运动在几何表面点添加位置偏移量，所述位置偏移量在空间中的方向为沿相机视线方向；
[0028]
重建模块，用于根据所述位置偏移量对细节几何运动进行重建。
[0029]
本发明实施例的拟合深度图像的几何运动细节重建装置，通过构造含有数据项的势能函数，根据势能函数计算位置偏移量大小，其中，数据项用于拟合深度数据，约束几何表面点在添加位置偏移量之后与输入的深度图像接近，根据位置偏移量大小，基于粗糙基础几何运动在几何表面点添加位置偏移量，位置偏移量在空间中的方向为沿相机视线方向。根据位置偏移量对细节几何运动进行重建。该方法基于已重建得到的粗糙基础几何与运动，对于其每个表面点添加一个位置的偏移量，能够基于粗糙几何运动计算物体表面点的准确偏移量，从而重建物体的细节几何运动，不同表面点的计算过程完全并行进行，运行
效率极高，允许粗糙的基础几何有网格拓扑上的变化。
[0030]
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0031]
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0032]
图1为根据本发明一个实施例的拟合深度图像的几何运动细节重建方法的流程图。
[0033]
图2为根据本发明一个实施例的拟合深度图像的几何运动细节重建装置的结构示意图。
具体实施方式
[0034]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0035]
下面参考附图描述本发明实施例的拟合深度图像的几何运动细节重建方法和装置。
[0036]
本技术实施例的拟合深度图像的几何运动细节重建方法，基于已重建得到的粗糙基础几何与运动，本发明对于其每个表面点添加一个位置的偏移量，该偏移量使得物体表面点拥有更加准确的三维空间位置坐标，也就使得几何细节的重建更加准确。
[0037]
图1为本发明实施例所提供的一种拟合深度图像的几何运动细节重建方法的流程图。
[0038]
如图1所示，该拟合深度图像的几何运动细节重建方法包括：
[0039]
步骤s1，构造含有数据项的势能函数，根据势能函数计算位置偏移量大小；其中，数据项用于拟合深度数据，约束几何表面点在添加位置偏移量之后与输入的深度图像接近。
[0040]
对于偏移量的大小计算使用最小化势能函数的方法进行，本实施例提出的势能函数包含两项，数据项与正则项。其中数据项用于拟合深度数据，约束物体表面点在添加偏移量之后与输入的深度图像接近。偏移量会被添加到已重建得到的粗糙的运动后的基础几何上。正则项使得重建结果在空间与时间上更加平滑，约束某一表面点的偏移量接近前一帧中附近表面点偏移量的平均值，这有助于重建得到较为平滑的结果。。
[0041]
具体的，构造以下能量函数用于计算偏移量的大小
[0042]
e
geo
(d)＝e
fit
(d) w
reg
e
reg
(d)
[0043]
其中d为偏移量的大小，e
fit
为数据项，e
reg
为正则项，w
reg
是正则项的预定义权重。
[0044]
数据项e
fit
拟合输入的深度图像：
[0045]
e
fit
(d)＝(d
base
d
‑
d
in
)2[0046]
这里d
base
是基础几何顶点在作用基础运动后到相机的距离，而d
in
是该帧中对应于该顶点的输入图像的深度值。增加的偏移量沿相机视线方向。
[0047]
正则项e
reg
表示为：
[0048]
其中n表示邻域集合。
[0049]
s2，根据位置偏移量大小，基于粗糙基础几何运动在几何表面点添加位置偏移量，位置偏移量在空间中的方向为沿相机视线方向。
[0050]
可以理解的是，本实施例中对表面点添加偏移量在空间中的方向为沿相机视线方向，因此在计算时仅需确定偏移量的大小即可。
[0051]
可以理解的是，本实施例中已重建得到的粗糙的运动后基本几何可以使用网格这一通用的形式进行表达，在这种表达的基础上，计算每一个网格顶点的偏移量来对细节几何运动进行重建。
[0052]
具体的，对于其每个表面点添加一个位置的偏移量，该偏移量使得物体表面点拥有更加准确的三维空间位置坐标。
[0053]
s3，根据位置偏移量对细节几何运动进行重建。
[0054]
可以理解的是，本发明计算每一个网格顶点的偏移量来对细节几何运动进行重建，偏移量会被添加到已重建得到的粗糙的运动后的基础几何上，而不同帧之间的网格拓扑是允许发生变化的。
[0055]
可以理解的是，如果粗糙基础几何使用通用的网格表达，则不同帧之间其网格拓扑可能会发生变化，导致不同帧之间难以找到同一个网格顶点的对应关系。因此建立体素集并用于存储上一帧中的体素内表面点平均偏移量大小，体素集位于参考帧也就是序列第一帧的运动姿态下，这样同一个表面点在不同帧中不同的运动姿态下也对应于体素集的同一个体素。
[0056]
由于在重建过程中基础网格的拓扑可能会发生变化，因此在参考帧也就是序列第一帧中构建了体素集，来存储前一帧每个体素中顶点的平均偏移量。这样同一个表面点在不同帧中不同的运动姿态下也对应于体素集的同一个体素，也就可以直接从该体素集中获取前一帧邻域里的偏移量，其中每个邻居对应一个体素。之后该体素将会被更新以用于下一帧的求解。
[0057]
基于这些设计，上述细节拟合方法可以独立且完全并行地计算每个顶点的偏移量，这使得该系统能够高效重建出高质量的几何而不需要去求解大规模的线性问题。同样，该方法可以方便的集成到其他的实时系统中，而不影响其实时性。
[0058]
应该注意的是，本发明中用于拟合深度输入的数据项仅在顶点对应有效深度值的时候才有效。如果顶点对应无深度数据的像素，则仅使用正则项来计算其偏移量。
[0059]
图2为根据本发明一个实施例的拟合深度图像的几何运动细节重建装置的结构示意图。
[0060]
如图2所示，该拟合深度图像的几何运动细节重建装置10包括：
[0061]
构造模块100、添加模块200、重建模块300。
[0062]
构造模块100，用于构造含有数据项的势能函数，根据势能函数计算位置偏移量大小；其中，数据项用于拟合深度数据，约束几何表面点在添加位置偏移量之后与输入的深度图像接近；
[0063]
添加模块200，用于根据位置偏移量大小，基于粗糙基础几何运动在几何表面点添加位置偏移量，位置偏移量在空间中的方向为沿相机视线方向；
[0064]
重建模块300，用于根据位置偏移量对细节几何运动进行重建。
[0065]
进一步，所述构造模块100，还用于正则项约束某一几何表面点偏移量接近前一帧几何表面点偏移量的平均值。
[0066]
进一步，该装置10还包括：体素集模块400，用于建立体素集并存储每个体素内网格顶点的平均偏移量。
[0067]
根据本发明实施例提出的拟合深度图像的几何运动细节重建装置，通过构造含有数据项的势能函数，根据势能函数计算位置偏移量大小，其中，数据项用于拟合深度数据，约束几何表面点在添加位置偏移量之后与输入的深度图像接近，根据位置偏移量大小，基于粗糙基础几何运动在几何表面点添加位置偏移量，位置偏移量在空间中的方向为沿相机视线方向。根据位置偏移量对细节几何运动进行重建。该方法基于已重建得到的粗糙基础几何与运动，对于其每个表面点添加一个位置的偏移量，能够基于粗糙几何运动计算物体表面点的准确偏移量，从而重建物体的细节几何运动，不同表面点的计算过程完全并行进行，运行效率极高，允许粗糙的基础几何有网格拓扑上的变化。
[0068]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0069]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0070]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。