一种使用RGBD相机跟踪柔性物体形变的方法及系统与流程

一种使用rgbd相机跟踪柔性物体形变的方法及系统
技术领域
1.本发明涉及增强/混合现实领域，具体涉及一种使用rgbd相机跟踪柔性物体形变的方法及系统。


背景技术：

2.随着ar/mr技术的迅速发展，其在多种行业中的应用程度日益加深。跟踪柔性物体形变在ar/mr领域中是一个重要问题，在机器人控制、人机交互、辅助医疗、真实感增强等方面都具有可观的应用空间。然而，由于外在条件的限制，柔性物体形变的跟踪技术很少被应用于实际场景。首先，在实际应用场景中，一般只能观测到目标物体的局部表面信息，由于形变信息的不完整且仅限于表面，这给后续的工作带去潜在的误差。其次，仅限于计算机图像的形变探测方式不足以在目标物体表面光滑、纹理稀疏的场景下获取精确的形变信息，rgbd相机的使用在一定程度上解决了此种场景下形变信息获取的问题。以及难以根据部分表面形变信息精确地推断目标物体整体形变的问题阻碍了柔性物体形变跟踪技术的实际应用。
3.目前，跟踪柔性物体形变的技术关注点在于形变信息的获取和目标物体整体形变的推断。形变信息的获取方式和实际应用场景密切相关，主要有：双目摄像头提取特征点重建可见区域表面结构、rgbd相机直接获取可见区域表面结构、单目摄像头基于深度学习估计可见区域深度数据。目标物体整体形变的推断主要可分为两类：(1)基于几何的形变推断算法，即在根据目标点云推断目标物体整体形变时，仅从几何角度入手，不考虑目标物体的物理特性。如通过cpd(coherent point drift)的方式非刚性配准目标点云和目标物体的几何模型，仅考虑几何模型表面上点的位移，对于内部空间内的位移则直接通过表面顶点的位移映射得到。(2)基于物理的形变推断算法，即依靠基于目标物体的物理特性设计的物理模型预测形变，常使用的物理模型包括：质点弹簧模型(mass spring model)、有限元方法(finite element method)。其中有限元方法以仿真精度著称，在形变推断的精度上表现相对优秀，但受外部约束的影响较大，难以找到一个较为合适的外部约束施加方式，从而得到可接受的推断结果。


技术实现要素：

4.为了解决上述技术问题，本发明提供一种使用rgbd相机跟踪柔性物体形变的方法及系统。
5.本发明技术解决方案为：一种使用rgbd相机跟踪柔性物体形变的方法，包括：
6.步骤s1：基于grab cut从rgbd相机输出的图片序列中根据rgb值分割出目标物体，获取其对应的深度数据，并转换为目标点云，其中，所述图片序列包括：rgb图片和深度图片；
7.步骤s2：基于kinect fusion利用所述目标点云对所述目标物体进行三维重建，通过3d建模软件半自动或手动对其进一步调整，构建所述目标物体的几何模型；根据所述几
何模型，并基于本构模型和解算器，构建所述目标物体的物理模型；
8.步骤s3：对所述目标点云执行空间均匀降采样和降噪操作；对所述目标点云和所述几何模型表面上顶点集合进行尺度和空间位置的统一；利用sac-ia和nicp刚性配准所述目标点云和所述几何模型；利用最近点关系在所述目标点云和所述几何模型的表面顶点集合之间构建点对应关系；根据所述点对应关系给所述物理模型施加外部弹性约束，计算在当前所述外部弹性约束下的整体平衡状态，并迭代此过程以使得所述物理模型形变至理想状态，得到形变后的物理模型；
9.步骤s4：根据所述rgbd相机的内参和经过刚性配准得到的变换矩阵，将所述形变后的物理模型反向投影至所述图片序列。
10.本发明与现有技术相比，具有以下优点：
11.1、本发明公开了一种使用rgbd相机跟踪柔性物体形变的方法，通过使用rgbd相机，并结合grab cut使得目标物体形变信息的获取更方便快捷。
12.2、本发明公开的方法使用基于有限元方法的物理模型推断不可见区域的形变，使用目标点云驱动物理模型形变，使得形变结果更接近于真实环境。
13.3、本发明公开的方法为物理模型设置外部弹性约束，通过迭代的方式更新物理模型的形变，相比于根据局部对应关系直接施加外力，外部弹性约束下的形变结果受参数影响更小，结果更加稳定。
附图说明
14.图1为本发明实施例中一种使用rgbd相机跟踪柔性物体形变的方法的流程图；
15.图2为本发明实施例中前景背景分割结果示意图；
16.图3a为本发明实施例中弹性约束及迭代求解过程示意图；
17.图3b为本发明实施例中弹性约束的迭代过程；
18.图4为本发明实施例中将形变结果反向投影至图片及对应物理模型形变结果示意图；
19.图5为本发明实施例的方法一种使用rgbd相机跟踪柔性物体形变的方法的实现流程图；
20.图6为本发明实施例中一种使用rgbd相机跟踪柔性物体形变的系统的结构框图。
具体实施方式
21.本发明提供了一种使用rgbd相机跟踪柔性物体形变的方法，使得目标物体形变信息的获取更方便快捷；利用目标点云驱动物理模型形变，使得形变结果更接近于真实环境；通过对物理模型设置外部弹性约束，利用迭代的方式更新物理模型的形变，相比于根据局部对应关系直接施加外力，外部弹性约束下的形变结果受参数影响更小，结果更加稳定。
22.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
23.本发明实施例使用语言为c 、使用设备为azure kinect v3、intel(r)i7 8750k cpu(2.21ghz，6核)及16gb ram，运行在windows 10 64位系统上。
24.实施例一
25.如图1所示，本发明实施例提供的一种使用rgbd相机跟踪柔性物体形变的方法，包括下述步骤：
26.步骤s1：基于grab cut从rgbd相机输出的图片序列中根据rgb值分割出目标物体，获取其对应的深度数据，并转换为目标点云，其中，图片序列包括：rgb图片和深度图片；
27.步骤s2：基于kinect fusion利用目标点云对目标物体进行三维重建，通过3d建模软件半自动或手动对其进一步调整，构建目标物体的几何模型；根据几何模型，并基于本构模型和解算器，构建目标物体的物理模型；
28.步骤s3：对目标点云执行空间均匀降采样和降噪操作；对目标点云和几何模型表面上顶点集合进行尺度和空间位置的统一；利用sac-ia和nicp刚性配准目标点云和几何模型；利用最近点关系在目标点云和几何模型的表面顶点集合之间构建点对应关系；根据点对应关系给物理模型施加外部弹性约束，计算在当前外部弹性约束下的整体平衡状态，并迭代此过程以使得物理模型形变至理想状态，得到形变后的物理模型；
29.步骤s4：根据rgbd相机的内参和经过刚性配准得到的变换矩阵，将形变后的物理模型反向投影至图片序列。
30.在一个实施例中，上述步骤s1：基于grab cut从rgbd相机输出的图片序列中根据rgb值分割出目标物体，获取其对应的深度数据，并转换为目标点云，其中，图片序列包括：rgb图片和深度图片，具体包括：
31.步骤s11：根据rgb图片确定目标物体的大致位置，利用其rgb值分别建立高斯混合模型gmm，获取rgb图片中的像素属于前景或者背景的概率，使用最小割使得整张图片的gibbs能量最小，并利用分割结果更新前景和背景的高斯混合模型，并迭代此过程，直至获得目标物体的分割的掩膜mask；其中，gibbs能量计算公式为下述公式(1)：
[0032][0033]
其中，e(α,k,θ,p)代表目标函数，[
·
]表示限制条件，||
·
||表示向量的模，αi∈[0,1]代表第i个像素属于前景或背景，α为αi组成的向量，ki代表第i个像素所属的gmm模型中的分量，k为ki组成的向量，θ代表gmm模型的参数，n为整张图片中像素的个数，p,pi分别表示像素集合与第i个像素，d代表像素pi在通过αi确定属于背景或前景及通过ki确定了所属的高斯分量的情况下，属于前景或者背景的概率的负对数；公式(1)中加号后为平滑项，体现邻域间颜色空间不连续的惩罚，γ为平滑项的权值，c表示相邻的像素对集合，β由图像的对比度确定，对比度大时，其值较小，反之较大，目的是稳定平滑项的大小；
[0034]
本步骤中，首先通过手动划分前景和背景，以确定目标物体的大致位置，然后利用grab cut训练gmm模型，并针对整张图片使用最小割最小化gibbs能量，从而得到一个新的前景和背景的分割，以此重新训练gmm模型，并迭代此过程，直到最终获得表示目标物体的分割的掩码mask。
[0035]
图2展示了前景背景分割结果示意图。
[0036]
步骤s12：根据掩膜mask将深度数据中与目标物体对应的部分分割出来，其中任意一个像素pi通过下述公式(2)转换为目标点云：
[0037]
(x'i,y'i,z'i)＝(xi×di
,yi×di
,di)
ꢀꢀꢀ
(2)
[0038]
其中，x'i,y'i,z'i为像素pi对应的目标点云的坐标，xi,yi,di为rgbd相机所输出与
pi对应的深度数据。
[0039]
经过上述步骤s1，可得到任意一帧中目标物体对应的点云数据。
[0040]
在一个实施例中，上述步骤s2：基于kinect fusion利用目标点云对目标物体进行三维重建，通过3d建模软件半自动或手动对其进一步调整，构建目标物体的几何模型；根据几何模型，并基于本构模型和解算器，构建目标物体的物理模型，具体包括：
[0041]
步骤s21：基于kinect fusion使用多角度的目标点云构建其三维模型，还需借助3d建模软件，通过手动或半自动对其进一步调整，得到目标物体的几何模型；
[0042]
本步骤中，首先基于第三方库pcl(point cloud library)提供的kinect fusion算法，使用多角度的目标物体的点云数据构建其几何模型，由于kinect fusion的重建结果相对粗糙，此步骤还需借助建模软件手动或半自动调整目标物体几何模型。本发明实施例不限于利用kinect fusion进行重建，还可使用医学三维扫描技术获取目标物体的空间信息，如ct、mri等，对目标物体的三维扫描结果进行分割重建，从而得到目标物体的几何模型。
[0043]
步骤s22：使用第三方库tetgen对几何模型执行四面体化，填充几何模型的空间结构，基于本构模型构建目标物体的物理模型；其中，本构模型为co-rotational fem，其单个四面体单元形变所产生内力的计算方式如下述公式(3)～(9)所示：
[0044][0045]
xe＝tx
e0
＝resex
e0
ꢀꢀꢀ
(4)
[0046][0047]
ke＝b
t
eb，m＝x
e0-1
ꢀꢀꢀ
(6)
[0048][0049][0050][0051]
其中，x
e0
代表单个四面体单元的初始空间状态；xe为四面体单元形变后的空间状态，由四个顶点的空间位置决定；fe代表四面体单元从x
e0
形变至xe所产生的内力；re表示四面体单元在此形变过程中所产生的旋转量，通过极分解得到；se为一个对称矩阵，属于中间结果；ke表示四面体单元的刚度矩阵，由杨氏模量λ、泊松比μ和x
e0
计算得到，λ和μ由
目标物体的材质决定；e,b,t为计算ke时使用到的中间结果矩阵。
[0052]
通过上述公式(3)～(9)可以得到四面体化的几何模型中每一个四面体单元的内力向量。
[0053]
步骤s23：根据每个四面体单元的刚度矩阵和内力，得到物理模型的外力、内力和位移增量的关系，如系统方程公式(10)所示：
[0054]
ku＝f-f
ꢀꢀꢀ
(10)
[0055]
其中，f为外部负载，即外力；f为内力；u表示当前状态在f作用下的物理模型中每个顶点所产生的位移增量组成的向量；k代表当前状态下的系统刚度矩阵，由所有四面体单元的刚度矩阵整合得到，单个四面体单元的刚度矩阵计算方式为
[0056]
步骤s24：使用预条件共轭梯度(pcg)解算器对系统方程求解，构建目标物体的物理模型。
[0057]
系统方程使用预条件共轭梯度(pcg)解算器求解，举例来说，对于一个线性方程ax＝b，将a分解为l d l
t
形式，其中l为下三角矩阵，d为对角矩阵，使预条件m＝d构成雅可比预条件，线性方程ax＝b则转换为m-1
ax＝m-1
b，pcg利用预条件减少x系数矩阵的条件数，从而加快线性方程的求解速度。
[0058]
在一个实施例中，上述步骤s3：对目标点云执行空间均匀降采样和降噪操作；对目标点云和几何模型表面上顶点集合进行尺度和空间位置的统一；利用sac-ia和nicp刚性配准目标点云和几何模型；利用最近点关系在目标点云和几何模型的表面顶点集合之间构建点对应关系；根据点对应关系给物理模型施加外部弹性约束，计算在当前外部弹性约束下的整体平衡状态，并迭代此过程以使得物理模型形变至理想状态，得到形变后的物理模型，具体包括：
[0059]
步骤s31：空间均匀降采样的执行方式为将目标点云的包围盒空间按照设定的格子大小均匀分成多份，计算每一个格子包括的所有点的形心位置作为降采样生成的新点，所有的新点组成空间均匀降采样的结果；
[0060]
降噪操作使用的点云滤波包括：半径滤波和统计滤波；其中，半径滤波判断异常点的依据为该点的邻域内点的个数是否满足条件，统计滤波统计每一个点距其最近的k个点的距离的均值，并计算所有均值的标准差，均值大于三倍整体标准差的点被认为是异常点。
[0061]
经过预处理目标点云后，利用下述变换矩阵对目标点云和目标物体几何模型表面上顶点集合进行尺度和空间位置的统一。
[0062]
步骤s32：利用下述公式(11)所示的变换矩阵，对目标点云和几何模型表面上顶点集合进行尺度和空间位置的统一：
[0063][0064]
其中，c
x
,cy,cz为点云的形心位置，d为点云包围盒长宽高的均值的倒数；
[0065]
步骤s33：利用sac-ia和nicp刚性配准目标点云和几何模型，其中，sac-ia仅在第一帧的刚性配准中进行粗配准，后续帧的刚性配准过程使用nicp进行精配准；
[0066]
sac-ia通过计算源点云和目标点云的快速点特征直方图fpfh特征，按照采样距离
从源点云和目标点云上采集特征对应点，并计算两个样本的奇异值分解，根据奇异向量计算源点云转变到目标点云的变换矩阵及执行变换，迭代采样和变换步骤，直到两点云误差小于预设阈值或达到最大迭代次数；
[0067]
nicp将配准问题转化为下述公式(12)所示的最小化问题：
[0068]
min∑i(rpi t-qi)
t
ω
ij
(rpi t-qi)
ꢀꢀꢀ
(12)
[0069]
其中，pi为源点云中的点，qi为目标点云中与pi相对应的点，ω
ij
为piqi的权值函数，由法向、曲率和空间距离决定，r,t为源点云的目标旋转矩阵和目标缩放平移矩阵；
[0070]
在上述刚性配准流程中，目标物体几何模型表面顶点集合保持空间位置不动，目标点云向其靠拢。
[0071]
步骤s34：利用最近点关系在刚性配准后的目标点云和几何模型的表面顶点集合之间构建点对应关系，并使用法向、距离条件进行筛选；
[0072]
设pi和qj分别目标点云和几何模型表面顶点集合中的点，索引分别为i和j，如果满足以下条件，pi和qj为一组对应关系：
[0073]
1)
[0074]
2)
[0075]
3)|piqj|《d
threshold
[0076]
其中，为的顶点集合中与pi最近的n个点集合，n可自行设置，与此类似；和分别为pi和qj的法向，n
threshold
为法向阈值，d
threshold
为距离阈值。
[0077]
步骤s35：外部弹性约束可视为在对应点间连接初始长度为0的弹簧，此时的系统方程形式为下述公式(13)～(14)：
[0078]
kw f＝fc f(w u)
ꢀꢀꢀ
(13)
[0079][0080]
其中，u为物理模型当前的位移向量；f代表当前内力向量；k为当前刚度矩阵；fc代表在迭代过程中累计的外力；w为物理模型在本次迭代中产生的位移增量；f为总位移向量的函数；d,b为f拆解的中间结果；
[0081]
移动未知项到左侧，可得方程(15)：
[0082]
(k d)w＝fc b-f
ꢀꢀꢀ
(15)
[0083]
使用步骤s24中pcg解算器对上述方程进行求解得到w后，更新u、fc、k和f，并重复上述过程，可使得对应点距离逐渐减小，迭代过程的终止条件为达到最大迭代次数或本次w小于阈值，为加快收敛的速度，可选择性地选择较大k0值和动态k值，如k值随迭代过程发生变化，如k＝e-it
k0,it＝0,1,2,
…
。迭代终止后，则可得到形变后的物理模型。
[0084]
图3a展示了弹性约束及迭代求解过程示意图，其中，pi和qj为目标点云和几何模型表面顶点集合中相对应的点；图3b展示了在迭代过程中，qj在piqj这根弹簧的作用下，逐渐
向pi靠近。
[0085]
在一个实施例中，上述步骤s4：根据rgbd相机的内参和经过刚性配准得到的变换矩阵，将形变后的物理模型反向投影至图片序列，具体包括：
[0086]
将形变后的物理模型变换至目标点云的初始位置处，变换矩阵为下述公式(16)：
[0087][0088]
其中，m
ia
为刚性配准期间粗配准得到的变换矩阵；m
icp
为精配准得到的变换矩阵；m
ns
,m
nt
分别尺度空间位置统一时为目标点云和几何模型表面顶点集合的变换矩阵；
[0089]
虚拟相机的视角设置为下述公式(17)：
[0090][0091]
其中，cy代表rgbd相机rgb镜头的像素区域的主点纵坐标，fy代表rgb镜头的纵焦距；将rgb镜头拍摄到的图片作为背景显示，以填充整个可视区域。
[0092]
图4展示了将形变结果反向投影至图片及对应物理模型形变结果示意图。
[0093]
图5为本发明实施例的方法一种使用rgbd相机跟踪柔性物体形变的方法的实现流程图。
[0094]
本发明公开了一种使用rgbd相机跟踪柔性物体形变的方法，通过使用rgbd相机，并结合grab cut使得目标物体形变信息的获取更方便快捷。本发明公开的方法使用基于有限元方法的物理模型推断不可见区域的形变，使用目标点云驱动物理模型形变，使得形变结果更接近于真实环境。此外，本发明公开的方法为物理模型设置外部弹性约束，通过迭代的方式更新物理模型的形变，相比于根据局部对应关系直接施加外力，外部弹性约束下的形变结果受参数影响更小，结果更加稳定。
[0095]
实施例二
[0096]
如图6所示，本发明实施例提供了一种使用rgbd相机跟踪柔性物体形变的系统，包括下述模块：
[0097]
目标点云获取模块51，用于从rgbd相机的输出中分割目标物体，基于grab cut从rgbd相机输出的图片序列中根据rgb值分割出目标物体，获取其对应的深度数据，并转换为目标点云，其中，图片序列包括：rgb图片和深度图片；
[0098]
几何模型和物理模型获取模块52，用于执行非刚性配准步骤，基于kinect fusion利用目标点云对目标物体进行三维重建，通过3d建模软件半自动或手动对其进一步调整，构建目标物体的几何模型；根据几何模型，并基于本构模型和解算器，构建目标物体的物理模型；
[0099]
物理模型形变模块53，用于使用目标点云驱动物理模型产生预期形变，对目标点云执行空间均匀降采样和降噪操作；对目标点云和几何模型表面上顶点集合进行尺度和空间位置的统一；利用sac-ia和nicp刚性配准目标点云和几何模型；利用最近点关系在目标点云和几何模型的表面顶点集合之间构建点对应关系；根据点对应关系给物理模型施加外部弹性约束，计算在当前外部弹性约束下的整体平衡状态，并迭代此过程以使得物理模型形变至理想状态，得到形变后的物理模型；
[0100]
反向投影模块54，用于将形变结果投影到图片序列上，根据rgbd相机的内参和经
过刚性配准得到的变换矩阵，将形变后的物理模型反向投影至图片序列。
[0101]
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。