一种基于深度图像的布料碰撞仿真增强呈现方法及装置与流程

1.本发明涉及图像处理技术领域和虚拟现实技术领域，尤其涉及一种基于深度图像的布料碰撞仿真增强呈现方法及装置。


背景技术：

2.随着5g商用和虚拟现实产业的发展，增强现实以空间虚实融合的增强场景呈现，将虚拟模型与现实场景有机的统一，并结合多媒体技术、实时跟踪和注册、三维重建、虚实场景融合等技术，广泛应用于教育教学、游戏娱乐、医疗培训、工业诊断以及军事训练等多个领域。例如，在教育教学领域，利用增强现实技术将书本上的文字图片等静态信息在虚拟空间三维立体化，带给读者不一样的视觉感受，通过多模态的信息引导，从而更加有利于读者对于知识的理解；又如，在游戏娱乐领域，增强现实技术将玩家、现实环境以及游戏中的虚拟物体关联起来，带给玩家新颖奇特的游戏体验和新的交互手段；又如，在医疗培训领域，增强现实以其较好的虚实结合技术、实时交互能力、三维空间中添加虚拟物体等优点成为医疗培训领域的新兴技术；又如，在工业诊断领域，结合机器视觉和机器学习等技术，能够辅助工作人员对设备进行检修，甚至设备操作方面的辅助操作提示；又如，在军事训练领域，利用增强现实技术构建的训练模型系统，既能够反映真实世界的基本特征，又能够将真实世界中不存在的各种要素以虚拟方式叠加到真实世界中，从而构造出了一种超越真实的模拟训练环境。
3.增强现实技术主要的表现形式为将虚拟模型和信息展示于真实的空间场景中，首先要做的工作就是调用摄像设备(传统摄像头或红外雷达摄像头等)，进行数字图像和视频的目标采集，进而通过识别码或自然特征的准确识别并定位，将现实世界的场景投影到摄像机平面上，最后利用图形建模技术驱动展示虚拟模型信息。
4.当前，诸多增强现实的应用领域中存在着不少以物体自然特征为主要研究对象的应用，用以弥补传统识别码带来的视觉感觉不佳等体验。通过实时计算机图形学仿真技术，能够模拟虚拟物体与现实物体的碰撞检测响应效果，从而推动了增强现实技术向更宽更广的应用衍生。随着用户交互需求的增长，进一步在复杂场景下推动这类技术的发展。
5.随着增强现实应用场景的发展，对于衣帽鞋服等传统制造业和装饰展示也带来了新的创新发展思路。虚拟试衣、增强现实ar化妆、雷达摄影ar鞋码测量等应用也给消费者带来了全新的技术体验，网上购物、物联网和5g高速网络传输的技术背景下，也给消费者带来了新颖的生活方式改变。
6.然而，真实场景下的现有柔性布料仿真效果并不佳。因此，有必要对真实场景下的现有柔性布料仿真效果进行改进，使得增强现实环境中更为直观，通过布料增强呈现来得到更好的仿真效果。


技术实现要素：

7.本发明实施例所要解决的技术问题在于，提供一种基于深度图像的布料碰撞仿真
增强呈现方法及装置，使得增强现实环境中更为直观，通过布料增强呈现来得到更好的仿真效果。
8.为了解决上述技术问题，本发明实施例提供了一种基于深度图像的布料碰撞仿真增强呈现方法，所述方法包括以下步骤：
9.获取布料的深度图，并通过预先构建的感兴趣模型区域的包围盒，在所述布料的深度图中定位出目标区域空间；
10.确定所述目标区域空间中的布料二维图像特征，并根据所述布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图；
11.将所述模板识别自然特征图导入预先定义的柔性布料碰撞检测模型中进行碰撞仿真，以得到布料增强呈现的视觉图像。
12.其中，所述布料的深度图是通过摄像设备或固定位置的多摄像头对含有布料的目标场景进行深度图像采集，并结合深度图像采集时摄像设备或多摄像头的标定信息和视差信息计算出来的。
13.其中，所述感兴趣模型区域的包围盒为aabb包围盒。
14.其中，所述面向特征点或纹理的模板识别自然特征图为根据所述目标区域空间中的布料二维图像颜色或纹理特征，随机构建的简单几何形体图像。
15.其中，所述柔性布料碰撞检测模型为采用弹性力学方程创建的柔性布料三维模型，且所述柔性布料三维模型设计有并行处理的着色器、碰撞处理架构和碰撞响应算法。
16.其中，所述柔性布料三维模型通过以下公式(1)～(5)来表达；
[0017][0018][0019][0020][0021][0022]
式(1)中，f
out
(x，t)表示质点在时刻t所受的外力的总和，f
int
(x，t)表示质点在时
刻t所受的布料内部质点之间作用力的总和；质点之间的内力为弹簧产生的弹性形变力和阻尼力；外力为重力g和设定的恒定外力f
external
；
[0023]
式(2)中，ce，表示质点p0与pi两点间弹簧的弹性变形系数，表示时刻t质点p0与pi之间的距离，表示零时刻粒子p0与pi的最初设定的距离，表示pi指向p0的单位向量；
[0024]
式(3)中，f
damp
表示弹簧阻尼力；cd表示阻尼系数；
[0025]
式(4)中，f
evey
表示质点所受的重力；
[0026]
式(5)中，δt表示时间步长；表示质点[i，j]在时刻t所受到的合力；表示质点[i，j]在时刻t的加速度；表示质点[i，j]在时刻t的速度；表示质点[i，j]在时刻t的位置。
[0027]
其中，所述柔性布料三维模型所设计的碰撞处理架构为采用aabb和 sphere包围盒相结合构造碰撞区域层次化碰撞检测的结构树；其中，该结构树的叶子节点利用sphere包围盒，根节点利用aabb包围盒。
[0028]
其中，所述柔性布料三维模型所设计的碰撞响应算法具体为：
[0029]
若质点和球体碰撞之间检测到了碰撞，即质点与球体的球心距离小于球体的半径时需要进行碰撞响应，则需将质点的位置调整为质点沿速度方向与球体发生碰撞的第一个点，并且将质点的速度修正为只保留与球体的切向速度。
[0030]
本发明实施例还提供了一种基于深度图像的布料碰撞仿真增强呈现装置，包括：
[0031]
目标区域图像分割单元，用于获取布料的深度图，并通过预先构建的感兴趣模型区域的包围盒，在所述布料的深度图中定位出目标区域空间；
[0032]
自然特征图像生成单元，用于确定所述目标区域空间中的布料二维图像特征，并根据所述布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图；
[0033]
碰撞仿真增强图像呈现单元，用于将所述模板识别自然特征图导入预先定义的柔性布料碰撞检测模型中进行碰撞仿真，以得到布料增强呈现的视觉图像。
[0034]
其中，所述柔性布料碰撞检测模型为采用弹性力学方程创建的柔性布料三维模型，且所述柔性布料三维模型设计有并行处理的着色器、碰撞处理架构和碰撞响应算法。
[0035]
实施本发明实施例，具有如下有益效果：
[0036]
本发明引用图像目标特征区域进行增强现实图像匹配，采用实时的柔性布料仿真增强呈现以及采用高效的碰撞检测和响应方法，从而结合了深度图像特征空间的定位和特征匹配来驱动布料与真实目标区域的碰撞响应，使得增强现实环境中更为直观，通过布料增强呈现来得到更好的仿真效果。
附图说明
[0037]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
[0038]
图1为本发明实施例提供的基于深度图像的布料碰撞仿真增强呈现方法的流程
弹簧模型中质点之间的内力为弹簧产生的弹性形变力和阻尼力；外力为重力g和设定的恒定外力f
external
。
[0054]
鉴于本发明采用理想的质点-弹簧模型，可以利用hooke定律计算弹簧的弹性形变力。
[0055]
假设质点p0其相邻质点的集合为r，则p0所受的弹性变形力如式(2)表示。
[0056][0057]
式(2)中，ce表示质点p0与pi两点间弹簧的弹性变形系数，表示时刻t质点p0与pi之间的距离，表示零时刻粒子p0与pi的最初设定的距离，表示pi指向p0的单位向量。p0与pi按照连接方向和中间间隔质点个数来决定是结构弹簧、剪切弹簧和弯曲弹簧中的哪一种，然后再计算响应的力的大小。
[0058]
形变力的变化可能引起布料质点的震荡，为了防止质点过度震荡，从而降低仿真的真实性，故加入弹簧阻尼力f
damp
，该力与质点的速度成一次函数，如式(3)所示。
[0059][0060]
式(3)中，cd是阻尼系数。阻尼力与质点速度成正相关，可以有效果地防止因质点震荡过快而引起的布料不真实地拉长变形的现象发生，从而提升仿真的逼真性。
[0061]
模型使用的是理想的质点-弹簧模型，柔性织物上的质点分布平均且质量一致，设布料的总质量为m，则布料所受的重力为g＝mg。因此，模型中每个质点所受的重力如式(4)所示。通过恒定外力f
external
可以模拟类似风力的效果，其力的大小通过仿真系统来设定。
[0062][0063]
结合以上质点-弹簧模型，可建立力学方程。在模型中质点[i，j]随时间变化的加速度、速度和位移表示如式(5)所示。
[0064][0065]
式(5)中，δt表示时间步长；表示质点[i，j]在时刻t所受到的合力；表示质点[i，j]在时刻t的加速度；表示质点[i，j]在时刻t的速度；表示质点[i，j]在时刻t的位置。
[0066]
更进一步的，本发明采用龙格-库塔方法求解时间积分。相较于欧拉法o(h2) 的截断误差，中值法o(h3)的截断误差，龙格-库塔法能够获得更高的截断误差，其思想为在(xn，x
n 1
)中预测出多个点的斜率，借此构造出更精细的时间积分公式。四阶龙格-库塔积分法是
在每个时间步长内去预测出四个斜率，其截断误差为o(h5)
[0067]
k1＝f(xn，yn)
[0068][0069][0070]
k4＝f(xn h，yn hk3))
[0071][0072]
由上述公式可见，四阶龙格-库塔积分法比欧拉法要进行更多的运算，占用更多的内存空间，但是它的优点是能够提高仿真的精确性和稳定性，非常适合大时间步长的仿真。
[0073]
(ii)该柔性布料三维模型设计有并行处理的着色器。
[0074]
计算着色器(compute shader)是一种可以运用在任意着色阶段的着色器。它为一般任务提供了并行性。为了提高实时性，本发明使用了计算着色器来并行实现弹簧-质点模型的碰撞处理算法。计算着色器的调用次数由用户定义的计算空间控制，计算空间可以定义为一维、二维或三维空间，计算空间又被分成若干组，每个组都包含许多对计算着色器的调用。
[0075]
对于每个不同的计算着色器，可以定义不同的全局空间和局部空间，本发明使用了三个计算着色器来加速仿真流程，如下表1展示了每个计算着色器的名字、功能及所使用的全局空间和局部空间。
[0076]
表1
[0077][0078]
计算着色器没有任何直接用户定义的输入和输出。计算着色器直接从内存中获取数据通过图像访问函数或者通过使用着色器缓冲区对象(shader storagebuffer objects，ssbo)获取数据。着色器缓冲区对象是一个可以在glsl shader中进行写入和读取的一种特殊的缓冲区对象。它们的大小受可用gpu内存量的限制，其大小可以高达16kb。
[0079]
本发明创建了多个ssbo来方便信息的存取，如下表2展示了为每个着色器定义的ssbo。
[0080]
表2
[0081][0082]
计算着色器nodeupdate所启用的线程数与柔体质点的数目相同，每个线程会获得一个全局的id，之后用这个id去获取所处理的质点的坐标、速度等信息。它也有一个能够将模型局部坐标系转换为世界坐标系的矩阵。这个着色器会更新质点局部坐标系中位置和速度以及世界坐标系中的位置和速度。
[0083]
计算着色器collisiondectionwithbvh所启用的线程和着色器nodeupdate 一样，与柔体质点的数目相同，每个线程先获取自己的全局id，然后根据这个全局id去获得自己所需处理的质点信息，然后用这个质点以非递归的深度优先的方法遍历模型的bvh，如果质点与球体碰撞器发生碰撞，则进行碰撞响应，去更新质点的位置和速度。
[0084]
在计算着色器normalshader所启用的线程个数与质点数相同，每个线程计算先获取自己在全局中的id，并读取质点的坐标，整体的行数和列数，然后使用着色器计算这个质点所连接的所有面的法向量，并将向量归一化处理，求出质点的法线。
[0085]
(iii)该柔性布料三维模型设计有碰撞处理架构，具体为采用aabb和 sphere包围盒相结合构造碰撞区域层次化碰撞检测的结构树；其中，该结构树的叶子节点利用sphere包围盒，根节点利用aabb包围盒。
[0086]
在柔体仿真中，物体之间的碰撞类型可以分为柔体-刚体之间的碰撞和柔体
‑ꢀ
柔体之间的自碰撞。本发明主要对柔体与刚体之间的碰撞进行重点处理。
[0087]
(a)对刚体模型的预处理
[0088]
相对以往对于模型的每个三角面构造包围盒来保证仿真过程所带来的真实性，本发明提出了一种通过构造一组bvh结构碰撞器，来简化模型的方法，该方法首先为模型的整体构造一个aabb，然后将aabb根据情况所需划分成多个体素，为每个体素求出一个球体碰撞器，该碰撞器能够将该体素内所含的所有顶点包围起来，球体碰撞器即为bvh(包围盒层次结构)结构树中的叶子节点，代表了刚体模型的实际参与碰撞的部分。aabb碰撞器即为非叶子节点，柔体质点不必再去和模型的每个面进行碰撞检测，用来快速剔除无碰撞区域。
[0089]
(b)包围盒的选择和并行构造bvh
[0090]
sphere包围盒构造简单，但是其紧密性很差，适用于旋转量较大的场景。 obb在紧密型上要比aabb和sphere强上许多，但是繁杂的构造方法会降低实时性。k-dop对于k值的选择十分重要，需要多次测试来选择出最佳的k值，较为麻烦。虽然aabb的紧密性没有obb
好，但是构造方法简单，所以本发明选择使用aabb和sphere包围盒构造bvh。本发明采用基于morton码的自顶向下的方法构造bvh树。自顶向下方法是指碰撞过程先对整个目标碰撞物构建包围盒作为根节点，将目标碰撞物按照一定的规则细分成小的几何体，对几何体进行构造包围盒，这些几何体还可以细分成更小的几何体。就这样依次细分下去的构造方式类似于树状结构，叶子节点构成目标碰撞物的最小几何单元。
[0091]
首先根据每个图元的中心点计算它们的morton码。本发明构建的bvh是一个满二叉树结构，即如果有n个叶子节点，则会有n-1个非叶节点。对每个非叶节点并行处理，根据morton码的最大差异位进行包围盒层次结构的划分。该方法只需分配一个由n-1个非叶节点组成的数组，然后并行处理所有非叶节点。每一个线程首先需要确定其节点对应的对象范围，然后用相同的方式继续分割这个范围。最后，根据节点各自的子范围为节点选择子节点。如果子范围里只有一个对象，则必须是叶子节点。否则，引用数组中的另一个非叶节点。
[0092]
(c)层次包围盒的遍历
[0093]
质点以非递归的深度优先的方法遍历模型的bvh。在质点对刚体模型的 bvh进行遍历时，质点对bvh的某一层的所有节点进行相交测试，如果都不相交，那么该质点与模型不相交，遍历过程如图2所示。
[0094]
(iv)柔性布料三维模型设计有碰撞响应算法。
[0095]
该算法具体为：若质点和球体碰撞之间检测到了碰撞，即质点与球体的球心距离小于球体的半径时需要进行碰撞响应，则需将质点的位置调整为质点沿速度方向与球体发生碰撞的第一个点，并且将质点的速度修正为只保留与球体的切向速度。
[0096]
如图3所示，质点在时刻t0的位置为p0，速度为v0，经过一个步长的时间积分后，在时刻t1的位置为p1，速度为v1，此时质点与球心的距离小于球体的半径，质点与球体发生碰撞，求出质点与球体发生碰撞的点p
′1，将质点为位置修改为p
′1，再将速度改为原速度沿球壳方向的切向速度。由此便完成了碰撞响应。
[0097]
在步骤s1中，通过摄像设备(如深度摄像头)或固定位置的多摄像头对含有布料的目标场景进行深度图像采集，并结合深度图像采集时摄像设备或多摄像头的标定信息和视差信息计算出来布料的深度图，并通过上述预先构建的感兴趣模型区域的aabb包围盒，在布料的深度图中定位出目标区域空间。
[0098]
应当说明的是，由于深度摄像头能够通过单目rgb摄像和红外线摄像头的共同作用，直接获取目标物体的深度信息，故较多摄像头更为灵活。同样也适用于多摄像头条件，目的都是为了获取初始相机标定内外参数据和视差值，故依据实现场景条件选取。
[0099]
在步骤s2中，确定目标区域空间中的布料二维图像特征，并根据布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图，为后续交互过程中的增强呈现虚拟模型进行识别匹配与定位。相对于直接实用目标区域内二维图像特征进行模板匹配，为后续增强呈现的实时性效率会造成一定的影响，因此根据目标区域的二维图像颜色或纹理特征，随机使用简单几何形体作为识别，可以高效进行识别匹配和增强呈现模型的定位，即该面向特征点或纹理的模板识别自然特征图为根据目标区域空间中的布料二维图像颜色或纹理特征，随机构建的简单几何形体图像。
[0100]
在步骤s3中，将模板识别自然特征图导入上述预先定义的柔性布料碰撞检测模型中进行碰撞仿真，就可以得到布料增强呈现的视觉图像。
[0101]
如图4所示，为本发明实施例中，提供的一种基于深度图像的布料碰撞仿真增强呈现装置，包括：
[0102]
目标区域图像分割单元110，用于获取布料的深度图，并通过预先构建的感兴趣模型区域的包围盒，在所述布料的深度图中定位出目标区域空间；
[0103]
自然特征图像生成单元120，用于确定所述目标区域空间中的布料二维图像特征，并根据所述布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图；
[0104]
碰撞仿真增强图像呈现单元130，用于将所述模板识别自然特征图导入预先定义的柔性布料碰撞检测模型中进行碰撞仿真，以得到布料增强呈现的视觉图像。
[0105]
其中，所述柔性布料碰撞检测模型为采用弹性力学方程创建的柔性布料三维模型，且所述柔性布料三维模型设计有并行处理的着色器、碰撞处理架构和碰撞响应算法。
[0106]
实施本发明实施例，具有如下有益效果：
[0107]
本发明引用图像目标特征区域进行增强现实图像匹配，采用实时的柔性布料仿真增强呈现以及采用高效的碰撞检测和响应方法，从而结合了深度图像特征空间的定位和特征匹配来驱动布料与真实目标区域的碰撞响应，使得增强现实环境中更为直观，通过布料增强呈现来得到更好的仿真效果。
[0108]
值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0109]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如rom/ram、磁盘、光盘等。
[0110]
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。