一种光学手指捕捉的标记定位方法与流程

1.本发明涉及光学捕捉领域，尤其涉及一种光学手指捕捉的标记定位方法。


背景技术：

2.光学手指动作捕捉是基于光学的全身动作系统的重要组成部分，主要用来捕捉演员的手指部分的精细动作，是一种精度要求非常高的技术。在以光学定位为核心的手指动作捕捉系统中，标记点的定位是非常基础而又十分关键的技术之一。近年来，随着软硬件技术的发展，光学动作捕捉技术取得了长足的进步，并被广泛应用于影视拍摄、娱乐游戏、医疗健康和体育相关行业，极大的推动了相关行业的发展和进步。
3.标记点定位技术从使用的标记点设备来看主要可以分为被动标记点定位和主动标记点定位两大类。其中被动标记点定位技术使用涂有反光材料的小球作为定位标记点，该小球本身不发光，通过光学捕捉系统中的红外光发射灯板向场景中投射红外光，红外光照射到涂有反光材料的小球上时，会反射红外光，反射红外光在红外相机中成像形成亮斑，从而完成该被动标记点在单个相机中的定位。通过场景中的多个相机，利用三维重建技术计算出该被动标记点在三维空间坐标系中的位置。主动标记点定位方法使用led灯作为定位标记点，与被动定位标记点不同的是，led灯可以主动发射特定频段的红外光，进而无需动作捕捉系统中有红外发射灯板向场景中投射红外光。主动标记点发出的红外光可以在动作捕捉系统的相机中呈现亮斑，从而实现该主动标记点在图像中的定位。同样，利用多个相机的成像和三维重建技术，可以计算出该主动标记点在三维空间坐标系中的位置。
4.在手指动作捕捉场景中，一般在每根手指的指尖处贴一个被动标记点或主动标记点，用来定位手指尖在动作捕捉系统三维空间坐标系中的位置，得到位置之后再通过逆向动力学技术推导出手指各个关节的姿态。由此可见，标记点定位是基础而又关键的一步。由于人手的尺寸相对人体来说相对较小，标记点的位置相对来说也更密集，另外由于在手部动作捕捉中，多个手指尖有触碰的动作十分常见，比如“ok”，“捏”，“握拳”之类的动作。在这种情况下，不同指尖上的标记点的位置会十分接近。如前所述，动作捕捉系统中的红外相机是通过识别被动或主动标记点在相机中形成的亮斑来进行定位的，当两个或多个标记点距离很近的时候，它们形成的亮斑会相互接触，形成一个大的亮斑，从而导致红外相机看到的是一个而不是多个亮斑，从而无法区分各个不同的标记点形成的各自的亮斑，造成无法区分各个标记点在成像图像中的位置。这会给后续的标记点三维空间位置的计算带来极大困难，甚至导致灾难性的后果，从而致使整个手指动作捕捉的失败。


技术实现要素：

5.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是现有的光学手指捕捉标记点无法准确定位的问题，尤其当两个或多个标记点相互靠近时，在相机成像中的标记点之间无法区分的问题。本发明提供的一种光学手指捕捉的标记定位方法，利用led灯作为主动发光标记点，利用控制器对主动发光标记点的发光顺序进行控制，在时间域上进行复
用，巧妙地解决多个主动标记点靠近时成像混叠的问题，提高易用性和系统稳定性。
6.为实现上述目的，本发明提供了一种光学手指捕捉的标记定位方法，包括以下步骤：
7.佩戴光学手指捕捉装置，并与动作捕捉相机连接；
8.使光学手指捕捉装置的发光控制模块与动作捕捉相机的成像系统设置连接并同步；
9.同步后，光学手指捕捉装置以设定的频率依次发光，动作捕捉相机的成像系统以设定的帧率成像，用来对当前正在发光的光学手指捕捉装置的亮斑进行捕捉成像；
10.根据动作捕捉相机的成像系统捕捉到的成像图片，利用三维重建技术定位当前光学手指捕捉装置在三维空间中的位置。
11.进一步地，佩戴光学手指捕捉装置，具体包括将5个红外发光led灯分别粘贴在一只手的5个手指尖处，同时使用绑带绑定在手指上，以便使用及固定；
12.然后将5个红外发光led灯通过连接线与控制器连接，控制器粘贴在手背或手腕上，控制器为光学手指捕捉装置的发光控制模块。
13.进一步地，控制器与动作捕捉相机的成像系统通过网络同步。
14.进一步地，控制器包括2.4ghz wifi模块，设置与同步盒完成通信，通过同步盒与相机成像系统进行网络同步，同步完成后，控制器上的同步状态指示灯呈常量状态。
15.进一步地，同步后，光学手指捕捉装置以设定的频率依次发光，动作捕捉相机的成像系统以设定的帧率成像，用来对当前正在发光的光学手指捕捉装置的亮斑进行捕捉成像，具体包括：
16.同步后，光学手指捕捉装置以设定的时间和顺序依次5个红外发光led灯进行发光，发光保持设定时间后熄灭；动作捕捉相机以设定的帧率进行拍照，由于光学手指捕捉装置的发光控制模块与动作捕捉相机的成像系统已设定了同步，动作捕捉相机在红外发光led灯发光的时间端内进行拍照，记录红外发光led灯发光的亮斑成像图片。
17.进一步地，根据动作捕捉相机的成像系统捕捉到的成像图片，利用三维重建技术定位当前光学手指捕捉装置在三维空间中的位置，具体包括以下步骤：
18.获取动作捕捉相机的成像系统捕捉到的亮斑图像，亮斑图像呈发光的圆斑，通过边缘提取算法得到圆斑中心坐标；
19.根据多个相机下的圆斑中心坐标，基于相机成像模型和对极几何基本原理，使用svd分解求得该亮斑所属led发光标记点的三维空间位置坐标。
20.进一步地，成像系统包括两个红外相机，编号设置为为c1和c2，五个led红外发光标记点，编号分别为l1，l2，l3，l4和l5，在t1时刻l1发光，相机c1和c2捕捉到l1的图像，图像呈现为发光的圆斑，通过边缘提取算法得到圆斑中心坐标，分别记为x1，x2，led发光点真实的3d坐标为x，相机c1、c2的投影矩阵分别为p1、p2，记为
21.x1＝p1x
ꢀꢀ
(1)
22.x2＝p2x
ꢀꢀ
(2)
23.其中：x1,x2分别为led发光点在相机c1、c2的图像上的坐标。
24.进一步地，使用svd分解求得该亮斑所属led发光标记点的三维空间位置坐标，具体包括：
25.综合式(1)和式(2)表示为：
26.x＝px
ꢀꢀ
(3)
27.即：
[0028][0029]
其中：(x，y，z)为齐次图像坐标，(x，y，z，1)表示齐次世界坐标。p1～p12为投影矩阵的各个元素值。
[0030]
公式(3)可以转换成叉乘的形式：
[0031]
x
×
px＝0
ꢀꢀ
(5)
[0032]
可写为以下形式：
[0033][0034]
其中：
[0035]
p1＝[p1 p2 p3 p4 ]
[0036]
p2＝[p5 p6 p7 p8]
[0037]
p3＝[p9 p10 p11 p12]
[0038]
上式变换可得到：
[0039][0040]
将上式左边记为a，则有：
[0041]
ax＝0
ꢀꢀ
(8)
[0042]
使用svd分解算法可解出x，得到led标记点的三维空间坐标。
[0043]
技术效果
[0044]
本发明提供的一种光学手指捕捉的标记定位方法，首先使用红外发光led灯作为主动发光标记点，设备价格便宜，安装及携带都很方便；以设定的频率使得光学手指捕捉装置依次发光，动作捕捉相机的成像系统以设定的帧率成像，在时间域上进行复用，解决了多个主动标记点靠近时造成成像混叠的问题。
[0045]
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
[0046]
图1是本发明的一个较佳实施例的一种光学手指捕捉的标记定位方法的流程示意图；
[0047]
图2是本发明的一个较佳实施例的一种光学手指捕捉装置的佩戴示意图；
[0048]
图3是本发明的一个较佳实施例的一种光学手指捕捉的标记定位方法的标记点依次发光的示意图；
[0049]
图4是本发明的一个较佳实施例的一种光学手指捕捉的标记定位方法的相机投影
示意图。
具体实施方式
[0050]
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0051]
以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
[0052]
如图1所示，本发明提供了一种光学手指捕捉的标记定位方法，包括以下步骤：
[0053]
步骤100，佩戴光学手指捕捉装置，并与动作捕捉相机连接；佩戴光学手指捕捉装置，具体包括将5个红外发光led灯分别粘贴在一只手的5个手指尖处，同时使用绑带绑定在手指上，以便使用及固定；然后将5个红外发光led灯通过连接线与控制器连接，控制器粘贴在手背或手腕上，控制器为光学手指捕捉装置的发光控制模块。本实施例中，将红外发光led灯作为光学捕捉系统中的定位标记点，控制器的内部程序可设定控制红外发光led灯定时间歇性发光，从而控制不同手指上的红外发光led灯在不同的时间段发射红外光，使得在时间轴上，每个手指的标记点错开发光，当相机对主动标记点的亮斑进行成像时，不同标记点的亮斑成像从时间上先后分开，然后通过相机识别软件分别解析出不同的亮斑，进而完成标记点的定位。
[0054]
步骤200，使光学手指捕捉装置的发光控制模块与动作捕捉相机的成像系统设置连接并同步；控制器与动作捕捉相机的成像系统通过网络同步，控制器包括2.4ghz wifi模块，设置与同步盒完成通信，通过同步盒与相机成像系统进行网络同步，同步完成后，控制器上的同步状态指示灯呈常量状态。
[0055]
步骤300，同步后，光学手指捕捉装置以设定的频率依次发光，动作捕捉相机的成像系统以设定的帧率成像，用来对当前正在发光的光学手指捕捉装置的亮斑进行捕捉成像；同步后，光学手指捕捉装置以设定的时间和顺序依次5个红外发光led灯进行发光，发光保持设定时间后熄灭；动作捕捉相机以设定的帧率进行拍照，由于光学手指捕捉装置的发光控制模块与动作捕捉相机的成像系统已设定了同步，动作捕捉相机在红外发光led灯发光的时间端内进行拍照，记录红外发光led灯发光的亮斑成像图片。如图3所示，底部横向长箭头表示时间轴，共有五个主动发光标记点，分别表示为“标记点1”、“标记点2”、“标记点3”、“标记点4”和“标记点5”，顶部竖直向下箭头表示动作捕捉系统中的红外相机拍照时刻。标记点所在的每一行表示该标记点在时间轴上的发光情况，其中灰色部分表示该时间段内主动标记点为发光状态，否则表示该标记点为不发光状态。由图可见，当控制板与相机系统完成同步之后，它们就各自按照自己的频率进行工作，控制板按照固定的时间和顺序依次控制各个红外发光led灯标记点进行发光，发光保持一段时间后并熄灭。相机按照一定的帧率进行拍照。由图3可见，在主动发光标记点控制板的控制下，五个标记点在时间轴上依次发光，由于已与动作捕捉红外相机动作捕捉相机成像系统同步，动作捕捉相机会在标记点发光时间段内进行拍照成像，从而定位到当前发光的标记点的亮斑成像位置。
[0056]
步骤400，根据动作捕捉相机的成像系统捕捉到的成像图片，利用三维重建技术定位当前光学手指捕捉装置在三维空间中的位置。
[0057]
具体包括以下步骤：
[0058]
获取动作捕捉相机的成像系统捕捉到的亮斑图像，亮斑图像呈发光的圆斑，通过边缘提取算法得到圆斑中心坐标；
[0059]
根据多个相机下的圆斑中心坐标，基于相机成像模型和对极几何基本原理，使用svd分解求得该亮斑所属led发光标记点的三维空间位置坐标。
[0060]
本实施例，假设有两个红外相机，编号为c1和c2，五个led红外发光标记点，编号分别为l1，l2，l3，l4和l5。在t1时刻l1发光，相机c1和c2捕捉到l1的图像，图像呈现为发光的圆斑，通过边缘提取算法得到圆斑中心坐标，分别记为x1，x2，如图4所示。
[0061]
根据相机成像模型和对极几何基本原理，可以求得led红外发光标记点的3d位置，具体公式推导如下：
[0062]
记led发光点真实的3d坐标为x，相机c1、c2的投影矩阵分别为p1、p2。根据相机投影原理有：
[0063]
x1＝p1x
ꢀꢀ
(1)
[0064]
x2＝p2x
ꢀꢀ
(2)
[0065]
其中：x1,x2分别为led发光点在相机c1、c2的图像上的坐标。
[0066]
综合式(1)和式(2)可以表示为：
[0067]
x＝px
ꢀꢀ
(3)
[0068]
即：
[0069][0070]
其中：(x，y，z)为齐次图像坐标，(x，y，z，1)表示齐次世界坐标。p1～p12为投影矩阵的各个元素值。
[0071]
公式(3)可以转换成叉乘的形式：
[0072]
x
×
px＝0
ꢀꢀ
(5)
[0073]
可写为以下形式：
[0074][0075]
其中：
[0076]
p1＝[p1 p2 p3 p4]
[0077]
p2＝[p5 p6 p7 p8]
[0078]
p3＝[p9 p10 p11 p12]
[0079]
上式变换可得到：
[0080][0081]
将上式左边记为a，则有：
[0082]
ax＝0
ꢀꢀ
(8)
[0083]
使用svd分解算法可解出x，得到led标记点的三维空间坐标。据此，同理可求其他led标记点的三维空间坐标。由于各个led点发光在时间里是错开的，因此，可以有效避免手指相互靠近时两个led点距离过近导致无法区分的问题。
[0084]
例如，在上述环境中，测试者在五个手指上分别佩戴一个led主动标记点，并做出“ok”的手势。对于大拇指指尖处的led标记点，相机c1和相机c2进行拍照成像，经过边缘提取算法得到该标记点在相机c1和相机c2所成图像中的光斑中心坐标分别为(586,338)和(532,354)，单位为像素，根据上述公式求解得到该主动标记点的三维空间坐标为(-206.7,1564.1,1065.5)，单位为毫米。对于食指指尖处的led标记点，相机c1和相机c2进行拍照成像，经过边缘提取算法得到该标记点在图像中所成光斑的中心坐标分别为(582,332)和(526,347)，单位为像素,并根据上述公式求解得到该主动标记点的三维空间坐标为(-201.7,1569.8,1072.6)，单位为毫米。从前述坐标数据可以看出，拇指和食指在相机上的成像光斑的中心位置很近，如果是同时成像则会造成两个光斑有重叠，无法区分。但由于两个led主动标记点是依次发光，所成像的光斑之间并不会相互干扰，从而可以准确得到各个led主动标记点的位置。
[0085]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。