控制图形界面以在虚拟环境中显示投射物的投出的方法与流程

1.本发明涉及用于控制图形界面以在预先限定的虚拟环境中显示三维物体(在此为投射器)的图像的方法和设备。


背景技术：

2.存在用于控制图形界面以显示虚拟三维物体(例如建筑物或车辆，甚至城镇)的图像的设备和方法。该虚拟三维物体能够形成要在图形界面上显示的“虚拟环境”，尤其是当它是城镇或街区时。
3.为此，虚拟三维物体被编码到数字文件中，并且控制方法能够使得在例如计算机或电子平板电脑的屏幕的图形界面上显示虚拟三维物体的图像。数字文件则包括虚拟三维物体的所有点在所谓的三维虚拟参考系中的位置。
4.专利ep2994813 b1说明了用于控制图形界面以显示虚拟三维物体的图像的设备和方法的一个示例。它在跟踪区域中包括配备有能够由使用者操纵的磁体的指针。指针的定位通过包括磁力计阵列的定位设备来确保。当指针靠近或远离虚拟三维物体时，指针在跟踪区域中的移位则使得能够确定虚拟三维物体的视场的光轴，以及比例尺系数。
5.然而，需要具有使得能够与在所显示的图像中表示的虚拟环境动态地交互的用于控制图形界面的设备和方法。


技术实现要素：

6.本发明的目的在于至少部分地弥补现有技术的缺陷，更具体地说，在于提出一种用于控制图形界面的方法，其使得使用者使用能够由使用者操作的实际的(即物理的，非数字的)三维物体来与虚拟环境动态地交互，在此更确切地说，在于提出按照使用者限定的轨迹，在虚拟环境中投出投射物。
7.为此，本发明的主题在于一种用于控制图形界面以在虚拟环境中显示称作投射器的三维物体的数字表示的图像的方法，投射器被设计为在虚拟环境中投出投射物，并包括由非磁性材料制成的结构，投射臂以可移动且运动受限的方式组装到该结构，磁体固定到投射臂。
8.该方法由计算单元实施，并包括以下步骤：
9.○
提供用于在跟踪区域中定位投射器的定位设备，其包括：固定到支撑表面的磁力计阵列；连接到磁力计阵列和图形界面的计算单元；用于跟踪投射器相对于磁力计阵列的预先限定的跟踪区域，以及与跟踪区域相关联的所谓的实际三维参考系；
10.○
在计算单元中存储：数字文件和数字模型；所述数字文件在所谓的虚拟三维参考系中编码虚拟环境，虚拟参考系通过预先限定的映射关系关联到实际参考系；所述数字模型使得能够将表示投射臂在虚拟参考系中的位置和/或取向的投射臂的状态矢量x
b,v
与表示磁体在实际参考系中的位置和取向的磁体的状态矢量x
a|r
相关联，并使得能够获得投射器在虚拟参考系中的数字表示；
11.○
由使用者操作投射臂，投射器位于跟踪区域中并布置为与支撑表面接触，投射臂能够被使用者从静止位置移开，复位部件则在投射臂上向静止位置的方向施加复位力；
12.○
由磁力计阵列测量由磁体在相继的不同测量时刻tn生成的磁场；
13.○
在测量时刻tn，基于由磁体生成的磁场的测量值，确定磁体在实际参考系中的状态矢量x
a|r
；
14.○
基于预先存储的数字模型和预定的状态矢量x
a|r
，在测量时刻tn，确定投射臂在虚拟参考系中的状态矢量x
b|v
，以及投射物的位置p
p|v
；
15.○
根据在测量时刻tn和先前测量时刻的状态矢量x
b|v
限定的所谓的待命因子k1，识别投射臂的待命阶段，在待命因子k1大于或等于预定阈值k
1s
时，识别待命阶段；
16.○
当识别待命阶段时，根据在测量时刻tn由状态矢量x
b|v
限定的所谓的投射因子k2，识别投射物的发射，当投射因子k2大于或等于预定阈值k
2s
时，识别投射物的发射；
17.○
当识别投射物的发射时，确定在之后的测量时刻的投射物在虚拟参考系中的相继位置p
p|v
；
18.○
基于投射臂的预定状态矢量x
b|v
和投射物的预定位置p
p|v
，构造在虚拟参考系中表示虚拟环境、投射器的数字表示和投射物的二维图像，然后通过计算单元控制图形界面，以显示所构造的图像。
19.该控制方法的一些优选但非限制性的方面如下。
20.数字模型还能够使得将表示投射器在虚拟参考系中的位置和取向的投射器的状态矢量x
l,v
与磁体的状态矢量x
a|r
相关联。在该情况中：在操作步骤期间，使用者则还能够操作投射器；在确定投射臂的状态矢量x
b|v
的步骤期间，还能够基于预先存储的数字模型和预定的状态矢量x
a|r
，确定投射器的状态矢量x
l,v
；在构造步骤期间，二维图像则能够基于投射器的状态矢量x
l|v
，显示投射器的数字表示。
21.确定投射物的相继位置p
p|v
的步骤能够包括识别所确定的相继位置p
p|v
中的一个与虚拟环境的表面之间的表示投射物的撞击的相交，和确定在识别投射物的发射的测量时刻与对应于所述撞击的测量时刻之间的飞行时间。
22.在属于所述飞行时间的测量时刻期间，可以不实施识别待命阶段、识别投射物的发射和确定投射物的相继位置p
p|v
的步骤。
23.能够基于当投射臂通过枢转链接组装到结构上时，磁体的倾斜角度，和/或沿着正交于支撑表面的轴线的位置，和/或沿着平行于支撑表面的平面的位置，限定待命因子k1。
24.对于投射臂具有大于或等于预定阈值k
1s
的待命因子k1(t
ref
)的参考测量时刻t
ref
之后的任何所谓的当前测量时刻tn，能够识别待命阶段，在当前测量时刻tn的投射臂则远离静止位置。
25.当识别待命阶段时，能够基于投射器的状态矢量x
l|v
和投射臂的状态矢量x
b|v
确定投射物在虚拟参考系中的估计轨迹，并且在控制图形界面的步骤时能够在所构造的图像上显示该估计轨迹的数字表示。
26.能够在投射臂达到其静止位置的测量时刻，识别投射物的发射，在至少之前的测量时刻识别待命阶段。
27.能够基于投射臂在其达到其静止位置的至少一个测量时刻的即时速度和/或平均速度，限定投射因子k2。
28.能够通过贝叶斯估计算法或优化方法，确定磁体的状态矢量x
a|r
。
29.虚拟环境能够是尺寸大于跟踪区域的尺寸的三维空间。
30.本发明还涉及一种信息存储介质，其包括指令，所述指令用于在其被电子计算单元执行时，执行根据上述特征中任一项所述的控制方法。
31.本发明还涉及一种用于控制图形界面以在虚拟环境中显示称作投射器的三维物体的数字表示的图像的设备，所述设备适于实施根据上述特征中任一项所述的控制方法，其包括：
32.○
包括由非磁性材料制成的结构的投射器，投射臂以可移动且运动受限的方式组装到该结构，磁体固定到投射臂；
33.○
图形界面；
34.○
定位设备，其包括：
35.●
固定到支撑表面的磁力计阵列；
36.●
计算单元，其包括存储器，在存储器中存储有在虚拟参考系中编码虚拟环境的数字文件，以及投射器和投射臂的数字模型，计算单元编程为：
37.■
获取由磁体生成的磁场的测量值；
38.■
计算与相对于支撑表面限定的跟踪区域相关联的实际参考系中的磁体的状态矢量x
a|r
；
39.■
确定虚拟参考系中的投射器的状态矢量x
l|v
、虚拟参考系中的投射臂的状态矢量x
b|v
，和虚拟参考系中的投射物的位置p
p|v
；
40.■
识别待命阶段，并且如果适当的话，识别投射物的发射并且确定在不同时刻的投射物在虚拟参考系中的相继位置p
p|v
；
41.■
构造表示虚拟环境、投射器的数字表示和虚拟参考系中的投射物的二维图像；
42.■
控制图形界面以显示所构造的图像。
附图说明
43.阅读以下参照附图做出的对本发明的作为非限制性示例提供的优选实施形式的详细说明。本发明的其它方面、目的、优点和特征将显现，在附图中：
44.图1a和1b是根据一个实施例的图形界面的控制设备的示意性局部横截面图；
45.图2a和2b是与实际三维参考系相关联的跟踪区域(图2a)和与虚拟三维参考系相关联的虚拟环境(图2b)的示意性局部立体图；
46.图3是在虚拟环境中显示控制设备的投射器的数字表示的图形界面的示意图；
47.图4是固定到投射器的控制臂的磁体在其由使用者操作时所形成的倾斜角的时变示例；
48.图5是示出根据一个实施例的用于控制图形界面的方法的步骤的流程图。
具体实施方式
49.在附图和本说明书下文中，相同附图标记表示相同或相似元件。而且，各个元件没有按比例尺表示，以优先附图的清晰。此外，各个实施例和变型并非相互排斥，而是可相互组合。除非另外说明，“大致”、“大约”、“约”这些术语指相差在正负10％以内，优选地相差在
5％以内。此外，“包括
……
至
……
之间”和等同术语指包含边界，除非有相反的说明。
50.本发明涉及一种用于控制图形界面以在虚拟环境中显示实际三维物体的数字表示的图形并在虚拟环境中实施由使用者使用实际三维物体动态地确定的动作的方法。
51.根据本发明，实际三维物体是被设计为在虚拟环境中投出投射物(即虚拟投射物)的称作投射器的物体。投射器包括结构和安装为可以通过在结构上的位移来移动的投射臂。磁体无自由度地固定到投射臂。投射器能够是弹射器、喷射器，或能够投出投射物的任何其它物体。投射器被设计为与支撑表面接触，以进行投射物的投出。
52.该控制方法实施在投射器被使用者操作时，由包括磁力计阵列的定位设备跟踪磁体。磁体则在与磁力计阵列相关联的跟踪区域中移动。换句话说，定位设备估计在相继的不同测量时刻，磁体在与跟踪区域相关联的实际三维参考系中的位置和取向。
53.图1a和1b是用于控制图形界面2，以在虚拟环境ev中显示投射器10的数字表示31的图像，并借助于投射器10在虚拟环境ev中实施投出投射物32的动作的控制设备1的局部示意图。图1b是图1a的简化视图。控制设备1包括设有磁体15的投射器10、用于在实际参考系rr中定位磁体的定位设备20，和图形界面2。
54.投射器10是旨在由使用者操作(例如用手)以在虚拟环境ev中投出投射物32的物理的(即实际、非数字的)三维物体。在本示例中，这涉及弹射器，但它能够是喷射器、弹弓、弩，或能够投出投射物的任何其它物体。
55.投射器10包括由非磁性材料(例如塑料)制成的刚性结构11，投射臂12以可移动且运动受限的方式组装到该结构。结构11在此包括轮子14，通过这些轮子，它能够搁置于定位设备20的支撑表面sa上。
56.投射臂12包括投射物32的纵向部分12.1和支撑部分12.2。纵向部分12.1沿着纵向轴线在第一端部与相对的第二端部之间延伸，所述纵向部分通过第一端部组装到刚性结构11，支撑部分12.2固定在第二端部。投射臂12在此也由非磁性材料制成。
57.投射臂12以能够移动的方式组装到刚性结构11上(例如通过转动和/或平移)。在弹射器的本示例中，投射臂12通过枢转链接组装。而且，它在移动(在此为转动)中由复位部件限制。复位部件能够是螺旋弹簧或叶片类型的弹簧。在喷射器的情况中，投射臂12能够相对于刚性结构11在平移中移动。
58.在静止时，投射臂12处于止挡位置，在该位置上，所述投射臂被复位部件维持与刚性结构11的止动部分13接触。实际上，复位部件持续地在投射臂12上向止动部分13的方向施加复位力。当使用者致动投射臂12时，该使用者将投射臂12或多或少地远离其止挡位置。如果使用者释放投射臂12，它越远离其止挡位置，复位部件就越快地使其复位。在本示例中，投射臂12处于止挡位置(与止动部分13接触)，但一般性地，在静止时，它处于所谓的静止位置，在该静止位置上，像在弹弓的情况中，它不一定与投射器10的止动部分接触。
59.投射器10包括无自由度地固定到投射臂的磁性物体15，在此为永磁体。磁性物体15包括具有磁化、例如剩磁的材料，对其限定磁矩m。它可以是如在文献wo2014/053526中所示的柱形、例如环形的永磁体，甚至是电磁铁。
60.磁性材料优选地是亚铁磁性的或铁磁性的。它具有即使在不存在外部磁场仍非零的即时磁矩m。它能够具有高于100a.m-1
或500a.m-1
的矫顽磁场，并且磁矩m的强度优选地高于0.01a.m2，甚至高于0.1a.m2，例如等于大约0.8a.m2。考虑磁性物体能够由磁偶极子来近
似，但能够使用其它模型。磁性物体的磁轴定义为与磁性物体的磁矩m共线的轴线。
61.如图1b所示，当投射臂12处于止挡位置时，磁体的磁矩m的轴线(也记为磁轴m)形成静止倾斜角该角度由磁轴m相对于与经过投射器的轮子的平面正交的竖直轴线的角度限定。示例性地，静止角能够等于45
°
。磁体的磁轴m能够与投射臂的纵向轴线平行或不平行。
62.当使用者致动投射臂12并因此使其相对于止挡位置远离时，倾斜角变得大于静止角该倾斜角能够在静止角与最大倾斜角之间变化。
63.定位设备20被设计为在所谓的实际三维参考系rr中、更确切地说在与磁力计mi阵列相关联的跟踪区域zs中定位磁体15。
[0064]“定位”指确定磁体15在跟踪区域zs中的位置和取向。磁体15的位置p
a|r
对应于磁体的几何中心的坐标，即磁体的所有点的未加权重心。此外，磁体15的磁矩m是矢量，其在实际参考系rr中的分量为(m
x
,my,mz)。其模(也称作强度或幅度)记为||m||或m。
[0065]
在此并对于本说明书下文定义在此是直接的实际三维参考系rr，(or,xr,yr,zr)，其中，xr和yr轴线形成与定位设备20的支撑表面sa平行的平面，并且其中，zr轴线取向为与支撑表面大致正交并与磁力计相对。在本说明书下文中，术语“竖直”和“竖直地”指对于与zr轴线大致平行的取向，并且术语“水平”和“水平地”指对于与(xr,yr)平面大致平行的取向。此外，术语“下”和“上”指对于当沿着 zr方向，远离支撑表面sa时，递增的定位。在本示例中，原点or位于跟踪区域zs边缘处，但它能够位于跟踪区域zs的其它位置，例如支撑表面sa的边缘处。
[0066]
磁体15旨在在跟踪区域zs中移动。这是空间，在该空间中，定位设备的磁力计中的至少一个的信噪比snr(即英文的signal to noise ratio)高于或等于预定阈值。示例性地，跟踪区域zs能够是空间，在该空间中，信号，即由磁体生成并由对应的磁力计测量的磁场的至少一个分量或模高于或等于例如噪音的20倍。与每个磁力计相关联的噪音能够等于大约0.3μt。在该情况中，跟踪区域zs对应于空间的区域，在该区域中，由磁体15生成并由磁力计mi中至少一个测量的磁场高于或等于大约6μt，这对应于沿着经过所考虑的磁力计mi的导向轴线的等于大约20cm的距离d
max
。更简单地，跟踪区域zs能够限定为空间，在该空间中，每个点所处的距离小于或等于沿着经过最近的磁力计mi的导向轴线的最大距离d
max
，该最大距离例如等于20cm、甚至10cm、或甚至5cm。
[0067]
定位设备20能够在实际参考系rr中，在跟踪时长t期间，在不同测量时刻，测量其贡献之一是由磁体15生成的磁场的环境磁场，并然后基于磁力计mi的测量值，估计磁体15的位置和取向。
[0068]
为此，它包括相对彼此布置为形成测量平面的磁力计mi阵列。它们无自由度地固定到支撑表面sa。磁力计mi的数量能够例如大于或等于2，优选地大于或等于16，例如等于32，尤其是当涉及三轴磁力计时。然而，磁力计mi阵列包括彼此远离且不两两平行的至少三个测量轴线。
[0069]
磁力计mi无自由度地固定到支撑表面sa，并能够位于板21的后部面处，该板的前部面形成支撑表面sa，其由非磁性材料制成。它们在此按线和列排齐，但能够大致随机地相互布置。磁力计mi的位置是已知的。例如，它们能够为1cm至10cm，例如为5cm。
[0070]
磁力计中mi的每个具有至少一个测量轴线，例如三个轴线，记为xi、yi、zi。每个磁力计因此测量环境磁场bi的幅度和方向，该环境磁场的贡献由磁体生成。更确切地说，每个磁力计mi测量环境磁场bi在磁力计的轴线xi、yi、zi的正交投影的模。磁力计mi的标定参数能够是与磁力计相关联的噪音，在此约为0.3至0.4μt。环境磁场b指不被任意磁性元件干扰的磁场，其尤其由约为50μt的地面贡献形成，在该地面贡献上还加上由磁体生成的磁场ba。能够增加其它磁性贡献，例如与传感器的噪音相关联的贡献和与偏置(英文为offset)误差相关的贡献，这些贡献在此被忽略。
[0071]
定位设备20还包括能够基于磁力计mi的测量值，确定磁体15的限定记为x
a|r
的状态矢量的在实际参考系rr中的位置和取向的电子计算单元22。而且，如下所述，计算单元22能够确定在虚拟三维参考系rv中的与投射器10相关联的状态矢量x
l|v
、在虚拟参考系rv中的与投射臂12相关联的的状态矢量x
b|v
，和投射物32在虚拟参考系rv中的位置p
p|v
。计算单元22还设计为识别投射臂12的待命阶段a，以及投射物32的发射及其在虚拟参考系rv中的轨迹t
p|v
。最后，它设计为构造待显示的图像和控制图形界面2以显示所构造的图像。
[0072]
为此，每个磁力计mi通过信息传输总线(未示出)电连接到计算单元22。计算单元22包括能够执行存储在信息存储介质上的指令的可编程处理器23。它还包括包含实施用于定位磁体15和控制图形界面2的方法所需的指令的存储器24。存储器24还设计为存储在每个测量时刻计算的信息。
[0073]
计算单元22实施将磁体15在实际参考系rr中的位置以及其磁矩m的取向和强度与磁力计mi的测量值相关联的数学模型。基于电磁学、尤其是静磁学方程，构造该数学模型，并尤其是通过磁力计在实际参考系rr中的位置和取向设定其参数。在此，该模型是非线性的。计算单元实施用于估计其解的算法，例如贝叶斯滤波器(例如扩展卡尔曼滤波器)或优化，甚至相同类型的任何其它算法。
[0074]
优选地，为了能够将磁体15近似为磁偶极子，磁体15与每个磁力计mi之间的距离大于磁体的最大维度的2、甚至3倍。该维度能够小于20cm，甚至小于10cm，甚至小于5cm。磁体15能够尤其根据磁体与阵列的每个磁力计mi之间的距离，由(除其它外)偶极子模型来建模。
[0075]
此外，计算单元22包括存储在其存储器24中的编码虚拟参考系rv中的虚拟环境ev的数字文件25，并还包括存储在其存储器24中的投射器10的数字模型26，其尤其使得能够提供投射器10在虚拟参考系rv中的数字表示31。
[0076]
图2a和2b是跟踪区域zs(图2a)和虚拟环境ev(图2b)的示意性局部立体图。
[0077]
在图2a中，示意性地示出跟踪区域zs。支撑表面sa位于跟踪区域zs中。跟踪区域zs中的每个点具有在实际参考系rr中限定的坐标。在本示例中，实际参考系中的原点or位于跟踪区域zs边缘处。跟踪区域zs是空间的物理区域，其中，snr大于预定阈值，并且其中，使用者能够例如通过手操作投射器10。
[0078]
在图2b中，示意性地示出虚拟环境ev。示出投射器10的数字表示31的定位表面sp，该定位表面对应于支撑表面sa的数字表示。虚拟环境ev能够包括地面、表面、墙等。在本示例中，虚拟环境ev是篮球场并包括布置在定位表面sp与背景墙30.2之间的篮筐30.3。虚拟环境的每个点具有在在此直接的所谓的虚拟三维参考系rv(ov,xv,yv,zv)中限定的坐标。在本示例中，虚拟参考系rv的原点ov位于虚拟环境ev边缘处。虚拟环境ev被编码在数字文
件25中，所述数字文件存储在计算单元22的存储器24中。换句话说，数字文件25提供限定虚拟环境ev的元素中的每个的点的位置。虚拟环境ev的元素或某些元素能够是静态的或动态的。
[0079]
图3是显示虚拟环境ev的二维图像的图形界面2的示意图，投射器10的数字表示31以及投射物32位于该虚拟环境中。虚拟环境ev在此是篮球场区域，由地面30.1、背景墙30.2和篮筐30.3形成。示出定位区域sp，并在定位区域sp中显示投射器的数字表示31和投射物32。在该图像中，投射器10处于待命构造a，在该构造中，可发射投射物32。显示投射物32的估计轨迹
[0080]
此外，计算单元22集成实际参考系rr与虚拟参考系rv之间的映射关系f。换句话说，实际参考系rr中的跟踪区域的每个点与虚拟参考系rv中的虚拟环境ev的一个且仅一个点关联。该映射关系f不一定是双射函数，这是因为虚拟环境ev能够是比跟踪区域zs的更大的三维空间。
[0081]
计算单元22还集成投射器10和其投射臂12的数字模型26，其使得能够使得以下与磁体15的表示磁体在实际参考系rr中的位置和取向的状态矢量x
a|r
关联：
[0082]
○
表示投射器10在虚拟参考系rv中的位置和取向的投射器10的状态矢量x
l,v
，和
[0083]
○
表示投射臂12在虚拟参考系rv中的位置和/或取向的投射臂12的状态矢量x
b,v
。
[0084]
换句话说，通过知悉磁体15在实际参考系rr中的位置和取向，计算单元22能够由此推导投射器10在虚拟参考系rv中的位置和取向，其形式为状态矢量x
l|v
。数字模型26还包括关于投射器类型(弹射器、喷射器等)以及其维度的信息。由此，计算单元22能够构造投射器10在虚拟参考系rv中的数字表示31。
[0085]
而且，通过知悉磁体15在实际参考系rr中的位置和取向，计算单元22能够由此推导投射臂12在虚拟参考系rv中的位置和/或取向，其形式为状态矢量x
b|v
。数字模型26还包括关于投射臂12类型和其相对于投射器10的结构11的受限运动(枢转链接、滑动等；复位力强度等)以及其维度的信息。由此，计算单元22能够构造投射臂12在虚拟参考系rv中的数字表示。在此要指出的是，投射臂12的状态矢量x
b|v
能够由投射器10的状态矢量x
l|v
推导或甚至包括在该投射器的状态矢量中，即它能够由状态矢量x
l|v
的一个或多个坐标形成。
[0086]
最后，计算单元22能够集成待投射的投射物32在虚拟环境ev中的数字模型。该数字模型能够包括在与投射器10和投射臂12相关联的数字模型26中。要在虚拟环境ev中表示的投射物32的特征、即其维度和其质量，能够由此在数字模型中限定。计算单元能够包括一个或多个处理器以及一个或多个存储器，其可能彼此远离。
[0087]
图5是根据一个实施例的用于控制图形界面2的方法的流程图。
[0088]
在该示例中，虚拟环境ev由篮球运动三维区域形成，该三维区域由包括定位表面sp的地面30.1、背景墙30.2，和布置在定位表面sp与背景墙30.2之间的篮筐30.3形成，投射器10的数字模型31旨在在该定位表面中显示。
[0089]
该控制方法包括初始化阶段10。
[0090]
在步骤11时，编码虚拟环境ev的数字文件被存储在计算单元22的存储器24中。由此，限定虚拟环境ev的元素(地面、墙、物体等)的每个点限定在虚拟参考系rv中。在该示例中，定位表面sp、地面30.1、背景墙30.2，和篮筐30.3限定在虚拟参考系rv中。
[0091]
在步骤12时，投射器10和投射臂12的数字模型26被存储在计算单元22的存储器24
中。如上所述，数字模型26使得能够基于磁体15的状态矢量x
a|r
，在虚拟参考系rv中表示投射器10和其投射臂12。数字模型26还能够集成关于要表示的投射物32的数据(维度等)。
[0092]
在步骤13时，跟踪区域zs的维度被存储在计算单元22的存储器24中。预先存储在计算单元22的存储器24中的映射关系f使得能够确保实际参考系rr中的位置与虚拟参考系rv中的位置之间的映射。在该示例中，xr和xv轴线选择为相互平行，就像yr和yv，以及zr和zv轴线一样。
[0093]
在步骤14时，计算单元22确定视场的维度。视场能够例如由水平平面(xv,yv)中的第一角度和竖直平面(yv,zv)中的第二角度来限定。光轴上的视场的取向能够选择为是恒定的，或能够取决于投射器10在虚拟参考系rv中的取向。
[0094]
控制方法然后包括设备1的使用阶段20以控制图形界面2和在虚拟环境ev中显示表示投射器10以及投出投射物32的图像。
[0095]
在步骤21时，使用者将投射器10布置在跟踪区域zs中，并与支撑表面接触。使用者操作投射器10，即改变其在水平平面(xv,yv)的位置和/或其取向。然而，投射器10保持与支撑表面sa接触。
[0096]
最初，投射臂12能够处于其静止位置，在此为止挡位置，即它在此通过复位部件维持与刚性结构11的止动部分13接触。倾斜角度则等于静止角度使用者能够改变投射器10在跟踪区域zs中的位置和/或取向，并观察如由图形界面在虚拟环境ev中显示的投射器10的数字表示31。
[0097]
使用者能够致动投射臂12，以进行在虚拟环境中投出投射物32。为此，使用者将投射臂12从止挡位置移开。倾斜角度则增大，并变得大于或等于预定阈值投射器10则具有被设计为投出投射物32的待命构造ca。另一方面，当倾斜角度保持包括在静止角度与阈值之间时，将投射器10视为具有不导致投出投射物32的中间构造ci。
[0098]
最后，使用者能够或多或少突然地释放投射臂12。如果投射器10在释放时刻具有中间构造ci，投射臂12回到其止挡位置cb，没有实施投射物32的发射。另一方面，如果投射器10在释放时刻具有待命构造ca，则实施在虚拟环境ev中投射物32的发射。
[0099]
图4示出磁体15的倾斜角度根据时间的演变的一个示例。
[0100]
倾斜角度在此是表示投射臂12的待命的第一因子k1，该第一因子由计算单元22基于磁体15的磁场的测量值确定的状态矢量x
b|v
推导。更具体地说，该第一因子表示在测量时刻的投射臂12的位置和因此投射器10所处的构造(止挡cb、中间ci、待命ca)。对于其它类型的投射器，止挡构造cb能够是静止构造。显然，能够将由矢量状态x
b|v
推导的其它指标用作表示投射臂12的待命的第一因子k1。这由此能够是测量时刻的倾斜角度与静止角度之间的偏差甚至归一化偏差也能够是磁体5在zr轴线的或投射臂12在zv轴线的竖直位置，或磁体15在平面(xr,yr)中的、甚至投射臂12在(xv,yv)平面中的水平位置。第一因子k1能够由投射臂12的状态矢量x
b|v
或磁体15的状态矢量x
a|r
推导。它能够由此是投射臂12在虚拟参考系rv中的倾斜角度或磁体15在实际参考系rr中的倾斜角度。这两个角度由于磁体15无自由度地固定在投射器10的投射臂12上而相互关联。在该示例中，将这两个角度视为是相等的。
[0101]
最初，使用者致动投射臂12，使得倾斜角度自静止值起增大。它增大到直
至小于的第一最大值，使得投射器10保持在中间构造ci中，然后回到静止值投射臂12因此回到其止挡位置cb。
[0102]
然后，使用者再次致动投射臂12，使得倾斜角度增大到直至大于阈值的第二最大值。投射器10则处于待命构造ca中，则识别待命阶段a：投射物32的发射则是可行的。待命阶段a自从中间构造c1转变到待命构造ca的时刻起，延伸到直至投射器10回到其止挡构造cb的时刻。在本示例中，使用者在时刻t1使得投射臂12转变到待命构造然后在时刻t3使得投射臂12回到止挡构造
[0103]
然后根据表示投出投射物32的第二因子k2，实施或不实施投射物32的发射，该因子由计算单元基于磁体15的磁场的测量值、或更直接地基于磁体15的状态矢量x
a|r
确定的状态矢量x
b|v
推导。
[0104]
能够使用不同因子。根据第一示例，能够比较从构造ca转变到构造ci的时刻(在此记为t2)在时刻t3之前的延迟δt(t3)＝t
3-t2。当该延迟δt(t3)大于预定阈值延迟δts时，估计没有实施投射器32的发射：使用者例如简单地用其手使得投射臂12回到其静止位置，在此为止挡位置。另一方面，如果它小于或等于阈值延迟δts，估计实施投射物32的发射：使用者突然释放了投射臂12，其被复位部件快速地带回到其静止位置，在此为止挡位置。更一般性地，当投射因子k2大于或等于预定阈值k
2s
时，识别投射物32的发射。而且，在本示例中，投射因子k2是1/δt(t3)，并且阈值k
2s
是1/δts。
[0105]
根据另一示例，第二投射因子能够是投射臂12在其达到静止位置(在此为止挡位置)的时刻的即时角速度：如果该即时角速度小于预定阈值估计没有实施投射物32的发射。另一方面，如果即时角速度大于或等于阈值估计实施投射物32的发射。
[0106]
当然，能够使用由状态矢量x
b|r
或状态矢量x
a|r
推导的其它指标。由此，能够涉及在测量时刻t3，基于先前n个测量时刻的滑动平均值计算的平均角速度，甚至在时刻t3与先前n个测量时刻中选择的角速度的最大值，或甚至加速度具有拐点的时刻的角速度。在此，第二因子基于角速度计算，但它能够涉及基于投射臂12的竖直或水平位置的变化的直线速度。
[0107]
在图4所示的示例中，无论是涉及延迟1/δt(t3)还是即时角速度投射因子k2都指示没有实施投射物32的发射。
[0108]
最后，使用者再次致动投射臂12，使得倾斜角度增大到直至高于阈值的第三最大值。投射器10则再次处于待命构造ca，则自时刻t4起识别待命阶段a：发射投射物32则是可行的。使用者则释放投射臂12，其突然在时刻t6回到其止挡构造
[0109]
在此，投射因子k2指示实施投射物32的发射。实际上，延迟1/δt(t6)大于或等于阈值延迟1/δts。类似地，即时角速度大于或等于阈值速度如下文所述，计算单元则确定投射物32在虚拟参考系rv中的实际轨迹t
p|v
。
[0110]
参照图5，现在说明由定位设备与在跟踪区域zs中操作投射器10的步骤21并行地实施的步骤。在测量时刻tn时迭代地实施这些步骤，以预定采样频率，例如以140hz，离散化时间。秩n的每次迭代与也称作当前时刻的测量时刻tn相关联。
[0111]
在步骤22时，磁力计测量当前时刻的环境磁场，和尤其是由磁体15生成的环境磁
场的贡献，该磁体固定到投射器10的投射臂12。
[0112]
然后，在步骤23时，计算单元接收环境磁场的测量值，由此推导由磁体15生成的磁场贡献，并确定与在当前时刻在时间参考系rr中的磁体15相关联的状态矢量x
a|r
。状态矢量x
a|r
包括磁体15在实际参考系rr中的位置和取向。能够借助于贝叶斯类型的用于估计磁体15的位置和取向的算法，例如扩展卡尔曼滤波器，或借助于优化方法(梯度下降等)，或借助于相同类型的任何其它算法，实施对状态矢量的该估计。尤其在申请wo2018/219891中说明了估计与磁体15相关联的状态矢量的一个示例。
[0113]
在步骤24时，计算单元基于磁体15的状态矢量x
a|r
和所存储的数字模型，确定与投射器10相关联的状态矢量x
l,v
和与投射臂12相关联的状态矢量x
b|v
。状态矢量x
l,v
由此包括投射器10在虚拟参考系rv中的位置和取向。并且状态矢量x
b|v
包括投射臂12在参考系rv中的位置和/或取向，在此为磁体15的倾斜角度因此，投射器10能够在虚拟环境ev中用其投射臂12数字表示。
[0114]
在该步骤时，计算单元还基于状态矢量x
l|v
和x
b|v
，和基于投射物32的数字模型，确定投射物32在虚拟参考系rv中的位置p
p|v
。能够由此在虚拟环境ev中数字地表示投射物32，其在此放置在投射臂12的支撑部分12.2中，其在参考系rv中的坐标由至少状态矢量x
b|v
推导。
[0115]
在步骤25时，计算单元确定表示投射臂12的待命的第一因子k1，该第一因子k1由计算单元基于状态矢量x
a|r
确定的状态矢量x
b|v
推导。这涉及例如当前时刻的倾斜角度
[0116]
当关于待命因子k1的条件在待命因子k1大于或等于预定阈值k
1s
时满足时(这在此示出投射臂12已经被待命，但还没有回到止挡位置)，识别待命阶段a。换句话说，当当前时刻tn大于或等于参考时刻t
ref
时，识别待命阶段a，对于该参考时刻，投射器10进入待命构造ca，但对于该参考时刻，投射臂12保持远离止挡位置，即在此：并且在此，待命因子k1是倾斜角度和预定阈值是
[0117]
当识别待命阶段a时，能够由计算单元，基于投射物32的位置p
p|v
和基于投射臂12的状态矢量x
b|v
(例如基于当前时刻的倾斜角度)，和基于投射器10的状态矢量x
l|v
(位置和取向)，确定投射物32在虚拟参考系rv中的估计轨迹能够基于弹道发射的已知和传统的物理模型，确定该估计轨迹其指示投射物32的轨迹，即该物理模型基于处于止挡位置的投射物32的速度矢量(强度、取向)、止挡位置的坐标和表示虚拟环境ev中的重力的参数，随着时间推移在虚拟参考系rv中的位置。
[0118]
如图3所示，能够在由图形界面构造和显示的图像中，示出估计轨迹其示出如果使用者突然释放投射臂12，投射物32可能会采取的假设轨迹，并示出投射物32在虚拟环境ev中的物体(在此为篮筐)上的撞击点。
[0119]
在没有识别待命阶段a的情况中，通过直接进行步骤28，控制方法继续。另一方面，在识别待命阶段a的情况中，控制方法继续进行步骤26。
[0120]
在步骤26时，计算单元确定表示投出投射物32的第二因子k2，该第二因子k2由计算单元基于状态矢量x
a|r
确定的状态矢量x
b|v
推导。这在此涉及当投射臂12达到了其止挡位置
时的即时角速度
[0121]
当关于投射因子k2的条件满足时，即当投射因子k2大于或等于预定阈值k
2s
时，并在此当在倾斜角度等于静止角度的当前时刻时，即时角速度大于或等于预定阈值大于或等于预定阈值时，识别投射物32的发射。
[0122]
在没有识别投射物32的发射的情况下(即当没有投出投射物32时)，控制方法通过直接进行步骤28而继续。另一方面，在识别投射物32的发射时，控制方法继续进行步骤27。
[0123]
在步骤27时，投射物32在虚拟参考系rv中的实际轨迹tp|v由计算单元22，基于投射物32在止挡位置的位置p
p|v
，和基于投射臂12的状态矢量x
b|v
(例如基于当前时刻的倾斜角度)，和基于投射器10的状态矢量x
l|v
(位置和取向)来确定。它考虑到例如投射物32在止挡位置的实际速度(强度、取向)、止挡位置的坐标，和表示虚拟环境ev中的重力的参数。
[0124]
该实际轨迹t
p|v
被存储，并代替先前的估计轨迹而且，计算单元22确定在也被确定的飞行时间期间，投射物32在之后的不同时刻在虚拟参考系rv中的相继位置。
[0125]
在步骤28时，计算单元22构造虚拟环境ev、基于状态矢量x
l|v
的投射器10、基于状态矢量x
b-v
的投射臂12和可能地由先前确定的实际轨迹t
p|v
推导的投射物32的位置的二维图像。如尤其在上述专利ep2994813 b1中所述，通过考虑到先前限定的视场的光轴和角度，构造该图像。计算单元22然后控制在图形界面2上显示所构造的图像。
[0126]
然后以限定的采样频率，重复步骤22至28，该采样频率能够在时间上是恒定的或不是恒定的。在接着发射投射物32且属于所确定的飞行时间的测量时刻时，不实施步骤26和27。投射物32在虚拟参考系rv中的位置p
p|v
由预定的实际轨迹t
p|v
推导。
[0127]
由此，使用者能够非常容易并特别直观地，不仅控制通过设有磁体15的三维物体(投射器10)，在图形界面上显示图形，而且还作用于所表示的虚拟环境ev，这在此是通过在该虚拟环境ev中投出投射物32。操作投射器10由此使得能够直观且特别精确地使得投射物32在虚拟环境ev中定向和取向。
[0128]
控制设备尤其简化，这是因为识别投射物32的发射不要求给跟踪区域中的投射器10配备用于分析和定位投射器10和致动投射臂12的复杂装置。实际上，投射器10仅配备有磁体15，其则能够具有简单的机械结构并由成本不高的非磁性材料(例如塑料)制成。不再通过致动按钮(例如键盘或鼠标)，而是通过由使用者简单地释放投射臂12，来控制投射物32的发射，这使得能够改善使用者体验。
[0129]
而且，投射器10的数字表示和投射臂12的致动能够是流畅且精确的，这是因为测量频率能够相对高，例如能够约为140hz。而且，每个测量时刻和可能地所显示的每个图像能够与接着的时刻分隔仅数毫秒，这使得能够忠实地再现由使用者对跟踪区域中的投射器10的操作。
[0130]
尤其是因为投射器10保持与跟踪区域中的支撑表面接触，使得信噪比snr保持特别高，且由于在支撑表面上接触，操作跟踪区域中的投射器10的自由度减小到水平平面(xr,yr)的两个维度，精度尤其高。投射器10的定位和投射臂12的致动的精度则是高的。
[0131]
则可与虚拟环境ev的不处于跟踪区域的数字表示中的元素交互，这是当虚拟环境ev是比跟踪区域的更大的3d空间时。该交互能够触发在虚拟环境中的给定动作(设置虚拟物体的移动或致动)。
[0132]
以上说明了具体实施例。对于本领域技术人员，不同变型和改变将会是明显的。
[0133]
由此，与定位磁体相关联的采样频率(例如140hz)、所构造的图像的显示频率，和更新投射器的数字表示和投射物的位置的频率能够彼此不同。
[0134]
此外，在识别投射物的发射的时刻，如在上文中所详细说明的，则确定投射物的轨迹t
p|v
。然后，在飞行时间期间，基于先前确定的轨迹，和可能地基于关于虚拟环境的参数，限定当前时刻的投射物的位置p
p|v
。示例性地，在飞行时间期间，能够改变重力的方向，在该情况中，由此更新投射物的位置p
t|v
。
[0135]
如上所述，止挡位置能够是简单的静止位置，在该位置上，投射臂不与止动部分接触。弹弓、甚至可能地喷射器，尤其是这样的情况。上述的识别待命和发射的步骤则考虑到静止位置，而不是止挡位置。