用于确定在自然视觉姿势下人的头部的经定向的3D表示的方法与流程

用于确定在自然视觉姿势下人的头部的经定向的3d表示的方法
技术领域
1.本发明涉及一种用于确定在自然视觉姿势下人的头部的经定向的3d表示的方法。本发明进一步涉及一种使用通过根据本发明的方法获得的人的头部的经定向的3d表示来确定适于人的一副眼镜片的配适参数的方法。


背景技术：

2.适合于配戴者以及所选眼镜架的眼科镜片的设计和制造目前需要眼镜师进行一项或多项测量。
3.允许取决于与个人相关联的参数和所选择眼镜架来个性化旨在用于个人的光学装备的眼科镜片的方法例如基于确定个人每只眼睛的转动中心相对于位于他头部上的镜架的位置。
4.于是能够精确地确定每个眼科镜片的光学中心在所选择镜架中的位置，使得眼科镜片被正确地定位在个人的眼睛前方。
5.因此，眼睛的转动中心的位置是在与配戴着镜架的自然条件非常不同的条件下、相对于眼科镜片静态地确定的，而没有考虑个人的姿势。
6.多种已知的方法不允许例如在与个人日常生活中遇到的条件相似的条件下并且有可能在这个人的移动过程中、相对于这个人的身体的姿势来确定个人的眼睛的转动中心的位置。
7.具体而言，允许相对于图像捕捉装置来确定身体姿势的现有方法和装置没有精确到足以允许相对于身体来确定眼睛的转动中心的位置。
8.因此，眼镜师所执行的测量是不精确的，因为这些测量是在反常条件下进行的。
9.为了弥补现有技术的上述缺陷，本发明提出了一种用于确定人的头部的经定向的3d表示的方法，该方法允许将个人身体的姿势考虑在内。


技术实现要素：

10.为此，本发明提出了一种由计算机装置实施的用于确定在自然视觉姿势下人的头部的经定向的3d表示的方法，所述方法包括以下步骤：
11.a)接收与在第一坐标系中所述人的头部的第一3d表示和在所述第一坐标系中所述人的至少一只眼睛的转动中心的位置相对应的第一数据集，
12.b)确定与在第二坐标系中在自然视觉姿势下所述人的头部的取向相对应的第二数据集，
13.c)通过在共用坐标系中基于步骤b)的所述人的头部的取向对所述人的头部的第一3d表示进行定向来确定所述人的头部的经定向的3d表示。
14.有利地，这种方法允许分离形态测量和姿势，以便通过人的至少一只眼睛的转动中心的位置来确定在定义姿势下的经定向的3d头部扫描。
15.由于本发明，可以用精确的仪器进行形态测量而无需考虑姿势，从而允许在三维头部扫描中确定所述人的至少一只眼睛的转动中心的位置，所述三维头部扫描将被用作下一步的计量坐标系。
16.然后，在“不受约束”的情况下并在眼保健从业人员(ecp)引导下第二次做出姿势。
17.所述共用坐标系是通过姿势测量来对形态测量进行定向而对步骤a)和b)的关联。此共用坐标系是在定义姿势下经定向的3d头部扫描，可以用于和重复使用以配适真实或虚拟坐标系，以便为眼镜架设计眼科镜片。
18.根据可以单独或组合考虑的进一步实施例：
19.‑
在步骤b)期间，确定所述人的目光方向；
20.‑
所述共用坐标系的原点基于所述人的所述至少一只眼睛的所述转动中心；
21.‑
在步骤b)中，将所述人置于所述人的头部姿势不受约束的真实生活情境中；
22.‑
在步骤b)中，所述人进行一项或多项习惯性活动；
23.‑
所述人的习惯性活动是以下活动之一：
24.o阅读各种媒体(书籍、杂志、智能手机、笔记本电脑、台式电脑)
25.o使用智能手机或平板电脑(看视频、看图片、拍照)
26.o在书桌上工作，
27.o驾驶，
28.o练习运动，
29.o烹饪，
30.o控制游戏操作台，
31.o坐下休息，
32.o看电视，
33.o演奏乐器；
34.‑
在步骤b)中，根据对所述人的头部的图像的一次或多次采集来确定所述人的眼睛的转动中心的位置；
35.‑
为了确定所述人的目光方向，在步骤b)中捕捉的所述图像中标识所述人的瞳孔或角膜反射的图像，并且从其中取决于在所述第二参考坐标系中所述转动中心的位置来推导出所寻求的目光方向，所述位置是在所述第一参考坐标系中在所述第一组数据中确定的；
36.‑
为了确定所述人的目光方向，确定目光所盯住的并且属于所述人的环境的多个元素在所述第二参考坐标系中的位置；
37.‑
在步骤b)中，所述第二组数据包括在所述人正将其目光注视在视觉目标上时采集的所述人的头部的一系列第二图像，在捕捉每个第二图像期间确定此视觉目标相对于第二图像捕捉装置的位置；
38.‑
所述方法进一步包括在步骤b)之前的校准步骤，在所述校准步骤期间，执行对用于捕捉二维或三维图像的第二装置的校准，在所述校准步骤中，用所述第二图像捕捉装置来捕捉专用标准物体的图像；
39.‑
在步骤b)期间确定所述第二图像捕捉装置的空间位置和/或取向，并且从其中确定与在自然视觉姿势下人的头部的空间位置和/或取向相关的信息；
40.‑
所述第一数据集包括在所述第一坐标系中所述人的双眼的转动中心的位置，并且所述共用坐标系的原点对应于所述人的中央眼；
41.‑
所述第一数据集是借助于用于捕捉三维图像的第一装置采集的，于是此三维图像构成了所述人的头部的所述第一表示；
42.‑
在采集所述第一数据集后，在所述第一参考坐标系中所述转动中心的位置通过以下步骤确定：
43.o使用图像捕捉装置捕捉所述人的头部的至少两个图像，在这些图像中所述人的头部相对于所述图像捕捉装置的姿势的图像是不同的，在这些图像中所述人正将其目光注视在预定位置的视准点上，
44.o确定所述人的、与所述两个图像中的每一个图像相对应的目光方向，
45.o从其中推导出所述人的至少一只眼睛的转动中心的位置；
46.‑
步骤b)和采集所述第一数据集的步骤是分开进行的并且使用不同的图像捕捉装置进行；
47.‑
在步骤c)之前的步骤中，所述第一数据集和第二数据集中的每一个数据集都与人的标识符对应地存储。
48.本发明的另一个目的是一种使用通过根据本发明的方法获得的人的头部的经定向的3d表示来确定适于人的一副眼科镜片的配适参数的方法。
49.本发明还涉及一种用于执行根据本发明并且如前所述的用于确定在自然视觉姿势下人的头部的经定向的3d表示的方法的系统。更具体地，所述系统包括：
50.存储器；以及
51.处理器，被布置成执行存储在所述存储器中的程序指令以至少：
52.a)接收与在第一坐标系中所述人的头部的第一3d表示和在所述第一坐标系中所述人的至少一只眼睛的转动中心的位置相对应的第一数据集，
53.b)确定与在第二坐标系中在自然视觉姿势下所述人的头部的取向相对应的第二数据集，
54.c)通过在共用坐标系中基于步骤b)的所述人的头部的取向对所述人的头部的第一3d表示进行定向来确定所述人的头部的经定向的3d表示。
55.本发明进一步涉及一种计算机程序产品，包括一个或多个存储的指令序列，所述指令序列可由处理器访问，并且当由所述处理器执行时，使所述处理器执行以下步骤：
56.‑
根据本发明的用于确定在自然视觉姿势下人的头部的经定向的3d表示的方法；和/或
57.‑
使用通过根据本发明的方法获得的所述人的头部的经定向的3d表示来确定适于人的一副眼科镜片的配适参数的方法。
58.本发明还涉及一种其上记录有程序的计算机可读存储介质；其中所述程序使计算机执行本发明的至少一种方法。
59.本发明进一步涉及一种包括处理器的装置，所述处理器适于存储一个或多个指令序列并执行根据本发明的方法的至少一个步骤。
60.除非另有具体声明，从以下讨论中明显的是，将认识到整个说明书中，使用了比如“计算”、“运算”等术语的讨论是指计算机或计算系统或类似的电子计算装置的动作和/或
过程，所述动作和/或过程对在所述计算系统的寄存器和/或存储器内表示为物理(比如电子)量的数据进行操纵和/或将其转换成在所述计算系统的存储器、寄存器或其他此类信息存储、传输或显示装置内类似地表示为物理量的其他数据。
61.本发明的实施例可以包括用于执行本文中的操作的设备。此设备可以是为所期望的目的而专门构建的，或其可以包括共用计算机或被存储在计算机中的计算机程序选择性地激活或重新配置的数字信号处理器(“dsp”)。这种计算机程序可以存储在计算机可读存储介质中，比如但不限于任何类型的磁盘，包括软盘、光盘、cd
‑
rom、磁光盘、只读存储器(rom)，随机存取存储器(ram)、电子可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、磁卡片或光卡片，或任何其他类型的适合于存储电子指令并且能够联接到计算机系统总线的介质。
62.本文中所提出的过程和显示器并非本来就与任何特定的计算机或其他设备相关。各种共用系统都可以与根据本文中的教导的程序一起使用，或者其可以证明很方便地构建更专用的设备以执行所期望的方法。
63.各种这些系统所期望的结构将从以下描述中得以明了。此外，本发明的实施例并没有参考任何具体的编程语言而进行描述。将要认识到的是，可以使用各种编程语言来实施本文中所描述的本发明的教导。
附图说明
64.现将仅以举例方式并且参考以下附图对本发明的实施例进行描述，在附图中：
65.‑
图1是根据本发明的用于确定自然视觉姿势下人的头部的经定向的3d表示的方法的流程图的图示；
66.‑
图2是根据本发明的另一个实施例的用于确定自然视觉姿势下人的头部的经定向的3d表示的方法的流程图的图示；以及
67.‑
图3是用于测量人的姿势的方法的图示。
68.附图中的元件仅为了简洁和清晰而图示并且不一定按比例绘制。例如，附图中的一些要素的尺寸可以相对于其他要素被放大，以便帮助增加对本发明的实施例的理解。
具体实施方式
69.参考图1，本发明涉及一种用于确定自然视觉姿势下人的头部的经定向的3d表示的方法。实际上，该方法是通过计算机装置来实施的。
70.在本发明的意义上，配戴者的自然视觉姿势是配戴者在自然环境中的姿势，即没有任何约束。例如，配戴者的视野必须空旷的，换句话说，不要面对仪器或镜子。
71.在本发明的意义上，除非具体指的是“眼镜架(spectacle frame)”，否则“坐标系(frame)”指的是参考坐标系。
72.该方法至少包括：
73.a)第一数据集接收步骤s2，
74.b)第二数据集确定步骤s4，以及
75.c)经定向的3d表示确定步骤s6。
76.在第一数据集接收步骤s2期间，接收与在第一坐标系中人的头部的第一3d表示和
在所述第一坐标系中人的至少一只眼睛的转动中心的位置相对应的第一数据集。
77.例如，第一数据集为云点或网格的形式。
78.在采集三维图像期间，人以未定义的姿势站在仪器的前方，并且允许采集正确的头部度量，以便处于用于确定至少一只眼睛的转动中心的位置并且用于步骤b)的计量坐标系中。
79.第一数据集在未定义的坐标系中表示，该坐标系可以是仪器坐标系或头部坐标系。
80.然后，在第二数据集确定步骤s4期间，确定与在第二坐标系中处于自然视觉姿势的人的头部的取向相对应的第二数据集。
81.第二数据集可以进一步包括人的头部的3d表示上的参考点的特征，比如鼻梁点、又称为(鼻根点)和/或鼻尖点和/或外部眦或外眦和/或内部眦或内眦。
82.在此步骤期间，眼保健从业人员会测量配戴者例如在与用于收集第一组数据的环境不同的环境中的姿势。这种姿势是自然视觉姿势，即没有任何约束。例如，配戴者的视野必须空旷(而不是在镜子前方)，以便具有更具代表性的姿势。换句话说，这种自然视觉姿势是由眼保健从业人员验证的、在更接近配戴者日常生活的环境中的姿势。
83.为此，在同一第二坐标系中测量头部位置(3d头部扫描、图像上的标志
……
)和目光目标。可以实施下面描述的不同方法以测量人的姿势。
84.例如，在步骤s4中，人优选地被置于真实生活情境中，其中人的头部的姿势不受约束。
85.有利地，在与确定第二数据集有关的步骤b)期间，人进行一种或多种习惯性活动，例如，以下活动之一：
86.‑
阅读各种媒体(书籍、杂志、智能手机、笔记本电脑、台式电脑)
87.‑
使用智能手机或平板电脑(看视频、看图片、拍照)
88.‑
在书桌上工作，
89.‑
驾驶，
90.‑
练习运动，
91.‑
烹饪，
92.‑
控制游戏操作台，
93.‑
坐下休息，
94.‑
看电视，
95.‑
演奏乐器。
96.优选地，在步骤b)期间，确定人的目光方向。
97.根据实施例，在与确定第二数据集有关的步骤b)期间，人可能正戴着眼镜架，例如由配戴者选择的眼镜架。根据这种实施例，第二组数据可以进一步包括眼镜架的特征，比如中间鼻梁点、和/或方框法数据和/或镜架的底部点。
98.在经定向的3d表示确定步骤s6期间，通过在与头部相关联的共用坐标系中基于在步骤s4期间确定的人的头部的取向来对头部的第一3d表示进行定向来确定人的头部的经定向的3d表示。
99.优选地，共用坐标系的原点基于人的所述至少一只眼睛的所述转动中心。
100.优选地，第一数据集包括在第一坐标系中人的双眼的转动中心的位置，并且共用坐标系的原点对应于人的中央眼。
101.此外，第一数据集和第二数据集中的每一个数据集有利地都与在步骤s6之前的步骤中人的标识符对应地存储。
102.根据与前一实施例相容的另一个实施例，在步骤b)中，根据人的头部图像的一次或多次采集来进一步确定人的眼睛的转动中心的位置。
103.优选地，为了确定人的目光方向，在步骤b)中捕捉的图像中标识人的瞳孔或角膜反射的图像。然后从其中取决于在第二参考坐标系中转动中心的位置推导出所寻求的目光方向，所述位置是在第一参考坐标系中在第一组数据中确定的。
104.有利地，为了确定人的目光方向，确定目光所盯住的并且属于人的环境的多个元素在第二参考坐标系中的位置。
105.根据与先前实施例相容的另一个实施例，在步骤s4中，第二组数据优选地包括当人将他的目光注视在视觉目标上时被采集的人的头部的一系列第二图像。在捕捉每个第二图像期间确定此视觉目标相对于第二图像捕捉装置的位置。
106.根据与前述实施例相容的另一个实施例，第一数据集优选地借助于用于捕捉三维图像的第一装置来采集。此三维图像于是构成人的头部的所述第一表示。
107.优选地，三维图像是耳对耳地完成以配适坐标系。
108.在采集三维图像期间，人以未定义的姿势站在仪器的前方，并且允许采集正确的头部度量，以便处于用于确定至少一只眼睛的转动中心的位置并且用于步骤b)的计量坐标系中。
109.这种三维图像可以通过以下方式来获得：摄影测量、图案/法兰投影、立体摄影
……
110.例如，根据图2所示的实施例，在采集第一数据集后，有利地通过以下步骤确定在第一参考坐标系中转动中心的位置：
111.‑
步骤s22，其中使用图像捕捉装置捕捉人的头部的至少两个图像，在这些图像中，人的头部相对于所述图像捕捉装置的姿势是不同的，在这些图像中人正将其目光注视在预定位置的视准点上，
112.‑
步骤s24，用于确定两个图像中的每一个图像中人的目光方向，
113.‑
步骤s26，其中，从其中推导出人的至少一只眼睛的转动中心的位置。
114.因此，在第一坐标系中转动中心的位置是根据在不同头部姿态同时保持相同的目光方向(即具有不同的头部倾斜、转动、头帽，但目光始终在同一目标上(例如，中心相机镜头))的情况下捕捉的人的头部的多个图像确定的。
115.当然，在第一坐标系中转动中心的位置也可以替代地根据当目标正移动时以固定的头部所捕捉的人的头部的多个图像来确定。
116.优选地，步骤s4和采集第一数据集的步骤是分开进行的并且使用不同的图像捕捉装置进行。
117.根据与先前实施例相容的另一个实施例，该方法进一步包括在步骤b)之前的校准步骤，在该校准步骤期间，执行对用于捕捉二维或三维图像的第二装置的校准。在此校准步骤期间，用所述第二图像捕捉装置来捕捉专用标准物体的图像。
118.有利地，在步骤b)期间确定所述第二图像捕捉装置空间位置和/或取向。此外，从其中确定与在自然视觉姿势下人的头部的空间位置和/或取向有关的信息。
119.根据与先前实施例相容的另一个实施例，在确定第一组数据和第二组数据时可以使用相同或至少相同类型的图像捕捉装置。
120.例如，图像捕捉装置被定位在眼保健从业人员端处的桌子上，为以自然姿势向前看的人提供大的空旷的视野。图像捕捉装置倾斜以查看人的脸部。图像捕捉装置的高度低于人的头部位置。
121.在步骤a)中，人在至少2个镜头或一个时间序列期间低头、目光图像捕捉装置并移动他的头部。
122.有利地，低头允许更好的测量精度，因为头部的角度和相机的视角很接近。
123.此步骤允许测量和确定面部3d的精确测量值、头部中的眼睛转动中心位置以及最终对该人可能配戴的眼镜架的测量值，比如眼镜架在头部上的位置和/或眼镜架的形状。
124.在第二阶段，人被置于没有任何姿势约束的情况下。眼保健从业人员以最佳姿势进行姿势测量以进行镜片配适测量。此姿势测量可以用相同的图像捕捉装置以自然的头部姿势完成。这种测量可以在步骤a)的测量之后很长一段时间内并在另一个地方进行。头部姿势测量是一种简单且快速的测量。
125.本发明的另一个目的涉及一种使用通过根据本发明且如前所述的方法获得的人的头部的经定向的3d表示来确定适于人的一副眼科镜片的配适参数的方法。
126.可以用收集到的所有数据来确定配适参数。
127.例如，配适参数可以包括眼睛转动中心距离，即在右眼眼睛转动中心的3d位置与左眼眼睛转动中心之间的欧几里得距离。
128.配适参数可以进一步或替代地包括可以用鼻尖点或用鼻梁点确定的半瞳孔距离。根据头部取向来计算鼻尖点或鼻梁点的正交投影。两眼转动中心连线与鼻尖点或鼻梁点投影之间的交点给出了截面以确定半瞳距。半瞳距是在此点与每个眼睛转动中心之间的欧几里得距离。
129.然后可以使用这种配适参数来制造和提供一副适于人的眼镜片。
130.现在将描述测量人的姿势的不同方法。
131.示例1
132.根据第一方法，眼保健从业人员(ecp)管理“自然”姿势测量以便确定人的至少一个眼睛的转动中心的取向。眼保健从业人员凭借其专业知识决定配戴者何时处于良好姿势。
133.例如，对于静态情况，该人可以直视远处的物体并且ecp在人的前方并且他一个接一个地固定ecp的左右眼。对于动态情况，人可以走路或进行社交互动。
134.背离人的视野的专用装置测量与之前完成的头部3d表示相关的头部姿势，并且确定世界环境中至少一只眼睛的转动中心(erc)的erc取向。
135.对姿势的记录可以在一个镜头中或在一个时间序列期间完成。测量可以在线或离线完成：眼保健从业人员选择姿势测量的最佳部分或时刻以确定erc的取向。
136.示例2
137.根据第二方法，眼保健从业人员(ecp)例如从一副旧的舒适视力的眼镜上或从一
副新的具有由ecp进行的手动配适的眼镜上在镜片上用十字或用线标记配适提供了良好姿势的位置。
138.然后，根据镜片配适来测量自然姿势。
139.例如，人可以在包含用于捕捉三维图像的装置(例如3d扫描仪)的镜子前方，戴着眼镜。人将他的眼睛与镜片上的标记对齐，并且3d扫描仪再次测量具有眼镜的头部，以便从配戴者头部的初始3d扫描中计算出自然头部姿势。
140.现在，记录人的、给出正确姿势的头部角度，并且可以将其用于配适其他眼镜。
141.进一步的配适测量可以在3d扫描仪或其他控制头部姿势且要求人将其头部放在正确的姿势中以进行配适测量的装置的前方进行。
142.由于3d扫描包含配戴者头部的中央眼erc，因此一副数字化的远程配适在配戴者的头部上新眼镜可以具有其基于先前记录的良好配适姿势计算出的镜片配适测量值。
143.示例3
144.根据图3所示的第三方法，人正戴着虚拟现实头戴设备。由于人的头部的3d表示，可以在房间(真实世界)中确定虚拟现实头戴设备在配戴者头部上的位置和/或取向。
145.人沉浸在虚拟现实环境中，并且执行一项或多项可以基于配戴者的生活方式而个性化的活动。
146.由于头戴设备跟踪系统和应用头戴设备/头部，头部姿势是通过头盔在真实世界中的定位来测量的。
147.眼保健从业人员可以基于先前步骤的结果来选择配适姿势。
148.现在，记录人的、给出正确姿势的头部角度，并且可以将其用于配适如前所述的其他眼镜。
149.示例4
150.根据第四方法，人正戴着头部姿势测量装置，比如具有惯性运动单元(imu)传感器或直接固定在头部上的传感器的头带。可以确定在配戴者头部上的取向。
151.眼保健从业人员测量一项或多项任务/活动中的(多个)镜片配适姿势。
152.当眼保健从业人员需要时，可以保存imu传感器数据。
153.可以测量几项任务/活动，例如阅读、视远直视、原位、使用智能手机、使用计算机、办公桌配置
……
154.眼保健从业人员可以基于先前步骤的结果来选择配适姿势。
155.现在，记录人的、给出正确姿势的头部角度，并且可以将其用于配适其他眼镜。
156.上文披露的本发明允许在考虑在自然视觉姿势下人的身体和头部的姿势的情况下确定人的头部的经定向的3d表示。
157.以上已经借助于实施例描述了本发明，而并不限制总体发明构思。
158.对于参考了前述说明性实施例的本领域技术人员来说，还可提出很多进一步的改进和变化，这些实施例仅以举例方式给出而并不旨在限制本发明的范围，本发明的范围仅由所附权利要求决定。
159.在权利要求中，词语“包括”并不排除其他要素或步骤，并且不定冠词“一(a)或(an)”并不排除复数。在相互不同的从属权利要求中叙述不同的特征这个单纯的事实并不表示不能有利地使用这些特征的组合。权利要求中的任何附图标记都不应被解释为限制本
发明的范围。