一种二维图像中人眼凝视方向的标注装置、系统和方法

1.本发明属于计算机视觉与机器学习技术领域，更具体地，涉及一种二维图像中人眼凝视方向的标注装置、系统和方法。


背景技术：

2.人眼凝视方向是理解人类意图、思想的重要渠道，可通过非言语、动作的交流来分析人类在社交交互中的兴趣和注意力。基于图像的人眼凝视方向估计是计算机视觉与机器学习领域的重要分支，引来近年来众多学者的关注，其借助深度神经网络的表达能力，对大量标注人眼凝视方向的数据集进行学习，取得很大的进展。然而，在无约束的日常场景(非实验室)中，收集准确的人眼凝视方向标注较为困难，致使数据集的尺度与多样性受限。当前的图像人眼凝视方向标注与数据收集主要存在三种方法：(1)使用眼动仪来记录视线的位置，再利用图像生成的算法消除图像中的眼镜；(2)预先定义现实场景中的物理坐标，引导人员注视并记录图像；(3)利用人体交互数据集，采集2d图像凝视交互关系，补充弱监督数据。
3.这些方法存在以下几个问题：(1)眼动仪使用限制较多，需在实验室环境下佩戴并采集图像，无法使用已有图像数据，难以提供多样性的人员与场景，且图像生成去除眼镜的算法易带来噪声和误差；(2)预定义的物理坐标标注成本高昂，未考虑交互下人眼相互凝视的场景；(3)人体交互数据集虽考虑到社交交互场景，但其标注的为三维凝视方向投影到二维平面的方向数据，未捕获到准确的3d凝视方向。
4.综上，昂贵的标注成本与受限的采集环境，增大了人眼凝视方向数据集的收集的难度，制约图像人眼凝视估计任务的发展，亟需一种适用性广、经济的图像人眼凝视方向标注方法与装置。


技术实现要素：

5.针对现有技术的以上缺陷或改进需求，本发明提供了一种二维图像中人眼凝视方向的标注装置、系统和方法，其目的在于在标注者操作下使所述标注装置的指示方向与所述二维图像中目标人眼的凝视方向保持一致，用于根据所述标注者输入的采集启动指令采集所述标注装置的三维姿态，从而获取所述目标人眼的三维方向信息，由此解决当前图像人眼凝视标注昂贵、适用性窄的技术问题。
6.为实现上述目的，按照本发明的一个方面，提供了一种二维图像中人眼凝视方向的标注装置，包括：
7.手持支架，在标注者操作下使所述标注装置的指示方向与所述二维图像中目标人眼的凝视方向保持一致；其中，当所述指示方向与所述目标人眼的凝视方向一致时所述标注者输入采集启动指令；
8.数字倾角仪，装载在所述手持支架中，用于根据所述标注者输入的采集启动指令采集所述标注装置的三维姿态，从而获取所述目标人眼的三维方向信息，所述三维方向信
息包括x、y和z三个方向的角度信息。
9.在其中一个实施例中，所述手持支架设有：
10.装载模块，为中部凹槽结构，所述中部凹槽用于装载所述数字倾角仪；
11.手持模块，设置在所述装载模块的第一端，便于所述标注者依据视觉观测操作所述标注装置。
12.在其中一个实施例中，所述手持支架还设有：
13.图像接触模块，设置在所述装载模块的第二端，用于接触所述二维图像中目标人眼区域，以便于确定所述三维方向信息对应的凝视方向箭头的起点。
14.在其中一个实施例中，所述图像接触模块接触所述二维图像的一端呈平滑的半球状，以便于在所述二维图像滚动搜寻所述目标人眼区域。
15.在其中一个实施例中，所述手持模块的尾端为半球状，所述手持模块与所述图像接触模块呈对称性设计。
16.在其中一个实施例中，所述手持支架的采用3d打印技术制作的一体注塑成型结构。
17.在其中一个实施例中，所述装载模块通过过盈配合的中部凹槽结构将所述数字倾角仪固定在外框内部，以使所述数字倾角仪与所述手持支架相对静止从而确保所述三维方向信息的采集精度。
18.在其中一个实施例中，所述装载模块设有两处镂空，一侧镂空用于引出所述数字倾角仪的数据线，以便于与外部处理设备连接；另一侧镂空用于放置所述数字倾角仪的拨动开关以接收所述采集启动指令。
19.按照本发明的另一方面，提供了一种二维图像中人眼凝视方向的标注系统，包括：
20.上述标注装置；
21.计算机设备，与所述数字倾角仪连接，用于显示所述二维图像，以便于所述标注者依据视觉观测控制所述标注装置的指示方向与所述二维图像中目标人眼的凝视方向保持一致；还用于采集所述目标人眼的坐标位置和接收所述数字倾角仪发送的所述三维方向信息，以在所述目标人眼的坐标位置上标记对应的三维凝视方向。
22.按照本发明的另一方面，提供了一种二维图像中人眼凝视方向的标注方法，应用于上述二维图像中人眼凝视方向的标注系统，包括：
23.s1：利用计算机设备显示二维待标记图像，所述二维待标记图像包括至少一个人眼；获取所述二维待标记图像中目标人眼的坐标位置；
24.s2：控制标注装置的指示方向与所述目标人眼的凝视方向保持一致；
25.s3：利用所述标注装置中的数字倾角仪获取所述目标人眼的三维方向信息，并通过数据链路传输给所述计算机设备；所述三维方向信息包括x、y和z三个方向的角度信息；
26.s4：利用所述计算机设备根据所述三维方向信息在所述坐标位置为所述目标人眼标记对应的凝视方向。
27.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
28.第一、本发明提供的二维图像中人眼凝视方向的标注装置，直接在二维图像上标注三维信息，可适用于任何场景的图像，不必受到实验室环境或设备的约束，具有更广泛的
适用性；由于标注图像选择性广，构建的数据集中存在更为多样的人类与场景；所述装置的手持支架与数字倾角仪成本低廉，极大降低了图像人眼凝视方向标注的经济成本；同时由于不受设备约束，标注简单，也降低了图像人眼凝视方向标注的时间成本；可用于人眼凝视估计的图像理解任务，能够快速、广泛地标注各式图像中人眼凝视方向。
29.第二、本发明提供的二维图像中人眼凝视方向的标注装置能够快速便捷地构建大量多样的图像人眼凝视方向估计的数据集，推动计算机视觉与机器学习中人类意图状态理解的发展。
附图说明
30.图1为本发明一实施例中二维图像中人眼凝视方向的标注装置的结构示意图；
31.图2为本发明一实施例中标注装置的应用环境示意图；
32.图3为本发明一实施例中手持支架的三视图；
33.图4为本发明一实施例中数字倾角仪的尺寸参数示意图；
34.图5为本发明一实施例中数字倾角仪的三维方向记录界面；
35.图6为本发明一实施例中二维图像中人眼凝视方向的标注方法的流程图；
36.图7a、图7b和图7c均为本发明一实施例中利用二维图像中人眼凝视方向的标注方法标记后的二维图像。
具体实施方式
37.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
38.图1提供了一种二维图像中人眼凝视方向的标注装置，其包括：
39.手持支架，在标注者操作下使所述标注装置的指示方向与所述二维图像中目标人眼的凝视方向保持一致；其中，当所述指示方向与所述目标人眼的凝视方向一致时所述标注者输入采集启动指令；
40.数字倾角仪，装载在所述手持支架中，用于根据所述标注者输入的采集启动指令采集所述标注装置的三维姿态，从而获取所述目标人眼的三维方向信息，所述三维方向信息包括x、y和z三个方向的角度信息。
41.图2为本发明提供的标注装置的应用环境示意图。
42.在其中一个实施例中，本发明中人眼凝视方向的标注装置具备以下特征：该标注装置外观呈中部膨大的笔状结构，由3d打印的手持支架和数字倾角仪组成。3d打印的手持支架的前端对应人眼凝视的方向的起点，用于确定待标注的二维图像中各个人眼位置，其半球形的前端便于装置可以应对180
°
的方向标注范围；手持支架的中部用于安放数字倾角仪，其凹槽的两侧为放置数字倾角仪的卡槽，一体化数字倾角仪和手持3d打印支架；手持支架的后侧为便于标注者手持，标注出目标人眼的凝视方向。数字倾角仪记录当前的三维姿态，并将信息通过usb传输到计算机设备中，进行记录，通过手持设备和数字倾角仪可记录二维图像中的人眼凝视方向，便捷快速地构造图像人眼凝视方向估计的数据集。
43.使用时，将设备中的数字倾角仪通过usb连入计算机设备，然后选取一张二维图像，将手持支架通过标注者估计放置在图像上待标记的人眼上，通过视觉观察，将设备维持在人眼凝视方向上，通过姿态记录软件记录当前的凝视方向，再将图像人眼位置和凝视方向同时用csv文件记录在计算机设备中，完成标注。这种标注方法打破了实验室及人员多种的环境约束，降低了标注成本，保持了数据多样性。
44.如图3所示，在其中一个实施例中，手持支架采用3d打印技术，从左到右依次是：图像接触模块，圆柱状，长为50mm，直径为19mm，用于接触待标记的人眼的图像部位，前端为半球状，后端与装载模块相连；装载模块，中部凹槽的立方体结构，长58mm，宽43mm，高19mm，用于稳固地装载数字倾角仪，并维持精度，方便记录当前设备的三维姿态、倾角信息。前端与图像接触模块相连，后端与手持模块相连；手持模块，圆柱状，用以标注者方便手持拿取，前端与装载模块相连。
45.如图4所示，在其中一个实施例中，数字倾角仪选自维特智能产品标准精度姿态传感器-倾角仪bwt61cl型号，其尺寸可无缝卡扣在3d打印的手持支架中，用以记录三维姿态方向的设备，可输出x、y、z三个方向相对于立体的角度。
46.具体的，选取合适的数字倾角仪，根据所选的数字倾角仪尺寸，利用inventor软件绘制承载数字倾角仪的手持支架，加载打印出3d成品模具。将数字倾角仪装载在3d打印的手持支架上，完成装置制备。根据二维图像，将装置的图像接触模块放置在图像人眼位置，装置姿态与二维图像中人眼凝视方向一致，通过软件进行记录人眼凝视方向。图5为本发明提供的所选的数字倾角仪三维方向记录界面。
47.如图6所示，本发明提供了一种二维图像中人眼凝视方向的标注方法，应用于上述二维图像中人眼凝视方向的标注系统，包括：
48.s1：利用计算机设备显示二维待标记图像，二维待标记图像包括至少一个人眼；获取二维待标记图像中目标人眼的坐标位置；
49.s2：控制标注装置的指示方向与目标人眼的凝视方向保持一致；
50.s3：利用标注装置中的数字倾角仪获取目标人眼的三维方向信息，并通过数据链路传输给计算机设备；三维方向信息包括x、y和z三个方向的角度信息；
51.s4：利用计算机设备根据三维方向信息在坐标位置为目标人眼标记对应的凝视方向。
52.具体的，包括以下几个步骤：(1)给定一张待标记的图像，使用计算机设备记录图像中的人眼坐标位置；(2)利用标注装置，依据标注者的视觉观测，标记出当前人眼的三维凝视方向；(3)通过数据链路将数字倾角仪的三维方向信息传入计算机设备，记录x、y、z三个方向的角度信息；(4)记录每张图像的人眼位置，及对应的三维角度信息，标记后的二维图像如图7a、图7b和图7c所示。
53.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。