人体头部检测方法、系统和人机交互方法、系统与流程

1.本技术涉及人机交互技术，具体涉及人体头部检测方法、系统和人机交互方法、系统。


背景技术：

2.近年来，人机交互技术越来越成为人与设备之间交互活动的桥梁，并适用面越来越广，例如在电子终端设备与人的交互，机器与人的交互等等。人机交互、人机互动是一门研究系统与用户之间的交互关系的学问，系统可以是各种各样的机器，也可以是计算机化的系统和软件，人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。小如收音机的播放按键，大至飞机上的仪表板，或发电厂的控制室。人机交互界面的设计要包含用户对系统的理解以提升系统的可用性或者用户友好性。
3.现有的人机交互中对于人体头部的姿态检测特别是倾斜检测，通常通过摄像头来获取头部图像并进行识别，然而现有技术中检测人体头像旋转存在很多的技术问题：现有技术中的摄像头通过识别眼睛特征，然后对人体眼睛结构的识别有不完整的情况导致无法定位；在视频通话或者会议系统中，如果对方人体正向与本人手机的方向正向不一致，就需要手动旋转手机等设备，或者通过点击手机屏幕，使对方人体在你看来是正向的；而且，在现有摄像头技术图像采集时，如果光线不足，则无法进行准确的图像采集，进而无法进行人机交互。


技术实现要素：

4.有鉴于此，本发明实施例的主要目的在于提供一种人体头部检测方法，可以在光线不佳的情况下准确的识别人体头部的姿态。本发明实施例是这样实现的，一种人体头部检测方法，包括：在t时刻获取人体头部热图像数据的第n帧；根据所述第n帧的人体头部热图像数据获取第一特征点热图像数据；根据所述第一特征点热图像数据计算所述人体头部的倾斜角度α。
5.进一步地，所述根据所述第一特征点热图像数据计算所述人体头部的倾斜角度α包括：
6.根据所述第一特征点热图像数据计算特征点的特征方向；
7.根据所述特征方向计算与垂直方向或水平方向的角度差得到所述倾斜角度α。
8.进一步地，所述方法进一步包括：
9.在t 1时刻获取人体头部热图像数据的第n 1帧；
10.根据所述第n 1帧的人体头部热图像数据获取第二特征点热图像数据；
11.根据所述第二特征点热图像数据计算所述人体头部的倾斜角度β；
12.根据所述倾斜角度α和所述倾斜角度β的方向夹角判断人体头部是否活动。
13.进一步地，所述方法进一步包括：根据倾斜角度α、倾斜角度β和所述夹角判断人体头部活动状态。
14.进一步地，所述第一特征点热图像数据或所述第二特征点热图像数据包括鼻子特征点热图像数据、眼睛特征点热图像数据或嘴巴特征点热图像数据。
15.进一步地，所述获取第一特征点热图像数据或所述获取第二特征点热图像数据包括：
16.获取人体头部热图像数据中温度最低的热图像数据为鼻子特征点热图像数据；
17.获取人体头部热图像数据中温度相近且对称的热成像数据为眼睛特征点热图像数据；
18.获取人体头部热图像数据中呈线型且处于下方热图像数据为嘴巴特征点热图像数据。
19.进一步地，所述方法进一步包括：通过红外成像仪获取人体头部特征数据，将所述人体头部特征数据进行椭圆形化算法进行人体头部检测，提取最大人体头部框。
20.根据本发明实施例的另一方面，本发明实施例还提供一种人机交互方法，可以在光线不佳的情况下准确的识别人体头部的姿态进而进行人机交互控制。本发明实施例是这样实现的，一种人机交互方法，包括上述任一所述的人体头部检测方法，进而根据倾斜角度控制旋转角度。
21.进一步地，所述控制旋转角度进一步包括：
22.在人机交互显示中，控制显示屏幕中图像的旋转角度；
23.在人机交互互动中，控制人机交互系统自身旋转角度。
24.进一步的，在人机交互显示中，根据人体头部的倾斜角度，控制显示屏幕按预设方向旋转所述倾斜角度；或在人机交互互动中，根据人体头部的倾斜角度，控制机器按预设方向旋转所述倾斜角度；其中，所述预设方向包括顺时针方向和逆时针方向
25.进一步地，在人机交互显示中，设定第一预设角度，根据人体头部的倾斜角度和所述第一预设角度，控制机器按预设方向旋转第一角度；或
26.在人机交互显示中，设定第二预设角度，根据人体头部在预设时间内的倾斜角度的所述夹角和所述第二预设角度，控制显示屏幕按预设方向旋转第二角度；其中，所述预设方向包括顺时针方向和逆时针方向。
27.进一步地，在人机交互互动中，设定第三预设角度，根据人体头部的倾斜角度和所述第三预设角度，控制机器按预设方向旋转第三角度；或
28.在人机交互互动中，设定第四预设角度，根据人体头部在预设时间内倾斜角夹角的所述夹角和所述第四预设角度，控制机器旋转按预设方向旋转第四角度；其中，所述预设方向包括顺时针方向和逆时针方向。
29.根据本发明实施例的另一方面，本发明实施例还提供一种人体头部检测系统，可以在光线不佳的情况下准确的识别人体头部的姿态。本发明实施例是这样实现的，一种人体头部检测系统，包括：
30.红外热成像装置，用于获取人体头部热图像数据；
31.特征点获取装置，用于根据所述人体头部热图像数据获取特征点热图像数据；
32.计算装置，用于根据所述特征点热图像数据计算所述人体头部的倾斜角度。
33.根据本发明实施例的另一方面，本发明实施例还提供一种人机交互系统，可以在光线不佳的情况下准确的识别人体头部的姿态进而进行人机交互控制。本发明实施例是这
样实现的，一种人机交互系统，包括：
34.红外热成像装置，用于获取人体头部热图像数据；
35.特征点获取装置，用于根据所述人体头部热图像数据获取特征点热图像数据；
36.计算装置，用于根据所述特征点热图像数据计算所述人体头部的倾斜角度；
37.控制装置，根据所述倾斜角度或所述夹角控制旋转角度。
38.进一步地，所述控制装置进一步包括：
39.显示控制单元，用于控制显示屏幕中图像的旋转角度；
40.互动控制单元，用于控制所述人机交互系统自身旋转角度。
41.根据上述技术方案，本发明实施例具有如下效果：通过使用红外热成像摄像头可以在光线较差的情况下准确对人体头部进行检测；通过这样的人体头部检测和人机交互，在视频通话或者会议系统中等设备中，视图不符合人体生物学正常的视力观赏角度，人的本能就会将头倾斜与视力观赏角度正向的方向保存一致，然后本能的将头又摆正，这个行为符合人体生物学，很自然的进行人机交互。这样就不需要人手动按键或者通过菜单选择控制即实现人机交互；由于红外成像仪模块比摄像头模块功耗小，一般红外成像仪模块功耗<23ma，一般摄像头模块功耗>40ma，最大有200ma，相比而言，这样可以有效的降低设备在进行图像采集时的功耗；红外成像仪对环境光线不敏感，在光线很弱都可以正常使用，大大提高了人机交互的便利性。
附图说明
42.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
43.图1示出了本技术提供的一种人体头部检测方法流程图；
44.图2示出了本技术提供的另一种人体头部检测方法流程图；
45.图3示出了本技术提供的人体头部热图像数据的示意图；
46.图4示出了本技术提供的人体头部热图像数据的特征点示意图；
47.图5示出了本技术提供的人机交方法一种实施例的示意图。
具体实施方式
48.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
49.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术，以下实施例中的步骤顺序仅为列举，在不冲突的情况下可以调整。
50.如图1所示，是本发明实施例提供的人体头部检测方法，包括：
51.s101，在t时刻获取人体头部热图像数据的第n帧；
52.s102，根据所述第n帧的人体头部热图像数据获取第一特征点热图像数据；
53.s103，根据所述第一特征点热图像数据计算所述人体头部的倾斜角度α。
54.本发明实施例中，通过红外成像装置获取头部热图像数据，获取头部的数据后，检
测人体头部的特征点，利用特征点热图像数据计算头部的倾斜角度，参考图3，由于热图像的特性，可以反映人体头部各个位置的不同温度，其温度用不同颜色呈现，根据这些颜色的区别结合头部各个器官的分布可以判断出例如鼻子、嘴巴或眼睛的位置及成像图形。这些人体器官即为特征点热图像数据。例如，根据人体头部温度最低点是鼻子301并结合鼻子在头部中心的位置可以确认鼻子的热成像图形，根据眼睛302的对称关系结合在头部上方可以确认眼睛的热成像图形，根据嘴巴303的线性及其在头部下方的位置可以确认嘴巴的热成像图形，以确认特征点热图像数据，在上述方法中，可以只使用其中一个特征点热图像数据即可。在上述方法中，例如在t时刻进行检测，获取t时刻的人体头部热图像数据第n帧，根据获取的第n帧热图像数据获取第一特征点热图像数据，进而根据第一特征点热图像数据计算人体头部的倾斜角度。根据所述第一特征点热图像数据计算所述人体头部的倾斜角度α包括：根据所述第一特征点热图像数据计算特征点的特征方向304；根据所述特征方向304计算与垂直方向305或水平方向的角度差得到所述倾斜角度α。
55.如图4所示，为本发明实施例提供的人体头部热图像数据的特征点示意图，以特征点鼻子为例，识别到鼻子401的特征点热图像数据，由于人体头部中鼻子是温度最低的，所以识别人体头部热图像数据中最浅色的就是鼻子特征点热图像数据，根据该鼻子特征点热图像数据计算鼻子的特征方向402，根据特征方向与垂直方向403的角度差计算倾斜角度α，本领域技术人员可以理解，倾斜角度可以指与垂直方向的角度差，同样也可以是与水平方向的角度差。
56.本发明提供一优选实施例，在t时刻计算得到人体头部的倾斜角度α后，进一步在t 1时刻获取倾斜角度β，如图2所示，具体来说，在t 1时刻获取人体头部热图像数据的第n 1帧；根据所述第n 1帧的人体头部热图像数据获取第二特征点热图像数据；根据所述第二特征点热图像数据计算所述人体头部的倾斜角度β。根据所述倾斜角度α和所述倾斜角度β的方向夹角判断在t时刻到t 1时刻之间人体头部是否活动，其夹角可以为差值θ＝β-α，假设倾斜角度是以垂直方向为基准计算，当α和β的方向在垂直方向的同一侧时，其差值为θ＝β-α，头部在一段时间内的偏移角度为θ；θ<0时，说明头部在一段时间内向右侧倾斜，当θ＝0时，说明头部在一段时间内没有倾斜，当θ>0时，说明头部在一段时间内向左侧倾斜。
57.本发明提供一优选实施例，所述第一特征点热图像数据或所述第二特征点热图像数据包括鼻子特征点热图像数据、眼睛特征点热图像数据或嘴巴特征点热图像数据。上面实施例已经详细说明了鼻子特征点热图像数据的计算方式，也就是获取人体头部热图像数据中温度最低的热图像数据为鼻子特征点热图像数据；同理，获取人体头部其他特征点热图像数据时，具体为：获取人体头部热图像数据中温度相近且对称的热成像数据为眼睛特征点热图像数据；获取人体头部热图像数据中呈线型且处于下方热图像数据为嘴巴特征点热图像数据。
58.本发明提供一优选实施例，在上述实施例的基础上，通过红外成像仪获取人体头部特征数据，将所述人体头部特征数据进行椭圆形化算法进行人体头部检测，提取最大人体头部框，在获取到头部框数据后，判断鼻子、眼睛或嘴巴等特征点的数据可以结合各个器官在头部框中的位置更容易、更准确的识别特征点热图像数据。
59.根据本发明实施例的另一方面，本发明实施例还提供一种人机交互方法，可以在光线不佳的情况下准确的识别人体头部的姿态进而进行人机交互控制。一种人机交互方
法，包括上述任一所述的人体头部检测方法，进而根据倾斜角度或夹角控制旋转角度。在人机交互显示中，控制显示屏幕中图像的旋转角度；在人机交互互动中，控制人机交互系统自身旋转角度。上述人体头部倾斜角度的检测可以应用于人机交互，例如显示屏幕旋转生成方法，应用于包括图像的终端及应用；通过红外成像仪获取人体头部倾斜角度；检测到所述人体头部旋转时，获取所述头部特征点数据控制设备上显示屏幕旋转；根据初始头部旋转特征数据，计算左右旋转的方向控制显示屏幕旋转。具体来说，控制显示屏幕中图像的旋转角度进一步包括：根据人体头部的倾斜角度，控制显示屏幕旋转倾斜角度；所述控制人机交互系统自身旋转角度进一步包括：机器根据人体头部的倾斜角度，控制机器自身旋转倾斜角度。
60.在人机交互显示中，设定第一预设角度，根据人体头部的倾斜角度和所述第一预设角度，控制机器按预设方向旋转第一角度；或在人机交互显示中，设定第二预设角度，根据人体头部在预设时间内的倾斜角度的夹角和所述第二预设角度，控制机器按预设方向旋转第二角度；其中，所述预设方向包括顺时针方向和逆时针方向。
61.以图5为例，对人机交互显示进行说明，为本发明实施例提供的人机交互显示的应用示例，当通过红外热成像装置对待拍摄对象进行拍摄时，检测到图5(a)中人体头部的倾斜的角度为90
°
，具体可以是当检测到人体头部的图像倾斜角度为与垂直方向的角度差为90
°
时，其包括向左偏移和向右偏移，那么则控制显示屏幕顺时针旋转90
°
；也可以是当检测到人体头部的图像倾斜角度为与水平方向的角度差时，那么则控制显示屏幕逆时针或顺时针旋转90
°
，以使其对应头部偏移方向显示。如图5(b)所示，而在实际控制时，设定第一预设角度，当检测到人体头部的图像倾斜的角度超过第一预设角度时，例如在与垂直方向角度差超过45
°
，包括人体头部偏移角度在垂直方向右侧，可以控制显示屏幕顺时针旋转第一角度，例如90
°
；如果检测到人体头部倾斜角度没有超过预设的45
°
，那么则控制显示屏幕上不旋转90
°
。优选地，在t到t 1之间的一段时间内，设定第二预设角度，如果检测到倾斜角度α和β的夹角超过第二预设角度，则控制显示屏幕上旋转90
°
，比如以垂直方向为例，当α和β的方向在垂直方向的同一侧时，α和β方向的夹角可以通过其两者的差值获取，比如α＝15
°
，β＝75
°
，差值为60
°
，当设定第二预设角度为45
°
时，差值超过第二预设角度并且为正值，那么可以控制屏幕顺时针旋转第二角度，例如90
°
；再提供一实施例，α＝65
°
，β＝15
°
，差值为-50
°
，那么可以控制屏幕逆时针旋转90
°
；再提供一实施例，α＝45
°
，β＝75
°
，差值为30
°
，那么控制屏幕不旋转；为了避免对前述实施例的误解，本发明还提供一实施例，当α＝45
°
，β＝75
°
，差值为30
°
，控制屏幕相应的顺时针旋转30
°
，可以理解，是否控制屏幕的旋转可以根据实际情况执行，实施例仅用于说明本发明的技术方案，而并非限定其技术方案具体的控制方法。本领域技术人员可以理解，预设角度可以根据实际情况进行设定，具体控制图像旋转的角度也可以进行设定，旋转的方向与差值的正负相对应。在上述实施例为根据拍摄对象的头部倾斜角度进行，本发明提供的检测方案同样适用于再观看视频时，检测观看者的头部倾斜角度而对视频显示方向的控制，也可以是在视频会议时，检测参会者的头部倾斜角度等。例如在观看视频时，检测到观看者的头部相对播放器的倾斜角度为30
°
时，那么播放器可以根据检测到的倾斜角度，自动控制视频播放旋转30
°
以和观看者的视线一致。
62.在人机交互互动中，设定第三预设角度，根据人体头部的倾斜角度和所述第三预设角度，控制机器按预设方向旋转第三角度；或在人机交互互动中，设定第四预设角度，根
据人体头部在预设时间内倾斜角度的夹角和所述第四预设角度，控制机器转按预设方向旋转第四角度；其中，所述预设方向包括顺时针方向和逆时针方向。例如人与机器人进行的动作学习交互，当机器人检测到人的头部倾斜的角度为30
°
，那么机器人同样将自身的头部也旋转30
°
。本发明还提供另一实施例，设定第三预设角度为30
°
，当人体头部倾斜角度超过30
°
时，控制机器按预定方向旋转固定的第三角度例如90
°
；预设第四预设角度为45
°
，α和β方向的夹角可以通过其两者的差值获取，夹角即为差值，当α＝15
°
，β＝65
°
时，差值为50
°
，大于第四预设角度45
°
，那么控制机器旋转按预设的顺时针方向旋转第四角度例如90
°
，预设方向包括顺时针方向和逆时针方向，当其差值为负值时，则为逆时针旋转。
63.本发明提供一优选实施例，对于上述实施例进行详细的说明。在根据倾斜角度α和倾斜角度β的夹角判断人体头部是否活动的情况下，进一步根据倾斜角度α、倾斜角度β和所述夹角判断人体头部活动状态。下表实施例列出了在t至t 1时间内，人体头部活动状态的各种具体情况，本实施例以人机交互为例，参考对象是机器对着人，机器识别人体头部的旋转情况，向左边倾斜为正，右边倾斜为负，计算夹角使用差值θ＝α-β，当然差值也可以和前述实施例一样使用θ＝β-α，其结果相应对换即可。
[0064][0065]
在上表中，以情况1为例进行说明，在t时刻，人体头部向左倾斜α，在t 1时刻，人体头部向左倾斜β，计算其头部转动夹角以差值计算，差值θ＝α-β，且α>β>0，那么头部转动的差值θ>0，那么则可以判断头部在t至t 1这一时间段人体头部的活动状态为：头部一直在左
部，并且在t至t 1时间段头部向右边倾斜的角度为θ；机器在识别到这一结果后，控制自身的头部相应的顺时针旋转θ
°
。
[0066]
根据本发明实施例的另一方面，本发明实施例还提供一种人体头部检测系统，可以在光线不佳的情况下准确的识别人体头部的姿态。一种人体头部检测系统，包括：
[0067]
红外热成像装置，用于获取人体头部热图像数据；
[0068]
特征点获取装置，用于根据所述人体头部热图像数据获取特征点热图像数据；
[0069]
计算装置，用于根据所述特征点热图像数据计算所述人体头部的倾斜角度。
[0070]
该检测系统可以是便携式电子设备，如手机、平板电脑、笔记本等具有显示界面的系统，也可以是一种人机交互的机器，如机器人、机械手、人体体感游戏机等系统。在这些系统中增加红外热成像装置，获取人体头部热图像数据，特征点获取装置和计算装置可以单独设立，或通过系统本身的cpu完成。
[0071]
在上述实施例的基础上，本发明实施例还提供一种人机交互系统，可以在光线不佳的情况下准确的识别人体头部的姿态进而进行人机交互控制。该人机交互系统，包括：
[0072]
红外热成像装置，用于获取人体头部热图像数据；
[0073]
特征点获取装置，用于根据所述人体头部热图像数据获取特征点热图像数据；
[0074]
计算装置，用于根据所述特征点热图像数据计算所述人体头部的倾斜角度；
[0075]
控制装置，根据所述倾斜角度或所述夹角控制旋转角度。
[0076]
上述人体头部倾斜角度的检测可以应用于人机交互系统，例如图像旋转生成方法，应用于包括图像的终端及应用；通过红外热成像装置和特征点获取装置及计算装置获取头部热图像数据后计算出倾斜角度；检测到人体头部特征旋转时，获取所述头部特征点数据控制设备上的图像数据旋转；根据初始头部旋转特征数据，计算左右旋转的方向进而利用控制装置控制图像旋转。在人机交互的互动中，例如人与机器人进行的动作学习交互，当机器人检测到人的头部倾斜的角度为30
°
，那么机器人同样将自身的头部也旋转30
°
，如果是人机交互显示设备，那么控制装置可以是显示控制单元，用于控制显示屏幕中图像的旋转角度；如果是人机交互互动装置，那么控制装置为互动控制单元，用于控制所述人机交互系统自身旋转角度。
[0077]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。