一种非触摸互动投影方法及系统与流程

1.本发明涉及智能控制技术相关领域，具体是一种非触摸互动投影方法及系统。


背景技术：

2.自工具诞生以来，人机交互一直是一项十分重要的学问，人机交互旨在提升人机交互体验，或是通过新的人机交互方式以对现有的人机交互方式进行拓充或是取代，如今，人机交互方式大多通过可视化软件界面或是控制器进行控制，多需要使用者通过滑动、点触或是按压等方式实现，具有方便用户理解操控方式，快速上手等优点。
3.但现有技术中的人机交互方式存在需要通过直接接触的方式进行控制，往往为控制面板位置固定或是需要携带无线控制器进行使用，在部分使用场景下，使用不方便，大大的限制了使用者的活动范围以及手部可以实施的动作，例如教师在大教师使用投影演示手中的某样物品，因此本技术旨在提供一种非接触式的交互方法及系统。


技术实现要素：

4.本发明的目的在于提供一种非触摸互动投影方法及系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种非触摸互动投影系统，包含：手势识别模块，用于采集并生成用户的手势图像，并根据预设的手势控制库对所述手势图像进行识别，生成手势控制信号，所述手势控制信号用于执行唯一对应的交互命令；交互建立模块，用于生成并输出交互控制界面，所述交互控制界面设有多个控制交互接口，所述控制交互接口用于控制投影设备；眼动追踪模块，用于实时采集用户的眼部运动图像，根据所述眼部运动信息进行眼球运动分析，获取眼球聚焦信息，所述眼球聚焦信息用于与所述交互控制界面的坐标相对应；控制生成模块，用于根据所述眼球聚焦信息定位所述交互控制界面上的所述控制交互接口，并根据所述手势控制信号对所述控制交互接口执行相对应的交互命令。
6.作为本发明的进一步方案：所述手势识别模块包括：手部图像获取单元，用于采集并生成用户的所述手势图像；图像分析单元，用于对所述手势图像进行内容识别分析，获取用户手部的特征信息；特征点追踪单元，用于对所述特征信息进行运动分析，生成多个特征点标记，并根据所述特征点标记对用户手部进行运动跟踪；动作识别单元，用于根据预设的手势控制库对多个所述特征点标记的组合方式进行判定识别，生成手势控制信号。
7.作为本发明的再进一步方案：所述手势识别模块还包括：识别触发单元，用于通过预设的交互触发手势对所述特征点标记的组合方式进行判定识别，生成交互触发信号，所述交互触发信号用于引导所述交互建立模块、眼动追踪模块以及所述控制生成模块执行对应步骤。
8.作为本发明的再进一步方案：所述眼动追踪模块500包括：眼部图像获取单元，用于实时获取用户眼部的运动图像；眼部图像分析单元，用于对所述运动图像进行内容识别分析，获取用户的眼部特征信息；眼部运动追踪单元，用于对所述眼部特征信息进行运动分析，生成瞳孔特征标记，并根据所述瞳孔特征标记对用户眼部进行运动追踪；眼部聚焦计算单元，用于根据所述特征点标记对用户眼部进行瞳孔特征的运动计算，生成用户的眼球聚焦信息，所述眼球聚焦信息用于表征用户两个瞳孔的聚焦交汇方向。
9.作为本发明的再进一步方案：所述眼动追踪模块还包括：位置校准单元，用于获取用户相对投影的位置信息以及朝向信息，根据所述位置信息以及所述朝向信息生成位置校正数据，所述位置校正数据用于对所述眼球聚焦信息进行修正。
10.本发明实施例旨在提供一种非触摸互动投影方法，其包括步骤：采集并生成用户的手势图像，并根据预设的手势控制库对所述手势图像进行识别，生成手势控制信号，所述手势控制信号用于执行唯一对应的交互命令；生成并输出交互控制界面，所述交互控制界面设有多个控制交互接口，所述控制交互接口用于控制投影设备；实时采集用户的眼部运动图像，根据所述眼部运动信息进行眼球运动分析，获取眼球聚焦信息，所述眼球聚焦信息用于与所述交互控制界面的坐标相对应；根据所述眼球聚焦信息定位所述交互控制界面上的所述控制交互接口，并根据所述手势控制信号对所述控制交互接口执行相对应的交互命令。
11.作为本发明的进一步方案：所述采集并生成用户的手势图像，并根据预设的手势控制库对所述手势图像进行识别，生成手势控制信号的步骤具体包括：采集并生成用户的所述手势图像；对所述手势图像进行内容识别分析，获取用户手部的特征信息；对所述特征信息进行运动分析，生成多个特征点标记，并根据所述特征点标记对用户手部进行运动跟踪；根据预设的手势控制库对多个所述特征点标记的组合方式进行判定识别，生成手势控制信号。
12.作为本发明的再进一步方案：并根据预设的手势控制库对所述手势图像进行识别，生成手势控制信号的步骤还包括：通过预设的交互触发手势对所述特征点标记的组合方式进行判定识别，生成交互触发信号，所述交互触发信号用于引导后续步骤执行。
13.与现有技术相比，本发明的有益效果是：通过眼动追踪模块以及手势识别模块的设置，可以对用户进行眼部追踪以及手势的识别追踪，进而用户在使用时可以通过注视投
影中需要进行操作的位置，并通过手势来实现对交互建立模块输出的交互控制界面中的控制交互接口进行操作和控制，相较于现有技术中的各种接触式控制方式，本技术即可以实现一定范围内的随处控制，又能避免现有技术中无线控制方式需要手持控制设备的不便支出，使用更加智能方便，能够有效增加用户在投影使用中的灵活性。
附图说明
14.图1为一种非触摸互动投影系统的组成框图。
15.图2为一种非触摸互动投影系统中手势识别模块的组成框图。
16.图3为一种非触摸互动投影系统中眼动追踪模块的组成框图。
17.图4为一种非触摸互动投影方法的流程框图。
具体实施方式
18.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
19.以下结合具体实施例对本发明的具体实现方式进行详细描述。
20.如图1所述，为本发明一个实施例提供的一种非触摸互动投影系统，包括：手势识别模块100，用于采集并生成用户的手势图像，并根据预设的手势控制库对所述手势图像进行识别，生成手势控制信号，所述手势控制信号用于执行唯一对应的交互命令。
21.本实施例中，手势识别模块100的作用是对用户的手部进行跟踪图像获取以及动作的识别，从而获取执行一定交互命令的作用，在使用时，其可以是通过图像获取设备（例如摄像头、红外感应等）获取用户局部的图像（例如对用户胸口前一定的范围内进行图像的获取），然后通过预设的软件算法对用户的手部图像进行识别并进行关键点的追踪，当用户的手部做出特定的动作时（可以是静止的手势，例如张开四指，也可以是某一过渡性动作，例如伸开手掌时向一侧滑动等），则生成对应的手势控制信号，用来控制投影进行预设的相对应的动作。
22.交互建立模块300，用于生成并输出交互控制界面，所述交互控制界面设有多个控制交互接口，所述控制交互接口用于控制投影设备。
23.本实施例中，交互建立模块300的作用是生成并输出投影的交互控制界面，与传统接触式交互界面类似，包括较多分布在界面上的控制交互接口，每一个不同的控制交互接口用于连接不同的执行指令，当触发时可以执行不同的动作完成不同的内容变化，例如投影的设置，投影播放内容的选择切换等。
24.眼动追踪模块500，用于实时采集用户的眼部运动图像，根据所述眼部运动信息进行眼球运动分析，获取眼球聚焦信息，所述眼球聚焦信息用于与所述交互控制界面的坐标相对应。
25.本实施例中，眼动追踪模块500通过图像获取设备对用户的眼球运动进行图像的获取和追踪，通过对双眼球的追踪分析，能够判断用户眼球的注视方位角，从而可以预交互控制界面的坐标平面进行对应，进而与控制交互接口相对应，以提供给系统对其进行感知。
26.控制生成模块700，用于根据所述眼球聚焦信息定位所述交互控制界面上的所述控制交互接口，并根据所述手势控制信号对所述控制交互接口执行相对应的交互命令。
27.本实施例中，在使用时，控制生成模块700用于对眼球聚焦信息、控制交互接口以及手势控制信号进行协同，当用户的眼球聚焦信息对应到某一控制交互接口时，控制生成模块700对手势控制信号进行判断，从而执行相对应的动作，例如当用户的眼睛聚焦到开始按钮时，手部做出了示意为确定的动作，则控制生成模块700则根据这些信息引导投影程序执行相对应的开始动作。
28.如图2所示，作为本发明另一个优选的实施例，所述手势识别模块100包括：手部图像获取单元101，用于采集并生成用户的所述手势图像。
29.图像分析单元102，用于对所述手势图像进行内容识别分析，获取用户手部的特征信息。
30.特征点追踪单元103，用于对所述特征信息进行运动分析，生成多个特征点标记，并根据所述特征点标记对用户手部进行运动跟踪。
31.动作识别单元104，用于根据预设的手势控制库对多个所述特征点标记的组合方式进行判定识别，生成手势控制信号。
32.本实施例中，根据功能性作用对手势识别模块100进行了进一步的划分说明，在使用时，通过图像获取单元101对用户进行图像采集，获取包含用户手部运动的手势图像，然后图像分析单元102对手势图像的内容进行识别分析（因为采集的图像中是包含较多的图像元素内容的，例如用户的面部，身体等，需要从各种图像中识别出用户手部的图像），从而对用户的手部进行识别，进而可以通过特征点追踪单元103对手部进行特征点的定义和运动追踪，动作识别单元104根据特征点的分布组合方式以及预设的手势控制库对用户的手势进行识别判断，获得用户希望通过执行的手势控制信号。
33.作为本发明另一个优选的实施例，所述手势识别模块100还包括：识别触发单元，用于通过预设的交互触发手势对所述特征点标记的组合方式进行判定识别，生成交互触发信号，所述交互触发信号用于引导所述交互建立模块300、眼动追踪模块500以及所述控制生成模块700执行对应步骤。
34.本实施例中，识别触发单元的作用是触发除手势识别模块100外的其它模块开始执行相对应的步骤与内容，即识别触发单元相当于系统待机状态下的启动程序，交互触发手势相当于启动按钮，当用户做出交互触发手势时，通过识别触发单元发出开始工作的信号，解除待机模式，然后交互建立模块300开始输出交互控制界面，眼动追踪模块500开始眼部运动图像的获取分析，控制生成模块700开始对相关信息进行对应处理。
35.如图3所示，作为本发明另一个优选的实施例，所述眼动追踪模块500包括：眼部图像获取单元501，用于实时获取用户眼部的运动图像。
36.眼部图像分析单元502，用于对所述运动图像进行内容识别分析，获取用户的眼部特征信息。
37.眼部运动追踪单元503，用于对所述眼部特征信息进行运动分析，生成瞳孔特征标记，并根据所述瞳孔特征标记对用户眼部进行运动追踪。
38.眼部聚焦计算单元504，用于根据所述特征点标记对用户眼部进行瞳孔特征的运动计算，生成用户的眼球聚焦信息，所述眼球聚焦信息用于表征用户两个瞳孔的聚焦交汇
方向。
39.本实施例中，根据功能性作用对眼动追踪模块500进行了进一步的划分与功能步骤的细化说明，在使用时，通过眼部图像获取单元501实时获取用户眼部的图像信息，然后通过眼部图像分析单元502对图像进行分析，识别用户的眼部，并通过眼部运动追踪单元503对瞳孔等特征点进行标记和追踪，最终通过眼部聚焦计算单元504计算出用户的注视方位，用于与交互控制界面对应，实现非触摸的交互。
40.作为本发明另一个优选的实施例，所述眼动追踪模块500还包括：位置校准单元，用于获取用户相对投影的位置信息以及朝向信息，根据所述位置信息以及所述朝向信息生成位置校正数据，所述位置校正数据用于对所述眼球聚焦信息进行修正。
41.本实施例中，位置校准单元的作用是对眼动追踪模块生成的眼球聚焦信息进行修正校准，在用户使用时，其眼部相当于投影的位置高度方向等参数均会发生变化，因此，眼球聚焦信息所表达的内容也会因这些参数的变化而改变，所以这里通过生成位置校正数据对其进行修正，以实现控制的精确性。
42.如图4所示，本发明还提供了一种非触摸互动投影方法，其包括步骤：s200，采集并生成用户的手势图像，并根据预设的手势控制库对所述手势图像进行识别，生成手势控制信号，所述手势控制信号用于执行唯一对应的交互命令。
43.s400，生成并输出交互控制界面，所述交互控制界面设有多个控制交互接口，所述控制交互接口用于控制投影设备。
44.s600，实时采集用户的眼部运动图像，根据所述眼部运动信息进行眼球运动分析，获取眼球聚焦信息，所述眼球聚焦信息用于与所述交互控制界面的坐标相对应。
45.s800，根据所述眼球聚焦信息定位所述交互控制界面上的所述控制交互接口，并根据所述手势控制信号对所述控制交互接口执行相对应的交互命令。
46.作为本发明另一个优选的实施例，所述采集并生成用户的手势图像，并根据预设的手势控制库对所述手势图像进行识别，生成手势控制信号的步骤具体包括：采集并生成用户的所述手势图像。
47.对所述手势图像进行内容识别分析，获取用户手部的特征信息。
48.对所述特征信息进行运动分析，生成多个特征点标记，并根据所述特征点标记对用户手部进行运动跟踪。
49.根据预设的手势控制库对多个所述特征点标记的组合方式进行判定识别，生成手势控制信号。
50.作为本发明另一个优选的实施例，所述采集并生成用户的手势图像，并根据预设的手势控制库对所述手势图像进行识别，生成手势控制信号的步骤还包括：通过预设的交互触发手势对所述特征点标记的组合方式进行判定识别，生成交互触发信号，所述交互触发信号用于引导后续步骤执行。
51.本发明实施例的另一个目的在于提供一种非触摸互动投影方法及系统，包括手势识别模块、交互建立模块、眼动追踪模块以及控制生成模块；通过眼动追踪模块以及手势识别模块的设置，可以对用户进行眼部追踪以及手势的识别追踪，进而用户在使用时可以通过注视投影中需要进行操作的位置，并通过手势来实现对交互建立模块输出的交互控制界
面中的控制交互接口进行操作和控制，相较于现有技术中的各种接触式控制方式，本技术即可以实现一定范围内的随处控制，又能避免现有技术中无线控制方式需要手持控制设备的不便支出，使用更加智能方便，能够有效增加用户在投影使用中的灵活性。
52.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
53.本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
54.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。