一种基于手势切换的窗口调整方法、电子白板、存储介质与流程

1.本发明涉及智能控制技术领域，尤其涉及一种基于手势切换的窗口调整方法、电子白板、存储介质。


背景技术：

2.目前，各类智能设备广泛的应用在人们的日常生活和工作中。电子白板一般是应用于教室或会议室内，悬挂在预设高度，以便于室内的成员观看。用户在使用过程中需要结合自身的实际需求调整电子白板内的用户界面的尺寸。电子白板的尺寸较大，可同时显示多任务操作。但也是由于多任务操作，用户需要同时兼顾不同任务窗口的信息，并且在不同任务窗口之间频换切换，加重了用户的操作负担，分散用户的注意力，交互效率低，无法准确、快速识别用户的手势动作。


技术实现要素：

3.为了克服现有技术的不足，本发明的目的之一在于提供一种基于手势切换的窗口调整方法，快速、准确地识别用户的手势动作，方便快捷地调整电子白板的窗口。
4.本发明的目的之二在于提供一种设备，执行上述一种基于手势切换的窗口调整方法，快速、准确地识别用户的手势动作，方便快捷地调整电子白板的窗口。
5.本发明的目的之三在于提供一种存储介质，执行上述一种基于手势切换的窗口调整方法，快速、准确地识别用户的手势动作，方便快捷地调整电子白板的窗口。
6.本发明的目的之一采用如下技术方案实现：
7.一种基于手势切换的窗口调整方法，应用于电子白板，本方法包括以下步骤：
8.步骤s1、获取手势图像，对所述手势图像进行预处理；
9.步骤s2、通过手势识别神经网络识别所述手势图像，输出手势图像中的手势动作；所述手势识别神经网络包括卷积神经网络与深度神经网络；
10.步骤s3、根据所述手势动作调整电子白板的显示窗口。
11.进一步地，所述步骤s3根据所述手势动作调整电子白板的显示窗口及触碰位置包括以下步骤：
12.步骤s31、判断所述手势动作是否为调整电子白板显示界面窗口移动的手势信息；若是，根据所述手势动作匹配电子白板的窗口调整指令，调整电子白板的窗口。
13.进一步地，所述步骤s2中所述通过手势识别神经网络识别所述手势图像，具体为，通过卷积网络模型与深度神经网络对目标区域进行手势分类及预设手势筛选。
14.进一步地，所述通过卷积网络模型与深度神经网络对目标区域进行手势分类及预设手势筛选之前，还设置有以下步骤：
15.步骤s21、通过ycbcr颜色空间对手势图像中的目标区域进行肤色检测，获取肤色区域；判断肤色区域与手势图像的面积比是否大于阈值，若肤色区域与手势图像的面积比大于阈值，则过滤该肤色区域。
16.进一步地，所述步骤s1中对所述手势图像进行预处理包括对所述手势图像进行区域分割，得到目标区域。
17.进一步地，所述区域分割为通过ssd模型对手势图像进行卷积处理，得到若干个的特征图，每个特征图均对应一个检测区域；分析所述特征图，判断检测区域内是否含有待检测目标，对检测区域进行回归计算，得到目标区域。
18.进一步地，手势识别神经网络以经过预处理的手势图像为输入，进行特征图像大小不变的卷积，并进行固定大小最大值池化操作，得到第一特征图；对所述第一特征图重复卷积、池化操作，输出一第二特征图，将所述第二特征图一维化后，进行分类。
19.本发明的目的之二采用如下技术方案实现：
20.一种电子白板，其包括摄像机、处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述摄像机用于拍摄用户的手势图像，所述处理器执行所述计算机程序时实现如上任一所述一种基于手势切换的窗口调整方法。
21.本发明的目的之三采用如下技术方案实现：
22.一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上所述的一种基于手势切换的窗口调整方法。
23.相比现有技术，本发明的有益效果在于：
24.本发明提供了一种基于手势切换的窗口调整方法、电子白板及存储介质，通过设置有卷积神经网络与深度神经网络的手势识别神经网络识别用户的手势图像，根据用户的手势动作调整电子白板的显示窗口，准确、快速识别用户的手势动作，实现非接触式控制。同时减少了用户的操作负担，便于集中用户的注意力，交互效率高。
附图说明
25.图1为本发明所提供实施例的一种基于手势切换的窗口调整方法的流程示意图。
具体实施方式
26.下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
27.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
28.需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的
结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
29.如图1所示，本发明提供了一种基于手势切换的窗口调整方法，
30.在本技术中，手势指令交互无需具体的，本人脸图像识别方法包括以下步骤：
31.步骤s1、获取手势图像，对所述手势图像进行预处理；
32.具体的，所述步骤s1中对所述手势图像进行预处理包括对所述手势图像进行区域分割，得到目标区域。对手势图像进行区域分割可以基于阈值进行分割、基于边缘进行分割、基于颜色空间进行分割。在本实施例中，选用ssd(single shot multibox detector)模型对手势图像分割后得到目标区域，降低检测的难度。利用卷积对手势图像进行处理，得到若干个大小不同的特征图，每个特征图均对应着一个检测区域。对特征图进行分析，判断检测区域内是否含有待检测目标，对该区域进行回归计算，从而得到目标区域。
33.同时，在手势识别的过程中，可能出现目标区域与其他区域重合的情况，也可能出现多个不同的手势动作存在部分相同的部位，一个手势中可能包含其他手势。例如选择当前窗口的手势为竖起食指，更换窗口的手势为张开五指。在手势识别过程中，上述两种情况拍摄到的目标区域均包括食指与手背，张开五指的姿势包括了食指与手背，可能出现手势识别混淆的情况，无法直接区分，从而导致识别错误率高。在本技术中，将手势位置检测与分类分开，使用ssd模型进行手势分割，区分目标区域与背景区域，在一定程度上提高目标检测的准确率，也便于后续直接通过算法直接去除检测到的重叠手势目标，降低ssd模型的任务难度。
34.步骤s2、通过手势识别神经网络识别所述手势图像，输出手势图像中的手势动作。
35.由于在手势图像中可能存在较多的干扰项，包括脸部、衣物等，通过颜色空间无法直接进行分辨，且脸部所占的区域较大，一般通过连通区域面积进行排除，但该方式可能存在误识别的情况。因此，在本实施例中对手势图像的预先选定的肤色进行检测。针对手势图像进行肤色检测，有效排除脸部肤色区域对手势识别的干扰，同时提高手势识别的效率。具体为，步骤s21、通过ycbcr颜色空间对手势图像中的目标区域进行肤色检测，获取肤色区域；判断肤色区域与手势图像的面积比是否大于阈值，若肤色区域与手势图像的面积比大于阈值，则过滤该肤色区域，避免由于光线的强弱而造成的同一颜色差异过大的问题，提高识别率。
36.在得到手势图像的目标区域后，需要对该目标区域进行分类，得到手势的分类结果。分设定匹配模板，比对匹配模板与目标区域，通过平方差匹配法、相关系数匹配法或归一化相关匹配法计算两者的差值。在本技术中，使用cnn(convolutional neural networks，卷积神经网络)及dnn(deep neural networks，深度神经网络)神经网络模型作为手势识别神经网络，进行手势分类。
37.手势识别神经网络以经过预处理的手势图像为输入，进行特征图像大小不变的卷积，并进行固定大小最大值池化操作，得到第一特征图；对所述第一特征图重复卷积、池化操作，输出一第二特征图，将所述第二特征图一维化后，进行分类，得到最终的手势。在本实施例中，经过预处理大小为32*32的手势图像为输入，进行特征图像大小不变的卷积，并进行大小为2的最大值池化操作，得到一16*16特征图。对特征图重复进行上述的卷积、池化操作，最后输出一大小为2*2大小的特征图，进而将该2*2大小的特征图一维化后，进行最后的
分类。
38.步骤s3、根据所述手势动作调整电子白板的显示窗口。具体的，还包括以下步骤：
39.步骤s31、判断所述手势动作是否为调整电子白板屏幕显示界面窗口移动的手势；若是，根据所述手势动作匹配电子白板的窗口调整指令，调整电子白板的窗口。用户还可以事先设置手势动作匹配的窗口调整指令，便于用户操作。
40.本发明通过设置有卷积神经网络与深度神经网络的手势识别神经网络识别用户的手势图像，根据用户的手势动作调整电子白板的显示窗口，准确、快速识别用户的手势动作，实现非接触式控制。同时减少了用户的操作负担，便于集中用户的注意力，交互效率高。
41.另外，本发明还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述一种基于手势切换的窗口调整方法的步骤。
42.本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
43.基于相同的发明思想，还提供了一种电子白板，包括摄像机、存储器、处理器以及存储在存储器中的程序，所述摄像机用于拍摄用户的手势图像，所述程序被配置成由处理器执行，处理器执行所述程序时实现上述一种基于手势切换的窗口调整方法。
44.本实施例中的设备与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。
45.上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。