一种智能眼镜触摸控制方法及系统与流程

1.本发明涉及智能眼镜技术领域，特别是一种智能眼镜触摸控制方法及系统。


背景技术：

2.智能眼镜，具有独立的操作系统，智能眼镜可以由用户安装软件、游戏等软件服务商提供的程序。智能眼镜可通过语音或动作操控完成添加日程、地图导航、与好友互动、拍摄照片和视频、与朋友展开视频通话等功能，并可以通过移动通讯网络来实现无线网络接入，给人们的生活带来了很大的便利。
3.由于智能眼镜的体积通常较小，无法在眼镜体上设置很多的操作部件来让用户操作，目前智能眼镜只能通过定制app的功能，通过触摸板实现交互，或者需要使用蓝牙鼠标和键盘来实现对通用安卓app的交互，智能眼镜和触摸板就类似一台触摸和屏幕分离的手机,你在触摸的时候不知道自己手点在具体哪个位置,
4.这时候,你只是能用蓝牙鼠标来操作,比如你在手机里装一个微信,要点击某个人,因为不知道自己手指的位置,就没法选对要发消息的人,然后,一般智能眼镜会提供专用的app,比如桌面功能,就是通过左右滑动触摸,切换选中的app,如果要用手机版的桌面,就没法操作,如果要用微信,可能也要专门让微信做一个定制版本才能支持手势操作,这个是不太可能的,如果非要在眼镜用普通版本的微信,就只能用蓝牙鼠标操作,就很不方便,明明眼镜上已经有触摸板的,还需要再带一个蓝牙鼠标。


技术实现要素：

5.本发明的目的在于提供一种智能眼镜触摸控制方法及系统，能够在触动触摸板的时候知道自己的手指在智能眼镜上的具体位置。
6.为实现上述目的，本发明提供如下技术方案：一种智能眼镜触摸控制方法，所述控制方法包括以下步骤：
7.步骤s1、通过使用触摸板，将触摸板的坐标和智能眼镜坐标按照比例建立对应关系；
8.步骤s2、加装摄像头在触摸板旁，识别手指中点在触摸板上的位置；
9.步骤s3、根据触摸板坐标和智能眼镜坐标的比例，将当前手指中点使用颜色箭头显示在智能眼镜画面中；
10.步骤s4、判断手指是否触摸到触摸板，若是，则执行步骤s5，若否，则执行步骤s6；
11.步骤s5、在智能眼镜画面中由颜色箭头显示手指中点位置切换为触摸位置的图标并触发手指触摸位置的事件；
12.步骤s6、使用一种颜色加相反色边缘的曲线显示设定时间段内的移动轨迹。
13.进一步的，所述步骤s2中识别手指中点在触摸板上的位置是通过卷积神经网络建立一个模型,其中第一个卷积层输入是传入手指图片的rgb像素点分量值,通过将每个像素的rgb值代入多层多层卷积模型,进行迭代计算,得出估计手指重点位置,和样本重点位置
比较，最终得到一组最优的模型参数，通过传入拍摄的每个像素rgb值就能得到最可能的手指中点位置；所述模型通过卷积神经网络,配合标注好手指中点的图片进行训练。
14.进一步的，所述步骤s3具体为通过采集手指触摸到触摸板时触摸板四个定点位置以及摄像头识别到的手指中心点在摄像头显示到画面中的位置,建立映射关系，通过映射关系,获得手指的位置，从而将当前手指中点使用颜色箭头显示在智能眼镜画面中。
15.进一步的，所述步骤s3中的颜色箭头使用多种颜色圈嵌套显示。
16.进一步的，所述步骤s5中的切换是通过将颜色箭头的圆圈颜色变化实现。
17.进一步的，所述步骤s6中的设定时间段为2-5秒。
18.本发明还提供了一种智能眼镜触摸控制系统，包括比例对应模块、摄像识别模块、显示模块、判断模块、触碰模块、移动轨迹模块；所述比例对应模块负责通过使用触摸板，将触摸板的坐标和智能眼镜坐标按照比例建立对应关系；所述摄像识别模块负责加装摄像头在触摸板旁，识别手指中点在触摸板上的位置；所述显示模块负责根据触摸板坐标和智能眼镜坐标的比例，将当前手指中点使用颜色箭头显示在智能眼镜画面中；所述判断模块负责判断手指是否触摸到触摸板，若是，则执行所述触碰模块，若否，则执行所述移动轨迹模块；所述触碰模块负责在智能眼镜画面中由颜色箭头显示手指中点位置切换为触摸位置的图标并触发手指触摸位置的事件；所述移动轨迹模块负责使用一种颜色加相反色边缘的曲线显示设定时间段内的移动轨迹。
19.进一步的，所述摄像识别模块中识别手指中点在触摸板上的位置是通过卷积神经网络建立一个模型,其中第一个卷积层输入是传入手指图片的rgb像素点分量值,通过将每个像素的rgb值代入多层多层卷积模型,进行迭代计算,得出估计手指重点位置,和样本重点位置比较，最终得到一组最优的模型参数，通过传入拍摄的每个像素rgb值就能得到最可能的手指中点位置；所述模型通过卷积神经网络,配合标注好手指中点的图片进行训练。
20.进一步的，所述显示模块具体为通过采集手指触摸到触摸板时触摸板四个定点位置以及摄像头识别到的手指中心点在摄像头显示到画面中的位置,建立映射关系，通过映射关系,获得手指的位置，从而将当前手指中点使用颜色箭头显示在智能眼镜画面中。
21.进一步的，所述显示模块中的颜色箭头使用多种颜色圈嵌套显示。
22.进一步的，所述触碰模块中的切换是通过将颜色箭头的圆圈颜色变化实现。
23.进一步的，所述移动轨迹模块中的设定时间段为2-5秒。
24.本发明的有益效果：本发明实现了能够在触动触摸板的时候知道自己的手指在智能眼镜上的具体位置。由于摄像头在触摸板的位置，距离拍摄距离近，可以使用低像素的摄像头识别手势，降低成本；可以完全兼容现有安卓应用的交互，无需额外的手指设备例如戒指等。
附图说明
25.图1为本发明的方法流程示意图；
26.图2为本发明系统中的模块连接示意图。
具体实施方式
27.下面结合附图对本发明做进一步说明。
28.请参阅图1所示，一种智能眼镜触摸控制方法，所述控制方法包括以下步骤：
29.步骤s1、通过使用触摸板，将触摸板的坐标和智能眼镜坐标按照比例建立对应关系；
30.步骤s2、加装摄像头在触摸板旁，识别手指中点在触摸板上的位置；
31.摄像头需要安装在触摸版旁边,近距离采集,这样对摄像头的像素要求就不用那么高。
32.步骤s3、根据触摸板坐标和智能眼镜坐标的比例，将当前手指中点使用颜色箭头显示在智能眼镜画面中；
33.步骤s4、判断手指是否触摸到触摸板，若是，则执行步骤s5，若否，则执行步骤s6；
34.步骤s5、在智能眼镜画面中由颜色箭头显示手指中点位置切换为触摸位置的图标并触发手指触摸位置的事件；
35.步骤s6、使用一种颜色加相反色边缘的曲线显示设定时间段内的移动轨迹。
36.所述步骤s2中识别手指中点在触摸板上的位置是通过卷积神经网络建立一个模型,其中第一个卷积层输入是传入手指图片的rgb像素点分量值,通过将每个像素的rgb值代入多层多层卷积模型,进行迭代计算,得出估计手指重点位置,和样本重点位置比较，最终得到一组最优的模型参数，通过传入拍摄的每个像素rgb值就能得到最可能的手指中点位置；所述模型通过卷积神经网络,配合标注好手指中点的图片进行训练。
37.所述步骤s3具体为通过采集手指触摸到触摸板时触摸板四个定点位置以及摄像头识别到的手指中心点在摄像头显示到画面中的位置,建立映射关系，通过映射关系,获得手指的位置，从而将当前手指中点使用颜色箭头显示在智能眼镜画面中。
38.所述步骤s3中的颜色箭头使用多种颜色圈嵌套显示。
39.所述步骤s5中的切换是通过将颜色箭头的圆圈颜色变化实现。
40.所述步骤s6中的设定时间段为2-5秒。
41.手指触摸事件保持原来的事件不变，则可以实现与当前手机触摸屏一样的交互方式操作ar眼镜中的app；在没有本方案之前,手指操作app就会触发自己的事件,比如你双指放大照片,照片就会放大，本方案只是为了在你手指触摸到屏幕之前,让你可以知道自己手指在屏幕的什么位置。
42.下面结合一具体实施例对本发明做进一步说明：
43.一种智能眼镜触摸控制方法，所述控制方法包括以下步骤：
44.步骤s1、通过使用触摸板，将触摸板的坐标和智能眼镜坐标按照比例建立对应关系；
45.例如：ar眼镜的显示坐标是(0,0)到(1920,1080)，触摸板触摸坐标是(0,0)到(960,540)，则触摸的中点坐标是(1,1)则对应显示坐标就是(2，2)。
46.步骤s2、加装摄像头在触摸板旁，识别手指中点在触摸板上的位置；
47.摄像头需要安装在触摸版旁边,近距离采集,这样对摄像头的像素要求就不用那么高。
48.步骤s3、根据触摸板坐标和智能眼镜坐标的比例，将当前手指中点使用颜色箭头显示在智能眼镜画面中；
49.手指悬浮在触摸板坐标(1,1)位置时,眼镜屏幕中就高亮将以(1,1)为中心显示突
出的颜色箭头，可以通过高亮的单色突出显示颜色箭头，也可以通过使用多种颜色圈突出显示,比如最内圈红色,第二圈黄色,第三圈蓝色,第四圈黑色，手指中点就是箭头的顶点。
50.步骤s4、判断手指是否触摸到触摸板，若是，则执行步骤s5，若否，则执行步骤s6；
51.步骤s5、在智能眼镜画面中由颜色箭头显示手指中点位置切换为触摸位置的图标并触发手指触摸位置的事件；
52.手指触摸到触摸板(10,10)时,切换为触摸位置的显示图标，所述切换为触摸位置的显示图标也就是颜色箭头的颜色发生变化,让操作人看到点击位置，更好的还可以显示一个类似水波扩散的相反的收缩效果,更明显的看出操作人点击的位置，然后把触摸(10,10)的事件发送给系统,不做任何加工处理，例如(10,10)位置有个按钮,按下去就和没有用本方案一样触发按下按钮的事件，本方案只为了能够确定手指在触摸板上触碰时智能眼镜镜片中的手指中点的位置而不对智能眼镜本身的应用做任何加工。
53.步骤s6、使用红色加相反色边缘的曲线显示最近3秒内的移动轨迹
54.手指靠近触摸板没有碰到触摸板,从(1,1)直线移动到(100,100),则从(1,1)根据手指经过的位置绘制触摸轨迹到(100,100),如果到了第0秒手指在(1,1),第1秒手指在(10,10),第2秒在(20,20),第3秒在(30,30),第4秒在(40,40)则(1,1)到(10,10)的触摸估计消失,类似这样三秒前的触摸轨迹都消失，3秒也可以微调,如果时间太长,可能画面上轨迹太多太乱,时间太短还没看清轨迹就消失了；类似鼠标按下一样,然后按住鼠标左键拖动；显示拖动的轨迹。
55.请参阅图2所示，本发明还提供了一种智能眼镜触摸控制系统，包括比例对应模块、摄像识别模块、显示模块、判断模块、触碰模块、移动轨迹模块；所述比例对应模块负责通过使用触摸板，将触摸板的坐标和智能眼镜坐标按照比例建立对应关系；所述摄像识别模块负责加装摄像头在触摸板旁，识别手指中点在触摸板上的位置；所述显示模块负责根据触摸板坐标和智能眼镜坐标的比例，将当前手指中点使用颜色箭头显示在智能眼镜画面中；所述判断模块负责判断手指是否触摸到触摸板，若是，则执行所述触碰模块，若否，则执行所述移动轨迹模块；所述触碰模块负责在智能眼镜画面中由颜色箭头显示手指中点位置切换为触摸位置的图标并触发手指触摸位置的事件；所述移动轨迹模块负责使用一种颜色加相反色边缘的曲线显示设定时间段内的移动轨迹。
56.所述摄像识别模块中识别手指中点在触摸板上的位置是通过卷积神经网络建立一个模型,其中第一个卷积层输入是传入手指图片的rgb像素点分量值,通过将每个像素的rgb值代入多层多层卷积模型,进行迭代计算,得出估计手指重点位置,和样本重点位置比较，最终得到一组最优的模型参数，通过传入拍摄的每个像素rgb值就能得到最可能的手指中点位置；所述模型通过卷积神经网络,配合标注好手指中点的图片进行训练。
57.所述显示模块具体为通过采集手指触摸到触摸板时触摸板四个定点位置以及摄像头识别到的手指中心点在摄像头显示到画面中的位置,建立映射关系，通过映射关系,获得手指的位置，从而将当前手指中点使用颜色箭头显示在智能眼镜画面中。
58.所述显示模块中的颜色箭头使用多种颜色圈嵌套显示。
59.所述触碰模块中的切换是通过将颜色箭头的圆圈颜色变化实现。
60.所述移动轨迹模块中的设定时间段为2-5秒。
61.总之，通过使用触摸板，将触摸板的坐标和智能眼镜坐标按照比例建立对应关系；
加装摄像头在触摸板旁，识别手指中点在触摸板上的位置；步骤s3、根据触摸板坐标和智能眼镜坐标的比例，将当前手指中点使用颜色箭头显示在智能眼镜画面中；判断手指是否触摸到触摸板；若是，则在智能眼镜画面中由颜色箭头显示手指中点位置切换为触摸位置的图标并触发手指触摸位置的事件；若否，则使用一种颜色加相反色边缘的曲线显示设定时间段内的移动轨迹，所以实现了在触动触摸板的时候知道自己的手指在智能眼镜上的具体位置，并且可以完全兼容现有安卓应用的交互。
62.以上所述仅为本发明的较佳实施例，不能理解为对本技术的限制，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。