一种眼控式智能综合测控装置及其眼控方法与流程

1.本发明涉及测控技术领域，具体涉及一种眼控式智能综合测控装置以及应用该装置的眼控方法。


背景技术：

2.随着电力系统智能电网的应用普及，智能综合测控单元也大量的配套于一次高压设备，不仅提高了相关设备的测量精度，还可以增强设备的智能操控能力。通用的智能综合测控单元常规操作一般是通过装置上按键或液晶屏触摸式实现，在一次设备带高压电工作状态时，容易因操作触碰或静电导致一次设备误动，从而造成很大的安全隐患。
3.目前，已知技术侦测眼部动作的方式，是从使用者的眼部影像中撷取特征部位(如眼角、瞳孔等)，并针对这些特征部位制定参考坐标，测量每个特征部位的位移，实为精准定位的概念。
4.在人机交互领域中，眼睛作为又一种重要的信息交互通道，而视线反应人的注意方向，因而将视线应用于人机交互领域具有其自然性、直接性和交互性等特点，备受人们的关注，因此如何基于人眼的动作来实现综合测控单元是亟需解决的技术问题。


技术实现要素：

5.为了克服现有技术的不足，本发明的目的在于提供一种基于人眼的动作来对智能综合测控单元进行控制的眼控式智能综合测控装置及其方法，该系统和方法可以解决现有技术中因操作触碰或静电误动造成的安全隐患等问题，无需接触，可有效降低因误触装置带来的风险，从而提高产品的市场竞争力。
6.为解决上述问题，本发明所采用的技术方案如下：
7.一种眼控式智能综合测控装置，包括：保护单元主机；
8.摄像单元，用于拍摄眼部，以获取眼部图像信息；
9.虹膜识别系统，对接收到的眼部图像信息进行虹膜特征提取，以产生一虹膜信息，并存储至虹膜系统数据库；
10.虹膜识别系统还用于对接收到的眼部图像信息进行安全验证，并输出一验证结果；
11.眼控单元，当接收到正确的验证结果时，根据摄像单元采集到的人脸图形产生一位置信息反馈至保护单元主机，由保护单元主机执行眼控操作。
12.进一步的方案是，虹膜识别系统包括第一数据处理模块、虹膜系统数据库以及第一通信模块，虹膜识别系统通过第一通信模块分别与摄像单元、眼控单元以及保护单元主机之间进行通信，虹膜系统数据库用于储存虹膜信息以及与虹膜信息对应的身份信息，第一数据处理模块用于执行：
13.对接收到的眼部图像信息进行图像预处理、特征提取和特征匹配，形成一虹膜码存储至虹膜系统数据库。
14.更进一步的方案是，眼控单元包括第二数据处理模块以及第二通信模块，眼控单元通过第二通信模块分别与摄像单元、虹膜识别系统以及保护单元主机之间进行通信，第二数据处理模块用于执行：
15.获取人眼在保护单元主机上的注视点的位置信息；
16.检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，将当前人眼在保护单元主机上的注视点的当前位置信息发送给保护单元主机。
17.更进一步的方案是，保护单元主机还包括一遮蔽外壳，多个位于该遮蔽外壳之内以容纳摄像单元、虹膜识别系统以及眼控单元的容置空间。
18.一种眼控式智能综合测控装置的眼控方法，该方法应用于上述一种眼控式智能综合测控装置进行人眼控制操作，该方法包括以下步骤：通过保护单元主机向虹膜识别系统发送虹膜信息录入指令，虹膜识别系统获取摄像单元采集到的高清图像数据，并对该图像数据进行图像预处理和特征提取操作，从而产生一虹膜信息，存储至虹膜系统数据库；
19.启用眼控功能，由眼控单元轮询摄像单元的状态，若眼控单元连续多次识别到相似人脸信息时，发送图像信息给虹膜识别系统，虹膜识别系统将该信息通过图像预处理、特征提取操作后与虹膜系统数据库的数据进行比对，若信息匹配，虹膜识别系统将验证通过结果反馈给眼控单元和保护单元主机，眼控单元进入工作状态，将识别到的初始数据生成一位置信息反馈给保护单元主机，由保护单元主机执行眼控操作；
20.其中，眼控单元根据预先存储的与保护单元主机相应的位置控制对应表生成与当前人眼位置信息相对应的位置控制信号，并将该位置控制信号发送至保护单元主机以供保护单元主机执行相应的眼控操作。
21.进一步的方案是，当虹膜识别系统通过验证后，眼控单元通过摄像单元实时采集用户人眼位置、眉心位置与鼻尖位置距离摄像头的倾角特征，并与保护单元主机保持实时通信；
22.在保护单元主机收到验证通过信息后，通过匹配本地数据库确认用户信息，由保护单元主机显示屏输出验证通过示意界面，当与用户完成验证绑定后，验证通过示意界面消失，进入眼控模式。
23.更进一步的方案是，在眼控模式中，由眼控单元实时监控摄像单元拍摄到用户的人眼位置信息、眉心位置与鼻尖位置，检测每个位置点与摄像单元偏移的角度，进入跟踪模式，从而确定人眼在保护单元主机上的注视点的位置信息，眼控单元将计算好的位置信息反馈给保护单元主机，从而实现眼控操作。
24.更进一步的方案是，若检测到注视点的位置在显示屏内，则保护单元主机根据接收到的位置信息移动光标；若检测到注视点的位置不在显示屏内，则眼控单元进入待机状态，并在预定时间内重新进入跟踪模式。
25.更进一步的方案是，在跟踪模式中，保护单元主机显示屏的光标将跟随用户的视线移动，当用户选中某一选项时，将目光聚集在该选项上，此时保护单元主机显示屏的光标移动到该选项上，并当检测到用户闭眼1秒钟确认信息后，由保护单元主机执行一次按键操作。
26.更进一步的方案是，当显示屏弹出验证通过示意界面后，由眼控单元监测是否有用户是否有闭眼1秒钟的动作，如是，向保护单元主机发送一条位置信息，确定人眼位置在
通过示意界面图标处，然后保护单元主机与眼控单元进行数据交互，从而实现人眼位置矫正；
27.当验证通过示意界面消失后，显示屏出现一光标，眼控单元进入跟踪模式，实时跟踪用户人眼位置中线位置，当中线位置角度每偏移5分时，眼控单元向保护单元主机传送位置数据，保护单元主机更新光标位置，若此时检测到用户闭眼确认信息后，则眼控单元传递给保护单元主机一个执行信号，由保护单元主机执行一次鼠标左键操作，视为一次确认；
28.光标在显示屏范围内跟随注视点位置移动，当注视点移开显示屏时，眼控单元能识别到图形超出范围，将进入待机状态，暂停识别，当暂停时间超过预定时间后，本次连接断开，虹膜识别标志失效。
29.由此可见，相比现有技术，本发明提供了一种眼控式智能综合测控装置及其方法，通过摄像头拍摄该使用者眼部，可以取得该眼部影像，通过虹膜识别系统可以对该眼部影像进行分析，将该眼部影像进行特征值处理，并将该虹膜特征图与虹膜系统数据库的数据进行比对，藉以确认该运维人员是否为合法用户；在眼控单元检测出人眼动作时，眼控单元通过摄像头跟踪人眼运动轨迹实现鼠标功能，将相应的位置控制信号发送至保护单元主机以供保护单元主机执行相应的眼控操作，如用户眨眼相当于单击鼠标左键操作，无需与设备接触，避免了因操作触碰或静电误动存在的各种安全隐患。
30.下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
31.图1是本发明一种眼控式智能综合测控装置实施例的原理图。
32.图2是本发明一种眼控式智能综合测控装置的眼控方法实施例的流程图。
33.图3是本发明一种眼控式智能综合测控装置的眼控方法实施例中关于录入虹膜信息的流程图。
34.图4是本发明一种眼控式智能综合测控装置的眼控方法实施例的具体流程图。
具体实施方式
35.一种眼控式智能综合测控装置实施例：
36.参见图1，本发明提供的一种眼控式智能综合测控装置，包括：
37.保护单元主机1，保护单元主机作为高压微机保护的主要载体，该主机的液晶屏可以提供一个眼控操作示意界面。
38.摄像单元2，用于拍摄眼部，以获取眼部图像信息。
39.虹膜识别系统3，对接收到的眼部图像信息进行虹膜特征提取，以产生一虹膜信息，并存储至虹膜系统数据库。
40.虹膜识别系统3还用于对接收到的眼部图像信息进行安全验证，并输出一验证结果。
41.眼控单元4，当接收到正确的验证结果时，根据摄像单元2采集到的人脸图形产生一位置信息反馈至保护单元主机1，由保护单元主机1执行眼控操作。
42.在本实施例中，虹膜识别系统3包括第一数据处理模块31、虹膜系统数据库以及第一通信模块，虹膜识别系统3通过第一通信模块分别与摄像单元2、眼控单元4以及保护单元
主机1之间进行通信，虹膜系统数据库用于储存虹膜信息以及与虹膜信息对应的身份信息，第一数据处理模块31用于执行：
43.对接收到的眼部图像信息进行虹膜图像获取、图像预处理、特征提取和特征匹配，形成一虹膜码存储至虹膜系统数据库。
44.在本实施例中，眼控单元4包括第二数据处理模块以及第二通信模块，眼控单元4通过第二通信模块分别与摄像单元2、虹膜识别系统3以及保护单元主机1之间进行通信，用于采集红外摄像头输出、与虹膜识别系统3的数据处理模块交互、与保护单元输入输出模块数据交互，第二数据处理模块用于执行：
45.获取人眼在保护单元主机1上的注视点的位置信息；
46.检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，将当前人眼在保护单元主机1上的注视点的当前位置信息发送给保护单元主机1。
47.在本实施例中，保护单元主机1还包括一遮蔽外壳，多个位于该遮蔽外壳之内以容纳摄像单元2、虹膜识别系统3以及眼控单元4的容置空间。
48.本实施例的眼控单元4可以为具有摄像功能的设备，例如ccd。可选地，本实施例中的眼控单元4还可以通过上述的摄像单元2来获取到人眼的实时图像，基于人眼的实时图像来获知人眼的实时动作状态。
49.本实施例的摄像单元2为红外摄像头，设置于保护单元主机1上，用于向人眼发射红外光，并在人眼的两个瞳孔中形成光反射点，并拍摄人眼图像，获取眼部图像信息。
50.在本实施例中，第二数据处理模块包括图像处理模块以及位置计算模块，图像处理模块用于眼部图像信息建立图像坐标系，并对眼部图像信息进行处理以获得两个瞳孔中心和光反射点在图像坐标系中的坐标位置；位置计算模块用于根据两个瞳孔中心和光反射点在图像坐标系中的坐标，通过交比不变算法得到人眼在保护单元主机1显示屏上的注视点的位置信息。
51.本实施例的保护单元主机1包括输入输出模块、继电保护逻辑模块、显示屏等，用于控制信息确认及数据同步，上位机控制录入、识别或者信息修改。
52.一种眼控式智能综合测控装置的眼控方法实施例：
53.该方法应用于上述一种眼控式智能综合测控装置进行人眼控制操作，如图2所示，该方法包括以下步骤：
54.步骤s1，通过保护单元主机1向虹膜识别系统3发送虹膜信息录入指令，虹膜识别系统3获取摄像单元2采集到的高清图像数据，并对该图像数据进行图像预处理和特征提取操作，从而产生一虹膜信息，存储至虹膜系统数据库；
55.步骤s2，启用眼控功能，由眼控单元4轮询摄像单元2的状态，若眼控单元4连续多次识别到相似人脸信息时，发送图像信息给虹膜识别系统3，虹膜识别系统3将该信息通过图像预处理、特征提取操作后与虹膜系统数据库的数据进行比对。
56.若信息匹配，执行步骤s3，虹膜识别系统3将验证通过结果反馈给眼控单元4和保护单元主机1，眼控单元4进入工作状态，将识别到的初始数据生成一位置信息反馈给保护单元主机1，由保护单元主机1执行眼控操作。
57.其中，眼控单元4根据预先存储的与保护单元主机1相应的位置控制对应表生成与当前人眼位置信息相对应的位置控制信号，并将该位置控制信号发送至保护单元主机1以
供保护单元主机1执行相应的眼控操作。
58.当虹膜识别系统3通过验证后，眼控单元4通过摄像单元2实时采集用户人眼位置、眉心位置与鼻尖位置距离摄像头的倾角特征，并与保护单元主机1保持实时通信；
59.在保护单元主机1收到验证通过信息后，通过匹配本地数据库确认用户信息，由保护单元主机1显示屏输出验证通过示意界面，当与用户完成验证绑定后，验证通过示意界面消失，进入眼控模式。
60.在眼控模式中，由眼控单元4实时监控摄像单元2拍摄到用户的人眼位置信息、眉心位置与鼻尖位置，检测每个位置点与摄像单元2偏移的角度，进入跟踪模式，从而确定人眼在保护单元主机1上的注视点的位置信息，眼控单元4将计算好的位置信息反馈给保护单元主机1，从而实现眼控操作。
61.若检测到注视点的位置在显示屏内，则保护单元主机1根据接收到的位置信息移动光标；若检测到注视点的位置不在显示屏内，则眼控单元4进入待机状态，并在预定时间内重新进入跟踪模式。
62.在跟踪模式中，保护单元主机1显示屏的光标将跟随用户的视线移动，当用户选中某一选项时，将目光聚集在该选项上，此时保护单元主机1显示屏的光标移动到该选项上，并当检测到用户闭眼1秒钟确认信息后，由保护单元主机1执行一次按键操作。
63.当显示屏弹出验证通过示意界面后，由眼控单元4监测是否有用户是否有闭眼1秒钟的动作，如是，向保护单元主机1发送一条位置信息，确定人眼位置在通过示意界面图标处，然后保护单元主机1与眼控单元4进行数据交互，从而实现人眼位置矫正。其中，眨眼是先天条件反射，不可避免，需闭眼大于800ms的时间，约1秒钟才能认为一次鼠标左键操作。
64.具体的，当运维人员的人眼注视保护单元主机1显示屏上不同的位置时，经处理的人眼图像瞳孔的位置是不同的，经过分析可以得到人眼的瞳孔映射到角膜平面的映射点在角膜平面移动，同时人眼在保护单元主机1显示屏上的注视点也随之移动。其中，角膜平面为根据人眼图像将人眼的眼球表面映射至预设位置的一个二维平面。将人眼的瞳孔映射到角膜平面的映射点和人眼在保护单元主机1显示屏上的注视点通过归纳、统计计算，一一实现校准，并且通过统计计算，可以获得人眼的瞳孔映射到角膜平面的位置和人眼在保护单元主机1显示屏上的注视点位置的对应关系，其中，对应关系可以是公式或函数等。进行校准后，获取人眼图像，并对人眼图像进行处理，获得人眼瞳孔映射到角膜平面的位置，根据对应关系就可以获取人眼在保护单元主机1显示屏上的注视点位置信息。
65.当验证通过示意界面消失后，显示屏出现一光标，眼控单元4进入跟踪模式，实时跟踪用户人眼位置中线位置，当中线位置角度每偏移5分时，眼控单元4向保护单元主机1传送位置数据，保护单元主机1更新光标位置，若此时检测到用户闭眼确认信息后，则眼控单元4传递给保护单元主机1一个执行信号，由保护单元主机1执行一次鼠标左键操作，视为一次确认；
66.光标在显示屏范围内跟随注视点位置移动，当注视点移开显示屏时，眼控单元4能识别到图形超出范围，将进入待机状态，暂停识别，当暂停时间超过预定时间后，本次连接断开，虹膜识别标志失效。
67.在本实施例中，如图3所示，在进行眼控操作前，还通过保护单元主机1选择录入运维人员的虹膜信息，首先，运维人员根据提示目视红外摄像头，判断是否成功采集虹膜特征
码，如是，红外摄像头周身绿灯亮，录入操作人信息；如不是，红外摄像头周身红灯亮，重新采集，并判断是否成功采集虹膜特征码，如是，将虹膜码存入虹膜系统数据库，存储成功，弹出记录信息，存储失败，弹出记录失败。
68.本实施例的光标为眼控鼠标，其包括处理芯片以及用于与保护单元主机1连接的usb接口，处理芯片通过usb接口与保护单元主机1连接，用于将用户眼球的运动轨迹，并将轨迹映射为对计算机相关的操作，眨眼相当于单击鼠标左键操作。该眼控鼠标解决了传统方式不能满足用户人机交互需求的问题。
69.在进行眼控操作前，还可以对光标位置输入操作进行设定，当运维人员人眼在保护单元主机1上停留预设时间，保持注视点位置信息不变时进行至少一次眨眼动作，即人眼在保护单元主机1上的注视点位置信息在预设时间内不发生变化，则控制在所述光标的位置输入设定操作，可以根据用户的需要进行自定义设置；如果要输入数字的时候，当点击完输入控件后，屏幕上会弹出一个11键键盘，通过单机输入0-9的数字以及“退格”操作。
70.具体的，在设备调试的时候，运维人员通过操作眼控式智能综合测控装置，录入自己的虹膜信息，存入虹膜系统数据库，作为身份核实验证的依据。在录入完成后，通过触摸屏设置，启用眼控功能。运维人员通过眼控单元4操作眼控式智能综合测控装置，只需要站在眼控式智能综合测控装置1-1.5m的距离处，注视红外摄像头，当虹膜识别系统3通过验证后，显示屏屏幕弹出验证通过示意界面，如“通过示意”。此时运维人员眼睛目视屏幕弹出的示意界面，眨眼一次，示意界面消失。这时，眼控单元4将跟随运维人员的视线与保护单元主机1通信，触摸屏上的鼠标将跟随运维人员的视线移动。当运维人员想要选中某一选项时，将目光聚集在该选项上，此时显示屏的鼠标移动到该选项上，眨眼一次，保护单元主机1执行一次左键操作，视为确认。如果运维人员操作完毕，视线离开液晶屏，5秒钟之后，眼控单元4退出。
71.因此，虹膜识别系统3与眼控单元4是一个不可分割的整体，虹膜识别系统3识别到运维人员是否是特定操作人员，眼控单元4识别到双眼后，根据两只眼睛到红外摄像头的距离，测算出操作人员目光聚焦的位置，将位置信息通过接口传递给保护单元主机1。保护单元主机1根据位置信息以及眨眼动作执行相应的操作。比如，控制高压开关柜一次侧设备断路器的分合，执行二次设备定值等。
72.在实际应用中，如图4所示，本实施例的提供的眼控方法包括：
73.虹膜录入阶段：首先，用户操作保护单元主机1，使用录入虹膜信息的功能，此时保护单元主机1通过通信接口给虹膜识别系统3发送录入虹膜信息到虹膜系统数据库的指令，虹膜识别系统3通过对眼控单元4的通信接口获取红外摄像头采集到的高清图像数据，然后经过图像预处理，删除眼部以外的多余信息，进行图像平滑、边缘检测、图像分离等操作。
74.然后，执行特征提取操作，虹膜识别系统3的数据处理模块会通过特征提取算法从分离出来的虹膜图像提取出独特的特征点，数据处理模块基于虹膜成像，二维gabor波将其筛选和绘制为相量，相量信息包括方向和空间频率(图像内容)以及图像位置，利用这些相量信息绘制虹膜码，存入虹膜系统数据库中。
75.虹膜认证阶段：眼控单元4会轮询摄像头的状态，如果眼控单元4连续多次识别到相似人脸时，就主动发送图形信息给虹膜识别系统3，虹膜识别系统3通过图像预处理、特征提取然后比对数据库模块的数据，如果对应不上，就将结果反馈给眼控单元4。如果信息匹
配，通过虹膜识别系统3将结果反馈给眼控单元4和保护单元主机1，眼控单元4收到信息后进入工作，将识别到的初始数据发送给保护单元主机1；保护单元主机1收到信息后，匹配本地数据库，确认运维人员信息，然后弹出“通过示意”窗口。
76.其中，眼控单元4是根据红外摄像头拍摄到运维人员两只眼睛的位置，以及眉心与鼻尖的位置，眼控单元4会监视这4个点的位置，检测每个位置点与红外摄像头偏移的角度，从而判断运维人员注视的位置，眼控单元4的数据处理模块将计算来的位置信息反馈给保护单元主机1，从而实现眼控操作。
77.基于上述原理，运维人员转动眼球不会对眼控单元4造成影响。当界面弹出“通过示意”后，运维人员此时可以将目光移动到“通过示意”，然后眨眼，此时眼控单元4监视到眨眼动作，给保护单元主机1发布一条位置信息，认为现在实现在“通过示意”图标处，然后保护单元主机1与眼控单元4数据交互，矫正位置。与此同时，“通过示意”消失，眼控鼠标出现，眼控鼠标出现后，眼控单元4进入跟踪模式，实时跟踪运维眼睛中线位置，中线角度每偏移5分，眼控单元4向保护单元主机1传送数据，保护单元主机1更新眼控鼠标位置，如果此时运维人员闭眼1s，那么眼控单元4也将传递给保护单元主机1一个信号，保护单元主机1接收到这个信号后，执行一次鼠标左键操作，视为一次确认。
78.此时，眼控鼠标在10.1寸显示屏范围内跟随目光移动，当目光移开显示屏时，眼控单元4能识别到图形超出范围，暂停识别，暂停时间超过5s后，本次连接断开，虹膜识别标志失效，若想再次眼控，需要重新认证。
79.由此可见，相比现有技术，本发明提供了一种眼控式智能综合测控装置及其方法，通过摄像头拍摄该使用者眼部，可以取得该眼部影像，通过虹膜识别系统3可以对该眼部影像进行分析，将该眼部影像进行特征值处理，并将该虹膜特征图与虹膜系统数据库的数据进行比对，藉以确认该运维人员是否为合法用户；在眼控单元4检测出人眼动作时，眼控单元4通过摄像头跟踪人眼运动轨迹实现鼠标功能，将相应的位置控制信号发送至保护单元主机1以供保护单元主机1执行相应的眼控操作，如用户眨眼相当于单击鼠标左键操作，无需与设备接触，避免了因操作触碰或静电误动存在的各种安全隐患。
80.上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。