一种融合眼位信息的无人机脑机辅助控制方法及设备

1.本技术属于人机交互领域，特别涉及一种融合眼位信息的无人机脑机辅助控制方法及设备。


背景技术：

2.脑机接口(bci)控制指令由大脑活动信号中携带的不同特征模式产生，因此选择合理的eeg特征产生方式对于bci的控制性能有着直接影响。根据eeg信号特征产生方式的不同，目前bci技术可分为自发式和诱发式两种类型。在自发式bci技术中，eeg特征通过被试主动执行特定的大脑意识活动即可产生，不依赖外部刺激。目前可用的自发意识活动包括运动想象mi、心算、集中注意力等。基于自发式bci的脑机交互控制需要被试者经过长时间的训练，对脑部活性和信息检出解析能力都有极为严格的要求，在无人机人机交互方面使用这种方法不识别率和误识别率较高，合格的被试者经过训练能够达到80％。相对的，诱发式bci技术需要通过外部刺激产生相应的eeg特征。外部刺激可以多种多样，比如明暗闪烁、物体移动、某种声音等多种预先定义的刺激事件，可以从视觉、听觉、触觉等感觉通路对被试施加刺激。单长时间刺激会导致生理疲劳，同时会破坏无人机显控界面友好性。
3.眼位信息采集通常作为无人机人机工效评估的某一指标，用来评估显控设计和用户工效，在交互控制方面需要对眼位信息进行驻留时间评估，来确定用户的明确意图，通常设计时延在3-5s不等，交互上效率不高。
4.因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。


技术实现要素：

5.本技术的目的是提供了一种融合眼位信息的无人机脑机辅助控制方法及设备，以解决现有技术存在的至少一个问题。
6.本技术的技术方案是：
7.本技术的第一个方面提供了一种融合眼位信息的无人机脑机辅助控制方法，包括：
8.监控脑电波，并根据监控的脑电波生成多通道脑电波数据，并根据多通道脑电波数据获取eeg信号中视觉通道特征信息；
9.监控眼球运动，并根据监控的眼球运动生成眼球运动数据，以及用于监控眼球注意力停留时间，并根据监控的眼球注意力停留时间生成眼球停留数据；
10.获取各个无人机任务流程对应的辅助决策，并通过配置辅助决策的接口实现对所述脑电仪模块不同频率的视觉刺激以及对眼动仪模块界面的自适应显示；
11.对所述eeg信号中视觉通道特征信息进行处理，获取大脑注意力提取到的视觉频率特征，并与所述眼球运动数据以及所述眼球停留数据进行综合，获取操作员的意图；
12.将所述操作员的意图转换成无人机飞行与任务控制指令，并将所述无人机飞行与任务控制指令发送给无人机指控控制系统。
13.在本技术的至少一个实施例中，所述辅助决策包括战术辅助决策、操作辅助决策以及特情处置辅助决策。
14.在本技术的至少一个实施例中，对所述eeg信号中视觉通道特征信息进行处理包括预处理、特征提取以及分类。
15.在本技术的至少一个实施例中，对所述eeg信号中视觉通道特征信息进行预处理采用独立分量分析法以及带通滤波法。
16.在本技术的至少一个实施例中，对所述eeg信号中视觉通道特征信息进行特征提取采用主成分分析法。
17.本技术的第二个方面提供了一种融合眼位信息的无人机脑机辅助控制设备，包括：
18.脑电仪模块，用于监控脑电波，并根据监控的脑电波生成多通道脑电波数据，并根据多通道脑电波数据获取eeg信号中视觉通道特征信息；
19.眼动仪模块，用于监控眼球运动，并根据监控的眼球运动生成眼球运动数据，以及用于监控眼球注意力停留时间，并根据监控的眼球注意力停留时间生成眼球停留数据；
20.无人机辅助控制决策模块，用于获取各个无人机任务流程对应的辅助决策，并通过配置辅助决策的接口实现对所述脑电仪模块不同频率的视觉刺激以及对眼动仪模块界面的自适应显示；
21.脑眼数据融合模块，用于对所述eeg信号中视觉通道特征信息进行处理，获取大脑注意力提取到的视觉频率特征，并与所述眼球运动数据以及所述眼球停留数据进行综合，获取操作员的意图；
22.无人机控制指令生成与发送模块，用于将所述操作员的意图转换成无人机飞行与任务控制指令，并将所述无人机飞行与任务控制指令发送给无人机指控控制系统。
23.在本技术的至少一个实施例中，所述辅助决策包括战术辅助决策、操作辅助决策以及特情处置辅助决策。
24.在本技术的至少一个实施例中，对所述eeg信号中视觉通道特征信息进行处理包括预处理、特征提取以及分类。
25.在本技术的至少一个实施例中，对所述eeg信号中视觉通道特征信息进行预处理采用独立分量分析法以及带通滤波法。
26.在本技术的至少一个实施例中，对所述eeg信号中视觉通道特征信息进行特征提取采用主成分分析法。
27.发明至少存在以下有益技术效果：
28.本技术的融合眼位信息的无人机脑机辅助控制方法，将脑机接口中采集的eeg视觉通道信息进行处理和识别，获取大脑注意力提取到的视觉频率特征，并与眼位信息进行再次综合，获取操作员准确的意图，经过在半物理仿真中进行应用验证，识别处理时延控制在150ms，准确率达到95％以上。
附图说明
29.图1是本技术一个实施方式的融合眼位信息的无人机脑机辅助控制设备架构图；
30.图2是本技术一个实施方式的数据处理软件相关网络通信配置示意图；
31.图3是本技术一个实施方式的脑电仪视觉通道信号阻抗值显示示意图；
32.图4是本技术一个实施方式的脑电波数据显示示意图；
33.图5是本技术一个实施方式的选择指令界面。
具体实施方式
34.为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本技术一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图对本技术的实施例进行详细说明。
35.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术保护范围的限制。
36.下面结合附图1至图5对本技术做进一步详细说明。
37.本技术的第一个方面提供了一种融合眼位信息的无人机脑机辅助控制方法，包括以下步骤：
38.监控脑电波，并根据监控的脑电波生成多通道脑电波数据，并根据多通道脑电波数据获取eeg信号中视觉通道特征信息；
39.监控眼球运动，并根据监控的眼球运动生成眼球运动数据，以及用于监控眼球注意力停留时间，并根据监控的眼球注意力停留时间生成眼球停留数据；
40.获取各个无人机任务流程对应的辅助决策，并通过配置辅助决策的接口实现对脑电仪模块不同频率的视觉刺激以及对眼动仪模块界面的自适应显示；
41.对eeg信号中视觉通道特征信息进行处理，获取大脑注意力提取到的视觉频率特征，并与眼球运动数据以及眼球停留数据进行综合，获取操作员的意图；
42.将操作员的意图转换成无人机飞行与任务控制指令，并将无人机飞行与任务控制指令发送给无人机指控控制系统。
43.在本技术的一个优选实施例中，辅助决策包括战术辅助决策、操作辅助决策以及特情处置辅助决策等。
44.在本技术的一个优选实施例中，对eeg信号中视觉通道特征信息进行处理包括预处理、特征提取以及分类。本实施例中，对eeg信号中视觉通道特征信息进行预处理采用独立分量分析法(ica)以及带通滤波法。ica分解脑电信号得到独立分量，以去除眼动、肌动等带来的生物电伪迹；带通滤波法滤除低频的电极漂移噪声和高频毛刺干扰，最终获取相对干净的脑电信息。本实施例中，对eeg信号中视觉通道特征信息进行特征提取采用主成分分析法。特征提取和降维是为了解决脑电信号采样频率高、通道数多、数据维数高的问题，主要采用主成分分析法(pca)，获取视觉通道的主要信号特征，并在时域和频域分开处理。其
中，时域降采样法保留了波形在时域上的变化趋势，适用于时域上有明显特征的脑电信号；主成分分析法通过提取脑电信号的主要分量达到降噪和降维的作用；一致空间模式通过寻找一组新的正交基使得原始信号在新的投影空间上具有更好的区分性。分类采用基于统计学习模型的方法，利用无人机辅助决策控制的定义刺激方案，事先选择了一组电极通道和眼动位置区间训练了多个支持向量机(support vector machine，svm)分类器，并分类器级联的思路，将多分类器的得分平均作为最终得分。
45.基于上述的融合眼位信息的无人机脑机辅助控制方法，本技术的第二个方面提供了一种融合眼位信息的无人机脑机辅助控制设备，如图1所示，包括：
46.脑电仪模块，用于监控脑电波，并根据监控的脑电波生成多通道脑电波数据，并根据多通道脑电波数据获取eeg信号中视觉通道特征信息；
47.眼动仪模块，用于监控眼球运动，并根据监控的眼球运动生成眼球运动数据，以及用于监控眼球注意力停留时间，并根据监控的眼球注意力停留时间生成眼球停留数据；
48.无人机辅助控制决策模块，用于获取各个无人机任务流程对应的辅助决策，并通过配置辅助决策的接口实现对脑电仪模块不同频率的视觉刺激以及对眼动仪模块界面的自适应显示；
49.脑眼数据融合模块，用于对eeg信号中视觉通道特征信息进行处理，获取大脑注意力提取到的视觉频率特征，并与眼球运动数据以及眼球停留数据进行综合，获取操作员的意图；
50.无人机控制指令生成与发送模块，用于将操作员的意图转换成无人机飞行与任务控制指令，并将无人机飞行与任务控制指令发送给无人机指控控制系统。
51.本技术的融合眼位信息的无人机脑机辅助控制设备，辅助决策包括战术辅助决策、操作辅助决策以及特情处置辅助决策。对eeg信号中视觉通道特征信息进行处理包括预处理、特征提取以及分类。对eeg信号中视觉通道特征信息进行预处理采用独立分量分析法以及带通滤波法。对eeg信号中视觉通道特征信息进行特征提取采用主成分分析法。
52.在本技术的一个实施方式中，中间数据处理功能可以配置相关网络通信内容，同时接收刺激进行数据处理分析，参见图2；本实施例中，配置脑机信号采集到的阻抗等内容，采用8导输入数据处理，全部为视觉关联，参见图3；获取脑电波数据，导入后台处理，参见图4；决策给出的注视指令选项，产生脑电，脑机眼动协同工作能够将脑电-眼动协同处理的信息进行比对分析最终得出选择的指令结果，参见图5。
53.本技术的融合眼位信息的无人机脑机辅助控制方法及设备，解决脑机接口对被试者个体的要求和训练差异性的问题；提高脑机接口交互识别准确率和识别时间，推动脑机接口技术与眼位识别技术的工程化应用；同辅助决策算法支持，适应性进行闪烁等视觉刺激激励，降低传统诱发脑机接口识别方案中长时间外部刺激交互带来的视觉疲劳。
54.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。