基于脑电与眼动协同的行车环境威胁目标识别方法及系统

1.本发明主要涉及目标识别技术领域，具体涉及一种基于脑电与眼动协同的行车环境威胁目标识别方法及系统。


背景技术：

2.近几年，快速发展的脑机接口(bci)已成为人工智能领域的研究热点。脑机接口旨在人脑和外部设备建立起直接的通路。作为一种新型的交互模式，bci已被广泛应用于医疗救助、汽车驾驶、机器人控制等领域。
3.脑控车是一种复杂的脑控应用，人脑与车辆之间存在着直接的控制通路。目前，脑控车采用的脑机接口范式主要有p300、运动想象和稳态视觉诱发电位(ssvep)。p300通常由视觉刺激引起，实时性较差，只能用于静态目标的控制，如开关、雨刷等。运动想象的实时性也较差，可用自由度有限(一般小于4个)，无法完成整体的驾驶任务。ssvep具有较高的信息传输率(itr)和良好的实时性。当受到一个固定频率的视觉刺激时，人的大脑皮层会在目标刺激的基频或者倍频产生ssvep特征成分。通过检测ssvep的显性频率就可以识别出目标刺激。基于其适用性强、简单易得且准确率高的特性，采用ssvep的脑机接口有利于自动驾驶过程中对威胁目标的选择。但是长时间的闪烁刺激容易造成驾驶员疲劳。
4.随着眼动追踪技术的成熟以及人类对交互舒适性要求的不断提升，基于眼动跟踪的交互方式受到越来越多的关注。与脑电不同，眼动交互方式更加自然，可以进一步降低交互的疲劳。此外，眼动交互学习成本低，大多数用户无需进行专门的培训即可操作使用。但是眼动跟踪仍存在一些弊端。人在自然状态中经常会有一些眼动行为往往不是由意志性的注意力引导产生，如果系统没有区分这些眼动,很可能错误的理解人类意图，发生误触发，即“米达斯接触”问题。此外，眼动追踪技术不是完全可靠的，一些随机的不稳定因素可能会导致系统发生错误。一些基于眼动的交互已经应用到文字拼写和机器人控制。
5.一个混合的脑机接口系统往往由至少两种以上的模态组成，表现的性能要好于单一模态的脑机接口。一些研究利用结合脑电和眼电的混合系统用来识别字符。此外，眼动跟踪与bci的结合已经逐渐被应用到控制游戏、机器臂和无人机。
6.目前，计算机信息融合能力的大幅提升不断促进着自动驾驶的发展。自动驾驶正逐渐从特定的场景(如高速公路、试验园区)走向复杂的城市交通。城市交通路况相对复杂，动态行人目标数量多且轨迹多变。在这种复杂的道路情况下，基于计算机视觉技术的环境感知方法无法快速准确地预知威胁目标。通过脑机接口将驾驶员的意图融入到车辆环境感知，可以提高驾驶的舒适性和安全性。
7.人在自然状态下经常有一些眼动行为不是由意志性的注意力引发的。如果不能辨别“有意识”和“无意识”的眼动，会导致系统错误理解真实意图，发出错误指令，在行车环境下容易造成交通事故。因此，系统应具备检测“无意识”眼动行为的能力，降低假阳率，增强系统的安全性和可靠性。
8.在设计在线异步的脑机接口系统时，实现异步控制的关键在于如何区分空闲状态
和工作状态。在异步脑机接口系统中，被试根据自主选择向外部设备发出指令。系统在受到被试产生的控制意图后会进入工作状态，而当未检测到控制意图时，则处于空闲状态。系统需不断监测被试大脑意识活动，区分工作和空闲状态。


技术实现要素：

9.本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种降低假阳率、缩短目标识别时间、提高识别准确率的基于脑电与眼动协同的行车环境威胁目标识别方法及系统。
10.为解决上述技术问题，本发明提出的技术方案为：
11.一种基于脑电与眼动协同的行车环境威胁目标识别方法，包括步骤：
12.s1、实时获取行车前景路况视频并进行多目标检测与跟踪；
13.s2、将不同刺激的闪烁箭头呈现在目标上并跟随其移动，采集眼动数据和脑电数据；
14.s3、对眼动数据进行处理得到眼动结果，对脑电数据进行处理得到脑电结果；
15.s4、综合所述眼动结果和脑电结果，输出跟踪目标结果。
16.优选地，在步骤s3中，通过i-vt滤波器分析眼睛方向移动的速度来实现对眼睛运动的分类，以输出眼动结果；其中眼睛运动的分类包括注视和扫视。
17.优选地，在步骤s3中，眼睛运动的分类的具体过程为：
18.通过两个采样点的距离与对应的采样时间的比值获得眼动速度；
19.当眼动速度高于设定的眼动阈值时，则与该速度相关样本判定为扫视样本，低于该阈值则被视为注视样本的一部分。
20.优选地，在步骤s3中，利用典型相关分析算法对脑电数据进行特征提取和分类，融合多通道信号数据，通过计算多通道脑电图信号和刺激频率之间的最大相关性系数来识别目标。
21.优选地，最大相关性系数的得到过程为：
22.周期性刺激表示为方波周期信号，分解为傅里叶谐波级数：
[0023][0024]
其中n是谐波数，l是原始信号的采样点数，t是当前时间点，s是脑电的采样率；通过计算两个数据组(x,y)的各变量线性组合(x＝x
twx
，y＝y
t
wy)的最大相关系数ρ来反映2组信号的相关性；ρ的计算公式如下：
[0025][0026]
优选地，在步骤s4中，当时输出跟踪目标；其中{r1,r2
…
}为眼动结果，{s1}为脑电结果。
[0027]
优选地，在步骤s2中，将不同频率、不同颜色、不同方向的闪烁刺激叠加在不同目标上。
[0028]
优选地，不同频率分别为6.10hz、8.18hz、15.87hz、12.85hz、10.50hz、8.97hz、13.78hz、9.98hz、11.23hz、7.08hz、14.99hz和11.88hz。
[0029]
优选地，在步骤s4之后，通过使用准确率和信号传输率来评估目标识别的性能。
[0030]
本发明还公开了一种基于脑电与眼动协同的行车环境威胁目标识别系统，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。
[0031]
与现有技术相比，本发明的优点在于：
[0032]
本发明融合稳态视觉诱发电位(ssvep)与眼动轨迹两种模态信息来进行行车环境下潜在威胁行人目标的识别；通过基于深度学习的目标检测与跟踪方法获取行人目标的坐标和id，为混合脑机接口(bci)提供初始信息。在行人目标上随机叠加不同方向的箭头闪烁，被试依据箭头扫视威胁目标的同时，相应频率的刺激唤起ssvep；以交通场景为背景，以动态行人为目标，将计算机视觉与混合bci相结合，被试需要根据自己的主观经验判断与选择对行车安全构成威胁的行人，从而实现基于bci的威胁行人目标的脑机融合识别。
[0033]
本发明的识别方法通过眼动轨迹的加入，有效地避免了因注意力不集中造成的错误结果，降低了假阳率；此外，眼动轨迹和脑电的结合不仅可以用于区分工作和空闲状态，还可以缩短威胁目标的识别时间和提高准确率。
附图说明
[0034]
图1为本发明的目标识别方法在实施例的流程图。
[0035]
图2为本发明中的目标叠加闪烁箭头的示意图。
[0036]
图3为本发明中的脑电检测时的电极分布示意图(选择电极为深色)。
具体实施方式
[0037]
以下结合说明书附图和具体实施例对本发明作进一步描述。
[0038]
如图1所示，本发明实施例提供了一种基于脑电与眼动协同的行车环境威胁目标识别方法，包括步骤：
[0039]
s1、通过zed2双目相机实时采集行车前景路况视频并进行多目标检测与跟踪，所采集到的图片帧以及目标的坐标与类别通过局域网传输至远程计算机；
[0040]
s2、远程计算机接收数据后不同刺激的闪烁箭头呈现在目标上并跟随其移动；其中箭头指向为随机分布；被试校准眼动仪跟随威胁目标箭头方向扫视，眼动仪和脑电(eeg)采集仪器同时开始采集相应的眼动数据和脑电数据；其中眼动仪采样频率为60hz；
[0041]
s3、对眼动数据进行处理得到眼动结果，对脑电数据进行处理得到脑电结果；在眼动数据的处理上，i-vt滤波器被引入对视觉轨迹进行处理，具体地，当连续60个采样点(sp)的轨迹变化的置信度超过一定值(如70％)输出眼动仪跟踪的眼动结果{r1,r2
…
}(对应图1中的决策ⅰ)；
[0042]
在脑电数据的处理上，通过典型相关分析算法(cca)对一定时间(如1000ms)的脑电数据进行特征提取并输出最大相关系数ρ；当ρ超过设定的阈值输出脑电选择的结果{s1}(对应图1中的决策ⅱ)；
[0043]
s4、综合所述眼动结果和脑电结果，输出跟踪目标结果；具体地，当眼动输出结果和脑电输出结果存在交集时输出跟踪目标(对应图1中的决策ⅲ)，即时输出跟踪目标(即行车环境威胁目标)；否则，没有结果输出视为空闲状态；窗口向前滑动一定时长(如200ms)获取下1秒的眼动数据和脑电数据进行处理，直至输出目标结果。
[0044]
本发明融合稳态视觉诱发电位(ssvep)与眼动轨迹两种模态信息来进行行车环境下潜在威胁行人目标的识别；通过基于深度学习的目标检测与跟踪方法获取行人目标的坐标和id，为混合脑机接口(bci)提供初始信息。在行人目标上随机叠加不同方向的箭头闪烁，被试依据箭头扫视威胁目标的同时，相应频率的刺激唤起ssvep；以交通场景为背景，以动态行人为目标，将计算机视觉与混合bci相结合，被试需要根据自己的主观经验判断与选择对行车安全构成威胁的行人，从而实现基于bci的威胁行人目标的脑机融合识别。
[0045]
本发明的识别方法通过眼动轨迹的加入，有效地避免了因注意力不集中造成的错误结果，降低了假阳率；此外，眼动轨迹和脑电的结合不仅可以用于区分工作和空闲状态，还可以缩短威胁目标的识别时间和提高准确率。
[0046]
如图2所示，在步骤s2中，根据目标检测和跟踪获得认为的目标位置与id，在每个行人目标上叠加显示不同频率、方向的闪烁刺激，被试通过注视行人目标实现对其选择。其中黑白交替闪烁的箭头长度为60像素点。由于视频中的行人数量并不是固定的，因此设定一个频率列表。经过相关试验研究表明，8～15hz的频率段能诱发比较强的ssvep响应。此外，每个频率还要满足在基频处和倍频处无相互重叠，频率之间的间隔设置尽量大，以保证信号的可区分性。考虑以上因素，频率列表被设为6.10hz、8.18hz、15.87hz、12.85hz、10.50hz、8.97hz、13.78hz、9.98hz、11.23hz、7.08hz、14.99hz和11.88hz。叠加刺激的频率依据每个行人目标id编码顺序依次从频率列表中选择。在实验过程中，被试发现威胁目标并依据刺激箭头方向扫视目标，直至目标被选中，叠加的闪烁停止变为黄色。
[0047]
在一具体实施例中，步骤s2中的眼动数据采集过程为：眼动数据由tobii的低成本眼球跟踪器(tobii pro nano)采集，频率为60赫兹，操作距离为75cm。每次实验前，被试需要进行眼动仪的校准。使用的lcd屏幕(legion y27gq-25，分辨率设定为1920
×
1080像素)，刷新率为240hz。
[0048]
步骤s2中的脑电数据采集过程为：实验使用64通道扩展的国际10/20系统记录eeg信号，选择9个有源电极进行ssvep检测，如图3所示，电极分别置于pz、po7、po3、poz、po4、po8、o1、oz和o2，参考电极置于右耳后，接地电极至于前额，采集之前每个电极的阻抗保持在10kω以下，使用brainamp dc amplifier(brain products gmbh，germany)放大eeg信号。采样频率为200hz，并经过4-35hz带通滤波和50hz陷波滤波。bci2000作为控制平台采集
信号，python拓展包pygame呈现刺激界面，matlab负责实时信号处理。显示界面与控制平台之间通过tcp/ip协议连接。
[0049]
在一具体实施例中，在步骤s3中，其中脑电数据处理的具体过程为：利用典型相关分析算法(cca)对预处理的脑电信号进行特征提取和分类。该方法融合多通道信号数据，通过计算多通道脑电图信号和刺激频率之间的相关性系数来识别目标，其中目标是与最大ssvep响应分值相对应的选项。周期性刺激表示为方波周期信号，可分解为傅里叶谐波级数：
[0050][0051]
其中n是谐波数，l是原始信号的采样点数，t是当前时间点，s是脑电的采样率。cca是一种多元统计分析方法，通过计算2个数据组(x,y)的各变量线性组合(x＝x
twx
，y＝y
t
wy)的最大相关系数ρ来反映2组信号的相关性。
[0052]
ρ的计算公式如下：
[0053][0054]
其中眼动数据处理的具体过程为：速度阈值识别(i-vt)滤波器是目前比较受欢迎的一种基于速度的眼动处理方法。i-vt滤波器通过分析眼睛方向移动的速度从而实现对眼睛运动的分类。眼动仪两个采样点的距离与对应的采样时间的比值即可获得眼动速度。速度通常以每秒视觉度数(
°
/s)表示。设定一个速度阈值，当速度高于设定的阈值时，则与该速度相关样本判定为扫视样本，低于该阈值则被视为注视的一部分；如：
[0055][0056]
其中v
x
表示x方向上的速度，vy代表y方向的速度，x1和y1是眼球在t1时刻的位置坐标，x2和y2是眼球在t2时刻的位置坐标。
[0057]
在一具体实施例中，使用准确率和信号传输率来评估ssvep-bci选择的性能；其中信号传输率(itr)的计算公式如下(单位：比特每分钟)：
[0058][0059]
t＝ts tb[0060]
其中n表示目标的总数，p是目标选择准确率，t表示完成依次目标选择时间，包括目标选择的刺激闪烁时间ts和闪烁间隔时间tb。
[0061]
本发明还公开了一种基于脑电与眼动协同的行车环境威胁目标识别系统，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。本发明的目标识别系统与上述目标识别方法相对应，同样具有如上目标识别方法所述的优点。
[0062]
如本公开和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0063]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。