一种融合近红外和耳脑电的多模态信号采集装置和系统

1.本发明涉及信号采集技术领域，特别涉及一种融合近红外和耳脑电的多模态信号采集装置和系统。


背景技术：

2.脑电信号是脑神经细胞群电生理活动的总体反映，脑的不同状态和病因会使脑的不同区域或频段上的脑电信号发生变化，从而使脑电信号表现出不同模式。因此脑电图检查在神经精神科的临床诊断中起着重要的作用，且己经发现许多脑病和精神疾病与脑电信号异常相关。随机计算机领域技术的不断法阵，计算机辅助脑电信号分析和脑电信号自动分析系统进行开发研究，并从工程角度提出许多对脑电信号进行分析的系统，取得了一些进展和成绩。然而通常的脑电信号采集系统使用繁琐、造价较高而且通常需要随身佩戴一个信息记录装置，难以实现隐蔽性采集及用户自由移动情况下采集。


技术实现要素：

3.本发明的目的在于，提供一种融合近红外和耳脑电的多模态信号采集装置和系统，解决上述现有技术中存在的问题。
4.为了实现上述目的，本发明提供了如下技术方案：
5.一种融合近红外和耳脑电的多模态信号采集装置，包括耳机主体、入耳式耳电采集器、近红外发射器、探测装置；
6.其中，所述耳机主体为耳罩式结构；
7.所述入耳式耳电采集器与所述耳机主体的耳罩内壁固定连接，并与人耳形状相适配；
8.n个所述近红外发射器安装在所述耳机主体的耳罩与头皮接触处；
9.m个所述探测装置安装在所述耳机主体的耳罩与头皮接触处。
10.优选的，所述入耳式耳电采集器包括：可变形支撑器、硅胶电极头；
11.所述可变形支撑器一端与所述耳机主体固定连接；
12.另一端，与所述硅胶导电极头活动连接。
13.优选的，在所述耳机主体上所述近红外发射器与所述探测装置交替排布；其中，交替排布的所述近红外发射器与所述探测装置组成一条弧线；所述弧线上的相邻的所述近红外发射器与所述探测装置距离fcm。
14.优选的，所述耳机主体的两侧耳罩与结构相同。
15.优选的，还包括，无线通信装置；
16.所述无线通信装置嵌入所述耳机主体内，并与所述耳机主体电连接。
17.一种融合近红外和耳脑电的多模态信号采集系统，包括：权利要求1所述的一种融合近红外和耳脑电的多模态信号采集装置，还包括：
18.云服务器，接收权利要求1所述的一种融合近红外和耳脑电的多模态信号采集装
置发送的信号；
19.数据预处理模块，对交流电及其谐波进行衰减；
20.特征提取模块，基于线性和非线性脑电信号进行脑电特征提取；基于光强度数据提取近红外特征；
21.特征整合模块，对所述特征提取模块提取的全部特征进行融合和对齐，得到目标多模态数据。
22.优选的，所述数据处理模块，通过对交流电进行i阶巴特沃斯陷波，实现对所述交流电及其谐波进行衰减。
23.优选的，所述特征提取模块包括：入耳式耳电采集器、近红外发射器、探测装置；
24.所述入耳式耳电采集器，基于耳电与脑电的相似度采集耳电以获得脑电特征；
25.所述近红外发射器发射近红外光，经头部吸收和散射后，由所述探测装置检测散射出的近红外光，并转换成电信号，获得近红外特征。
26.优选的，所述特征整合模块，对所述特征提取模块提取的全部特征进行融合和对齐。
27.经由上述的内容可知与现有技术相比，本发明的有益效果在于：
28.电极与人体充分，大面积且稳定接触，不容易滑动或者脱落，兼顾隐蔽性，本发明设计采用柔性材料制作耳道脑电采集。在耳朵内部采集脑电的优点有：1)由于是塞在耳朵内部，相对头环或者头套，接触较为紧密，不容易滑动或滑落，减少了运动产生震动使得常规电极滑动或者脱落的问题。2)耳塞式电极基底能够支撑电极和耳道皮肤紧密接触，且接触面较大，接触电阻容易达到测量要求。3)柔性材料相比于常规的硬质电极，如氯化银电极和银电极，它们在使用的过程中具有更好的舒适性，不易引起皮肤刺激和磨损。4)耳塞式脑电电极还兼顾了隐蔽性，由于外观和使用与耳机类似，不会让使用者自由活动时产生不同于常人的特点，保护了使用者的隐私。项目中耳塞式电极采用pdms混合碳纳米管进行设计，pdms是柔性材料，有优秀的延展性，柔韧性和较低的介电常数，无毒无气味，生物兼容性好，常温下可以固定成型，碳纳米管具有高导电性，根据耳道模型和尺寸，设计模具，经充分混合，融合固化形成的耳道柔性电极。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
30.图1为本发明装置主视图；
31.图2为本发明装置立体图；
32.图3(a)-(b)为耳脑电采集信号与行业认可的脑电设备进行对比图；
33.图4为本发明系统总框图；
34.图5特征融合对齐算法流程图。
35.图中：1耳机主体、2入耳式耳电采集器、3探测装置、4近红外发射器。
具体实施方式
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.实施例1：
38.本实施例公开了一种融合近红外和耳脑电的多模态信号采集装置，包括耳机主体1、入耳式耳电采集器2、近红外发射器4、探测装置3；
39.其中，耳机主体1为耳罩式结构；
40.入耳式耳电采集器2与耳机主体1的耳罩内壁固定连接，并与人耳形状相适配；
41.n个近红外发射器4安装在耳机主体1的耳罩与头皮接触处；
42.m个探测装置3安装在耳机主体1的耳罩与头皮接触处。
43.具体的：
44.在本实施例1中入耳式耳电采集器2包括：可变形支撑器、硅胶电极头；
45.可变形支撑器一端与耳机主体1固定连接；另一端，与硅胶导电极头活动连接。其中，在本实施例中入耳式耳电采集器2为柔软的导电硅胶，在采集脑电的时候，也可以起到固定耳罩佩戴的作用，可以减缓用户头部活动，以及肢体活动产生的设备震动；
46.在耳机主体1上3个近红外发射器4与3个探测装置3交替排布；其中，交替排布的近红外发射器4与探测装置3组成一条弧线；弧线上的相邻的近红外发射器4与探测装置3距离fcm，f＝3。其中，近红外发射器4采用epitex公司smt760/850nm双波长一体模块。探测装置3采用光电检测模块adpd2211。
47.耳机主体1的两侧耳罩结构相同。
48.更进一步，还包括，无线通信装置；
49.无线通信装置嵌入耳机主体1内，并与耳机主体1电连接。
50.实施例2：
51.本实施例在实施例1的基础上进一步公开了一种融合近红外和耳脑电的多模态信号采集系统，包括：实施例1的一种融合近红外和耳脑电的多模态信号采集装置，还包括：
52.云服务器，接收一种融合近红外和耳脑电的多模态信号采集装置发送的信号；
53.数据预处理模块，对交流电及其谐波进行衰减；
54.特征提取模块，基于线性和非线性脑电信号进行脑电特征提取；基于光强度数据提取近红外特征；
55.特征整合模块，对特征提取模块提取的全部特征进行融合和对齐，得到目标多模态数据。
56.具体的：
57.由于设计的系统不限制用户的活动，脑电信号受到肌肉电，眼电，基线漂移和工频干扰的影响特别大，而近红外的信号受到环境光和基线漂移的影响相对比较大。所以数据处理模块，通过对交流电进行5阶巴特沃斯陷波，实现对交流电及其谐波进行衰减。其中交流电指引起工频干扰的交流电；工频干扰主要是在室内受到50hz交流电的影响产生的，其中在本实施例中i＝5；
58.更进一步，特征提取模块包括：入耳式耳电采集器2、近红外发射器、探测装置；
59.入耳式耳电采集器2，基于耳电与脑电的相似度采集耳电以获得脑电特征；其中，在本实施例中采用neuroscan公司生产专业级40导联的脑电设备作为对照其中neuroscan设备电极按照标准的10-20电极放置在用户头部，并涂好导电膏进行信号采集；清洁耳道后，将耳脑电电极塞入耳朵采集信号，部分信号对比如图3所示图(a)为耳脑电和neuroscan电极的布局、图(b)为采集的部分信号对比图。可以看出，相距右耳道最近的通道t8采集的信号(neuroscan采集)与右耳道采集的耳脑电具有非常大的相似性，经过计算，两信号的相似度平均超过95.3％，证明耳脑电具有与国际标准脑电接近的脑电信号采集效果，具备有效性。耳脑电被证明与颞叶区的脑电具有很高的相关性，而颞叶区与情绪和精神等的关系密切。
60.近红外发射器发射近红外光，经头部吸收和散射后，由探测装置检测散射出的近红外光，并转换成电信号，获得近红外特征。
61.其中，脑电特征提取的具体步骤包括：
62.提取多个频段耳电信号能量：线性和非线性耳脑电信号为x(n),采样频率为250hz。应用5阶巴特沃斯滤波器组对x(n)进行分频段滤波,频段分为b1～b6:[0.5-4hz],[4-8hz],[8-12hz]，[12-18hz],[16-28hz],21-48hz]，以及全部频段b0即[0.5～48hz]，这样得到7个频段的耳脑电信号能量特征，共7个特征；
[0063]
基于算法求取每个通道每个频段样本熵特征，其中序列u(1),u(2)
…
u(n)即是脑电信号分为上述7个频段的数据。样本熵代表时间序列前后部分之间的混乱程度，样本熵越大，代表数据越混乱，模式越复杂。具体算法：
[0064]
①
设有长度为n原始时间序列u(1),u(2)
…
u(n)，利用序列u(i),构造m维矢量xm(i)＝[u(i),u(i 1),
…
u(i m-1)]；其中，1≤i≤n-m 1；
[0065]
②
定义任两个m维矢量的距离为d[xm(i),xm(j)]，
[0066]
d[xm(i),xm(j)]＝max{u(i k)-u(j k)}，其中，0≤k≤m-1，1≤i≤n-m 1，1≤j≤n-m 1，i≠j。
[0067]
③
给定距离容忍度r(r＞0)，当d[xm(i),xm(j)]＜r时，就认为两个矢量彼此相似，此时，统计每个计算出来的距离d[xm(i),xm(j)]的数目，并用n(i)表示，计算比值
[0068][0069]
④
对进行求均值；
[0070][0071]
⑤
将维数m增加1，也即对m 1维矢量重复公式(8)～(11)的步骤，求得b
m 1
(r)，由此可得到在数据长度为有限值下原序列的样本熵为：
[0072][0073]
计算每通道信号的傅里叶变化结果，并获取频谱熵；频谱熵可以刻画数据的频谱分布的混乱程度，越大代表数据的频谱分布越没有规律。
[0074]
信号x(n)用滤波器组分解为7个频段b0～b6后，提取信号多频段的hjorth的三个
参数；
[0075]
基于teager-kaiser能量算子求取信号的均值和方差：
[0076]
teager-kaiseroperator(tko)是一种非线性能量算子，能够确定非平稳信号的瞬时能量，除了能量，tkeo还可以跟踪瞬时振幅和信号的频率。希尔伯特变换(ht)可用于分离瞬时频率和振幅，但ht应用于全局范围，而局部振幅和频率波动可以有效地用teko分离,针对脑电和近红外这种非平稳的信号，teko有更好跟踪能力。
[0077]
对于连续信号x(t)，tko定义为：ψ(x(t))＝x(t)
2-x
′
(t)
·
x
″
(t)；
[0078]
对于x(t)对应的离散化信号x(n)，tko算子计算如下：
[0079]
ψ(x(n))＝x2(n)-x(n 1)
·
x(n-1)
[0080]
在具体的计算中，先对x(n)进行如下的离散小波变换(discretewavelettransform(dwt))，得到对应的小波变换系数后，按照上面离散tko算子对各层小波变换系数进行处理，最后求得对应均值和方差。
[0081]
其中，近红外特征提取的具体步骤包括：
[0082]
去除生理活动对近红外数据的影响，其中生理活动如下表所示；
[0083]
表1.各频带生理活动含义
[0084][0085]
与上表中对应波长的光强数据项目采用0.01hz-0.3hz的带通滤波，以减轻由呼吸和心脏活动引起的生理噪声，然后，使用修改后的beer-lambert定律从光强度数据中提取氧合血红蛋白(hbo)和去氧血红蛋白(hbr)浓度变化并减去平均基线。转换的方法是基于修正的lambert-beer定律进行血氧浓度计算，应用hb，hbo2的血液动力学参数的相对量公式先将波长数据转化为血氧数据。在波长为760nm时，dpf为7.25。波长为850nm时，设dpf为6.38。d是探测器和光源的距离，本项目中为3cm。
[0086]
获取血氧和去血氧数据后，提取hbo2和hb的峰值，均值，峰度和hjorthmobility和complexity作为特征值。同时，对按照进行小波变换，进行4层分解，同样对各频段小波系数求出峰值，均值和峰度作为特征值。所有特征值通过减去平均值并除以每个特征向量的标准差(z-score)对所有特征进行归一化。通过将所有与特征均值相差超过三个特征标准差的值设置为仅与均值相差三个标准差的值，来剪裁异常值。这样做是为了消除特征值范围对特征选择过程的任何退化影响。
[0087]
更进一步，特征整合模块，对特征提取模块提取的全部特征进行融合和对齐。如图5所示，为本实施例对脑电特征和近红外特征进行特征融合和对齐的算法流程图。
[0088]
对于实施例公开的装置而言，由于其在实施例公开的内容相对应，所以描述的比
较简单，相关之处参见部分说明即可。
[0089]
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。