基于SSVEP的智能家居控制系统及智能家居控制方法与流程

基于ssvep的智能家居控制系统及智能家居控制方法
技术领域
1.本技术属于脑机控制技术领域，具体涉及一种基于ssvep的智能家居控制系统及智能家居控制方法。


背景技术：

2.随着社会科技的发展，智能家居技术逐渐发展，为人们提供了更便利、舒适、智能的生活。但针对身体有缺陷的残疾人，特别是仅能够进行眼动的残疾人，现有智能家居系统无法帮助他们控制智能家居，无法改善他们的生活质量。根据《世界残疾人报告》，当前全球有十亿多人存有某种形式的残疾，占全球人口的15％。如何改善残疾人的生活质量是急需解决的问题。


技术实现要素：

3.本技术的目的在于提供一种基于ssvep的智能家居控制系统及智能家居控制方法，以解决现有技术中存在的针对身体有缺陷的残疾人，特别是仅能够进行眼动的残疾人，现有智能家居系统无法帮助他们控制智能家居的技术问题。
4.为实现上述目的，本技术采用的一个技术方案是：
5.提供一种基于ssvep的智能家居控制系统，包括：
6.视觉刺激模块，用于生成第一视觉刺激编码以标记待控制元件；
7.信号采集模块，用于采集使用者对所述第一视觉刺激编码产生的第一脑电信号；
8.分析模块，用于收集并分析所述第一脑电信号，以生成第一控制信息；
9.执行模块，用于基于所述第一控制信息控制所述待控制元件。
10.在一个或多个实施方式中，所述视觉刺激模块包括至少两个刺激单元组，每一所述刺激单元组包括若干个刺激单元，同一所述刺激单元组的所述若干个刺激单元具有不同的固定闪烁频率，所述智能家居控制系统还包括选择模块，所述选择模块用于在同一时刻选择开启至少一个刺激单元组。
11.在一个或多个实施方式中，每一所述刺激单元组的所述若干个刺激单元用于布置于同一空间内，所述选择模块包括用于设置于所述空间进出口的传感器以及可与所述传感器通信的检测单元，所述检测单元用于通过所述传感器监测使用者的空间进出状态，以开启或关闭位于对应空间内的所述刺激单元组，所述检测单元还用于基于所述使用者的空间进出状态，向所述分析模块发送状态信号，所述分析模块还用于基于所述状态信号控制当前工作状态。
12.在一个或多个实施方式中，所述视觉刺激模块还用于生成第二视觉刺激编码以标记不同的所述刺激单元组，所述信号采集模块还用于采集使用者对所述第二视觉刺激编码产生的第二脑电信号，所述分析模块还用于收集并分析所述第二脑电信号以生成第二控制信息，所述选择模块用于基于所述第二控制信息开启或关闭对应的所述刺激单元组，所述分析模块还用于基于所述第二脑电信号控制当前工作状态。
13.在一个或多个实施方式中，所述信号采集模块还用于采集使用者的第三脑电信号，所述分析模块还用于收集并分析所述第三脑电信号以生成第三控制信息，所述选择模块还用于基于所述第三控制信息控制所述视觉刺激模块的工作状态，其中，所述第三脑电信号基于使用者的睁眼时长和/或闭眼时长刺激产生。
14.在一个或多个实施方式中，每一所述刺激单元组的至少两个刺激单元用于标记同一待控制元件，所述执行模块还用于基于所述第一控制信息控制同一待控制元件的至少两个待执行功能。
15.为实现上述目的，本技术采用的另一个技术方案是：
16.提供一种智能家居控制方法，包括：
17.生成第一视觉刺激编码以标记待控制元件；
18.采集使用者对所述第一视觉刺激编码产生的第一脑电信号；
19.收集并分析所述第一脑电信号，以生成第一控制信息；
20.基于所述第一控制信息控制所述待控制元件。
21.在一个或多个实施方式中，所述第一视觉刺激编码由至少两个刺激单元组生成，每一所述刺激单元组包括若干个刺激单元，同一所述刺激单元组的所述若干个刺激单元具有不同的固定闪烁频率；
22.所述生成第一视觉刺激编码以标记待控制元件的步骤之前还包括：
23.由多个所述刺激单元组中选择用于标记待控制元件的刺激单元组处于开启状态。
24.在一个或多个实施方式中，每一所述刺激单元组的所述若干个刺激单元位于同一空间内；
25.所述由多个所述刺激单元组中选择用于标记待控制元件的刺激单元组处于开启状态的步骤具体包括：
26.采集使用者进入或离开所述空间时产生的监测信号；
27.基于所述监测信号开启或关闭位于对应空间内的所述刺激单元组。
28.在一个或多个实施方式中，所述由所述多个刺激单元组中选择用于标记待控制元件的刺激单元组处于开启状态的步骤具体包括：
29.生成第二视觉刺激编码以标记不同的所述刺激单元组；
30.采集使用者对所述第二视觉刺激编码产生的第二脑电信号；
31.收集并分析所述第二脑电信号，以生成第二控制信息；
32.基于所述第二控制信息开启或关闭对应的所述刺激单元组。
33.在一个或多个实施方式中，与所述采集使用者对所述第一视觉刺激编码产生的第一脑电信号的步骤同步的还有：
34.采集使用者的第三脑电信号，所述第三脑电信号基于使用者的睁眼时长和/或闭眼时长刺激产生；
35.收集并分析所述第三脑电信号，以生成第三控制信息；
36.基于所述第三控制信息控制所述刺激单元组的工作状态。
37.区别于现有技术，本技术的有益效果是：
38.本技术智能家居控制系统的视觉刺激模块包括多个刺激单元组，每个刺激单元组包括若干个具有不同的固定闪烁频率的刺激单元，刺激单元组之间的固定闪烁频率可以重
复，同时还包括选择模块，选择模块能够由多个刺激单元组中选择用于标记待控制元件的刺激单元组处于开启状态，从而有效突破了频率带宽的限制，能够在有限的带宽内实现更多的功能。
39.本技术智能家居控制方法能够实现自动开启使用者需要控制的待控制元件所对应的刺激单元组，有效突破了带宽限制，能够在有限的带宽内实现更多的功能；同时还能够实现刺激单元组在空闲状态下的关闭以及重新开启操作，有助于减少对使用者的用眼刺激。
附图说明
40.图1是本技术ssvep的智能家居控制系统一实施方式的系统框图；
41.图2是本技术智能家居控制方法一实施方式的流程示意图。
具体实施方式
42.以下将结合附图所示的各实施方式对本技术进行详细描述。但该等实施方式并不限制本技术，本领域的普通技术人员根据该等实施方式所做出的结构、方法、或功能上的变换均包含在本技术的保护范围内。
43.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
44.稳态视觉诱发电位(steady-statevisual evoked potential,ssvep)是指当受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个连续的与刺激频率有关的响应。
45.关于ssvep信号的原理，主流观点认为大脑里分布的各种神经网络都有其固有的谐振频率，在正常状态下，这些神经网络都是互不同步的，也是杂乱无章，没有规律的，此时的脑电信号是自发脑电。当施加一个恒定频率的外界视觉刺激时，与刺激频率或谐波频率相一致的神经网络就会产生谐振，导致大脑的电位活动在刺激频率或谐波频率处出现明显变化，由此产生ssvep信号。
46.目前，已经有了很多将ssvep技术与增强现实和虚拟现实技术结合的案例，来实现意识控制。但将ssvep技术应用到智能家居控制系统的控制方法很难实现，主要原因在于ssvep针对刺激点的固定闪烁频率要求较高，导致能够使用的频率的带宽有限，无法实现全部智能家居控制，并且对使用者的认知负荷很高，会产生较高的用眼疲劳。
47.为了解决上述问题，申请人开发了一种基于ssvep的智能家居控制系统，请参阅图1，图1是本技术ssvep的智能家居控制系统一实施方式的系统框图。
48.该智能家居控制系统包括视觉刺激模块10，信号采集模块20，分析模块30和执行模块40。
49.其中，视觉刺激模块10用于生成第一视觉刺激编码以标记待控制元件；信号采集模块20用于采集使用者对第一视觉刺激编码产生的第一脑电信号；分析模块30用于收集并分析第一脑电信号，以生成第一控制信息；执行模块40用于基于第一控制信息控制待控制元件。
50.具体地，视觉刺激模块10包括多个刺激单元，刺激单元以固定闪烁频率闪烁，其可以由彩色led组成，也可以由黑白闪烁点组成。
51.当使用者注视到以固定闪烁频率闪烁的刺激单元时，基于ssvep原理，此时使用者脑部会产生连续的与刺激单元的固定闪烁频率有关的脑电响应，即第一脑电信号。
52.信号采集模块20能够采集第一脑电信号并发送给分析模块30。在一个应用场景中，信号采集模块20能够采用干电极脑电采集系统，通过采集大脑枕部和顶部的脑电数据来获取第一脑电信号，在其他应用场景中也可以采用脑电头盔等，均能够实现本实施方式的效果。
53.分析模块30可以是包括微控制器(micro controller unit,mcu)的集成电路。本领域技术人员所熟知的是，微控制器可以包括中央处理单元(central processing unit,cpu)、只读存储模块(read-only memory,rom)、随机存储模块(random access memory,ram)、定时模块、数字模拟转换模块(a/dconverter)、以及若干输入/输出端口。当然，分析模块30也可以采用其它形式的集成电路，如特定用途集成电路(application specific integrated circuits,asic)或现场可编程门阵列(field-programmable gatearray,fpga)等。
54.执行模块40可以是能够控制所有家居的控制终端，执行模块40能够接收分析模块30生成的第一控制信息，并基于第一控制信息通过红外、局域网、蓝牙等连接方式控制相应的家居。
55.视觉刺激模块10、信号采集模块20、分析模块30、执行模块40以及智能家居可以通过接入同一局域网实现互联，也可以通过蓝牙等手段实现互联传输信息，均能够实现本实施方式的效果。
56.为了标记不同的待控制元件或待控制元件的待执行功能，多个刺激单元的固定闪烁频率要各不相同，这导致了可标记的元件数量或功能数量受到了频率带宽的限制，并且过多的刺激单元的不同固定闪烁频率会提高使用者的认知负荷，并且可能导致用眼疲劳。
57.对应地，视觉刺激模块10包括至少两个刺激单元组，每个刺激单元组包括若干个具有不同的固定闪烁频率的刺激单元，刺激单元组之间的固定闪烁频率可以重复。同时本实施方式中，智能家居控制系统还包括选择模块50，选择模块50用于由多个刺激单元组中选择用于标记待控制元件的刺激单元组处于开启状态。
58.可以理解的，选择模块50从多个刺激单元组中选择仅当前需要控制的待控制元件对应的刺激单元组开启，此时所有开启状态的刺激单元的固定闪烁频率各不相同，能够清楚标记不同的待控制元件或待执行功能。因此，能够在有限的带宽内实现更多的功能，有效突破了带宽的限制。
59.在一个应用场景中，每一刺激单元组可以对应一个房间，每一刺激单元组的若干个刺激单元位于同一房间内，选择模块50包括位于房间的房门处的传感器以及与传感器通信的检测单元。
60.传感器可以是光电传感器、红外传感器等，也可以是电子标签读卡器，相应的使用者身上或信号采集模块20上可以设置电子标签，均能够实现本实施方式的效果。
61.在本技术的实施方式中，使用者需要通过目视实现待控制元件的自动控制的，在该场景下，使用者需要与其当前能够控制的待控制元件处于同一空间，因此，可以仅开启使用者所处的空间的刺激单元组，而关闭其他空间的刺激单元组。
62.当使用者进入房间时，传感器可以检测到信号发送给检测单元，检测单元可以基于信号控制房间内的刺激单元组开启；当使用者离开房间时，传感器可以检测到信号发送给检测单元，检测单元可以基于信号控制房间内刺激单元组关闭。
63.检测单元还用于基于传感器检测到的信号向分析模块30发送状态信号，分析模块30还用于基于状态信号控制当前工作状态。
64.在一个示范性的选择模块50的工作过程中，当传感器检测到使用者进入1号房间时，检测单元控制1号房间内的刺激单元组开启，相应的其他房间的刺激单元组处于关闭状态，此时检测单元同步将该信息发送给分析模块30。当使用者注视频率15hz的刺激单元时，信号采集模块20采集到第一脑电信号并发送给分析模块30，分析模块30输出第一控制信息至执行模块40，第一控制信息可以包括数据编码1(房间号)15(闪烁频率)，执行模块40基于该数据编码，能够控制对应的待控制元件或待执行功能。
65.可以理解的，在其他应用场景中，所有刺激单元组也可以位于同一房间内，每一刺激单元组对应一个区域，传感器可以设置的区域的进口和出口，以感应使用者进入或离开当前区域，均能够实现本实施方式的效果。
66.在另一个实施方式中，多个刺激单元组也可以混合在一起不按照空间进行划分，例如可以按照功能进行划分，将影音设备作为一个刺激单元组，将清洁设备作为一个刺激单元组等。
67.视觉刺激模块10可以用于生成第二视觉刺激编码以标记不同的刺激单元组。
68.具体地，可以使视觉刺激模块10新增与刺激单元组一一对应的刺激控制点。刺激控制点的固定闪烁频率应当与任一刺激单元的固定闪烁频率不同。
69.信号采集模块20还用于采集使用者对第二视觉刺激编码产生的第二脑电信号；分析模块30还用于收集并分析第二脑电信号以生成第二控制信息；选择模块50用于基于第二控制信息开启或关闭对应的刺激单元组；分析模块30还用于基于第二脑电信号控制当前工作状态。
70.可以理解的，当使用者需要切换开启的刺激单元组时，可以注视对应的刺激控制点。此时，信号采集模块20能够采集到使用者对刺激控制点的第二视觉刺激编码产生的第二脑电信号。分析模块30分析后生成第二控制信息，基于该第二控制信息选择模块50能够自动切换开启的刺激单元组；同步的，分析模块30将当前工作状态切换至针对对应的刺激单元组。
71.考虑到使用者可能无需长时间控制待控制元件，本实施方式中还期望实现刺激单元组在例如使用者空闲状态时的自动关闭。
72.具体的，本实施方式中信号采集模块20还用于采集使用者的第三脑电信号，第三脑电信号可以是基于使用者的闭眼时长刺激产生，例如当使用者闭眼10秒时产生的连续第三脑电信号。
73.分析模块30还用于收集并分析第三脑电信号，以生成第三控制信息。
74.选择模块50还用于基于第三控制信息控制刺激单元组的工作状态。
75.可以理解的，当使用者不需要控制家居设备时，可以选择闭眼10秒，此时使用者的第三脑电信号被采集经过分析模块30的分析后，生成第三控制信息，选择模块50基于第三控制信息能够自动关闭刺激单元组；相应的，当使用者需要控制家居设备时，可以再次闭眼10秒，选择模块50能够自动开启刺激单元组。
76.在其他实施方式中，第三脑电信号也可以是基于使用者的睁眼时间刺激产生，或者可以是使用者针对特定视觉刺激编码产生的，均可以实现本实施方式的效果。
77.本技术还提供了一种智能家居控制方法，请参阅图2，图2是本技术智能家居控制方法一实施方式的流程示意图。
78.该方法包括：
79.s100、生成第一视觉刺激编码以标记待控制元件。
80.第一视觉刺激编码可以由多个刺激单元生成，刺激单元可以固定闪烁频率闪烁，固定闪烁频率范围在10-30hz，其可以由彩色led组成，也可以由黑白闪烁点组成。
81.在一个应用场景中，多个刺激单元的固定闪烁频率可以各不相同，并可以与多个待控制元件一一对应，以通过固定闪烁频率的不同来标记待控制元件；在其他应用场景中，也可以多个刺激单元与同一个待控制元件对应，以通过固定闪烁频率的不同来标记该待控制元件的不同待执行功能，例如空调的升温、降温、风速增大、风速降低、开关等功能。
82.s200、采集使用者对第一视觉刺激编码产生的第一脑电信号。
83.当使用者注视到以固定闪烁频率闪烁的刺激单元时，基于ssvep原理，此时使用者脑部会产生连续的与刺激单元的固定闪烁频率有关的脑电响应，即第一脑电信号。
84.s300、收集并分析第一脑电信号，以生成第一控制信息。
85.可以理解的，由于第一脑电信号与刺激单元的固定闪烁频率有关，因此通过分析第一脑电信号能够获取使用者注视的刺激单元的信息，相应地获取刺激单元所标记的待控制元件或待控制元件的待执行功能的信息，生成第一控制信息。
86.s400、基于第一控制信息控制待控制元件。
87.基于获取的第一控制信息，能够实现对待控制元件的自动控制，从而实现对智能家居的意识控制，有助于帮助残疾人，特别是仅能够进行眼动的残疾人，控制智能家居，改善生活质量。
88.为了标记不同的待控制元件或待控制元件的待执行功能，多个刺激单元的固定闪烁频率要各不相同，这导致了可标记的元件数量或功能数量受到了频率带宽的限制，并且过多的刺激单元的不同固定闪烁频率会提高使用者的认知负荷，并可能导致用眼疲劳。
89.对应地，在一个实施方式中，第一视觉刺激编码可以由至少两个刺激单元组生成，每个刺激单元组包括若干个具有不同的固定闪烁频率的刺激单元，刺激单元组之间的固定闪烁频率可以重复。为了保证重复的固定闪烁频率还能够标记不同的待控制元件或待执行功能，该方法在步骤s100之前还包括：
90.由多个刺激单元组中选择用于标记待控制元件的刺激单元组处于开启状态。
91.可以理解的，通过从多个刺激单元组中选择仅当前需要控制的待控制元件对应的刺激单元组开启，此时所有开启状态的刺激单元的固定闪烁频率各不相同，能够清楚标记
不同的待控制元件或待执行功能。因此，能够在有限的带宽内实现无限的功能，有效突破了带宽的限制。
92.在一个实施方式中，每一刺激单元组的若干个刺激单元可以位于同一空间内，即按照空间划分刺激单元组。
93.上述由多个刺激单元组中选择用于标记待控制元件的刺激单元组处于开启状态的步骤具体包括：
94.采集使用者进入或离开空间时产生的监测信号；
95.基于监测信号开启或关闭位于对应空间内的刺激单元组。
96.在本技术的实施方式中，使用者需要通过目视实现待控制元件的自动控制，在该场景下，使用者需要与其当前能够控制的待控制元件位于同一空间。因此，可以仅开启使用者当前所处的空间的刺激单元组，而关闭其他空间的刺激单元组。
97.当使用者进入空间时，产生监测信号，可以基于监测信号控制位于对应空间内的刺激单元组自动开启；当使用者离开空间时，同样会产生监测信号，此时可以基于监测信号控制位于对应空间内的刺激单元组自动关闭。
98.监测信号可以由布置在空间的进出口的传感器产生，传感器可以是光电传感器、红外传感器等，也可以是电子标签读卡器，相应的使用者身上设置电子标签，均能够实现本实施方式的效果。
99.在一个应用场景中，当智能家居系统应用至多个房间时，可以以房间为单位划分刺激单元组，并且在房间的房门处设置传感器；在其他应用场景中，当智能家居系统应用至单个房间时，也可以按照区域划分刺激单元组，并在区域的连接处设置传感器，以感应使用者进入或离开当前区域。
100.在另一个实施方式中，也可以不按照空间对刺激单元组进行划分，而是直接对刺激单元进行分组，并设置专用于控制刺激单元组开启的控制系统。
101.上述由多个刺激单元组中选择用于标记待控制元件的刺激单元组处于开启状态步骤具体包括：
102.生成第二视觉刺激编码以标记不同的刺激单元组；
103.采集使用者对第二视觉刺激编码产生的第二脑电信号；
104.收集并分析第二脑电信号，以生成第二控制信息；
105.基于第二控制信息开启或关闭对应的刺激单元组。
106.第二视觉刺激编码可以也通过单独的刺激单元的生成，并且每个第二视觉刺激编码对应一个刺激单元组。当使用者需要切换处于开启状态的刺激单元组时，可以注视第二视觉刺激编码，从而产生对应的第二脑电信号；通过收集并分析第二脑电信号，能够获取使用者想要切换的刺激单元组，并执行相应的开启或关闭操作。
107.可以理解的，本实施方式中刺激单元采用二级分布，即第一级的一个刺激单元对应第二级的一个刺激单元组，第二级的一个刺激单元组包括多个刺激单元，且刺激单元组之间的固定闪烁频率可以重复，第一级的一个刺激单元用于开启或关闭第二级的多个刺激单元，从而利用有限的带宽实现无线的功能；在其他实施方式中，还可以根据实际工况，将刺激单元采用三级分布、四级分布等，均能够实现本实施方式的效果。
108.考虑到使用者可能无需长时间控制待控制元件，本实施方式中还期望实现刺激单
元组在例如使用者空闲状态时的自动关闭。具体地：
109.采集使用者的第三脑电信号；
110.收集并分析第三脑电信号，以生成第三控制信息；
111.基于第三控制信息控制刺激单元组的工作状态。
112.其中，在一个应用场景中，第三脑电信号可以是基于使用者的闭眼时长刺激产生，例如当使用者闭眼10秒时产生的连续第三脑电信号；在其他应用场景中，第三脑电信号也可以是基于使用者的睁眼时间刺激产生，或者可以是使用者针对特定视觉刺激编码产生的，均可以实现本实施方式的效果。
113.基于该第三脑电信号，能够生成第三控制信息，从而实现刺激单元组的开启或关闭。
114.例如使用者可以闭眼10秒，可以关闭处于开启状态的刺激单元组；再次闭眼10秒，可以开启处于关闭状态的刺激单元组，从而实现刺激单元组在空闲状态的自动关闭，也避免了对使用者的用眼刺激。
115.本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所对应的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。