基于纠错归因的眼动脑电辅助交流方法、系统、装置、设备及介质与流程

摘要: 本申请涉及人机交互与计算机输入,尤其涉及基于纠错归因的眼动脑电辅助交流方法、系统、装置、设备及介质。背景技术:1、语言表达或肢体运动能力受限的用户难以通过语音、...
基于纠错归因的眼动脑电辅助交流方法、系统、装置、设备及介质与流程

本申请涉及人机交互与计算机输入,尤其涉及基于纠错归因的眼动脑电辅助交流方法、系统、装置、设备及介质。

背景技术:

1、语言表达或肢体运动能力受限的用户难以通过语音、键盘等常规方式完成信息输入,通常需要借助眼动辅助交流系统,通过注视字符、词语或图标形成文本并进行输出。

2、现有眼动辅助交流系统一般根据注视位置和注视停留时长触发按键选择,并通过使用前校准或定期校准提高注视定位精度。输入内容不符合用户意图时,用户通常通过删除、撤销、替换或重新选择进行修改;部分系统还利用脑电数据监测疲劳状态并进行提示。

3、然而,现有系统通常分别处理眼动输入、文本编辑和疲劳监测,难以判断一次编辑是对误选结果的纠正,还是用户对表达内容的正常修改。同时,疲劳、注视不稳定或采集质量较差时形成的编辑记录可靠性较低,若据此调整眼动映射或触发参数,容易使参数偏离用户的实际输入状态。因此,在眼动辅助交流中,如何区分误选后的纠正与正常文本改写,避免根据不可靠的编辑记录调整输入参数而导致后续误选成为亟待解决的问题。

技术实现思路

1、本申请的目的在于提供一种基于纠错归因的眼动脑电辅助交流方法、系统、装置、设备及介质,旨在解决在眼动辅助交流中,如何区分误选后的纠正与正常文本改写,避免根据不可靠的编辑记录调整输入参数而导致后续误选的技术问题。

2、为实现上述目的,本申请提出一种基于纠错归因的眼动脑电辅助交流方法,所述方法包括:

3、根据眼动数据确定输入文本,生成包含眼动数据、同步脑电数据及界面上下文的选择来源记录,并建立所述选择来源记录与所述输入文本的绑定关系;

4、响应于针对所述输入文本的编辑操作,根据所述绑定关系获取对应的选择来源记录,并结合编辑上下文特征确定纠错归因结果;

5、根据所述选择来源记录对应的脑电疲劳状态和数据质量,确定参数更新资格;

6、根据所述纠错归因结果和所述参数更新资格,更新眼动映射参数或交互确认参数;

7、根据当前的眼动映射参数和交互确认参数处理后续眼动数据,确定后续输入文本,并根据所述后续输入文本更新交流内容。

8、此外,为实现上述目的,本申请还提出一种基于纠错归因的眼动脑电辅助交流系统,所述系统包括眼动采集组件、脑电采集组件及处理终端;

9、所述眼动采集组件用于采集眼动数据,并将所述眼动数据发送至所述处理终端;

10、所述脑电采集组件用于采集脑电数据,并将所述脑电数据发送至所述处理终端;

11、所述处理终端用于显示辅助交流界面、接收编辑操作,并根据所述眼动数据和所述脑电数据执行如上文所述的基于纠错归因的眼动脑电辅助交流方法。

12、此外,为实现上述目的,本申请还提出一种基于纠错归因的眼动脑电辅助交流装置,所述装置包括:

13、来源记录模块,用于根据眼动数据确定输入文本,生成包含眼动数据、同步脑电数据及界面上下文的选择来源记录,并建立所述选择来源记录与所述输入文本的绑定关系;

14、纠错归因模块,用于响应于针对所述输入文本的编辑操作,根据所述绑定关系获取对应的选择来源记录,并结合编辑上下文特征确定纠错归因结果;

15、资格判定模块,用于根据所述选择来源记录对应的脑电疲劳状态和数据质量,确定参数更新资格;

16、参数更新模块,用于根据所述纠错归因结果和所述参数更新资格,更新眼动映射参数或交互确认参数;

17、交流处理模块,用于根据当前的眼动映射参数和交互确认参数处理后续眼动数据,确定后续输入文本,并根据所述后续输入文本更新交流内容。

18、此外,为实现上述目的,本申请还提出一种基于纠错归因的眼动脑电辅助交流设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的基于纠错归因的眼动脑电辅助交流方法的步骤。

19、此外,为实现上述目的,本申请还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的基于纠错归因的眼动脑电辅助交流方法的步骤。

20、本申请提出的一个或多个技术方案,至少具有以下技术效果:

21、根据眼动数据确定输入文本,同时生成包含眼动数据、同步脑电数据及界面上下文的选择来源记录,并将选择来源记录与输入文本绑定,使每次输入均能回查对应的选择过程;发生编辑操作时,根据绑定关系获取被编辑文本对应的选择来源记录,再结合编辑上下文特征确定纠错归因结果,使编辑原因能够依据原选择过程进行判断;根据原选择对应的脑电疲劳状态和数据质量确定参数更新资格,筛除状态或数据不适合参数更新的记录,减少了不可靠数据对输入参数的影响;根据纠错归因结果选择需要更新的参数类型,并结合参数更新资格更新眼动映射参数或交互确认参数,使不同原因的误选得到对应调整;利用当前的眼动映射参数和交互确认参数处理后续眼动数据,确定后续输入文本并更新交流内容,使参数调整能够作用于后续输入。本申请形成从输入记录、编辑归因到参数调整及后续输入的处理过程,能够在眼动辅助交流中,区分误选后的纠正与正常文本改写,避免根据不可靠的编辑记录调整输入参数而导致后续误选。

1.一种基于纠错归因的眼动脑电辅助交流方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述响应于针对所述输入文本的编辑操作,根据所述绑定关系获取对应的选择来源记录,并结合编辑上下文特征确定纠错归因结果的步骤包括:

3.如权利要求2所述的方法,其特征在于,所述根据所述选择来源记录和所述编辑上下文特征确定纠错归因结果的步骤包括:

4.如权利要求3所述的方法,其特征在于,所述根据所述选择来源记录和所述编辑上下文特征,判断是否满足空间偏移判定条件的步骤包括:

5.如权利要求3所述的方法,其特征在于,所述判断是否满足意图不稳定判定条件的步骤包括:

6.如权利要求1所述的方法,其特征在于,所述根据所述选择来源记录对应的脑电疲劳状态和数据质量,确定参数更新资格的步骤包括:

7.如权利要求1所述的方法,其特征在于,所述根据所述纠错归因结果和所述参数更新资格,更新眼动映射参数或交互确认参数的步骤包括:

8.如权利要求7所述的方法,其特征在于,所述根据所述空间更新样本集更新眼动映射参数的步骤包括:

9.一种基于纠错归因的眼动脑电辅助交流系统,其特征在于,所述系统包括眼动采集组件、脑电采集组件及处理终端;

10.一种基于纠错归因的眼动脑电辅助交流装置,其特征在于,所述装置用于实现如权利要求1至8中任一项所述的基于纠错归因的眼动脑电辅助交流方法,所述装置包括:

11.一种基于纠错归因的眼动脑电辅助交流设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至8中任一项所述的基于纠错归因的眼动脑电辅助交流方法的步骤。

12.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的基于纠错归因的眼动脑电辅助交流方法的步骤。