一种基于信息自动处理的眼控交互方法、系统及存储介质与流程

1.本发明涉及人机交互技术领域，尤其涉及一种基于信息自动处理的眼控交互方法、系统及存储介质。


背景技术：

2.随着科学技术的不断发展，人们越来越依赖聊天软件进行信息沟通，然而，在人们的日常生活中，对于行动不便甚至行动受限的病患或者老人而言，在使用聊天软件时存在一定的障碍，例如霍金在世的很多年，与外界的交互都是靠一套眼动打字系统来实现的。然而，眼控打字在瘫痪的年轻人或者教育背景较好的人群中有一定的应用，对于不熟悉拼音或者五笔等拆字体系的老人来说，眼动打字速度慢，速率低，有比较大的困难，因此推广能力较弱。
3.可见，缺少一种协助该类人群及时回复聊天信息的有效手段。


技术实现要素：

4.本发明提供了一种基于信息自动处理的眼控交互方法、系统及存储介质，以解决现有技术中存在的问题。
5.为了实现上述目的，本发明通过如下的技术方案来实现：
6.第一方面，本发明提供一种基于信息自动处理的眼控交互方法，包括：
7.采用自然语言处理技术对接收的聊天信息进行分析，并根据分析结果生成回复信息选项；
8.在显示界面显示回复信息选项，接收用户作用于显示界面的眼动输入，并根据眼动输入从回复信息选项中确定目标回复信息；
9.向聊天对象发送目标回复信息。
10.可选地，采用自然语言处理技术对接收的聊天信息进行分析，包括：
11.将聊天信息进行分词处理得到若干分词；
12.对若干分词进行停用词处理，并为每一分词分配一个词性标注；
13.根据词性标注结果识别各分词之间的相互依存关系；
14.并对每一个分词进行命名实体识别处理，根据实体识别处理结果消除分词歧义；
15.根据相互依存关系和消除分词歧义的结果确定聊天信息的语义意图。
16.可选地，根据分析结果生成回复信息选项之前，方法还包括：
17.获取语料库；
18.根据分析结果生成回复信息选项，包括：
19.基于语义意图检索语料库，匹配出与语义意图对应的回复候选信息；
20.对回复候选信息进行过滤处理生成回复信息选项，回复信息选项包括文字、符号以及表情。
21.可选地，接收用户作用于显示界面的眼动输入，包括：
22.采用眼摄像机获取用户的眼部图像，基于眼动追踪确定眼部图像中用户的视线向量坐标；
23.根据视线向量坐标和预设映射模型确定用户在显示界面的眼睛注视点作为眼动输入。
24.可选地，根据视线向量坐标和预设的映射模型确定用户在显示界面的眼睛注视点作为眼动输入之前，方法还包括：
25.建立眼睛与显示界面之间的预设映射模型；
26.校准并验证预设映射模型。
27.可选地，所述在显示界面显示回复信息选项时，各回复信息选项的顺序根据用户的使用习惯确定。
28.第二方面，本技术还提供一种基于信息自动处理的眼控交互系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面方法的步骤。
29.第三方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面的方法步骤。
30.有益效果：
31.本发明提供的基于信息自动处理的眼控交互方法，采用了自然语言处理技术对接收的聊天信息进行分析，并根据分析结果生成回复信息选项，用户通过眼动输入即可确定目标回复信息，实现聊天沟通功能，这样，使用自然语言处理自动生成与人对话中的回复的语句，然后使用者可以用眼动来选择最符合自己内心想法的语句或者表情，可以简化聊天中的打字的过程，用最小的动作实现最高程度的沟通。
附图说明
32.图1为本发明优选实施例的一种基于信息自动处理的眼控交互方法的流程图之一；
33.图2为本发明优选实施例的一种基于信息自动处理的眼控交互方法的流程图之二；
34.图3为本发明优选实施例的显示界面显示回复信息选项的示意图之一；
35.图4为本发明优选实施例的显示界面显示回复信息选项的示意图之二；
36.图5为本发明优选实施例的显示界面显示回复信息选项的示意图之三；
37.图6为本发明优选实施例的眼睛图像示意图。
具体实施方式
38.下面对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
40.请参见图1-图2，本技术实施例提供一种基于信息自动处理的眼控交互方法，包括：
41.采用自然语言处理技术对接收的聊天信息进行分析，并根据分析结果生成回复信息选项；
42.在显示界面显示回复信息选项，接收用户作用于显示界面的眼动输入，并根据眼动输入从回复信息选项中确定目标回复信息；
43.向聊天对象发送目标回复信息。
44.本实施例中，采用自然语言处理技术对接收的聊天信息进行分析时，分析过程可以理解为对接收的聊天信息进行语义理解以分析聊天信息的用意，或者，根据接收的聊天信息进行搜索以确认聊天信息的用意。此处仅作示例，不做限定。
45.在一示例中，如果生成的答案都不是用户所想要的，生成回复信息选项还包括返回选项，该返回选项用于让系统返回上一步并重新生成一批回复信息选项供用户选择。
46.上述的基于信息自动处理的眼控交互方法，采用了自然语言处理技术对接收的聊天信息进行分析，并根据分析结果生成回复信息选项，用户通过眼动输入即可确定目标回复信息，实现聊天沟通功能，这样，使用自然语言处理自动生成与人对话中的回复的语句，然后使用者可以用眼动来选择最符合自己内心想法的语句或者表情，可以简化聊天中的打字的过程，用最小的动作实现最高程度的沟通。
47.可选地，采用自然语言处理技术对接收的聊天信息进行分析，包括：
48.将聊天信息进行分词处理得到若干分词；
49.对若干分词进行停用词处理，并为每一分词分配一个词性标注；
50.根据词性标注结果识别各分词之间的相互依存关系；
51.并对每一个分词进行命名实体识别处理，根据实体识别处理结果消除分词歧义；
52.根据相互依存关系和消除分词歧义的结果确定聊天信息的语义意图。
53.可选地，根据分析结果生成回复信息选项之前，上述的方法还包括：
54.获取语料库；
55.根据分析结果生成回复信息选项，包括：
56.基于语义意图检索语料库，匹配出与语义意图对应的回复候选信息；
57.对回复候选信息进行过滤处理生成回复信息选项，回复信息选项包括文字、符号以及表情。
58.具体而言，语料库是以电子计算机为载体承载语言知识的基础资源，语料库中存放的是在语言的实际使用中真实出现过的语言材料。本实施例中，语料库可以是根据实际需要自行构建的，也可以是直接获取的现有语料库。
59.其中，分词指的是将一个连贯的句子拆分成一个一个单独的词。这是一个将连续的文本按照一定规范分割成语义合理的若干词汇序列的过程。例如：“自然语言处理”，通过分词处理，转变为“自然/语言/处理”。词性标注是指为给定句子中的每个词赋予正确的词
法标记。词性标注的目的是为每一个词赋予一个类别，这个类别称为词性标记，比如，人、地方或事物是名词；动作或事件是动词；描述名词的词是形容词。使用这些词性标记，通过简单的计算最常见的名词、动词和形容词来创建一段文本的摘要。停用词过滤是指在文本中频繁出现且对文本信息的内容或分类类别贡献不大甚至无贡献的词语，如常见的介词、冠词、助词、情态动词、代词以及连词等。例如：“呢、啊、吗”等。依存句法分析是指识别句子中词汇与词汇之间的相互依存关系。例如，名词可以成为句子的主语，表示它执行了一个动作(一个动词)，如“小明笑了”。名词也可以是句子的宾语，表示被句子的主语所作用的对象，就像这句话中的小李一样：“小明看着小李。”。依存句法分析是理解句子中单词之间关系的一种方法。虽然小明和小李都是句子“小明看着小李”中的名词，但小明是看的主体，小李是被看的对象。依存关系是一种更细粒度的属性，可以通过句子中的关系来理解单词的含义。命名实体是句子的专有名词。命名实体识别是识别一个句子中有特定意义的实体并将其区分为人名，机构名，日期，地名，时间等类别的过程。例如“2021年”是一个年份，“手机”是一个名词。命名实体消岐是对句子中提到的实体识别进一步计算推断，消除歧义的过程。例如，对句子“苹果下月将发布一款新手机。”，命名实体消岐会计算推断出句子中的苹果是指苹果公司而不是指一种水果。一般来说，命名实体要求有一个实体知识库，能够将句子中提到的实体和知识库联系起来。
60.在理解了句子有哪些实体，实体之间的关系，系统就能粗略地把这个句子的意图分类出来。最后系统要分析发件人发送每句话的动机，利用基于算法的模型，通过各种数据来训练系统，有时还需要程序设定的一些特殊规则等来分类，例如特定的聊天文字是不是在已经设置在用户常用聊天内容的响应查询集里。如图3-图5所示，比如，“你身体怎么样”，这个意图便是属于问询健康意图，这样系统就可以将查询匹配到的健康相关回复提供给用户，提高回复选型的准确率，提高用户的体验。
61.可选地，如图6所示，接收用户作用于显示界面的眼动输入，包括：
62.采用眼摄像机获取用户的眼部图像，基于眼动追踪确定眼部图像中用户的视线向量坐标；
63.根据视线向量坐标和预设映射模型确定用户在显示界面的眼睛注视点作为眼动输入。
64.其中，基于眼动追踪的方式与现有眼动追踪的方式一致，例如，可以是基于红外下的眼动追踪方式，也可以是基于可见光的眼动追踪方式，在一示例中，在基于可见光的眼动追踪时可以确定眼部图像中的瞳孔中心，并进一步利用深度学习模型瞳孔中心计算目光注视点。此处，仅作示例，不做赘述。
65.进一步地，随着用户眼睛视线的变化，还可以通过检测瞳孔中心位置以及角膜反射点的变化量，实施跟踪用户在屏幕中所凝视的兴趣点。
66.可选地，根据视线向量坐标和预设的映射模型确定用户在显示界面的眼睛注视点作为眼动输入之前，方法还包括：
67.建立眼睛与显示界面之间的预设映射模型；
68.校准并验证预设映射模型。
69.需要说明的是，人眼形状、大小、结构存在个体差异，眼睛球面上的点在摄像机参照系中的投影点位置和眼睛转动角度之间存在非线性关系，并且视线估计方向与真实实现
方向有模型误差，基于此，本实施例中通过校准与验证较少误差。
70.具体而言，校准的实验步骤如下：
71.将眼睛的物理位置与受试者正在注视的空间点相关联，测量受试者眼睛的特征(图像)，包括角膜、瞳孔与反射信息等计算眼动数据过程，在校准过程中，受试者需要观察刺激屏幕上特定位置出现的点，该点为校准点，校准点可以是5个点，也可以是9个或者13个点，此处仅作示例，不做限定。在每个目标的眼睛位置和注释位置之间创建数学转换关系，然后创建一个矩阵覆盖整个校准区域，并在每个点之间进行插值。通过校准过程提高精度。
72.进一步地，由于校准过程需要受试者具备一定地配合能力，因此，可能存在受试者的能力误差，本实施例中，通过进一步验证减小误差。
73.需要说明的是，将用户每次使用的数据存储至语料库，可以使得眼动追踪的精度通过使用数据的增加而逐渐提升。
74.在一示例中，所述在显示界面显示回复信息选项时，各回复信息选项的顺序根据用户的使用习惯确定。例如，可以把该用户的高频词放在前面，生成回复的时候也可以把该用户的常用回复放在前面，这样，可以通过不同用户的使用习惯显示回复信息选项，更贴近于不同用户的习惯，提升用户的满意程度。
75.本技术实施例还提供一种基于信息自动处理的眼控交互系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。该眼控信息处理系统可以实现上述的基于信息自动处理的眼控交互方法的各个实施例，且能达到相同的有意效果，此处，不做赘述。
76.本技术实施例还提供一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如上的机器视觉识别方法的步骤。该可读存储介质可以实现上述的基于信息自动处理的眼控交互方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
77.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。