便携式沟通设备

本发明总体上涉及一种沟通设备。本发明还涉及一种用于操作该沟通设备的方法，以及一种计算机程序产品，该计算机程序产品包括计算机可读介质，其上记录有用于该沟通设备的计算机程序。

背景技术：

1、患有诸如脑瘫、自闭症谱系障碍、肌萎缩侧索硬化症等的疾病的人可能需要辅助来进行沟通。

2、在常规布置中，这些人可以使用具有辅助和替代沟通(augmentative andalternative communication(aac))系统的基于桌面沟通设备。aac系统提供辅助用户生成句子和读出生成的句子的方法。然而，这样的常规布置缺乏隐私性、便携性和稳健性。

技术实现思路

1、本发明的目的是实质性地克服或至少改善现有布置的一个或多个缺点。

2、本发明公开了旨在通过提供一种提供辅助和替代沟通(aac)系统的便携式设备来解决上述问题的布置。根据本公开的便携式沟通设备能够从用户的视点捕获图像。然后，该便携式沟通设备检测捕获到的图像内的对象，并在显示器上将检测到的对象作为字词(word)呈现给用户。然后，该便携式沟通设备跟踪用户的眼睛运动并监测用户的脑电图(eeg)信号。基于跟踪到的眼睛运动和eeg信号，该便携式沟通设备确定在显示器上用户想要选择的字词。然后，可以根据对字词的序列的选择生成句子。最后，便携式沟通设备内的语音生成器说出该句子。

3、这种便携式沟通设备可供用户佩戴，并提供了一种使用户以更加独立的方式进行沟通的方法。

4、根据本公开的一个方面，提供了一种便携式沟通设备，包括：控制器，其配置为接收来自一个或多个相机的第一图像和第二图像，并将图像传输到视频显示器；脑电图(eeg)设备，其配置为捕获用户的脑部的eeg信号，其中，控制器配置为接收来自该eeg设备的eeg信号；其中，控制器配置用于：检测接收到的第一图像上的对象；在视频显示器上显示与检测到的对象关联的字词；基于相机的第二图像确定用户的一只或多只眼睛的注视点，其中，第二图像与用户的一只或多只眼睛相关；基于eeg信号验证所确定的注视点；基于该注视点确定在视频显示器上选择的字词或功能。

5、根据本公开的另一方面，提供了一种沟通方法，包括：通过控制器检测由第一相机捕获的第一图像上的对象；通过控制器在视频显示器上显示与检测到的对象关联的字词；通过控制器基于由第二相机捕获的第二图像确定用户的一只或多只眼睛的注视点，其中第二图像与用户的一只或多只眼睛相关；通过控制器基于从脑电图(eeg)设备接收的eeg信号来验证所确定的注视点；以及通过控制器基于该注视点确定在视频显示器上选择的字词或功能。

6、根据本公开的另一方面，提供了一种计算机程序产品，其包括计算机可读介质，该计算机可读介质上记录有用于实现上述任一方法的计算机程序。

7、本公开还公开了其他方面。

1.一种便携式沟通设备，包括：

2.如权利要求1所述的设备，其中，所述相机和所述视频显示器是扩展现实(xr)设备的部件。

3.如权利要求2所述的设备，其中，所述扩展现实(xr)设备与所述控制器通信。

4.如权利要求1至3中任一项所述的设备，其中，所述控制器还配置用于：

5.如权利要求4所述的设备，其中，所述控制器还配置用于：

6.如权利要求1至5中任一项所述的设备，其中，所述控制器还配置用于：

7.如权利要求1至6中任一项所述的设备，其中，所述eeg信号被处理以确定脑波尖峰。

8.如权利要求7所述的设备，其中，所述eeg信号的处理使用神经网络来执行。

9.一种沟通方法，包括：

10.如权利要求9所述的方法，还包括：

11.如权利要求10所述的方法，还包括：

12.如权利要求9至10中任一项所述的方法，还包括：

13.如权利要求9至12中任一项所述的方法，包括处理所述eeg信号以确定脑波尖峰。

14.如权利要求13所述的方法，其中，所述eeg信号的处理使用神经网络来执行。

15.一种计算机可读介质，所述计算机可读介质包含能由控制器执行的计算机程序，其中，当所述控制器执行所述计算机程序时，所述控制器执行一种沟通方法，所述沟通方法包括：

16.如权利要求15所述的计算机可读介质，所述方法还包括：

17.如权利要求16所述的计算机可读介质，所述方法还包括：

18.如权利要求15至17中任一项所述的计算机可读介质，所述方法还包括：

19.如权利要求15至18中任一项所述的计算机可读介质，其中，所述方法包括处理所述eeg信号以确定脑波尖峰。

20.如权利要求19所述的计算机可读介质，其中，所述eeg信号的处理使用神经网络来执行。