一种带有实时情绪识别功能的人机交互公共设备的制作方法

1.本发明涉及一种人机交互公共设备，特别是涉及一种带有实时情绪识别功能的人机交互公共设备。


背景技术：

2.随着物联网传感器的普及、芯片计算能力的提升，感知物理世界的精度和频度越来越高，采集的数据越来越全面和深入。但是目前的人机交互公共设备，如餐厅的自助点餐屏、商场的导航屏、影院的自助售票屏，都缺少相应的感知能力，不仅缺失传感器等硬件组件，也缺少相应的软件系统模块，使得公共交互设备不能很好的提升公共服务的体验，甚至给操作者带来麻烦。
3.当前的交互设备大部分缺少多角度的感知能力，主要依赖视频采集、音频采集工具获取表情和语音语调等单一的信息来计算操作者情绪。
4.由于视频音频采集设备受到环境干扰等因素的制约，无法准确获取脸部视频或语音音频。
5.摄像头、麦克风等设备所采集的信息可能涉及可识别操作者身份的敏感信息，例如，脸部特征、声纹等。因此，采集时应当告知操作者，而当操作者知晓有此类影音采集设备工作时，会刻意改变表情或音调，更倾向于隐藏掩饰自己的情绪。
6.视频音频数据属于非结构化数据，数据传输所需的网络带宽较大、分析处理时的耗费的计算资源较高、建模的效率较低。如果还需要进行实时的识别，对于交互设备本地的计算资源和i/o资源要求都极高，硬件成本大大上升。
7.因此目前主流的交互设备无法准确的获取并识别操作者的情绪，也就不能及时反馈，提供更好的操作体验。


技术实现要素：

8.本发明旨在于提供一种带有实时情绪识别功能的人机交互公共设备，以解决如下技术问题：
9.1.给人机交互公共设备增加压力、振动、测距和温度传感器以及音频视频采集模块，从而使人机交互公共设备感知操作者的情感和习惯，并依次实现更加人性化的人机交互；
10.2.给人机交互公共设备增加通信模块且连接到云计算资源，从而增强人机交互公共设备的云端服务和管理；以及
11.3.采用的人工智能和机器学习模型，构建完善的策略引擎和情绪特征数据库，实现并逐步强化人机交互设备的卷积神经网络和机器深入学习。
12.为实现上述目的，本发明提供如下技术方案：一种带有实时情绪识别功能的人机交互公共设备，包括：触摸屏，用于显示图像，并且具有虚拟功能键；触摸屏压力传感器，设置在触摸屏的下方，以感应操作者触摸力的大小、接触区域的面积；多轴向振动传感器，设
置在触摸屏的下方，以感应操作者手指接触区域产生的振动；红外测温传感器，设置在触摸屏的下方，以感应操作者的手指、手掌和头面部的体温、操作者的身高、触摸操作时距屏幕的距离；cpu，控制各技术特征协调工作；gpu，为显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示；系统软件，包括操作系统、算法和应用、操作特征数据库、内容和素材；以及内存和存储器，用于存储数据和加载系统软件。当操作者进行人机交互时，系统软件经计算获取操作者的触及动作频率、节奏、手掌和脸部的体温、操作间的停顿等操作特征，并且根据振动、距离和操作者身高数据计算出操作力度、行程、幅度等操作特征。
13.根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括音频视频采集模块，音频视频采集模块采集面部表情、手势和肢体动作、呼吸气息的节奏和轻重。音频视频采集模块可包括视频摄像头和立体声收音麦克风。系统软件根据呼吸气息节奏等音频数据矫正操作的频率和节奏。系统软件根据手势和肢体动作等数据矫正操作行程和幅度等数据。
14.根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括网络通信模块，网络通信模块用于对外通信。
15.根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括蓄电电源，蓄电电源与公共电源连接，并在断电的情况下仍保持为设备供电预定的时间。
16.根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括与网络通信模块通信的云计算资源，云计算资源提供操作特征数据库、机器学习、数据清洗、数据采集、内容和素材等数据支持。
17.根据本发明的实施例，系统软件根据触摸区域特征结合系统应用和内容的布局描述操作者此次操作的偏好或意图等特征。
18.根据本发明的实施例，系统软件根据操作者的频率、节奏、停顿、体温、力度、幅度、偏好或意图等特征，检索本地或云端的操作特征数据库，获取操作者的情绪分类及强度测量值。情绪分类包括快乐、愤怒、沮丧、焦虑、惊恐、疑惑，并且强度测量值以十分制或百分制预设。系统软件根据情绪特征的分类和强度测量值从本地或云端的内容和素材库中按照预先设定的规则或算法选取相应的内容素材反馈给操作者。在联网状态下，操作者的每一次交互操作数据和操作特征都被云端采集后进行清洗，然后通过机器学习和建模后，对云端操作特征数据库进行完善和丰富，内存和存储器中的操作特征数据库定时连接到云端特征数据库而升级和更新。机器学习的模型和算法包括时间序列分析和预测、协同过滤、卷积神经网络。
19.与现有技术相比，本发明能够达到的有益效果是：
20.1.采集的操作特征数据主要为力学和热力学指标，不能用于操作者的身份识别，不属于隐私信息，因此可以静默采集，同时也保护了操作者的隐私；
21.2.采集的数据项中，有多项数据是力学、时间序列和接触式测温的指标，完全不受外接环境的干扰；
22.3.力学和热力学传感器大多采用被动传感器，数据采集依赖操作者的操作触发，操作者对采集基本无感。因此在采集时会更好的表露真实情绪；
23.4.采集的数据是结构化的时间序列数据，数据传输、清洗和建模效率都比较高，在
网络不佳或离线状态下，交互设备的本地计算资源也能很快完成一定精度的计算工作，从而更好的满足实时响应的需求；以及
24.5.系统具有实时交互特性，因此在机器学习时能够使用强化学习、对抗网络等算法模型来进行机器学习，有利于提升模型的准确率。
附图说明
25.图1为根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的模块图。
26.图2为根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的操作方法的示意图。
具体实施方式
27.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
28.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
29.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
30.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
31.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“上”、“下”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
32.以下将结合附图，对本发明实施例作进一步说明。本领域技术人员应理解的是，本发明所描述的实施例仅是示范性实施例。
33.图1为根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的模块
图；且图2为根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的操作方法的示意图。
34.参见图1和图2，根据本发明的实施例，提供一种带有实时情绪识别功能的人机交互公共设备，包括触摸屏、触摸屏压力传感器、多轴向振动传感器、红外测温传感器、cpu、gpu、系统软件、内存和存储器，分述如下。
35.触摸屏用于显示图像，并且具有虚拟功能键。
36.触摸屏压力传感器设置在触摸屏的下方，以感应操作者触摸力的大小、接触区域的面积。
37.多轴向振动传感器设置在触摸屏的下方，以感应操作者手指接触区域产生的振动。
38.红外测温传感器设置在触摸屏的下方，以感应操作者的手指、手掌和头面部的体温、操作者的身高、触摸操作时距屏幕的距离。
39.cpu是根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的处理器，用于控制各技术特征协调工作。
40.gpu是根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的图形处理器，为显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示。
41.系统软件包括操作系统、算法和应用、操作特征数据库、内容和素材。
42.内存和存储器是根据本发明实施例的带有实时情绪识别功能的人机交互公共设备的存储元件，用于存储数据和加载系统软件。
43.当操作者进行人机交互时，系统软件经计算获取操作者的触及动作频率、节奏、手掌和脸部的体温、操作间的停顿等操作特征，并且根据振动、距离和操作者身高数据计算出操作力度、行程、幅度等操作特征。
44.根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括音频视频采集模块，音频视频采集模块采集面部表情、手势和肢体动作、呼吸气息的节奏和轻重。音频视频采集模块可包括视频摄像头和立体声收音麦克风。系统软件根据呼吸气息节奏等音频数据矫正操作的频率和节奏。系统软件根据手势和肢体动作等数据矫正操作行程和幅度等数据。
45.根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括网络通信模块，网络通信模块用于对外通信。
46.根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括蓄电电源，蓄电电源与公共电源连接，并在断电的情况下仍保持为设备供电预定的时间。
47.根据本发明的实施例，带有实时情绪识别功能的人机交互公共设备还可包括与网络通信模块通信的云计算资源，云计算资源提供操作特征数据库、机器学习、数据清洗、数据采集、内容和素材等数据支持。
48.云计算资源也称之为云端，在本文中可替换使用。为了描述上的方便，根据本发明实施例的带有实时情绪识别功能的人机交互公共设备除了云端的计算资源外的部分也称之为本地。
49.根据本发明的实施例，系统软件根据触摸区域特征结合系统应用和内容的布局描述操作者此次操作的偏好或意图等特征。
50.根据本发明的实施例，系统软件根据操作者的频率、节奏、停顿、体温、力度、幅度、偏好或意图等特征，检索本地或云端的操作特征数据库，获取操作者的情绪分类及强度测量值。情绪分类包括快乐、愤怒、沮丧、焦虑、惊恐、疑惑，并且强度测量值以十分制或百分制预设。系统软件根据情绪特征的分类和强度测量值从本地或云端的内容和素材库中按照预先设定的规则或算法选取相应的内容素材反馈给操作者。在联网状态下，操作者的每一次交互操作数据和操作特征都被云端采集后进行清洗，然后通过机器学习和建模后，对云端操作特征数据库进行完善和丰富，内存和存储器中的操作特征数据库定时连接到云端特征数据库而升级和更新。机器学习的模型和算法包括时间序列分析和预测、协同过滤、卷积神经网络。
51.根据本发明实施例的带有实时情绪识别功能的人机交互公共设备利用压力、振动、温度、红外、电磁等传感器，机器学习等技术，实现了一种带有情绪识别功能的人机交互公共设备。通过对操作者的情绪状态监测，设备可以做出相应的反馈，改善操作者的使用体验，提升操作者的便利性。
52.与现有技术相比，本发明能够达到的有益效果是：
53.1.采集的操作特征数据主要为力学和热力学指标，不能用于操作者的身份识别，不属于隐私信息，因此可以静默采集，同时也保护了操作者的隐私；
54.2.采集的数据项中，有多项数据是力学、时间序列和接触式测温的指标，完全不受外接环境的干扰；
55.3.力学和热力学传感器大多采用被动传感器，数据采集依赖操作者的操作触发，操作者对采集基本无感。因此在采集时会更好的表露真实情绪；
56.4.采集的数据是结构化的时间序列数据，数据传输、清洗和建模效率都比较高，在网络不佳或离线状态下，交互设备的本地计算资源也能很快完成一定精度的计算工作，从而更好的满足实时响应的需求；以及
57.5.系统具有实时交互特性，因此在机器学习时能够使用强化学习、对抗网络等算法模型来进行机器学习，有利于提升模型的准确率。
58.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。