一种基于多模态情感人工智能的认知定量检测机的制作方法

1.本发明涉及人工智能设备，尤其是一种基于多模态情感人工智能的认知定量检测机。


背景技术：

2.人工智能和大数据技术在生命健康领域的应用逐渐受到了越来越多的关注。随着医学的发展和社会的进步，人们越来越关注自身情感状态。情感在人类日常交往中起着至关重要的作用，自动识别情感认知相关的状态在近十年来受到越来越多的关注，其应用领域从智能呼叫中心到智能辅导系统，但是现有的情感认知检测产品，功能单一，无法在情感认知水平上进行多维度的量化检测，导致人的情感认知状态无法被客观、科学、系统的检测评判。


技术实现要素：

3.针对现有的不足，本发明提供一种基于多模态情感人工智能的认知定量检测机。
4.本发明解决其技术问题所采用的技术方案是：一种基于多模态情感人工智能的认知定量检测机，包括壳体，所述壳体上安装有摄像头、麦克风、显示装置、眼动采集系统、脑电采集装置，所述壳体内设置有与摄像头、麦克风、显示装置、眼动采集系统、脑电采集装置均电性连接的gpu运算主机，所述gpu运算主机上设置有利用残差注意力网络结构进行情感分析的情感认知检测模块。
5.作为优选，所述壳体还连接有安装支架。
6.作为优选，所述安装支架和壳体限位枢接。
7.作为优选，所述壳体上还设置有与gpu运算主机电性连接的打印机构。
8.作为优选，所述情感认知检测模块中的残差注意力网络结构是多个残差卷积模块和注意力模块堆叠而成的堆叠结构。
9.作为优选，所述情感认知检测模块中的残差注意力网络结构还结合有前馈网络体系结构。
10.作为优选，所述残差卷积模块和注意力模块均设有自下而上、自上而下的前馈结构。
11.作为优选，每个所述注意力模块均包括有mask分支单元和trunk分支单元。
12.本发明的有益效果在于：该发明利用摄像头采集人的步态数据和人脸数据，包括但不限于步态、表情，以及结合相关装置采集玩特定电子游戏时的眼动和脑电数据，并利用麦克风采集人在自然表达情绪状态时的声音，所采集大数据传送至gpu运算主机进行处理分析，gpu运算主机上设置的情感认知检测模块，通过在该模块搭建的残差注意力网络结构，即resnet网络、attention模块，通过该结构就能有效的学习步态和人脸数据，更能结合其它数据捕捉到细微的情感认知状态变化，实现多维度的情感认知定量检测，并将检测结果展现在显示装置上，反馈给用户，包括但不限于精神科医生、心理咨询师、患者及其家属
等，通过多模态情感认知定量检测，可以更客观评估情感认知状态，从而帮助尽早介入消极情感状态的干预，防患心理疾病于未然。
附图说明
13.图1是本发明实施例的结构示意图；
14.图中零部件名称及序号：1-壳体2-摄像头3-麦克风4-显示装置5-gpu运算主机50-情感认知检测模块6-安装支架7-眼动采集系统8-脑电采集装置9-打印机构。
具体实施方式
15.为了更清楚地说明本发明实施例的目的、技术方案和优点，下面将结合附图及实施例对本发明作进一步说明，进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。此外，本发明中所提到的方向用语，例如，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等，仅是参考附加图示的方向，使用的方向用语是为了更好、更清楚地说明及理解本发明，而不是指示或暗指本发明必须具有的方位，因此不能理解为对本发明的限制。
16.本发明实施例如图1中所示，一种基于多模态情感人工智能的认知定量检测机，包括壳体1，壳体1内部具有容置空腔，容置空腔内用来安装硬件模块或电脑主机及其它部件，其可以是一体成型的壳体，而为了方便其它部件的安装就可以将其设置成能相卡合的两个部件的组合结构。所述壳体1还连接有安装支架6，通过安装支架6就可以方便的将壳体1设置在不同位置，在安装支架6的底部还可以设置滚轮，便于其在不同位置之间的移动，方便使用，所述壳体1的表面安装有摄像头2、麦克风3、显示装置4、眼动采集系统7、脑电采集装置8，摄像头2就用来采集人的步态数据和人脸数据，麦克风3用来采集人的声音数据,结合基于深度学习训练的残差注意力神经网络算法，进行针对音视频数据的情感认知定量分析，显示装置4则用来显示检测后的结果，检测结果通过情感认知定量检测模块50向显示装置4输出的不同的值体现出来，情感认知检测模块50会将音视频数据分为步态和人脸两部分分别分析处理，输出的结果就会分为步态综合分析和面部状态综合分析两大部分。
17.在步态综合分析中，结果呈现为正面、背面、右侧和左侧共四个步态视角下基于摄像头捕捉到的步态特征的情绪预测分析。基于人在步行时的肢体动作的摆动幅度、速度和角度等进行模型构建及量化计算，可把人的肢体动作情绪归类为积极性与消极性，积极性情绪包括但不限于高兴、平静等，消极性情绪包括但不限于愤怒、悲伤等。
18.在面部数据综合分析中，根据摄像头2捕捉到的面部特征分析，得到情绪值、能量值、疲劳值、注意值、动机值和总体状态值。所述情绪值的分值由低到高，代表从负性情绪到正面情绪，负性情绪体现在沮丧、焦虑、抑郁等表情，正面情绪则体现在宁静、愉快、喜悦等表情；所述能量值的分值由低到高，代表从低能量到高能量状态，低能量状态主要表现在脸色苍白、表情僵直、声音低迷等，高能量状态则神情饱满、脸色红润、声音洪亮等方面；所述疲劳值的分值由低到高，代表不疲劳到很疲劳的状态，不疲劳状态主要体现在脸色、表情、说话的良好状态上，疲劳状态具体包括眼皮眨动频率、眼神下垂趋向、脸色比较灰暗、面部表情单一、面部肌肉僵硬、语言表达变慢等方面；所述注意值的分值由低到高，代表注意力
程度由低到高的状态，注意力差的状态表现在眼神不集中，思维反应迟钝、感觉不能正常学习和工作等方面，注意力好的状态则体现在聚精会神、思维反应敏捷、感觉可以很好地学习或工作等方面；所述动机值的分值由低到高，代表由消极到积极的心态。消极心态表现在表情反应冷淡、交流反馈迟钝、心理压力较大等，积极心态则表现在面部表情丰富、交流反馈及时、心理情感热烈等方面；所述总体状态值综合平均以上各项指标，加权计算得出总体状态值，分值由低到高，代表由差到好的状态。以上面部数据的量化输出均由机器学习和人工神经网络训练出来的模型完成实施。。
19.所述gpu运算主机5与眼动采集系统7和脑电采集装置8电性连接，采集用户在玩特定电子游戏时产生的眼动和脑电数据，眼动采集系统7和脑电采集装置8可以是设置在壳体1上的，也可以是单独设置然后通过导线与gpu运算主机5电性连接即可。眼动采集系统7，包括眼动采集的硬件装置和/或软件系统，如将软件系统集成到摄像头2中通过摄像头2来采集眼部动态，或单独设置采集眼部动态的眼部采集摄像头或眼动仪，通过眼动采集系统7，可以采集测试者进行认知游戏评测时产生的眼动数据，结合相关神经网络算法，进行针对眼动的情感认知定量分析；脑电采集装置8，包括但不限于脑电信号(eeg)多通道采集装置或可穿戴便携式装置，通过脑电采集装置8，可以采集测试者进行认知游戏评测时产生的脑电数据，结合相关神经网络算法，进行针对脑电信号(eeg)的情感认知状态定量分析，量化用户在玩认知游戏时的状态。眼动和脑电的数据进一步佐证来自摄像头和麦克风采取到的视音频数据，并结合经过训练的残差注意力神经网络进行综合参数的权重分配和准确率提升。
20.此时显示装置4就采用显示屏，并在其上设置有多个显示不同检测结果的显示单元，检测到的不同值就在不同的显示单元予以显示出来，此时多个显示单元可以是在同一显示屏上的不同显示区域进行的显示，也可以是多个彼此分开的显示屏上的显示。摄像头2、麦克风3和显示装置4可以根据不同的需求，可以设置在壳体1同一表面上，也可以设置在壳体1的不同表面上，而为了摄像头2能更准确全面的采集到人的步态数据和人脸数据，将就将摄像头2设置在壳体1的上部，麦克风3设置在壳体1的下方，以便清晰采集人的声音，同时，用于安装壳体1的安装支架6就可以是和壳体1限位枢接的，枢接就可以用来调节角度，使得壳体1上的摄像头2能处于更好的拍摄角度，限位则使得壳体1在转动一定角度后能在该角度被固定，此时就可以在安装支架6和壳体1的枢接处通过相啮合的齿牙来实现限位，而为了方便操作，显示装置4就选用触摸显示屏，利用触摸显示屏就可以在其上进行触摸操作以及进行相应的调控。
21.所述壳体1内设置有与摄像头2、麦克风3和显示装置4电性连接的gpu运算主机5，gpu运算主机5就用来控制摄像头2的拍摄、麦克风3对语音的采集、以及显示装置4的显示，比如摄像头2拍摄人的步态数据和人脸数据，然后传输信息至gpu运算主机5，gpu运算主机5对信息进行情感认知分析处理，然后将分析处理后的结果传输至显示装置4予以显示。
22.情感认知检测模块50位于gpu运算主机5中，该模块的工作原理是利用残差注意力网络结构对所采集的多维大数据进行情感认知相关的量化分析。残差注意力网络结构是结合resnet网络与attention模块，通过该结构学习并提取相关的准确表征情感认知状态的特征数值，捕捉并量化细微的情感认知变化参数，实现多维度的复杂情感认知状态的定量检测，并将检测结果展现在显示装置4上，并通过设置在壳体1上的打印机构9打印出评估报
告，反馈给需求用户。
23.在一些实施方案中，首先通过摄像头2采集步态数据和面部数据，传送至gpu运算主机5进行处理分析，用户从摄像头2前3-4米距离处开始走路，缓缓走到显示装置4前，此过程中摄像头2采集步态数据，之后采集用户的面部数据。视频采集完成后，开始通过麦克风3采集音频数据，要求用户选择含有强烈感情色彩的若干语句中的最合适一句，以表达用户当前的情感认知状态。接下来会让用户在显示界面里选择一个认知游戏进行玩耍，同时通过眼动采集系统7、脑电采集装置8记录用户玩游戏时的眼动和脑电数据。
24.在数据处理中，摄像头2收集到的数据被切分为步态数据和面部数据分别进行分析，首先是对步态的分析检测，由于在人体内不同情绪的作用下，人的肌肉力量、肌腱长度、步频步距、身体重心、关节点位置以及整体协调能力都存在细微差异，通过对步态数据的处理分析就可以捕捉到这些差异背后对应于每种特定情绪状态的共同特征，预测出人的消极或积极情绪。根据这一原理，借助神经网络算法，在正面、背面、右侧、左侧四个不同的视角下进行状态预测，根据识别分析的步态特征，预测结果包括但不限于愤怒、开心、悲伤、平静中的任意一种，然后再根据四个视角下的情绪预测给出一个关于情绪的综合状态评估，评估中就包括从所上传的走路姿势视频中解读出的人的积极性情绪和消极性情绪分别占有的百分比，这里积极性情绪将包括开心和平静，消极性情绪状态将包括愤怒和悲伤。其次是面部状态的量化分析检测，同样在特定情感认知状态下人们会产生特定的面部肌肉运动和表情模式，如心情愉悦时嘴角上翘，眼部会出现环形褶皱；疲劳时会增加视线下垂、眨眼频率等。
25.在步态识别和面部状态识别中，借助即为残差注意力网络结构对这些数据特征进行分析，归纳，形成一个具备量化分析人们情感认知状态的神经网络结构，通过两个不同的神经网络结构来预测步态和面部状态值，在步态识别中将通过摄像头2采集的步态图像定位关键关节点(如头部，手部，膝盖，脚部等)的三维坐标，之后引入残差网络分析坐标中蕴含的不同情绪代表的步态特征。而在面部识别中将通过摄像头2采集的面部图像，引入残差网络分析图像中包含的不同精神状态的典型特征，再结合注意力机制(即attention模块)挖掘面部的细微变化。通过上述网络结构可以对所采集数据进行精确的分析，情感认知检测模块50就可以预测人的情感认知状态。综上利用摄像头2采集人的步态数据和人脸数据并传送至gpu运算主机5进行处理分析，所述gpu运算主机5上设置有利用残差注意力网络结构进行情感分析的情感认知检测模块50，通过在该模块搭建的残差注意力网络结构，即resnet网络结合attention模块，通过该结构就能有效的分析步态和人脸数据，能捕捉到更细微的情感认知状态的变化，实现更多维度的情感认知定量检测，解决了现有情感认知检测方面利用单模态信号进行单一维度检测的局限性以及情绪识别信号普遍缺乏客观量化指标的问题，并将检测结果展现在显示装置4上，反馈给用户，通过多维度的情感认知定量检测，就能更全面的监测和了解人们的情感状态，从而帮助尽早介入消极情感状态的干预，防患抑郁症、焦虑症等心理疾病于未然。
26.以此类推，如图1中所示，通过麦克风3，可以采集测试者的声音，结合基于深度学习训练的残差注意力神经网络算法，进行针对声音的情感认知定量分析。通过眼动采集系统7，可以采集测试者进行本软件系统自带的认知游戏评测时产生的眼动数据，结合相关神经网络算法，进行针对眼动的情感认知定量分析。通过脑电采集装置8，可以采集测试者进
行本软件系统自带的认知游戏评测时产生的脑电数据，结合相关神经网络算法，进行针对脑电信号(eeg)的情感认知状态定量分析。
27.针对本装置采集到的多维度大数据进行分析时，所述情感认知定量检测模块50中的残差注意力网络结构是多个残差卷积模块和注意力模块堆叠而成的堆叠结构。所述残差注意力网络结构使用basic block residual unit、global average pooling、fully connected layer和attention block作为基本单元,其中attention block用于构建注意力模块。所述残差注意力网络结构还结合有前馈网络体系结构，所述残差卷积模块和注意力模块均设有自下而上、自上而下的前馈结构，这样的结构就可以实现自下而上的快速前馈过程和自上而下的注意力反馈过程，使得检测结果更精确。
28.特别地，注意力模块(即attention模块)中均包括有mask分支单元和trunk分支单元。其中trunk分支单元执行特征处理功能，将输入的特征分别映射不同的特征空间，而mask分支单元将根据特征空间中的特征生成对trunk分支单元的软权重，被用来控制trunk分支单元的控制门，表征trunk分支中的特征空间中每个特征的重要性程度，由此引导模型注意到真正起作用的关键特征点。整个注意力模块使用自下而上、自上而下的结构来学习，这样的结构模仿了快速前馈和反馈注意力的过程，因而能对复杂大数据进行精确的分析处理从而获得更准确的检测结果。
29.进一步的改进，所述壳体1上还设置有与gpu运算主机5电性连接的打印机构9，就可以很方便的将检测评估报告打印出来。
30.应当理解的是，对本领域普通技术人员来说，可根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。