一种小型便携式多模态鉴赏评估系统及方法与流程

1.本发明属于智能情绪评估的技术领域，具体涉及一种小型便携式多模态鉴赏评估系统及方法。


背景技术：

2.在我国当代的教育体系中，美育逐步被重视并不断发展。美育是一种以艺术为媒介的情感教育，它是从通过情感的影响从而对人的人格与人性进行塑造的过程。美育的主要目的是在于陶冶人的性情、塑造人高尚的人格与心灵，以引导其情感向崇高的方向趋动。
3.通常美育的主要手段有艺术鉴赏，如电影、音乐会、舞台剧等类型，通过了解观众群体对艺术作品的真实反映、喜好倾向显得尤为重要，同时，了解艺术作品的特定部分对观众的情绪诱发和影响的作用对创作团队来说举足轻重。情绪是神经和躯体共同作用的结果，构造情绪的感觉依赖于大脑系统对身体反应的映射与调节。情绪的经典和现代理论都认为，内感受(对来自于身体和内脏反馈的感觉)对情绪体验来说至关重要，二者之间的联系已被多个研究所证实。1977年，美国麻省理工大学实验室通过实验证明了基于人体信息的提取的情感识别是可行的。
4.但目前缺少对观众在艺术鉴赏过程中进行情绪评估分析的系统，因而无法及时得到观赏者的情绪数据，除了主观评价，无法更加客观的判断观众的情绪状态，这样创作团队和美育工作者就无法深刻的了解到受众群体的真实状态，无法更好对艺术作品进行改进和加工。
5.传统对情绪评估和识别的研究多是接触式生理监测设备，存在设备体积较大，准备工作繁琐，受环境限制较大的问题。


技术实现要素：

6.本发明的目的之一在于：针对现有技术的不足，提供一种小型便携式多模态鉴赏评估系统，通过便携穿戴式的传感器信号复用，实现对情绪的准确监测，保证了生理信号采集的稳定性，实现了信息互补，保持了较高的信噪比，有效的获取了面向人的情绪多模态生理行为数据集。
7.为了实现上述目的，本发明采用如下技术方案：
8.一种小型便携式多模态鉴赏评估系统，包括穿戴式多模态信号采集单元、主控单元和显示器；所述穿戴式多模态采集单元包括便携式脑电帽、便携式眼动仪、感测背心、多模态信号手套；所述主控单元包括pc控制模块和数据处理模块，用于接收由采集单元的信号及参数，通过数据处理和分析将用户的情绪状态反应到显示器上；所述显示器用于采集信号的设置和数据结果的显示。
9.优选的，所述便携式脑电帽用于采集用户脑电信号并实时通过无线传输器发送数据。
10.优选的，所述便携式眼动仪用于采集用户的眼动信息并通过无线传输器实时发送
数据。
11.优选的，所述感测背心用于采集用户心电信号、呼吸幅度和斜方肌电信息，并通过无线传输器实时发送数据。
12.优选的，所述心电信号为ecg心电信号，所述呼吸幅度为ra呼吸幅度，所述斜方肌电信息为emg斜方肌电信息。
13.优选的，所述多模态信号手套用于采集用户皮电信号和脉搏波信号，并通过无线传输器实时发送数据。
14.本发明的目的之二在于提供一种小型便携式多模态鉴赏评估方法，包括如下步骤：
15.抽取多模异质数据的特征；
16.多源特征的协同表征与融合；
17.基于融合特征的多维情绪识别。
18.本发明的有益效果在于，本发明包括穿戴式多模态信号采集单元、主控单元和显示器；所述穿戴式多模态采集单元包括便携式脑电帽、便携式眼动仪、感测背心、多模态信号手套；所述主控单元包括pc控制模块和数据处理模块，用于接收由采集单元的信号及参数，通过数据处理和分析将用户的情绪状态反应到显示器上；所述显示器用于采集信号的设置和数据结果的显示。与现有技术相比，本发明融合中枢神经信号、外周神经信号和视觉行为信号等多模态人体信号，基于神经通路的多维情绪生成机理与认知机制，对人的情绪进行动态识别与监测，解决了传统情绪评估无定量分析、监测设备体积较大，准备工作繁琐，受环境限制较大等问题，为评估、监测情绪提供设备环境，可以监测在艺术鉴赏过程中的实时情绪状态。
附图说明
19.下面将参考附图来描述本发明示例性实施方式的特征、优点和技术效果。
20.图1为本发明的系统示意图。
21.图2为本发明的系统的模块示意图。
22.图3为本发明的多模异质数据融合算法框架示意图。
23.图4为本发明的显示界面示意图。
具体实施方式
24.如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决技术问题，基本达到技术效果。
25.此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
26.在发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术
语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
27.以下结合附图1～4对本发明作进一步详细说明，但不作为对本发明的限定。
28.小型便携式多模态鉴赏评估系统，包括穿戴式多模态信号采集单元、主控单元和显示器；穿戴式多模态采集单元包括便携式脑电帽、便携式眼动仪、感测背心、多模态信号手套；主控单元包括pc控制模块和数据处理模块，用于接收由采集单元的信号及参数，通过数据处理和分析将用户的情绪状态反应到显示器上；显示器用于采集信号的设置和数据结果的显示。
29.在根据本发明的小型便携式多模态鉴赏评估系统中，便携式脑电帽用于采集用户脑电信号并实时通过无线传输器发送数据。
30.在根据本发明的小型便携式多模态鉴赏评估系统中，便携式眼动仪用于采集用户的眼动信息并通过无线传输器实时发送数据。
31.在根据本发明的小型便携式多模态鉴赏评估系统中，感测背心用于采集用户心电信号、呼吸幅度和斜方肌电信息，并通过无线传输器实时发送数据。
32.在根据本发明的小型便携式多模态鉴赏评估系统中，心电信号为ecg心电信号，呼吸幅度为ra呼吸幅度，斜方肌电信息为emg斜方肌电信息。
33.在根据本发明的小型便携式多模态鉴赏评估系统中，多模态信号手套用于采集用户皮电信号和脉搏波信号，并通过无线传输器实时发送数据。
34.参见图1所示，本发明提供了一种小型便携穿戴式的鉴赏评估系统。用户在艺术鉴赏时，以电影赏析为例，将该系统的穿戴式多模态信号采集单元穿戴至身上，穿戴式多模态信号采集单元由便携式脑电帽、便携式眼动仪、感测背心、多模态信号手套四个部分组成。便携式脑电帽穿戴至头部，主要用于采集用户eeg脑电信号；便携式眼动仪佩戴至眼部位置，用于采集用户的眼动信息；感测背心穿至上身，用于采集用户ecg心电信号、ra呼吸幅度和emg斜方肌电信息；多模态信号手套穿戴至手部，用于采集用户gsr皮电信号和bvp脉搏波信号。无线通讯模块配置于穿戴式多模态信号采集单元，用于信号采集单元与主控单元进行信息的传输，信息传输至数据处理模块，数据处理结果通过显示器呈现。
35.参见图2所示，本发明提供了一种小型便携穿戴式的鉴赏评估系统，该系统由穿戴式多模态信号采集单元，主控单元和显示器组成。具体地，在该设备中，便携式脑电帽用于采集用户eeg脑电信号并实时通过无线传输器发送数据；便携式眼动仪用于采集用户的眼动信息并通过无线传输器实时发送数据；感测背心用于采集用户ecg心电信号、ra呼吸幅度和emg斜方肌电信息，并通过无线传输器实时发送数据；多模态信号手套用于采集用户gsr皮电信号和bvp脉搏波信号，并通过无线传输器实时发送数据。穿戴式多模态信号采集单元与主控单元由无线蓝牙通讯模块进行信息的传输，信息传输至数据处理模块进行数据处理后将结果通过显示屏显示出来。
36.小型便携式多模态鉴赏评估方法
37.本发明采用了六种外周生理信号作为输入数据。考虑到艺术鉴赏过程中的“社会面具”问题，而添加了能反应中枢神经系统变化的eeg信号。本发明是生物导向性的特征融
合方法。参见图3所示，多模异质数据融合算法框架主要分为三部分。
38.第一部分是多模异质数据的特征抽取，首先分别将副交感神经信号特征(ecg，ra，gsr，vbp)，躯体神经信号特征(emg，眼动)，eeg多特征进行融合。然后再将副交感神经信号特征和躯体神经信号统一融合为外周神经信号特征。最后将外周神经信号特征与中枢神经信号特征进行融合。其中，eeg预处理过程包括基线对齐和eeg信号降采样。eeg信号特征提取采用de熵算法。该算法是一种单通道特征提取算法，具有计算效率高的特点，以最大程度发挥便携式设备实时性的反馈优势。eeg信号特征层的初级处理采用了双层deep belief neural network(dbn),旨在提取多通道eeg信号中出现的稳定的模式。
39.第二部分是多源特征的协同表征与融合，在外周神经信号特征进行融合的过程中，考虑到副交感神经信号的同源性以及其与躯体神经信号的非同源性，将表征副交感神经活动的特征ecg，ra，gsr，vbp与emg和眼动分别融合。同理，初级特征提取网络采用dbn。多元特征的协同表征采用了全联接层。而cns系统和pns系统间的特征融合使用了拼接(concat)。最后通过超限学习机(elm)对多元特征进行有监督分类。
40.第三部分是基于融合特征的多维情绪识别。利用多层感知机等机器学习技术，进行高兴、愤怒、被悲伤和惊讶四种情绪的多维估计。基于融合的多模态特征，利用多层感知机模型进行多任务有序回归学习，估计出每种情绪的评级得分。在机器学习问题中，设计目标函数为：
[0041][0042]
其中，n为样本数，m＝4为情绪种类，r＝5为每种情绪的程度级数，为模型估计的第m种情绪的得分，为第m种情绪的真实程度评级。1(条件)为指示函数，如果条件为真，1(条件)＝1；反之，1(条件)＝0。
[0043]
最后，本实施方案中，本发明可以对用户在观影过程中的情绪数据进行实时采集，并将采集的数据经过无线通讯模块传输给pc端的数据处理模块，数据处理模块是基于融合的多模态特征，利用多层感知机模型进行多任务有序回归学习，估计出每种情绪的评级得分，对用户进行情绪(高兴、愤怒、悲伤、惊讶)的感知识别和5级情绪强度的计算分析，并将结果以动态雷达图的形式展现在显示屏上。显示界面参见图4所示，。
[0044]
本发明可以得到用户的实时情绪状态，以实时反映出观影过程用户的情绪状态的变化，通过大样本量的用户群体在影片剧情推进过程的情绪状态的变化可以使电影创作团队和影视剧工作者深刻了解到受众群体的情绪状态，以更好对电影艺术作品进行改进和加工，以提高电影艺术作品的文化推广性和美育工作的社会实践意义。
[0045]
根据上述说明书的揭示和教导，本发明所属领域的技术人员还能够对上述实施方式进行变更和修改。因此，本发明并不局限于上述的具体实施方式，凡是本领域技术人员在本发明的基础上所作出的任何显而易见的改进、替换或变型均属于本发明的保护范围。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。