一种应用面部表情情绪识别及脑电分析量化评价食品消费者接受度的方法与流程

1.针对消费者对食品的接受度评价，本专利开发一种应用面部表情、脑电分析与感官测评的消费者接受度评价方法。


背景技术：

2.消费者研究在食品的研发和推广方面扮演着日益重要的角色。消费者的选择受到产品质量、品牌、价格、购买环境等因素的影响。食品购物驱动因素研究发现，品牌效应对于当今消费者的影响力逐步降低，同时，高性价比、适合的商品更加受到消费者青睐。这反映出消费者消费理念开始回归产品品质和产品的实际价值。当前消费市场瞬息万变，准确捕捉消费者的需求和想法对于食品研究变得愈加重要。
3.消费者研究方法可分为直接和间接两种。直接研究方法如访谈、调查问卷等具有易操作、成本低等优点，但是直接研究方法的结果可能会受到消费者认知偏差的影响，这意味着这些方法只能衡量消费者的主观感知及情绪反应，而不能衡量情绪反应本身（是否有意或无意，或有些消费者在填写问卷时可能并不完全诚实）。直接研究方法是基于主观的自我感觉，缺乏捕捉潜意识情绪的能力。间接研究方法不受消费者的认知偏见的影响，能够评估消费者的潜意识自主情绪反应，得到更加客观的情绪反应。目前，面部表情、脑电、皮肤电、心率等方法能够测量代表不同情绪的典型的生理或身体反应。
4.相比于文字语言，面部表情传达能够更有效地传递情感信息。以往研究显示，交流中言语部分仅占整个信息的7%，声音部分（语调）占38%，而面部表情则包含了55% 的信息。 因此，“阅读”面部表情是评估情绪反应的有用工具。面部表情分析方法的一个重要优点是它能够捕捉潜意识情绪。面部表情分析能够从情绪反应的效价，唤醒度等维度对情绪进行测量分析。
5.神经科学、心理学和认知科学的研究表明，脑电数据可以反映出人的心理活动和认知行为，被越来越广泛应用于检查消费者的认知或响应预制营销刺激的情感过程。脑电的delta 频段( 1 ～ 4 hz) 、theta 频段( 4 ～ 8 hz) 、alpha频段( 8 ～13 hz) 、beta 频段( 13 ～ 30 hz) 等频段与人的各项生理及心理活动有着密切的关系，能够反映消费者的情感变化。在提取脑电频域特征时，很多学者会先将脑电信号映射到这几个频段上，再分别提取出各个频段对应的频域特征，从而得出消费者在食品品评过程中的兴奋值、放松值及情绪效价等。
6.本专利采用面部表情情绪识别分析、脑电分析与消费者调查问卷相结合的方法，通过多元因子分析(multiple factor analysis, mfa)、建立多元线性回归模型的方法，分析预测消费者对食品的评价和接受度。


技术实现要素：

7.本发明旨在通过将面部表情识别及情绪分析技术、脑电分析技术与消费者接受度
评价问卷相结合，改进食品消费者接受度评价方法。
8.本发明主要通过以下研究方法及数据分析手段实现：面部表情识别、脑电分析、九点喜好度标度问卷、方差分析、多元因子分析模型(mfa)，多元线性回归模型；1、实验参与人员：未经过专业感官评价的消费者，平均年龄18
‑
50岁，不抽烟，无疾病史，均为评测产品的定期消费者（消费频率大于或等于一个月一次），无产品依赖或过敏行为。实验参与者在了解实验内容、可能的风险并签署《知情同意书》后，方可参与实验；2、实验方法：通过matlab编辑的测试标准程序，提示消费者包括测试过程、计时等内容。在实验过程中，高清摄像头捕捉消费者在品评全过程的面部表情信息，通过facereader软件进行情绪识别及分析。同时，消费者通过佩戴脑电帽捕捉其在品评过程中的脑电信号，通过emotiv软硬件进行脑电信号捕捉和分析。消费者接受度问卷采用九点喜好度标记；3、实验样品选取及准备：实验采用盲样盲测，选取一组5
‑
6个样品，分别装入标有3位随机数代码的透明容器中。样品品评采用乱序，以消除品评顺序对样品评价的干扰；4、感官品评及面部表情测试过程：消费者根据屏幕提示进行实验操作，逐个对样品进行评价。每个样品的品评遵循：外观、香气、味道和口感、后味四部分进行（见图1）；消费者逐个品评样品，每个样品首先观察样品外观、闻气味、品尝味道、而后吞咽或吐出，感受后味，同时摄像头记录消费者在进行感官评测过程中的面部表情情绪数据，脑电设备捕捉记录脑电数据。消费者对样品的接受度进行打分（9点），从1到9依次代表1
‑
极端厌恶、2
‑
非常厌恶、 3一般厌恶、4
‑
稍微厌恶、5
‑
既不喜欢也不厌恶、6
‑
稍微喜欢、7
‑
一般喜欢、8
‑
非常喜欢、9
‑
极端喜欢。具体品评步骤及屏幕提示如下：1）外观（30秒）：端起样品，举杯对光，持续30秒观察杯中样品的色调、透明度等；2）香气（30秒）：端起样品置于鼻下，并轻轻转动，闻香30秒，感受样品的香气；3）味道和口感（5秒）：端起样品，尝一口（不要吞咽），感受样品的质地和味道5秒；4）后味（20秒）：把样品咽下去，在接下来的20秒，请安静品味该样品带来的整体感受；5）对样品的味道、质地、后味、整体感受及接受度进行问卷打分；5、数据分析1）面部表情数据处理：首先，对面部表情情绪数据按照情绪进行分类（7种基本情绪：中立、喜悦、悲伤、愤怒、惊讶、恐惧、厌恶，及综合维度情绪效价、情绪唤醒度），分别计算平均值和标准差，并进行2因素（样品、品评阶段）方差分析，找出能够显著区分不同样品、不同品评阶段的情绪；2）接受度数据处理：计算各个产品的接受度均分，得出最受消费者欢迎的产品，并制作柱图进行接受度得分比较；3）脑电数据处理：脑电数据经过提取、去除伪迹等处理后，分析得出兴奋值、兴趣值、压力值、放松值4个情绪维度。分别计算不同样品、不同品评阶段的的情绪均值。建立2因素（样品、品评阶段）方差分析模型，分析能够显著区分不同产品、不同品评阶段的脑电情绪；4）消费者面部表情情绪、产品感官与消费者接受度mfa分析：将面部表情情绪、脑电情绪、产品感官特性各分为一组、消费者接受度作为补充组进行多元因子分析，以探索几
种数据间的相关性；5）多元线性回归模型：以能够显著区分不同样品、不同品评阶段的脑电情绪、面部表情情绪为自变量，以消费者接受度得分为因变量，建立多元线性回归模型，得出消费者接受度与脑电情绪、面部表情情绪的相关模型。
[0009] 附图说明：附图1：实验设计示意图附图2：数据处理示意图附图3：实施例1
‑
白酒样品品评的感官评价数据附图4：实施例1
‑
白酒样品品评的消费者接受度数据附图5a：实施例1
‑
白酒样品品评的面部表情中立、喜悦、悲伤、厌恶附图5b：实施例1
‑
白酒样品品评的面部表情气愤、惊讶、恐惧附图6：实施例2
‑
露酒样品品评的感官评价数据附图7：实施例2
‑
露酒样品品评的消费者喜好度数据附图8a：实施例2
‑
露酒样品品评的面部表情中立、悲伤、愤怒、厌恶附图8b：实施例2
‑
露酒样品品评的面部表情喜悦、惊讶、恐惧附图9：实施例2
‑
露酒样品消费者面部表情、产品感官特性与接受度相关性mfa分析附图10：实施例2
‑
露酒样品消费者产品及评价阶段相关性mfa分析
具体实施方式
[0010]
下面对本发明的具体实施方式做进一步详细描述以便于充分理解本发明，本领域技术人员可以在不违背发明内涵的情况下做类似推广，因此本发明不受下列公开具体实施例的限制。
[0011]
]实施例1：应用面部表情情绪分析、脑电分析白酒产品感官测评及消费者评价本实验对4款白酒产品进行测评，共招募10名志愿者，其中女性3人，男性7人，消费者年龄在27到46岁之间（平均年龄33.6岁）；1、实验过程：每位被试者面前放置一个高清摄像头，用于记录面部表情数据；被试者佩戴emotiv商用14导脑电帽，以捕捉传输脑电数据；接受度问卷采用在线问卷形式。每位被试者配备一台电脑用于实验步骤提示、回答问卷；采用盲样盲测（代码：样品1，样品2，样品3，样品4），参与者按照看酒体、闻香、品尝、吞咽4个步骤，逐个品评酒样。实验过程中记录消费者面部表情信息、脑电信息；每个样品品评之间有3分钟（以上）休息时间，在此期间参与者被要求喝水，吃无盐苏打饼干清口，并填写接受度调查问卷；2、数据处理与分析1）感官品评数据： 消费者对于4款样品感官特征的评价分数，从外观、香气、滋味等方面进行评价（详见图3）；此外，消费者对产品的接受度做出评价（图4）；可以看出，样品1的香气浓度、愉悦度高，爽净度高，且整体喜好度最高，其香气、口感喜好度也较高。样品总体在绵甜、口感协调度、余味上差异较小；2）面部表情数据：白酒样品的品评过程中消费者不同情绪维度的分值（图5a和图5b）可以看出，不同情绪强度差异明显，其中中立数值明显高于其它情绪，在各个样品的每
个品评阶段均为最大值。其它情绪相比而言，悲伤、喜悦、厌恶和愤怒四种情绪值相对较高，而惊讶和恐惧情绪数据较低；3）脑电数据：通过捕捉不同频段的脑电处理，进行前处理后，得到品评过程中的兴奋、兴趣、压力和放松4个维度的情绪值（表1）。总体来看，放松值和兴奋值普遍高于兴趣值和压力值。可以看出，兴奋值方面，样品1在各个评价阶段均为最高；在兴趣值方面，样品3在闻香、品尝和吞咽阶段较高；表1 消费者品评过程中的脑电情绪均值样品品评阶段兴奋兴趣压力放松样品1观色0.700.390.300.58样品2观色0.440.430.330.59样品3观色0.470.390.270.54样品4观色0.410.560.310.55样品1闻香0.520.470.370.58样品2闻香0.450.520.360.62样品3闻香0.430.590.490.63样品4闻香0.380.490.410.67样品1入口品尝0.630.440.500.67样品2入口品尝0.450.400.350.56样品3入口品尝0.450.580.410.63样品4入口品尝0.480.300.470.62样品1吞咽后0.630.480.490.67样品2吞咽后0.480.560.380.57样品3吞咽后0.430.690.440.63样品4吞咽后0.440.510.500.58实施例2：应用面部表情情绪分析露酒产品感官测评及消费者评价本实验对3款露酒产品进行测评，共招募10名志愿者，其中女性4人，男性6人，消费者年龄在22到26岁之间（平均年龄24.3岁）；1、实验过程：实验在标准感官实验室内进行。每位被试者面前放置一个高清摄像头，用于记录面部表情数据。采用在线问卷形式，每位被试者配备一台电脑用于实验步骤提示、回答问卷；实验采用盲样盲测（样品编码192，738，645）。参与者按照观色、闻香、品尝、后味感受4个步骤，逐个品评3个酒样。每个样品品评之间有3分钟休息时间，参与者被要求喝水，吃无盐苏打饼干清口。品评后填写感官及接受度调查问卷；2、数据处理与分析1）感官品评数据：消费者对于3款露酒样品感官特征的评价分数，从外观、香气、滋味等方面进行评价（详见图6）。图7展示了样品的消费者接受度；2）面部表情数据：使用facereader 记录消费者品评过程的面部数据（5hz）并进行分析，得到中立、喜悦、悲伤、愤怒、惊讶、恐惧和厌恶7种情绪（数据范围0到1），同时分析计算情绪的正负向（数据范围
‑
1到1）和唤醒度的数据（数据范围0到1）；图8a和图8b展示了在
露酒样品的品评过程中消费者不同情绪维度的分值。可以看出，不同情绪强度差异明显，其中中立数值明显高于其它情绪，在各个样品的每个品评阶段均为最大值。其它情绪相比而言，悲伤、厌恶、愤怒和喜悦四种情绪值相对较高，而惊讶和愤怒两种情绪数据较低；以产品、品评阶段及其相互影响为自变量，以面部表情情绪为因变量，建立方差模型，分析露酒不同样品及其不同品尝阶段在情绪之间的差异性。在7种基本情绪中，愤怒情绪能够显著区分不同样品(p<0.05)，即消费者在品评不同样品时感到的情绪值明显不同；在不同品评阶段，中立、喜悦和惊讶3种表情存在显著差异(p <0.05)，消费者在不同品评阶段，中立、喜悦和惊讶3种情绪明显不同；样品和品评阶段间没有显著的相互影响(p≥0.05)；3）消费者面部表情情绪、产品感官与消费者接受度多元因子分析(mfa)：以感官特性、情绪维度和消费者接受度建立了mfa分析模型，研究其相关性。图9和图10显示出露酒样品间不同品评阶段的面部表情情绪及感官特性的相似性和不同。可以看到，第一象限能够区分出不同的产品；第二象限区分出不同的品评阶段，可以看到在每个的样品的不同品评阶段中，观色（看）阶段的数值在第二象限分布最高，其次是吞咽（后）、品评（尝），而闻香（闻）最低；产品的甜味、口感的和谐绵柔、果香与消费者接受度紧密相关。消费者的中立、恐惧和惊讶情绪和产品的色泽、药香和个性紧密相关，而喜悦、厌恶和悲伤情绪则和产品香气的和谐度和愉悦度紧密相关。