基于视频分析和电子心理沙盘的智能心理评估系统的制作方法

1.本发明属于心理分析领域，具体涉及一种基于视频分析和电子心理沙盘的智能心理评估系统、方法、设备。


背景技术：

2.随着人们生活和工作节奏的加快，竞争压力的增大，社会阅历的扩展和思维方式的变更，在工作、学习、生活，人际关系和自我意识等方面越来越可能遇到心理失衡问题，如果不能及时的纠正这种心理失衡的心态，久而久之就会变成更难解决的心理问题。但是如何发现这种尚在萌芽状态的心理问题呢，寻求帮助的途径并不是很多，而且人们遇到心理问题时，往往存在羞愧的心理，所以很难对陌生的心理分析师完全放下戒备袒露心声。
3.心理沙盘又称箱庭疗法，心理沙盘是运用了心理投射技术的一种心理分析和治疗的游戏。沙盘游戏治疗是国际上流行的，受到普遍推崇的沙盘游戏治疗方法。在1998年由北京师范大学教授张日昇由日本介绍到中国，自引入中国后就收到了极大的推崇和流行，几乎所有大中小学的心理咨询室都会有一套心理沙盘。由于心理沙盘是一种投射测验，所以不像量表那样可以有意识的进行伪装和作假。但是由于心理分析师对于心理沙盘这项技术的掌握程度参差不齐，又由于心理沙盘测验的耗时比较长，所以即使心理沙盘在教育、司法等机构布属的比较多，但是使用率很低。
4.随着近年来计算机技术、多媒体技术的发展，很多的技术人员开始将心理沙盘进行电子化，于是就有了电子心理沙盘。电子心理沙盘是对真实心理沙盘的模拟，电子心理沙盘又名电子心理沙盘游戏，游戏中有一个沙箱，游戏中设置了很多3d模型构建的沙具。像真实沙盘一样，在电子沙盘中你也可以在沙箱中放置沙具、移动沙具、翻转和倾倒沙具，可以进行挖沙、抚平、挖水等操作。此外与真实沙盘不同的是，你还可以缩放沙具，改变沙盘所处的时间点和气候环境等，所以电子心理沙盘除了几乎具备所有心理沙盘的功能外，还有心理沙盘不具备的功能，同时电子沙盘还可以自动的记录下操作者制作沙盘作品时的操作步骤、视频、图片等数据，方便心理分析师和其他人员对沙盘资料进行整理和存档。
5.但是现有的电子心理沙盘只能制作沙盘作品，没有心理状态分析的功能，即使能够进行心理状态分析，也只是根据电子沙盘操作数据进行的分析，数据来源比较单一，分析结果的准确率比较低，可信度不高。基于此，本发明提出了一种基于视频分析和电子心理沙盘的智能心理评估系统，将视频分析与心理沙盘分析相结合，提高心理评估模型的准确性和可信度。


技术实现要素：

6.为了解决现有技术中的上述问题，即为了解决现有的电子心理沙盘分析技术只根据电子沙盘操作数据进行分析、评估，数据来源比较单一，评估模型的准确度和可信度不高的问题。本发明第一方面，提出了一种基于视频分析和电子心理沙盘的智能心理评估系统，该系统包括：电子心理沙盘游戏一体机、视频采集装置和远程服务器；所述电子心理沙盘游
戏一体机、所述视频采集装置与所述远程服务器通信连接；所述远程服务器包括分析服务模块、后台展示模块；所述电子心理沙盘游戏一体机，配置为采集被试者在制作沙盘作品过程中的沙盘操作数据，作为第一数据；还配置为接收分析服务模块发送的沙盘问题，并采集被试者回答沙盘问题的答案，将沙盘问题、答案增入第一数据中，待被试者回答完问题后，将第一数据发送至所述分析服务模块；所述视频采集装置，配置为采集被试者在制作沙盘作品时的视频数据，作为第二数据，并发送至分析服务模块；还配置为采集被试者在回答沙盘问题时的视频数据，作为第三数据，并发送至所述分析服务模块；所述分析服务模块，配置为基于所述第二数据，提取被试者在制作沙盘作品时的人脸微表情、手部动作，并结合所述第一数据，根据微表情数据的分析结果，挑选出对应设置好的沙盘问题，发送至所述电子心理沙盘游戏一体机；还配置为通过预设的沙具类型及操作分析规则，统计分析第一数据中包含的沙具类型以及相应操作，作为第一分析结果；分析后将第一数据与第二数据、第三数据相融合，提取被试者进行制作沙盘作品以及在回答沙盘问题时的人脸微表情、手部动作，统计整个沙盘操作中脸部微表情、手部动作以及相应的时长、频率、时间点，作为第二分析数据；结合所述第一分析数据、所述第二分析数据，通过预构建的心理评估模型获取被试者在整个沙盘操作过程中的状态数据，并基于状态数据分值对应关系，获取状态数据的分值，进而得到被试者的心理评估结果；所述状态数据包括专注度和情感状态；所述状态数据对应关系，为预设的状态数据与该状态对应分值的映射关系；所述后台展示模块，配置为展现得到的数据，包括被试者的心理评估结果、被试者制作沙盘作品过程中的专注度、被试者制作的沙盘作品的统计数据；所述统计数据包括删除沙具的数量、各类型沙具使用的比例、沙具作品的各个视角的图片、使用沙具的列表。
7.在一些优选的实施方式中，所述后台展示模块还包括数据整理单元、数据规律分析单元：所述数据整理单元，配置为统计群体的心理状态，并计算在群体里当中各种心理状态的占比；所述群体为设定的人群类型；所述心理状态即心理评估结果：所述数据规律分析单元，配置为所述数据规律分析单元，配置为分析每个被试者个体以及对应群体的心理状态变化规律，并进行长期的跟踪和预警。
8.在一些优选的实施方式中，所述分析服务模块“基于所述第二数据，提取被试者在制作沙盘作品时的人脸微表情、手部动作，并结合所述第一数据，生成沙盘问题”，其方法为：结合沙具以及相应的沙具操作所对应的内置问题，获取所述第一数据对应的内置问题，作为第一问题；基于所述第二数据，通过预训练的微表情识别模型、人脸检测和人脸关键点检测模型，获取被试者在制作沙盘作品过程中出现的人脸微表情、时间点、时长以及该表情类型出现的次数，即频率；基于所述第二数据中的手部动作数据，通过预训练的手势识别模型获取被试者的
手部动作、次数以及时间点、时长；基于人脸检测和人脸关键点检测模型检测的人脸关键点，并结合获取的人脸微表情、手部动作以及相应时间点、时长以及次数，通过预设的疲劳检测方法，获取被试者是否处于疲劳状态；基于被试者的人脸微表情、手部动作以及相应的时间点、时长、次数，结合疲劳状态，通过预构建的特定情绪问题知识库生成特定情绪状态下的追问性问题，作为第二问题；结合所述第一问题、所述第二问题，生成沙盘问题。
9.在一些优选的实施方式中，所述预设的疲劳检测方法为：通过人脸检测和人脸关键点检测模型获取被试者脸上的多个关键点；所述多个关键点包括眼部关键点、唇部关键点；基于唇部关键点，计算被试者的唇部张合度；所述唇部关键点包括位于上下内唇部的关键点，位于左右内唇角的关键点；基于眼部关键点，获取被试者的眼部张和度；所述眼部关键点包括位于一侧眼角的第一关健点、位于另一侧眼角的第四关健点、位于上眼皮下缘的第二关键点和第三关健点、位于下眼皮上缘的第五关键点和第六关健点；统计设定时长内唇部张和度大于设定的唇部张度阈值的次数和/或眼部张合度小于设定的眼部张度阈值的次数和/或点头的次数，若所述次数大于设定的次数阈值，则判定被试者处于疲劳状态；所述唇部张合度，其计算方法为：其中，表示上下内唇部之间的距离，表示左右内唇角的距离，表示唇部张合度；所述眼部张合度，其计算方法为：。
10.在一些优选的实施方式中，所述心理评估模型，其构建方法为：a10，采集n位被试者在操作电子沙盘后产生的沙盘操作数据、制作完沙盘作品后通过心理量表测量的量表数据、整个沙盘操作操作过程和填写心理量表时的视频数据以及对应的心理评估结果的标注数据，作为样本数据；a20，根据沙盘心理分析师的先验知识，构建一个心理评估规则库；通过心理评估规则库对样本数据进行数据分析，分析每条心理评估规则与每个心理倾向之间的相关性；基于相关性高于设定阈值的规则，利用联合贝叶斯和神经网络的方法构建心理评估模型。
11.在一些优选的实施方式中，所述心理评估模型，其训练方法为：b10，获取训练样本及其对应的心理评估结果真值标签；所述训练样本包括被试者在制作心理沙盘过程中的第一分析数据、第二分析数据；b20，按照设定的人群类型分类规则获取被试者所属的人群类型；b30，根据人群类型将训练样本分批次输入对应类型的心理评估模型中，获取预测的心理评估结果；b40，基于预测的心理评估结果、心理评估结果真值标签，计算损失值，并更新对应类型的心理评估模型的模型参数；
b50，循环执行步骤b10
‑
b40，直至达到设定的训练次数或者模型精度，得到训练好的不同心理倾向的心理评估模型。
12.本发明的第二方面，提出了一种基于视频分析和电子心理沙盘的智能心理评估方法，基于上述的基于视频分析和电子心理沙盘的智能心理评估系统，该方法包括：s10，采集被试者在制作沙盘作品过程中的沙盘操作数据，作为第一数据；采集被试者在制作沙盘作品时的视频数据，作为第二数据；s20，基于所述第二数据，提取被试者在制作沙盘作品时的人脸微表情、手部动作，并结合所述第一数据，生成沙盘问题；采集被试者回答沙盘问题的答案，将沙盘问题、答案增入第一数据中，并采集被试者在回答沙盘问题时的视频数据，作为第三数据；s30，通过预设的沙具类型及操作分析规则，统计分析第一数据中包含的沙具类型以及相应操作，作为第一分析结果；分析后将第一数据与第二数据、第三数据相融合，提取被试者进行制作沙盘作品以及在回答沙盘问题时的人脸微表情、手部动作，统计整个沙盘操作中脸部微表情、手部动作以及相应的时长、频率、时间点，作为第二分析数据；结合所述第一分析数据、所述第二分析数据，通过预构建的心理评估模型获取被试者在整个沙盘操作过程中的状态数据，并基于状态数据分值对应关系，获取状态数据的分值，进而得到被试者的心理评估结果；所述状态数据包括专注度和情感状态；所述状态数据对应关系，为预设的状态数据与该状态对应分值的映射关系。
13.本发明的第三方面，提出了一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于视频分析和电子心理沙盘的智能心理评估方法。
14.本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于视频分析和电子心理沙盘的智能心理评估方法。
15.本发明的有益效果：本发明提高了沙盘分析、评估结果的准确率，提升了心理分析、评估可信度。
16.本发明将视频结构化数据分析技术与电子心理沙盘分析技术相结合，结合微表情分析、疲劳检测和手势检测等方法来分析操作者的整体状态，通过视频结构化分析的结果来制定沙盘制作完成后电子沙盘给操作者提出的问题，这样可以更有针对性的分析出操作者的问题所在，并极大的提高电子心理沙盘分析、评估的准确率，提升了心理沙盘的利用率以及心理分析、评估的可信度。
附图说明
17.通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本技术的其他特征、目的和优点将会变得更明显。
18.图1是本发明一种实施例的基于视频分析和电子心理沙盘的智能心理评估方法的框架示意图；图2是本发明一种实施例的基于视频分析和电子心理沙盘的智能心理评估系统对应的整体流程示意图；图3（a）是本发明一种实施例的唇部关键点检测结果示意图；
图3（b）是本发明一种实施例的唇部张合度计算的示意图；图4是本发明一种实施例的适于用来实现本技术实施例的电子设备的计算机系统的结构示意图；图5是本发明一种实施例的用微表情对心理评估的相关规则进行加权的结构示意图；图6是本发明一种实施例的获取被试者心理评估结果的流程示意图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
21.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
22.本发明的一种基于视频分析和电子心理沙盘的智能心理评估系统，如图1所示，该系统包括：电子心理沙盘游戏一体机100、视频采集装置200和远程服务器；所述电子心理沙盘游戏一体机、所述视频采集装置与所述远程服务器通信连接；所述远程服务器包括分析服务模块300、后台展示模块400；所述电子心理沙盘游戏一体机100，配置为采集被试者在制作沙盘作品过程中的沙盘操作数据，作为第一数据；还配置为接收分析服务模块发送的沙盘问题，并采集被试者回答沙盘问题的答案，将沙盘问题、答案增入第一数据中，待被试者回答完问题后，将第一数据发送至所述分析服务模块；所述视频采集装置200，配置为采集被试者在制作沙盘作品时的视频数据，作为第二数据，并发送至分析服务模块；还配置为采集被试者在回答沙盘问题时的视频数据，作为第三数据，并发送至所述分析服务模块；所述分析服务模块300，配置为基于所述第二数据，提取被试者在制作沙盘作品时的人脸微表情、手部动作，并结合所述第一数据，生成沙盘问题，发送至所述电子心理沙盘游戏一体机；还配置为通过预设的沙具类型及操作分析规则，统计分析第一数据中包含的沙具类型以及相应操作，作为第一分析结果；分析后将第一数据与第二数据、第三数据相融合，提取被试者进行制作沙盘作品以及在回答沙盘问题时的人脸微表情、手部动作，统计整个沙盘操作中脸部微表情、手部动作以及相应的时长、频率、时间点，作为第二分析数据；结合所述第一分析数据、所述第二分析数据，通过预构建的心理评估模型获取被试者在整个沙盘操作过程中的状态数据，并基于状态数据分值对应关系，获取状态数据的分值，进而得到被试者的心理评估结果；所述状态数据包括专注度和情感状态；
所述状态数据对应关系，为预设的状态数据与该状态对应分值的映射关系；所述后台展示模块400，配置为展现得到的数据，包括被试者的心理评估结果、被试者制作沙盘作品过程中的专注度、被试者制作的沙盘作品的统计数据；所述统计数据包括删除沙具的数量、各类型沙具使用的比例、沙具作品的各个视角的图片、使用沙具的列表。
23.为了更清晰地对本发明基于视频分析和电子心理沙盘的智能心理评估系统进行说明，下面结合附图2对本发明系统一种实施例中各模块进行展开详述。
24.所述电子心理沙盘游戏一体机100，配置为采集被试者在制作沙盘作品过程中的沙盘操作数据，作为第一数据；在本实施例中，开始沙盘游戏后，被试者进行账户密码登录，登录认证成功后，开始选择创建沙盘作品，在被试者创建沙盘的过程中，电子心理沙盘游戏一体机会实时的记录下操作者制作沙盘时的操作数据，例如：沙具的创建、移动、缩放、调整方向、绘制地形（画山、画水、抚平山水等等），具体为创建沙具的坐标、类型、大小、时间，移动沙具的坐标、时间，缩放沙具的大小、时间，删除沙具的id和时间，倾倒、倒立、旋转沙具的id和时间，清空沙盘的时间，撤销操作使用的时间，选择修改沙盘作品所处环境和时间段的种类、时间等信息，被试者完成沙盘作品的制作后，点击“提交沙盘作品”。
25.所述视频采集装置200，配置为采集被试者在制作沙盘作品时的视频数据，作为第二数据，并发送至分析服务模块；在本实施例中，被试者创建沙盘的过程中，实时采集视频，采集后发送至分析服务模块。
26.所述分析服务模块300，配置为基于所述第二数据，提取被试者在制作沙盘作品时的人脸微表情、手部动作，并结合所述第一数据，生成沙盘问题，发送至所述电子心理沙盘游戏一体机；在本实施例中，预先根据电子心理沙盘中选取的沙具类型、沙具可能的操作步骤以及沙具类型的组合和操作步骤的组合，设定相应的内置问题，形成相应的映射关系。当获取到被试者的沙盘操作数据之后，根据所述映射关系，获取沙盘操作数据对应的内置问题，然后，当通过视频分析得到操作者情绪比较激动或者比较低落，或者比较疲劳，或者其他的比较异常的情绪时，电子心理沙盘会针对操作者表现出来的这些特定的情绪状态提出追问性的问题，假如某个操作者表现出了很疲劳，那么在结束游戏后，就会追问“请问您最近是不是感觉很累呢，由于什么导致了您这么累呢，”，会给出很多的选项比如忙于工作，情感不顺，失眠等等。具体如下：结合沙具以及相应的沙具操作所对应的内置问题，获取所述第一数据对应的内置问题，作为第一问题；基于所述第二数据，通过预训练的微表情识别模型、人脸检测和人脸关键点检测模型，获取被试者在制作沙盘作品过程中出现的人脸微表情、时间点、时长以及该表情类型出现的次数，即频率；其中，人脸微表情包括但不限于：厌烦、厌恶、强烈的愤怒、不满、质疑、不安、失望、焦虑等等；基于所述第二数据中的手部动作数据，通过预训练的手势识别模型获取被试者的手部动作、次数以及时间点、时长；
本发明中，手势识别模型基于mobilenetv3网络构建，结合被试者在制作沙盘作品过程中的手部动作进行训练，并且在训练之前，将手部动作样本数据转换成了yuv的图像。
27.基于人脸检测和人脸关键点检测模型检测的人脸关键点，并结合获取的人脸微表情、手部动作以及相应时间点、时长以及次数，通过预设的疲劳检测方法，获取被试者是否处于疲劳状态；本发明中，人脸的疲劳程度主要检测和计算包括但不限于：打哈欠次数、频繁点头次数、频繁闭眼次数、人脸消失时长、发呆时长等等；具体为：（1）通过人脸检测和人脸关键点检测模型获取被试者脸上的多个关键点；所述多个关键点包括眼部关键点、唇部关键点，本发明中检测到的人脸上的关键点优选设置为68个；（2）基于唇部关键点，如3（a）所示，计算被试者的唇部张合度，如图3（b）所示；所述唇部关键点包括位于上下内唇部的关键点，位于左右内唇角的关键点；其中，图3（b）中的、表示被试者唇部张合时上下外唇部之间的距离、左右唇角之间的距离，、、、分别表示嘴唇上唇部内外之间的距离、下唇部内外之间的距离，左唇角内外之间的距离、右唇角内外之间的距离。
28.所述唇部张合度，其计算方法为：其中，为关键点62和66之间的距离，即上下内唇部之间的距离，为关键点60和64之间的距离，即左右内唇角的距离，表示唇部张合度，当大于设定的唇部张度阈值的时候表示打哈欠。
29.（3）基于眼部关键点，获取被试者的眼部张和度；所述眼部关键点包括位于一侧眼角的第一关健点、位于另一侧眼角的第四关健点、位于上眼皮下缘的第二关键点和第三关健点、位于下眼皮上缘的第五关键点和第六关健点；所述眼部张合度，其计算方法为：。
30.当小于设定眼部张度阈值，表示眼部处于闭合状态。
31.另外，眨眼频率和点头频率的计算方法与打哈欠的计算方法类似，而且几何限定方法也很多选择，本发明就不再赘述了。
32.（4）统计设定时长内唇部张和度大于设定的唇部张度阈值的次数和/或眼部张合度小于设定的眼部张度阈值的次数和/或点头的次数，若所述次数大于设定的次数阈值，则判定被试者处于疲劳状态；或者通过对唇部张和度、眼部张度进行加权，若小于设定阈值，则判定被试者处于疲劳状态。
33.基于被试者的人脸微表情、手部动作以及相应的时间点、时长、次数，结合疲劳状态，通过预构建的特定情绪问题知识库生成特定情绪状态下的追问性问题，作为第二问题；结合所述第一问题、所述第二问题，生成沙盘问题。
34.其中，对第二数据的分析也包括转头时长、与他人聊天时长、打电话时长、用手玩其它东西时长、眼睛看向其它地方时长等等。
35.另外，微表情识别模型、人脸检测和人脸关键点检测模型的训练过程如下：使用电子沙盘游戏一体机上面集成的摄像头采集n位被试者制作沙盘游戏时的视
频录像，进行自动化的人脸标注和手动修正，进行自动化的人脸68个关键点标注和手动修正，进行自动化的表情标注和手动修正，进行自动化的手势标注和手动修正。
36.针对人脸检测和人脸关键点检测模型，采用基于文献[1]的网络结构和上述标注好的人脸和人脸关键点样本数据进行模型的微调finetune，另外在样本的处理阶段本采用了文献[2]中提到的mosaic的数据增强方式。
[0037]
针对微表情识别模型，采用文献[3]所提到的基于自监督的微表情识别方法，采用有标注和无标注的混合数据进行44个面部运动单元（actionunit，简称au）的训练。面部运动单元用于描述人脸局部区域的运动，著名心理学家paulekman和研究伙伴w.v.friesen，通过对脸部肌肉动作与对应表情关系的研究，于1976年创制了“面部运动编码系统”。本发明基于面部编码系统将识别得到的au结果编码成人脸的微表情参考文献：[1]“hanyangpengandshiqiyu,asystematiciou
‑
relatedmethod:beyondsimplifiedregressionforbetterlocalization,acceptedbyieeetransactionsonimageprocessing.”；[2]“bochkovskiya,wangcy,liaoh.yolov4:optimalspeedandaccuracyofobjectdetection[j].2020.”[3]“yongli,jiabeizeng,shiguangshan,xilinchen.“self
‑
supervisedrepresentationlearningfromvideosforfacialactionunitdetection”,ieeeconferenceoncomputervisionandpatternrecognition(cvpr2019),pp.10924
‑
10933,longbeach,california,usa,june16
‑
20,2019.”。
[0038]
所述电子心理沙盘游戏一体机100，还配置为接收分析服务模块发送的沙盘问题，并采集被试者回答沙盘问题的答案，将沙盘问题、答案增入第一数据中，待被试者回答完问题后，将第一数据发送至所述分析服务模块；在本实施例中，电子心理沙盘游戏一体机接收分析服务模块发送的沙盘问题，采集被试者回答沙盘问题的答案，将沙盘问题、答案增入第一数据中。
[0039]
所述视频采集装置200，还配置为采集被试者在回答沙盘问题时的视频数据，作为第三数据，并发送至所述分析服务模块；在本实施例中，采集被试者在回答沙盘问题时的视频数据。
[0040]
所述分析服务模块300，还配置为通过预设的沙具类型及操作分析规则，统计分析第一数据中包含的沙具类型以及相应操作，作为第一分析结果（即沙盘分析数据）；分析后将第一数据与第二数据、第三数据相融合，提取被试者进行制作沙盘作品以及在回答沙盘问题时的人脸微表情、手部动作，统计整个沙盘操作中脸部微表情、手部动作以及相应的时长、频率、时间点，作为第二分析数据；结合所述第一分析数据、所述第二分析数据，通过预构建的心理评估模型获取被试者在整个沙盘操作过程中的状态数据，并基于状态数据分值对应关系，获取状态数据的分值，进而得到被试者的心理评估结果；所述状态数据包括专注度和情感状态；所述状态数据对应关系，为预设的状态数据（或者为状态类型）与该状态对应分值的映射关系。
[0041]
在本实施例中，心理评估模型，其构建方法为：a10，采集n位被试者在操作电子沙盘后产生的沙盘操作数据、制作完沙盘作品后
通过比较受到业界认可的心理量表测量的量表数据、整个沙盘操作操作过程和填写心理量表时的视频数据以及对应的心理评估结果的标注数据（即自我标定），作为样本数据；a20，根据沙盘心理分析师的先验知识，构建一个心理评估规则库；通过心理评估规则库对样本数据进行数据分析，分析每条规则（即心理评估规则）与每个心理倾向之间的相关性；基于相关性高于设定阈值的规则，利用联合贝叶斯和神经网络的方法构建心理评估模型。
[0042]
同时随着系统使用场景越来越广泛，逐渐的发现人群特征对于模型的分析有很大的影响，人群特征主要有哪些呢，包括性别、年龄、学历、职业状况、家庭状况、婚姻状况等等，所以在进行模型优化的时候，选择了将样本根据人群进行分类，构建属于不同人群，针对不同心理倾向的心理评估模型，优化后模型的准确性较之前版本有很大的提升。
[0043]
心理评估模型，其训练具体过程为：b10，获取训练样本及其对应的心理评估结果真值标签；所述训练样本包括被试者在制作心理沙盘过程中的第一分析数据、第二分析数据；b20，按照设定的人群类型分类规则获取被试者所属的人群类型；本发明中设定的人群类型包括大学生、中学生、小学生、职业人员、老年人、妇女、孕妇等等；b30，根据人群类型将训练样本分批次输入对应类型的心理评估模型中，获取预测的心理评估结果；b40，基于预测的心理评估结果、心理评估结果真值标签，计算损失值，并更新对应类型的心理评估模型的模型参数；b50，循环执行步骤b10
‑
b40，直至达到设定的训练次数或者模型精度，得到训练好的不同心理倾向的心理评估模型。
[0044]
基于训练好的心理评估模型获取被试者的心理评估结果，具体如下：当被试者完成沙盘作品后会采用规则知识库（即心理评估规则库）的分析规则算法对于沙盘操作数据进行初步的分析，分析沙盘操作数据的过程实际上就是判断沙盘分析规则库中定义的规则是否满足的过程，沙盘分析规则库中定义规则里包括的信息如下，包括但不限于：被试者操作沙盘所用沙具的数量、占地面积、类型分布；被试者使用人物类沙具的多少、被试有无使用枯树、残肢、怪兽这类特殊的沙具；被试者操作沙盘所用的具体时间，被试者所选择的天气环境；被试者删除沙具的比例，被试者有无自我像沙具等等。
[0045]
将构建的沙盘分析规则中以文字形式定义的规则转变成计算机语言，以计算机中函数的形式判断每条规则对应的函数是否实现。如图6所示，提取沙盘操作数据中对应的规则数值，跟设定的阈值做比较，得到对应的分数。图6中的threshold1
‑
thresholdn，表示设置的阈值，score1
‑
scoren表示分数。
[0046]
然后将视频分析的结果与沙盘操作数据的日志的时间对应起来，提取进行沙盘操作时的人脸微表情、手部动作，提取在回答沙盘游戏中遇到相关问题时的人脸为微表情、手部动作，统计整个沙盘操作中各个人脸微表情、手部动作出现的数量和累积时长、时间点等数据。如果某些操作中出现了比较异常的表情或者动作相关沙具满足特定规则的时候结果就会被加权。如图5所示，摄像头提取出实时的视频数据（即视频中的每帧图像）进行微表情
分析，找到对应的沙盘操作，从而找到相关的沙盘规则，进行加权。另外，本发明在视频分析服务还会统计被试者制作沙盘作品时各种微表情出现的次数和所占比例，根据微表情统计结果映射到沙盘内置的问题，将沙盘问题所对应的规则得到的分数加到心理评估模型得分当中。图5中的
‑
表示加权的权重。
[0047]
最后根据这些数据的数值和心理评估模型得出用户制作沙盘时的认真程度（即专注度，专注度包括被试者的疲劳状态）、情感投入程度、情绪状态等的状态数据。基于状态数据分值对应关系，获取状态数据的分值，进而得到被试者的心理评估结果。
[0048]
其中，专注度的计算，如下表所示：表1这个计算表是计算单元时间内操作者的专注度的程度，当操作者在单元时间内满足上述任一一条则判定为不专注，将每两分钟作为一个时间单元，用户用的总的时间除以每个时间为单元时间的个数，如果用户在超过1/2的时间单元里面为不专注，则判定用户的专注度为“心不在焉”，如果用户在超过1/4的时间单元里面为不专注，则判定用户的专注程度为“马马虎虎”，此外均为“全神贯注”。
[0049]
最后基于上述得到的分值，计算相应心理状态对应规则的总分，与总分设定的阈值做比较从而判定是否存在某种心理状态，即得到被试者的心理评估结果。
[0050]
所述后台展示模块400，配置为展现得到的数据，包括被试者的心理评估结果、被试者制作沙盘作品过程中的专注度、被试者制作的沙盘作品的统计数据；所述统计数据包括但不限于删除沙具的数量、各类型沙具使用的比例、沙具作品的各个视角的图片、使用沙
具的列表。
[0051]
在本实施例中，分析服务模块分析得到的数据进行展示。
[0052]
所述后台展示模块还包括数据整理单元、数据规律分析单元；所述数据整理单元，配置为统计群体的心理状态，并计算在群体里当中各种心理状态的占比；所述群体为设定的人群类型；所述心理状态即心理评估结果；所述数据规律分析单元，配置为分析每个被试者个体以及对应群体的心理状态变化规律，并进行长期的跟踪和预警（因为一个人在不同的时间点，会多次的进行沙盘操作）。
[0053]
本发明第二实施例的一种基于视频分析和电子心理沙盘的智能心理评估系统，该系统包括：电子心理沙盘游戏一体机、视频采集装置和远程服务器；所述电子心理沙盘游戏一体机、所述视频采集装置与所述远程服务器通信连接；所述远程服务器包括分析服务模块、后台展示模块；所述电子心理沙盘游戏一体机，配置为采集被试者在制作沙盘作品过程中的沙盘操作数据，作为第一数据；还配置为接收分析服务模块发送的沙盘问题，并采集被试者回答沙盘问题的答案，将沙盘问题、答案增入第一数据中，待被试者回答完问题后，将第一数据发送至所述分析服务模块；还配置为在被试者完成沙盘作品时，利用3d技术对沙盘作品进行3d建模，并将3d建模后的沙盘作品进行三维全景展示；收集被试者沉浸在三维场景中的操作数据，作为第四数据；在本实施例中，通过对被试者制作的沙盘作品进行3d建模，然后以三维全景场景或三维视频（根据沙盘作品生成相应的视频片段，展示给被试者）或三维游戏（根据沙盘作品生成相应场景类的小游戏，增加趣味性）展示给被试者，进一步收集被试者的操作数据。例如，三维全景场景展示时，将沙盘作品中的沙具类型进行分类，分成动态和静态两类，静态的如：大地、树木、山、天空等，动态的如：人、鸟、动物，可以根据实际需要进行划分动态和静态，被试者可以对动态的物体（即沙盘作品中沙具对应在三维场景中映射）进行移动，例如，可以让人爬树、可以在河里游泳等。
[0054]
所述视频采集装置，配置为采集被试者在制作沙盘作品时的视频数据，作为第二数据，并发送至分析服务模块；还配置为采集被试者在回答沙盘问题时的视频数据，作为第三数据，并发送至所述分析服务模块；还配置为采集被试者沉浸在三维场景中进行相应操作时的视频数据，作为第五数据；当被试者沉浸在自己的世界中时，容易打开内心的世界，也更容易展示真实的自我。因此，在本实施中，将被试者制作的沙盘作品三维场景化，将静态的沙盘作品变成动态的沙盘世界，收集被试者沉浸在自己的沙盘世界中时，相应的操作、微表情以及肢体动作，即收集被试者的操作数据以及视频数据，提高数据采集的准确性、鲁棒性，进一步提升后续被试者心理评估结果的精度。
[0055]
所述分析服务模块，配置为基于所述第二数据，提取被试者在制作沙盘作品时的人脸微表情、手部动作，并结合所述第一数据，生成沙盘问题，发送至所述电子心理沙盘游戏一体机；还配置为通过预设的沙具类型及操作分析规则，统计分析第一数据中包含的沙具
类型、相应操作以及第四数据中包含的物体、相应操作，作为第一分析结果；分析后将第一数据与第二数据、第三数据、第四数据、第五数据相融合，提取被试者进行制作沙盘作品、在回答沙盘问题、以及在三维场景中进行相应操作时的人脸微表情、手部动作，统计整个沙盘操作中脸部微表情、手部动作以及相应的时长、频率、时间点，作为第二分析数据；结合所述第一分析数据、所述第二分析数据，通过预构建的心理评估模型获取被试者在整个沙盘操作过程中的状态数据，并基于状态数据分值对应关系，获取状态数据的分值，进而得到被试者的心理评估结果；所述状态数据包括专注度和情感状态；所述状态数据对应关系，为预设的状态数据与该状态对应分值的映射关系；所述后台展示模块，配置为展现得到的数据，包括被试者的心理评估结果、被试者制作沙盘作品过程中的专注度、被试者制作的沙盘作品的统计数据；所述统计数据包括删除沙具的数量、各类型沙具使用的比例、沙具作品的各个视角的图片、使用沙具的列表。
[0056]
本发明第三实施例的一种基于视频分析和电子心理沙盘的智能心理评估系统，该系统包括：电子心理沙盘游戏一体机、视频采集装置和远程服务器；所述电子心理沙盘游戏一体机、所述视频采集装置与所述远程服务器通信连接；所述远程服务器包括分析服务模块、后台展示模块；所述电子心理沙盘游戏一体机，配置为采集被试者在制作沙盘作品过程中的沙盘操作数据，作为第一数据；还配置为接收分析服务模块发送的沙盘问题，并采集被试者回答沙盘问题的答案，将沙盘问题、答案增入第一数据中，待被试者回答完问题后，将第一数据发送至所述分析服务模块；所述视频采集装置，配置为采集被试者在制作沙盘作品时的视频数据，作为第二数据，并发送至分析服务模块；还配置为采集被试者在回答沙盘问题时的视频数据，作为第三数据，并发送至所述分析服务模块；所述分析服务模块，配置为基于所述第二数据，提取被试者在制作沙盘作品时的人脸微表情、手部动作，并结合所述第一数据，生成沙盘问题，发送至所述电子心理沙盘游戏一体机；还配置为通过预设的沙具类型及操作分析规则，统计分析第一数据中包含的沙具类型以及相应操作，作为第一分析结果；分析后将第一数据与第二数据、第三数据相融合，提取被试者进行制作沙盘作品以及在回答沙盘问题时的人脸微表情、手部动作，统计整个沙盘操作中脸部微表情、手部动作以及相应的时长、频率、时间点，作为第二分析数据；结合所述第一分析数据、所述第二分析数据，通过预构建的心理评估模型获取被试者在整个沙盘操作过程中的状态数据，并基于状态数据分值对应关系，获取状态数据的分值，进而得到被试者的心理评估结果；所述状态数据包括专注度和情感状态；所述状态数据对应关系，为预设的状态数据与该状态对应分值的映射关系；还配置为根据被试者的心理评估结果的类型，生成相应类型的干预方案；所述干预方案包括视频、游戏；采集被试者在所述干预方案干预下的人脸微表情、手部动作并进行分析，得到第三分析数据；基于所述第三分析数据，通过预构建的心理评估模型获取被试者在所述干预方案干预下的状态数据，并基于状态数据分值对应关系，获取状态数据的分值，若该分值大于设
定的变化阈值，则获取的被试者的心理评估结果正确，否则，重新对被试者进行心理评估；在本实施例中，进一步的判断获取的被试者的心理评估结果是否正确，具体方案如下：根据上述获取的心理评估结果，生成心理评估结果对应类型相应的干预方案；例如，被试者被评估为抑郁类的，则选取提前筛选的抑郁类型看到后会出现明显的缓解抑郁的视频或游戏。
[0057]
采集被试者在筛选的视频/游戏的干预下的人脸微表情、手部动作，进而分析干预方案是否有效，若有效（即通过微表情、手部动作分析，受试者明显出现了缓解抑郁的相应表现），则证明当前心理评估结果正确，若被试者完全没有任何表情变化或手部动作以及出现完全与缓解效果相反的微表情或动作，则证明当前得到的心理评估结果错误，则需要重新进行分析。本发明通过对被试者的心理评估结果的进一步验证，增加了评估结果的准确性，避免了因被试者心理评估结果对应分值接近两种心理类型，出现的错判、误判的情况。
[0058]
所述后台展示模块，配置为展现得到的数据，包括被试者的心理评估结果、被试者制作沙盘作品过程中的专注度、被试者制作的沙盘作品的统计数据；所述统计数据包括删除沙具的数量、各类型沙具使用的比例、沙具作品的各个视角的图片、使用沙具的列表。
[0059]
需要说明的是，上述实施例提供的基于视频分析和电子心理沙盘的智能心理评估系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
[0060]
本发明第四实施例的一种基于视频分析和电子心理沙盘的智能心理评估方法，基于上述的基于视频分析和电子心理沙盘的智能心理评估系统，该方法包括：s10，采集被试者在制作沙盘作品过程中的沙盘操作数据，作为第一数据；采集被试者在制作沙盘作品时的视频数据，作为第二数据；s20，基于所述第二数据，提取被试者在制作沙盘作品时的人脸微表情、手部动作，并结合所述第一数据，生成沙盘问题；采集被试者回答沙盘问题的答案，将沙盘问题、答案增入第一数据中，并采集被试者在回答沙盘问题时的视频数据，作为第三数据；s30，通过预设的沙具类型及操作分析规则，统计分析第一数据中包含的沙具类型以及相应操作，作为第一分析结果；分析后将第一数据与第二数据、第三数据相融合，提取被试者进行制作沙盘作品以及在回答沙盘问题时的人脸微表情、手部动作，统计整个沙盘操作中脸部微表情、手部动作以及相应的时长、频率、时间点，作为第二分析数据；结合所述第一分析数据、所述第二分析数据，通过预构建的心理评估模型获取被试者在整个沙盘操作过程中的状态数据，并基于状态数据分值对应关系，获取状态数据的分值，进而得到被试者的心理评估结果；所述状态数据包括专注度和情感状态；所述状态数据对应关系，为预设的状态数据与该状态对应分值的映射关系。
[0061]
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的方法具体的工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。
[0062]
本发明第五实施例的一种电子设备，至少一个处理器；以及与至少一个所述处理
器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于视频分析和电子心理沙盘的智能心理评估方法。
[0063]
本发明第六实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于视频分析和电子心理沙盘的智能心理评估方法。
[0064]
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的设备、计算机可读存储介质的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
[0065]
下面参考图4，其示出了适于用来实现本技术方法、系统、设备实施例的服务器的计算机系统的结构示意图。图4示出的服务器仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0066]
如图4所示，计算机系统包括中央处理单元(cpu，central processing unit)401，其可以根据存储在只读存储器(rom，read only memory)402中的程序或者从存储部分408加载到随机访问存储器(ram，random access memory)403中的程序而执行各种适当的动作和处理。在ram403中，还存储有系统操作所需的各种程序和数据。cpu401、rom 402以及ram403通过总线404彼此相连。输入/输出(i/o，input/output)接口405也连接至总线404。
[0067]
以下部件连接至i/o接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(crt，cathode ray tube)、液晶显示器(lcd，liquid crystal display)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如lan(局域网，local area network)卡、调制解调器等的网络接口卡的通讯部分409。通讯部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至i/o接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
[0068]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(cpu401执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机
可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0069]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0070]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0071]
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
[0072]
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0073]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。