一种结合工作特征的员工情绪感知方法及系统与流程

1.本发明主要涉及电数字数据处理技术领域，具体地说，涉及一种结合工作特征的员工情绪感知方法及系统。


背景技术：

2.心理健康的概念正越来越深入人心，工作场景中的员工情绪问题也越来越受到重视。其中，从事部分特殊生产作业的员工工作强度大、工作要求高、工作条件苛刻，尤其容易产生烦躁、焦虑、厌倦、苦闷等情绪，不仅有碍个人身心健康，还会对企业和社会长期健康发展带来不利影响。在实际的企业管理操作中，企业管理者们对员工情绪的识别与把握更多是基于企业管理人员自己的观察，这往往有赖于管理人员个人的经验与敏感程度，很容易产生遗漏或者误判，因而无法取得预想的效果。
3.因此，需要一种结合工作特征的员工情绪感知方法及系统，用于及时且准确地感知员工情绪。


技术实现要素：

4.为了解决现有技术中通过人工对员工情绪的识别，很容易产生遗漏或者误判的技术问题，本说明书实施例之一提供一种结合工作特征的员工情绪感知方法，包括：向目标员工推送文字问卷调查，获取目标员工对所述文字问卷调查的答复；获取所述目标员工的工作内容相关信息及所述目标员工对所述文字问卷调查的答复，确定所述目标员工的工作特征；获取所述目标员工在工作期间的视频，基于所述目标员工在工作期间的视频，确定所述目标员工在工作期间的情绪特征；向所述目标员工推送图像问卷调查，获取所述目标员工对所述图像问卷调查的答复；基于所述目标员工的工作特征、所述目标员工在工作期间的情绪特征及所述目标员工对所述图像问卷调查的答复，确定所述目标员工在多种情绪类型的情绪得分。
5.在一些实施例中，所述获取所述目标员工的工作内容相关信息及所述目标员工对所述文字问卷调查的答复，确定所述目标员工的工作特征，包括：获取所述目标员工的工作内容相关信息；基于所述目标员工的工作内容相关信息及所述目标员工对所述文字问卷调查的答复，确定所述目标员工的工作特征，其中，所述工作特征至少包括工作技能需求度、任务完整度、任务重要性、工作自主性、工作反馈需求、工作复杂程度、工作强度、时间压力值、工作与家庭的冲突程度及个人与工作的匹配度。
6.在一些实施例中，所述基于所述目标员工在工作期间的视频，确定所述目标员工在工作期间的情绪特征，包括：基于所述目标员工在工作期间的视频，获取所述目标员工在工作期间的语音及图像；对所述目标员工在工作期间的语音进行识别，获取语音情绪特征；对所述目标员工在工作期间的图像进行识别，获取面部表情特征及动作特征，所述目标员工在工作期间的情绪特征包括所述语音情绪特征、面部表情特征及动作特征。
7.在一些实施例中，所述向所述目标员工推送图像问卷调查，获取所述目标员工对
所述图像问卷调查的答复，包括：基于图像数据库及所述目标员工的历史图像问卷调查，生成图像问卷调查，其中，所述图像数据库用于多种类型的图像，所述多种类型包括人物类、动物类、植物类、物体类及场景类，所述图像包括隐藏的情绪标签，所述图像问卷调查包括多道题，每道题包括一组候选图像；获取所述目标员工对所述图像问卷调查的答复，所述目标员工对所述图像问卷调查的答复包括所述目标员工从所述每道题包括的一组候选图像中选择的一张目标图像。
8.在一些实施例中，所述基于图像数据库及所述目标员工的历史图像问卷调查，生成图像问卷调查，包括：基于所述目标员工的历史图像问卷调查，确定多张已使用图像；从所述图像数据库获取多张候选图像，判断所述候选图像与所述已使用图像之间的相似度；若所述候选图像与所述已使用图像之间的相似度大于预设阈值，重复从图像数据库获取候选图像，直至当前获取的候选图像与所述已使用图像之间的相似度小于预设阈值；基于当前获取的多张候选图像生成图像问卷调查。
9.本说明书实施例之一提供一种结合工作特征的员工情绪感知系统，包括：文字调查模块，用于向目标员工推送文字问卷调查，获取目标员工对所述文字问卷调查的答复；特征确定模块，用于获取所述目标员工的工作内容相关信息及所述目标员工对所述文字问卷调查的答复，确定所述目标员工的工作特征；图像识别模块，用于获取所述目标员工在工作期间的图像，基于所述目标员工在工作期间的图像，确定所述目标员工在工作期间的情绪特征；图像调查模块，用于向所述目标员工推送图像问卷调查，获取所述目标员工对所述图像问卷调查的答复；情绪感知模块，用于基于所述目标员工的工作特征、所述目标员工在工作期间的情绪特征及所述目标员工对所述图像问卷调查的答复，确定所述目标员工的情绪得分。
10.在一些实施例中，所述特征确定模块还用于：获取所述目标员工的工作内容相关信息；基于所述目标员工的工作内容相关信息及所述目标员工对所述文字问卷调查的答复，确定所述目标员工的工作特征，其中，所述工作特征至少包括工作技能需求度、任务完整度、任务重要性、工作自主性、工作反馈需求、工作复杂程度、工作强度、时间压力值、工作与家庭的冲突程度及个人与工作的匹配度。
11.在一些实施例中，所述图像识别模块还用于：基于所述目标员工在工作期间的视频，获取所述目标员工在工作期间的语音及图像；对所述目标员工在工作期间的语音进行识别，获取语音情绪特征；对所述目标员工在工作期间的图像进行识别，获取面部表情特征及动作特征，所述目标员工在工作期间的情绪特征包括所述语音情绪特征、面部表情特征及动作特征。
12.在一些实施例中，所述图像调查模块还用于：基于图像数据库及所述目标员工的历史图像问卷调查，生成图像问卷调查，其中，所述图像数据库用于多种类型的图像，所述多种类型包括人物类、动物类、植物类、物体类及场景类，所述图像包括隐藏的情绪标签，所述图像问卷调查包括多道题，每道题包括一组候选图像；获取所述目标员工对所述图像问卷调查的答复，所述目标员工对所述图像问卷调查的答复包括所述目标员工从所述每道题包括的一组候选图像中选择的一张目标图像。
13.在一些实施例中，所述图像调查模块还用于：基于所述目标员工的历史图像问卷调查，确定多张已使用图像；从所述图像数据库获取多张候选图像，判断所述候选图像与所
述已使用图像之间的相似度；若所述候选图像与所述已使用图像之间的相似度大于预设阈值，重复从图像数据库获取候选图像，直至当前获取的候选图像与所述已使用图像之间的相似度小于预设阈值；基于当前获取的多张候选图像生成图像问卷调查。
14.本说明书提供的一种结合工作特征的员工情绪感知方法及系统，至少具有以下有益效果：1、通过向目标员工推送文字问卷调查，获取目标员工对文字问卷调查的答复；获取目标员工的工作内容相关信息及目标员工对文字问卷调查的答复，确定目标员工的工作特征；获取目标员工在工作期间的视频，基于目标员工在工作期间的视频，确定目标员工在工作期间的情绪特征；向目标员工推送图像问卷调查，获取目标员工对图像问卷调查的答复；基于目标员工的工作特征、目标员工在工作期间的情绪特征及目标员工对图像问卷调查的答复，确定目标员工在多种情绪类型的情绪得分，实现及时获取用于与判断目标员工的情绪相关的信息，并且，无需人工进行情绪判断，确定的目标员工在多种情绪类型的情绪得分更加准确；2、基于目标员工的历史图像问卷调查，确定多张已使用图像，从图像数据库获取多张候选图像，判断候选图像与已使用图像之间的相似度，若候选图像与已使用图像之间的相似度大于预设阈值，重复从图像数据库获取候选图像，直至当前获取的候选图像与已使用图像之间的相似度小于预设阈值，基于当前获取的多张候选图像生成图像问卷调查，从而避免使用与历史图像问卷调查重复的图像生成给目标员工，避免目标员工在答复问卷调查时采用作弊手段，使得感知的情绪更加真实。
附图说明
15.本技术将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本技术一些实施例所示的一种结合工作特征的员工情绪感知系统的应用场景示意图；图2是根据本技术一些实施例所示的一种结合工作特征的员工情绪感知系统的模块示意图；图3是根据本技术一些实施例所示的一种结合工作特征的员工情绪感知方法的示例性流程图；图4是根据本技术一些实施例所示的文字问卷调查的示意图；图5是根据本技术一些实施例所示的图像问卷调查的示意图；图中，100、应用场景；110、处理设备；120、网络；130、用户终端；140、存储设备。
具体实施方式
16.为了更清楚地说明本技术的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。应当理解，给出这些示例性的实施例仅仅是为了使相关领域的技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。除
非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
17.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
18.如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
19.虽然本技术对根据本技术的实施例的系统中的某些模块或单元做出了各种引用，然而，任何数量的不同模块或单元可以被使用并运行在客户端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
20.本技术中使用了流程图用来说明根据本技术的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
21.图1是根据本技术一些实施例所示的一种结合工作特征的员工情绪感知系统的应用场景100示意图。
22.如图1所示，应用场景100可以包括处理设备110、网络120、用户终端130和存储设备140。
23.在一些实施例中，处理设备110可以用于处理与结合工作特征的员工情绪感知相关的信息和/或数据。例如，处理设备110可以向目标员工推送文字问卷调查，获取目标员工对文字问卷调查的答复；获取目标员工的工作内容相关信息及目标员工对文字问卷调查的答复，确定目标员工的工作特征；获取目标员工在工作期间的视频，基于目标员工在工作期间的视频，确定目标员工在工作期间的情绪特征；向目标员工推送图像问卷调查，获取目标员工对图像问卷调查的答复；基于目标员工的工作特征、目标员工在工作期间的情绪特征及目标员工对图像问卷调查的答复，确定目标员工在多种情绪类型的情绪得分。
24.在一些实施例中，处理设备110可以是区域的或者远程的。例如，处理设备110可以通过网络120访问存储于用户终端130和存储设备140中的信息和/或资料。在一些实施例中，处理设备110可以直接与用户终端130和存储设备140连接以访问存储于其中的信息和/或资料。在一些实施例中，处理设备110可以在云平台上执行。例如，该云平台可以包括私有云、公共云、混合云、社区云、分散式云、内部云等中的一种或其任意组合。在一些实施例中，处理设备110可以包含处理器，处理器可以包含一个或多个子处理器（例如，单芯处理设备或多核多芯处理设备）。仅仅作为范例，处理器可包含中央处理器（cpu）、专用集成电路（asic）、专用指令处理器（asip）、图形处理器（gpu）、物理处理器（ppu）、数字信号处理器（dsp）、现场可编程门阵列（fpga）、可编辑逻辑电路（pld）、控制器、微控制器单元、精简指令集电脑（risc）、微处理器等或以上任意组合。
25.网络120可促进应用场景100中数据和/或信息的交换。在一些实施例中，应用场景100中的一个或多个组件（例如，处理设备110、用户终端130和存储设备140）可以通过网络120发送数据和/或信息给应用场景100中的其他组件。例如，处理设备110可以通过网络120
从存储设备140获取文字问卷调查。在一些实施例中，网络120可以是任意类型的有线或无线网络。例如，网络120可以包括缆线网络、有线网络、光纤网络、电信网络、内部网络、网际网络、区域网络、广域网络、无线区域网络、都会区域网络、公共电话交换网络、蓝牙网络、zigbee网络、近场通讯网络等或以上任意组合。
26.用户终端130可以获取应用场景100中的信息或数据，用户（例如，目标人员）可以是用户终端130的使用者。在一些实施例中，用户终端130可以通过网络120与应用场景100中的一个或多个组件（例如，处理设备110或存储设备140）进行数据和/或信息的交换。例如，用户终端130可以通过网络120从处理设备110获取最优工作区间。在一些实施例中，用户终端130可以包括移动装置、平板电脑、笔记本电脑等中的一种或其任意组合。在一些实施例中，移动装置可以包括可穿戴装置、智能行动装置、虚拟实境装置、增强实境装置等或其任意组合。
27.在一些实施例中，存储设备140可以与网络120连接以实现与应用场景100的一个或多个组件（例如，处理设备110、用户终端130等）通讯。应用场景100的一个或多个组件可以通过网络120访问存储于存储设备140中的资料或指令。在一些实施例中，存储设备140可以直接与应用场景100中的一个或多个组件（如，处理设备110、用户终端130）连接或通讯。
28.应该注意的是，上述描述仅出于说明性目的而提供，并不旨在限制本技术的范围。对于本领域普通技术人员而言，在本技术内容的指导下，可做出多种变化和修改。可以以各种方式组合本技术描述的示例性的实施例的特征、结构、方法和其他特征，以获得另外的和/或替代的示例性的实施例。例如，存储设备140可以是包括云计算平台的数据存储设备，例如公共云、私有云、社区和混合云等。然而，这些变化与修改不会背离本技术的范围。
29.图2是根据本技术一些实施例所示的一种结合工作特征的员工情绪感知系统的模块示意图。如图2所示，结合工作特征的员工情绪感知系统可以包括文字调查模块、特征确定模块、图像识别模块、图像调查模块及情绪感知模块。
30.文字调查模块可以用于向目标员工推送文字问卷调查，获取目标员工对文字问卷调查的答复。
31.特征确定模块可以用于获取目标员工的工作内容相关信息及目标员工对文字问卷调查的答复，确定目标员工的工作特征。在一些实施例中，特征确定模块还可以用于获取目标员工的工作内容相关信息；基于目标员工的工作内容相关信息及目标员工对文字问卷调查的答复，确定目标员工的工作特征，其中，工作特征至少包括工作技能需求度、任务完整度、任务重要性、工作自主性、工作反馈需求、工作复杂程度、工作强度、时间压力值、工作与家庭的冲突程度及个人与工作的匹配度。
32.图像识别模块可以用于获取目标员工在工作期间的图像，基于目标员工在工作期间的图像，确定目标员工在工作期间的情绪特征。在一些实施例中，图像识别模块还可以用于基于目标员工在工作期间的视频，获取目标员工在工作期间的语音及图像；对目标员工在工作期间的语音进行识别，获取语音情绪特征；对目标员工在工作期间的图像进行识别，获取面部表情特征及动作特征，目标员工在工作期间的情绪特征包括语音情绪特征、面部表情特征及动作特征。
33.图像调查模块可以用于向目标员工推送图像问卷调查，获取目标员工对图像问卷调查的答复。在一些实施例中，图像调查模块还可以用于：基于图像数据库及目标员工的历
史图像问卷调查，生成图像问卷调查，其中，图像数据库用于多种类型的图像，多种类型包括人物类、动物类、植物类、物体类及场景类，图像包括隐藏的情绪标签，图像问卷调查包括多道题，每道题包括一组候选图像；获取目标员工对图像问卷调查的答复，目标员工对图像问卷调查的答复包括目标员工从每道题包括的一组候选图像中选择的一张目标图像。在一些实施例中，图像调查模块还可以用于：基于目标员工的历史图像问卷调查，确定多张已使用图像；从图像数据库获取多张候选图像，判断候选图像与已使用图像之间的相似度；若候选图像与已使用图像之间的相似度大于预设阈值，重复从图像数据库获取候选图像，直至当前获取的候选图像与已使用图像之间的相似度小于预设阈值；基于当前获取的多张候选图像生成图像问卷调查。情绪感知模块可以用于基于目标员工的工作特征、目标员工在工作期间的情绪特征及目标员工对图像问卷调查的答复，确定目标员工的情绪得分。
34.关于文字调查模块、特征确定模块、图像识别模块、图像调查模块及情绪感知模块的更多描述可以参见图3及其相关描述，此处不再赘述。
35.图3是根据本技术一些实施例所示的一种结合工作特征的员工情绪感知方法的示例性流程图。在一些实施例中，结合工作特征的员工情绪感知方法可以由结合工作特征的员工情绪感知系统执行。如图3所示，结合工作特征的员工情绪感知方法可以包括如下步骤。
36.步骤310，向目标员工推送文字问卷调查，获取目标员工对文字问卷调查的答复。在一些实施例中，步骤310可以由文字调查模块执行。
37.目标员工可以为需要进行情绪感知的员工。
38.文字调查模块可以将文字问卷调查推送至目标员工所在的用户终端130。可以理解的，文字问卷调查上记载有多道文字形式的题。在一些实施例中，文字问卷调查可以包括工作技能需求度、任务完整度、任务重要性、工作自主性、工作反馈需求、工作复杂程度、工作强度、时间压力值、工作与家庭的冲突程度及个人与工作的匹配度等相关的问题，例如，图4是根据本技术一些实施例所示的文字问卷调查的示意图，目标用于可以使用用户终端130通过操作（例如，点击选项、文字或语音输入）填写对于文字问卷调查上的问题的回答。
39.在一些实施例中，文字调查模块可以预先建立有问卷题库，问卷题库中可以存储有多个候选文字问题，文字调查模块可以从问卷题库中抽取多个候选文字问题已生成需要推送给目标员工的文字问卷调查。
40.步骤320，获取目标员工的工作内容相关信息及目标员工对文字问卷调查的答复，确定目标员工的工作特征。在一些实施例中，步骤320可以由特征确定模块执行。
41.目标员工的工作内容相关信息可以包括目标员工的岗位、正在执行的任务的名称、内容、要求及难度等。
42.在一些实施例中，获取目标员工的工作内容相关信息及目标员工对文字问卷调查的答复，确定目标员工的工作特征，可以包括：获取目标员工的工作内容相关信息，其中，特征确定模块可以从处理设备110、用户终端130、存储设备140和/或外部数据源获取目标员工的工作内容相关信息；基于目标员工的工作内容相关信息及目标员工对文字问卷调查的答复，确定目标员工的工作特征，其中，工作特征至少包括工作技能需求度、任务完整度、任务重要性、工作自主性、工作反馈需求、工作复杂程度、工作强度、时间压力值、工作与家庭的冲突程度及个
人与工作的匹配度。
43.具体的，特征确定模块可以通过将特征识别模型基于目标员工的工作内容相关信息及目标员工对文字问卷调查的答复，确定目标员工的工作特征，特征识别模块的输入层可以目标员工的工作内容相关信息及目标员工对文字问卷调查的答复转换成词向量矩阵，并将所述词向量矩阵经过输入层输入注意力模块，注意力模块对词向量矩阵进行加权处理，输出加权后的词向量矩阵，将加权后的词向量矩阵输入卷积层和池化层，池化层输出各个卷积核对应的卷积最大值，提取目标员工的工作内容相关信息及目标员工对文字问卷调查的答复中的特征词，以确定目标员工的工作特征。
44.步骤330，获取目标员工在工作期间的视频，基于目标员工在工作期间的视频，确定目标员工在工作期间的情绪特征。在一些实施例中，步骤330可以由图像识别模块执行。
45.在一些实施例中，图像识别模块可以从处理设备110、用户终端130、存储设备140和/或外部数据源获取目标员工在工作期间的视频。
46.在一些实施例中，图像识别模块可以通过任意可行的方法基于目标员工在工作期间的视频，确定目标员工在工作期间的情绪特征。例如，图像识别模块可以通过图像识别模型直接对目标员工在工作期间的视频进行识别，确定目标员工在工作期间的情绪特征。其中，图像识别模型可以为机器学习模型，例如，卷积神经网络（convolutional neural networks, cnn）模型、长短记忆循环神经网络（long short-term memory，lstm）模型、双向长短记忆循环神经网络（bi-directional long short-term memory，bi-lstm）模型、resnet、resnext、se-net、densenet、mobilenet、shufflenet、regnet、efficientnet、inception等。
47.面部表情能传达人们的情绪信息，可以通过人的面部来识别所处的情绪状态。要准确识别他人的情绪状态，人们必须解码和识别当前的情绪情境，并将它与面部表情相整合，从而获得面部表情所表达的真实涵义。
48.在一些实施例中，基于目标员工在工作期间的视频，确定目标员工在工作期间的情绪特征，可以包括：基于目标员工在工作期间的视频，获取目标员工在工作期间的语音及图像；对目标员工在工作期间的语音进行识别，获取语音情绪特征，具体的，图像识别模块可以通过ser语音情绪识别系统对目标员工在工作期间的语音进行识别，获取语音情绪特征，其中，语音情绪特征可以表征目标员工所处情绪（例如，高兴、平淡、愤怒、悲伤、苦恼等）；对目标员工在工作期间的图像进行识别，获取面部表情特征及动作特征，目标员工在工作期间的情绪特征包括语音情绪特征、面部表情特征及动作特征。
49.具体的，图像识别模块可以基于目标员工在工作期间的视频，生成图像序列，并对图像序列进行预处理，对人脸主要区域（例如，五官区域）的每个分块提取clbp-top 特征，得到最后的联合统计直方图特征，利用动态时间规划度量距离的最近邻规则进行表情识别，获取面部表情特征，其中，面部表情特征可以包括表情类型（例如，高兴、平淡、愤怒、悲伤、苦恼等）、表情持续时间和表情强度，其中，表情强度可以表征目标员工的某种类型的强度，例如，高兴这一表情类型的强度可以分为微笑、大笑等。
50.可以理解的，人类可以通过动作表达情绪，例如，人在愤怒时会咬牙、攥拳，人在惊
恐时瞳孔会放大，激动时高举双手等，这些行为都可以传达情绪信息。
51.在一些实施例中，图像识别模块可以通过目标检测算法从目标员工在工作期间的图像中提取动作特征，其中，目标检测算法可以包括rcnn（region-based convolutional network）算法、fast rcnn（fast region-based convolutional network）算法，和yolo（you only look once）中的至少一种。
52.步骤340，向目标员工推送图像问卷调查，获取目标员工对图像问卷调查的答复。在一些实施例中，步骤340可以由图像调查模块执行。
53.图像问卷调查可以以图像形式对目标员工进行的问卷调查。图像调查模块可以将图像问卷调查推送至目标员工所在的用户终端130。图像问卷调查可以包括多道题，每道题可以包括一组候选图像。图5是根据本技术一些实施例所示的图像问卷调查的示意图，如图5所示，图像问卷调查的一道题的题干可以为“请从以下图像中选择最能表达您当前情绪的图像”，并提供了5个图像供目标用户选择。
54.在一些实施例中，向目标员工推送图像问卷调查，获取目标员工对图像问卷调查的答复，可以包括：基于图像数据库及目标员工的历史图像问卷调查，生成图像问卷调查，其中，图像数据库用于多种类型的图像，多种类型包括人物类、动物类、植物类、物体类及场景类，图像包括隐藏的情绪标签，图像问卷调查包括多道题，每道题包括一组候选图像，隐藏的情绪标签可以为不体现在图像问卷调查中，不被目标员工获取的标签，例如，图像表达的情绪类型及情绪强度；获取目标员工对图像问卷调查的答复，目标员工对图像问卷调查的答复包括目标员工从每道题包括的一组候选图像中选择的一张目标图像。
55.在一些实施例中，基于图像数据库及目标员工的历史图像问卷调查，生成图像问卷调查，可以包括：基于目标员工的历史图像问卷调查，确定多张已使用图像；从图像数据库获取多张候选图像，判断候选图像与已使用图像之间的相似度；若候选图像与已使用图像之间的相似度大于预设阈值，重复从图像数据库获取候选图像，直至当前获取的候选图像与已使用图像之间的相似度小于预设阈值，从而避免使用与历史图像问卷调查重复的图像生成给目标员工，避免目标员工在答复问卷调查时采用作弊手段；基于当前获取的多张候选图像生成图像问卷调查。
56.在一些实施例中，图像调查模块建立图像数据库时，可以先获取多张样本图像，多张样本图像中，五类情绪（人物类、动物类、植物类、物体类、场景类）中的每一类可以包括多张样本图像，图像调查模块可以根据多张样本图像生成多张虚拟的图像，以扩充图像数据库中的图像，保持图像数据库中图像的数量。例如，图像调查模块可以通过情感结构嵌入框架，对输入的样本图像进行特征提取，利用中级特征构建情感相关信息的中间嵌入空间，并嵌入视觉特征和类语义特征，编解码后进行五类情绪图像（人物类、动物类、植物类、物体类、场景类）的分类学习，对标拟建图库的五类子架构。第二部分则对输入的样本图像进行基于视觉的高级情绪相关特征提取；同时结合低级情感语义特征，学习挖掘的输入的样本图像的情绪相关矩阵语义特征。在训练过程中引入对抗约束将视觉特征和情感特征结合起
来，以保持视觉特征的识别能力和语义特征的情感结构信息，生成虚拟的图像。
57.步骤350，基于目标员工的工作特征、目标员工在工作期间的情绪特征及目标员工对图像问卷调查的答复，确定目标员工在多种情绪类型的情绪得分。在一些实施例中，步骤350可以由情绪感知模块执行。
58.目标员工在多种情绪类型的情绪得分可以表征目标员工当前所处的情绪的类型（例如，高兴、平淡、愤怒、悲伤、苦恼等）及分值。其中，越积极的情绪对应的情绪得分越高。例如，高兴对应的情绪得分大于悲伤对应的情绪得分。
59.在一些实施例中，情绪感知模块可以通过任意方式基于目标员工的工作特征、目标员工在工作期间的情绪特征及目标员工对图像问卷调查的答复，确定目标员工在多种情绪类型的情绪得分。
60.例如，情绪感知模块可以对目标员工的工作特征、目标员工在工作期间的情绪特征及目标员工对图像问卷调查的答复，进行归一化处理，确定目标员工在多种情绪类型的情绪得分。
61.又例如，情绪感知模块可以通过情绪识别模型基于目标员工的工作特征、目标员工在工作期间的情绪特征及目标员工对图像问卷调查的答复，确定目标员工在多种情绪类型的情绪得分。仅作为示例地，情绪识别模型可以基于目标员工的工作特征、语音情绪特征、面部表情特征及动作特征，确定目标员工在多种情绪类型的情绪得分。其中，情绪识别模型可以包括卷积神经网络（cnn）、循环神经网络（rnn）、多层神经网络（mlp）、对抗神经网络（gan）等一种或多种的组合。
62.在一些实施例中，当目标员工在多种情绪类型的情绪得分低于预设阈值时，情绪感知模块可以生成警示消息，并发送至目标员工所使用的用户终端130及目标员工的上级领导所使用的用户终端130。
63.在本技术的另一些实施例中，提供了一种结合工作特征的员工情绪感知装置，包括至少一个处理设备以及至少一个存储设备；至少一个存储设备用于存储计算机指令，至少一个处理设备用于执行计算机指令中的至少部分指令以实现如上的一种结合工作特征的员工情绪感知方法。
64.在本技术的又一些实施例中，提供了一种计算机可读存储介质，存储介质存储计算机指令，当计算机指令被处理设备执行时实现如上的结合工作特征的员工情绪感知方法。
65.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本技术的限定。虽然此处并没有明确说明，本领域技术人员可能会对本技术进行各种修改、改进和修正。该类修改、改进和修正在本技术中被建议，所以该类修改、改进、修正仍属于本技术示范实施例的精神和范围。
66.同时，本技术使用了特定词语来描述本技术的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本技术至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本技术的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
67.此外，本领域技术人员可以理解，本技术的各方面可以通过若干具有可专利性的
种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本技术的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本技术的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
68.计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf、或类似介质，或任何上述介质的组合。
69.本技术各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c 、c#、vb.net、python等，常规程序化编程语言如c语言、visual basic、fortran 2003、perl、cobol 2002、php、abap，动态编程语言如python、ruby和groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（lan）或广域网（wan），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（saas）。
70.此外，除非权利要求中明确说明，本技术处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本技术流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本技术实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
71.同理，应当注意的是，为了简化本技术披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本技术实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本技术对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
72.最后，应当理解的是，本技术中所述实施例仅用以说明本技术实施例的原则。其他的变形也可能属于本技术的范围。因此，作为示例而非限制，本技术实施例的替代配置可视为与本技术的教导一致。相应地，本技术的实施例不仅限于本技术明确介绍和描述的实施例。