一种仿生机器人的表情控制方法、装置、设备及存储介质与流程

1.本发明涉及智能仿生机器人的技术领域，特别是涉及一种仿生机器人的表情控制方法、装置、设备及存储介质。


背景技术：

2.随着人口老龄化趋势的加剧和工业机器人技术的日趋成熟与完善，对机器人的要求也从简单重复的机械动作提升为研制具有高度智能型、自主性以及与其他智能体交互的仿生机器人。不同于传统的机器人，人们希望仿生机器人具有真实的情感，能同人类进行自然的交流。由于人类之间进行交流时，大多数的情感信息都由面部表情传达，因此人们还希望仿生机器人能通过控制表情对自身的情感进行表达。
3.但现有技术中对于人脸微表情的识别，都是基于设计的局部规则区域提取人脸局部特征，或者直接使用人脸的全局特征进行识别人脸微表情，没有考虑到人脸微表情之间由于肌肉的运动会产生强相关或者负相关的关系，同时也没有考虑每个人脸微表情的激活区域是不规则的区域、并且可能是非连续区域等情况，导致识别出的人脸表情的精准度下降。此外，若将现有的人脸模型部署在硬件上时，由于受硬件算力限制，存在实时性等问题，容易导致对人脸表情的识别速度下降，进一步导致仿生机器人生成人脸表情的速度下降。


技术实现要素：

4.本发明要解决的技术问题是：提供一种仿生机器人的表情控制方法、装置、设备及存储介质，提高对人脸表情的识别精度，同时提高仿生机器人对人脸表情的生成速度。
5.为了解决上述技术问题，本发明提供了一种仿生机器人的表情控制方法，包括：
6.获取人脸表情图像，并将所述人脸表情图像输入到预训练的神经网络模型中，以使所述神经网络模型对所述人脸表情图像进行特征提取，输出特征图像；
7.提取所述特征图像的第一人脸关键点，并将所述第一人脸关键点与预设人脸关键点进行匹配，计算所述第一人脸关键点和所述预设人脸关键点之间的偏移量，并根据所述偏移量，进行人脸表情识别；
8.根据识别到的人脸表情，匹配对应的舵机运动轨迹，并根据所述舵机运动轨迹控制仿生机器人的舵机进行移动，生成仿生机器人表情。
9.在一种可能的实现方式中，所述根据识别到的人脸表情，匹配对应的舵机运动轨迹，具体包括：
10.遍历舵机运动查询表，根据识别到的人脸表情，获取所述人脸表情对应的舵机的运动方向和运动角度；
11.其中，所述舵机运动查询表包括不同类别的人脸表情对应的舵机的运动方向和运动角度。
12.在一种可能的实现方式中，将所述第一人脸关键点与预设人脸关键点进行匹配，计算所述第一人脸关键点和所述预设人脸关键点之间的偏移量，并根据所述偏移量，进行
人脸表情识别，具体包括：
13.将所述第一人脸关键点与预设人脸关键点进行匹配，其中所述预设人脸关键点包括不同表情类别的预设人脸关键点；
14.分别计算所述第一人脸关键点和不同表情类别的预设人脸关键点之间的偏移量，获取计算得到的所有偏移量中的最小值，并对所述最小值对应的预设人脸关键点进行人脸识别。
15.在一种可能的实现方式中，所述仿生机器人的舵机包括第一眉毛舵机、第二眉毛舵机、第一左眼舵机、第二左眼舵机、第一右眼舵机、第二右眼舵机、第一嘴角舵机、第二嘴角舵机、第一嘴巴舵机、第一脖子舵机、第二脖子舵机和第三脖子舵机。
16.本发明实施例还提供了一种仿生机器人的表情控制装置，包括：特征提取模块、表情识别模块和舵机控制模块；
17.其中，所述特征提取模块，用于获取人脸表情图像，并将所述人脸表情图像输入到预训练的神经网络模型中，以使所述神经网络模型对所述人脸表情图像进行特征提取，输出特征图像；
18.所述表情识别模块，用于提取所述特征图像的第一人脸关键点，并将所述第一人脸关键点与预设人脸关键点进行匹配，计算所述第一人脸关键点和所述预设人脸关键点之间的偏移量，并根据所述偏移量，进行人脸表情识别；
19.所述舵机控制模块，用于根据识别到的人脸表情，匹配对应的舵机运动轨迹，并根据所述舵机运动轨迹控制仿生机器人的舵机进行移动，生成仿生机器人表情。
20.在一种可能的实现方式中，所述舵机控制模块，用于根据识别到的人脸表情，匹配对应的舵机运动轨迹，具体包括：
21.遍历舵机运动查询表，根据识别到的人脸表情，获取所述人脸表情对应的舵机的运动方向和运动角度；
22.其中，所述舵机运动查询表包括不同类别的人脸表情对应的舵机的运动方向和运动角度。
23.在一种可能的实现方式中，所述表情识别模块，用于将所述第一人脸关键点与预设人脸关键点进行匹配，计算所述第一人脸关键点和所述预设人脸关键点之间的偏移量，并根据所述偏移量，进行人脸表情识别，具体包括：
24.将所述第一人脸关键点与预设人脸关键点进行匹配，其中所述预设人脸关键点包括不同表情类别的预设人脸关键点；
25.分别计算所述第一人脸关键点和不同表情类别的预设人脸关键点之间的偏移量，获取计算得到的所有偏移量中的最小值，并对所述最小值对应的预设人脸关键点进行人脸识别。
26.在一种可能的实现方式中所述舵机控制模块中的所述仿生机器人的舵机包括第一眉毛舵机、第二眉毛舵机、第一左眼舵机、第二左眼舵机、第一右眼舵机、第二右眼舵机、第一嘴角舵机、第二嘴角舵机、第一嘴巴舵机、第一脖子舵机、第二脖子舵机和第三脖子舵机。
27.本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现
如上述任意一项所述的仿生机器人的表情控制方法。
28.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的仿生机器人的表情控制方法。
29.本发明实施例一种仿生机器人的表情控制方法、装置、设备及存储介质，与现有技术相比，具有如下有益效果：
30.本发明通过预训练的神经网络模型对所述人脸表情图像进行特征提取，输出特征图像，并基于计算特征图像的第一人脸关键点与预设人脸关键点之间的偏移量，进行人脸表情识别，区别于现有技术中，直接使用人脸的全局特征进行识别人脸微表情，导致出现识别出的人脸表情的精准度下降的问题；同时基于提取的第一人脸关键点进行人脸表情识别，能完成更精确的微表情识别，提高人脸表情识别的精度；同时，在识别到人脸表情后，基于对仿生机器人的舵机匹配对应的舵机运动轨迹，控制仿生机器人的舵机进行移动，提高仿生机器人表情的生成速度。
附图说明
31.图1是本发明提供的一种仿生机器人的表情控制方法的一种实施例的流程示意图；
32.图2是本发明提供的一种仿生机器人的表情控制装置的一种实施例的结构示意图；
33.图3是本发明提供的一种实施例的仿生机器人的舵机的分布示意图。
具体实施方式
34.下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.实施例1
36.参见图1，图1是本发明提供的一种仿生机器人的表情控制方法的一种实施例的流程示意图，如图1所示，该方法包括步骤101－步骤103，具体如下：
37.步骤101：获取人脸表情图像，将所述人脸表情图像输入到预训练的神经网络模型中，以使所述神经网络模型对所述人脸表情图像进行特征提取，输出特征图像。
38.一实施例中，获取人脸表情的训练图像数据集，其中，训练图像数据集包括皱眉、张嘴、闭眼、睁眼、微笑等表情数据；将训练图像数据集按预设比例划分为训练集、测试集和验证集，基于构建的神经网络模型，利用获取的人脸表情的训练图像数据集进行对神经网路模型进行训练；其中，构建的神经网络模型为u－net网络。
39.一实施例中，对构建的神经网络模型进行模型训练，首先对对模型参数进行初始化处理，包括对分类器网络、多特征提取网络、网络参数w和网络参数b进行初始化设置，并在初始化设置之后，将训练图像数据集输入到神经网络模型中进行人脸识别训练，基于梯度下降法，计算神经网络模型的网络参数w和网络参数b，并基于设计神经网络模型中的带
边界权值的损失函数，利用损失函数值更新网络权重，对构建的神经网络模型进行重复训练，直至神经网络模型的损失函数值逐渐趋于平稳，不再下降时，完成对构建的神经网络模型的预训练。
40.一实施例中，基于现有技术中，将人脸表情识别模型部署在硬件上时，由于受硬件算力限制，存在实时性等问题，本实施例中，在构建用于人脸识别的神经网络模型后，通过剪枝对神经网络模型进行压缩，去除掉不重要的层和参数，让神经网络模型尽可能轻量化；再使用高性能的深度学习推理优化器tensorrt对神经网络模型进行推理加速，其中，高性能的深度学习推理优化器tensorrt通过将浮点型运算转化为整型运算，能大大减少神经网络模型中参数运算量，使得神经网络模型识别速度大幅提升，且通过引入模型压缩、模型加速等方法，为仿生机器人提供最优模型，并降低硬件部署成本。
41.一实施例中，在仿生机器人内部设置相机，通过控制仿生机器人中的相机的开启来实时获取人脸表情图像，并对人脸表情图像进行预处理，其中，将人脸表情图像进行预处理包括对人脸表情图像进行缩放，以调整图像尺寸为符合预训练的神经网络模型的输入要求。本实施例中，经缩放调整后的图像尺寸为640
×
640，且相机内嵌在仿生机器人头部区域。
42.一实施例中，将经过预处理的人脸表情图像输入到预训练的神经网络模型中，通过特征提取，得到不同尺度的特征图像，并将不同尺度的特征图形进行多尺度融合，输出特征融合后的特征图像。
43.步骤102：提取所述特征图像的第一人脸关键点，并将所述第一人脸关键点与预设人脸关键点进行匹配，计算所述第一人脸关键点和所述预设人脸关键点之间的偏移量，并根据所述偏移量，进行人脸表情识别。
44.一实施例中，预设的人脸关键点包括由u－net网络定义的人脸的108个关键点，其中，该108个关键点分布在人脸不同位置。
45.一实施例中，判断获取的特征图像是否为人脸正面的特征图像，若该特征图像为人脸正面的特征图像，则通过构建的神经网络模型对获取的特征图像进行局部特征检测，用于提取特征图像的第一人脸关键点，将提取到特征图像中的第一人脸关键点与预设人脸关键点进行匹配，其中所述预设人脸关键点包括不同表情类别的预设人脸关键点；分别计算所述第一人脸关键点和不同表情类别的预设人脸关键点之间的偏移量；获取计算得到的所有偏移量中的最小值，并对最小值对应的预设人脸关键点进行人脸识别。
46.一实施例中，若提取的特征图像不是人脸正面的特征图像，则在通过构建的神经网络模型对获取的特征图像进行局部特征检测，用于提取特征图像的第一人脸关键点后，对提取出的第一人脸关键点进行矫正处理，具体的，通过获取人脸标准库所有的人脸关键点信息取平均值，得到一组对齐矫正的矩阵，通过矩阵变换得到对第一人脸关键点进行对齐矫正后的第一人脸关键点，并将对齐矫正后的第一人脸关键点与预设人脸关键点进行匹配，分别计算对齐矫正后的第一人脸关键点和不同表情类别的预设人脸关键点之间的偏移量；获取计算得到的所有偏移量中的最小值，并对最小值对应的预设人脸关键点进行人脸识别。
47.本实施例中，基于构建的用于人脸识别的神经网络模型来进行人脸表情识别，不依赖于传统的传感器，图像处理等方法，利用深度学习的方法极大的减少了对硬件系统的
依赖。
48.步骤103：根据识别到的人脸表情，匹配对应的舵机运动轨迹，并根据所述舵机运动轨迹控制仿生机器人的舵机进行移动，生成仿生机器人表情。
49.一实施例中，仿生机器人的舵机安装在仿生机器人的头部区域，仿生机器人的舵机包括第一眉毛舵机1、第二眉毛舵机2、第一左眼舵机3、第二左眼舵机4、第一右眼舵机5、第二右眼舵机6、第一嘴角舵机7、第二嘴角舵机8、第一嘴巴舵机9、第一脖子舵机10、第二脖子舵机11和第三脖子舵机12，其中，仿生机器人的舵机的分布示意图如图3所示。
50.一实施例中，对不同类别的人脸表情对应设置的各个舵机的运动方向和运动角度，生成舵机运动查询表。具体的，获取仿生机器人各个舵机的坐标位置，并将仿生机器人各个舵机的坐标位置转换到将训练图像数据集中的人脸图像的坐标下，获取各个舵机在不同类别的人脸图像的坐标位置，基于移动各个舵机的坐标位置，以使各个舵机分别与不同类别的人脸图像中的相应位置重合，并基于该移动轨迹，得到不同类别的人脸表情设置对应的各个舵机的运动方向和运动角度，生成舵机运动查询表。
51.作为本实施例中的一种举例说明，当人脸表情的类别为微笑时，设置第一嘴角舵机7、第二嘴角舵机8向上转动预设角度，同时，其他舵机保持当前方向和角度不变。
52.一实施例中，通过遍历舵机运动查询表，根据识别到的人脸表情，获取所述人脸表情对应的仿生机器人舵机的运动方向和运动角度，并控制所述仿生机器人的舵机按所述运动方向和所述运动角度进行移动，以使仿生机器人对识别出的人脸表情进行模仿，生成仿生机器人表情。
53.一实施例中，将构建的用于人脸识别的神经网络模型部署到边缘设备中，并将该边缘设备嵌入到仿生机器人中，以使仿生机器人能直接获取识别到的人脸表情的结果，以便及时发出信号，控制舵机移动，提高仿生机器人表情的生成速度。
54.实施例2
55.参见图2，图2是本发明提供的一种仿生机器人的表情控制装置的一种实施例的结构示意图，如图2所示，该装置包括：特征提取模块201、表情识别模块202和舵机控制模块203，具体如下：
56.所述特征提取模块201，用于获取人脸表情图像，并将所述人脸表情图像输入到预训练的神经网络模型中，以使所述神经网络模型对所述人脸表情图像进行特征提取，输出特征图像。
57.所述表情识别模块202，用于提取所述特征图像的第一人脸关键点，并将所述第一人脸关键点与预设人脸关键点进行匹配，计算所述第一人脸关键点和所述预设人脸关键点之间的偏移量，并根据所述偏移量，进行人脸表情识别。
58.所述舵机控制模块203，用于根据识别到的人脸表情，匹配对应的舵机运动轨迹，并根据所述舵机运动轨迹控制仿生机器人的舵机进行移动，生成仿生机器人表情。
59.一实施例中，所述舵机控制模块203，用于根据识别到的人脸表情，匹配对应的舵机运动轨迹，具体包括：遍历舵机运动查询表，根据识别到的人脸表情，获取所述人脸表情对应的舵机的运动方向和运动角度；其中，所述舵机运动查询表包括不同类别的人脸表情对应的舵机的运动方向和运动角度。
60.一实施例中，所述表情识别模块202，用于将所述第一人脸关键点与预设人脸关键
点进行匹配，计算所述第一人脸关键点和所述预设人脸关键点之间的偏移量，并根据所述偏移量，进行人脸表情识别，具体包括：
61.将所述第一人脸关键点与预设人脸关键点进行匹配，其中所述预设人脸关键点包括不同表情类别的预设人脸关键点；
62.分别计算所述第一人脸关键点和不同表情类别的预设人脸关键点之间的偏移量，获取计算得到的所有偏移量中的最小值，并对所述最小值对应的预设人脸关键点进行人脸识别。
63.一实施例中，所述舵机控制模块203中的所述仿生机器人的舵机包括第一眉毛舵机、第二眉毛舵机、第一左眼舵机、第二左眼舵机、第一右眼舵机、第二右眼舵机、第一嘴角舵机、第二嘴角舵机、第一嘴巴舵机、第一脖子舵机、第二脖子舵机和第三脖子舵机。
64.所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不在赘述。
65.需要说明的是，上述仿生机器人的表情控制装置的实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
66.在上述的仿生机器人的表情控制方法的实施例的基础上，本发明另一实施例提供了一种仿生机器人的表情控制终端设备，该仿生机器人的表情控制终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现本发明任意一实施例的仿生机器人的表情控制方法。
67.示例性的，在这一实施例中所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述仿生机器人的表情控制终端设备中的执行过程。
68.所述仿生机器人的表情控制终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述仿生机器人的表情控制终端设备可包括，但不仅限于，处理器、存储器。
69.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述仿生机器人的表情控制终端设备的控制中心，利用各种接口和线路连接整个仿生机器人的表情控制终端设备的各个部分。
70.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述仿生机器人的表情控制终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以
包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
71.在上述仿生机器人的表情控制方法的实施例的基础上，本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时，控制所述存储介质所在的设备执行本发明任意一实施例的仿生机器人的表情控制方法。
72.在这一实施例中，上述存储介质为计算机可读存储介质，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read－only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
73.综上，本发明提供的一种仿生机器人的表情控制方法、装置、设备及存储介质，通过将获取到的人脸表情图像输入到预训练的神经网络模型中进行特征提取，输出特征图像；并将特征图像中提取的第一人脸关键点与预设人脸关键点进行匹配，计算第一人脸关键点和预设人脸关键点之间的偏移量，进行人脸表情识别；根据识别到的人脸表情，匹配对应的舵机运动轨迹，并根据舵机运动轨迹控制仿生机器人的舵机进行移动，生成仿生机器人表情。与现有技术相比，本发明的技术方案通过计算特征图像的第一人脸关键点与预设人脸关键点之间的偏移量，进行人脸表情识别，提高对人脸识别的精度，同时根据识别到的人脸表情控制舵机进行移动，提高了仿生机器人对人脸表情的生成速度。
74.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。