一种基于换脸处理针对微表情数据集的数据增强方法与流程

本发明属于机器学习中数据增强
技术领域：
，涉及一种针对微表情数据集的数据增强方法。
背景技术：
目前，微表情识别方法主要依赖深度学习的方法，而深度学习的效果除了依赖于模型本身以外，很大一部分决定因素是在于数据集。目前主流的微表情数据集是SMIC(文献1)、CASMEII(文献2)和SAMM(文献3)，它们分别只有16、26和29个被测对象。在实际应用中，由于数据集中样本数量不多，数据集中经常缺乏与实际被测对象相似的样本，在少量样本上训练的模型在识别新被测对象的微表情时效果不佳。因此经常考虑数据增强。在微表情识别领域，目前常用的数据增强方法有随机旋转、随机剪切、随机镜像和颜色混合等，如Mixup(文献4)。虽然这些方法有效，但在微表情的数据集中仍然无法解决对象少的问题。然而，近年来出现了一些新的换脸技术，例如deepfakes(文献5)和类似的deepfacelab(文献6)。Deepfakes本质上是一个深度自动编码器-解码器模型，通过使用数百张源对象和目标对象的照片，训练该模型来分别识别和还原两个人的面部特征。通过使用源对象的脸与目标对象的脸的解码器，完成换脸图像输出，取得了良好的效果。但缺点也很明显：它不能在小样本集上工作，不能用一两张照片完成换脸操作。近年来，出现了一些可以用几张照片完成换脸操作的方法，如FirstOrderModel(文献7)，它提取了图像的关键点，然后根据关键点对图像进行变形，完成换脸操作。另一个例子是FSGAN(文献8)，它通过损失感知、人脸重建和人脸多视图插值来完成换脸操作，这也实现了替换未经训练的新人脸。从前常用的传统数据增强方法，例如随机旋转、随机剪切等，是对训练数据的操作，并没有构建训练数据与被测对象之间的联系，而本发明提出的基于换脸技术的数据增强方法可以使生成针对特定样本的微表情训练数据或者扩充数据集样本数量成为可能。相关文献：【文献1】X.Li,T.Pfister,X.Huang,G.ZhaoandM.\"ASpontaneousMicro-expressionDatabase:Inducement,collectionandbaseline,\"201310thIEEEInternationalConferenceandWorkshopsonAutomaticFaceandGestureRecognition(FG),2013,pp.1-6.【文献2】W.Yan,X.Li,S.Wang,G.Zhao,Y.Liu,Y.Chen,andX.Fu,“CASMEII:animprovedspontaneousmicro-expressiondatabaseandthebaselineevaluation,”Plosone,doi:10.1371/journal.pone.0086041,2014.【文献3】A.K.Davison,C.Lansley,N.Costen,K.Tan,andM.H.Yap,“SAMM:Aspontaneousmicro-facialmovementdataset,”IEEETrans.Affect.Comput.,vol.9,no.1,pp.116–129,Jan.2018.【文献4】H.Zhang,CisseM,Y.N.Dauphin,andD.Lopez-Paz,“mixup:BeyondEmpiricalRiskMinimization,”InternationalConferenceonLearningRepresentations,pp.1-13,2017.【文献5】N.VanHuynh,D.T.Hoang,D.N.NguyenandE.Dutkiewicz,\"DeepFake:DeepDueling-basedDeceptionStrategytoDefeatReactiveJammers,\"inIEEETransactionsonWirelessCommunications,doi:10.1109/TWC.2021.3078439,2021【文献6】I.E.Perov,D.Gao,,N.Chervoniy,K.Liu,,S.Marangonda,C.Um'e,M.Dpfks,C.S.Facenheim,R.Luis,J.Jiang,S.Zhang,P.Wu,B.Zhou,andW.Zhang,“DeepFaceLab:Integrated,flexibleandextensibleface-swappingframework,”2021【文献7】A.Siarohin,S.Lathuilière,S.Tulyakov,E.Ricci,andN.Sebe“FirstOrderMotionModelforImageAnimation,”NeurIPS,2019..【文献8】Y.Nirkin,Y.KellerandT.Hassner,\"FSGAN:SubjectAgnosticFaceSwappingandReenactment,\"2019IEEE/CVFInternationalConferenceonComputerVision(ICCV),pp.7183-7192,2019技术实现要素：针对现有微表情数据集的存在的不足，本发明以换脸技术为基础，提出基于换脸处理针对微表情数据集的数据增强方式，增强数据集与被测对象的相关性或者丰富数据集内样本数量，以增加数据集的训练效果。本发明采用如下技术方案：一种基于卷积神经网络的像素位移向量的微表情识别方法，基于换脸操作，利用包含被测对象脸部的图片，将原始微表情数据集中所有样本的脸替换为被测对象的脸，从而生成一个新数据集，用于支持实现微表情识别。而且，实现过程采用以下步骤，(1)选取来自待测对象表情序列的一张或多张图片，根据选用换脸模型的要求而定；(2)利用选取的来自待测对象表情序列的图片，对整个原始微表情数据集中所有表情序列样本图片做换脸操作，将原始微表情数据集所有表情图片的脸全都换成被测对象的脸，从而形成一个针对被测对象的新数据集。而且，选一张时采用正面平静表情图片，选多张时采用含有多种表情多个角度的人脸的图片。而且，换脸操作采用FSGAN或deepfakes实现。另一方面，本发明还提供一种基于卷积神经网络的像素位移向量的微表情识别方法，基于换脸操作，分别选择原始微表情数据集之中来自每一个对象的脸部图片，将原始微表情数据集中的所有样本的脸分别换成所选对象的脸，从而对原始微表情数据集中每一个对象生成一个新的数据集；然后结合所有对象生成的新数据集，构建一个扩增的数据集，用于支持实现微表情识别。而且，实现过程采用以下步骤，(1)选中一个未被选过的原始微表情数据集中的对象，选取来自该对象表情序列的一张或多张图片；(2)利用来自选取对象表情序列的含脸图片，对整个原始微表情数据集中所有表情序列样本图片做换脸操作，将原始微表情数据集所有表情图片的脸全都换成选取对象的脸，从而获得额外的表情样本；(3)重复(1)(2)直到所有原始数据集中的对象都被选中过一次，将所有额外的表情样本和原始微表情数据集整合起来，形成一个扩增数据集。而且，换脸操作采用FSGAN或deepfakes实现。通过这种利用换脸技术的方式，本发明加强了数据集和被测试对象之间的关系，可以提升针对特定对象的识别准确率，这对实际应用中的微表情识别很有帮助，具有重要的市场价值。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步解释，示意图及其说明并不构成对本申请的不当限定。图1是本发明实施例提出的基于换脸技术针对微表情数据集的数据增强方法示意图。图2是本发明实施例提出的基于换脸处理的针对被测对象的数据增强方式效果示意图。图3是本发明实施例提出的基于换脸处理的样本扩增效果示意图。具体实施方式以下结合附图对本发明的具体实施方式进行详细说明。需要理解的是，此处所描述的具体实施方式仅仅用于说明或解释本发明，不用于限制本发明。如图1所示，本发明实施例提供基于换脸技术针对微表情数据集的数据增强方法包括以下步骤：第一步是预处理，首先提取出数据集之中的表情序列以及来自待测对象的待测表情序列，然后对这些表情序列，依次做人脸检测，人脸对齐，以及裁剪，获得裁剪后的人脸表情序列。第二步是对预处理后的现有数据集种的表情序列进行数据增强，本发明提出两种数据增强操作方式：基于换脸处理针对被测对象的数据增强和基于换脸处理样本扩增。第一种方式是用被测试对象的脸对现有数据集中的所有脸进行换脸，生成一个所有脸都被替换为被测对象的脸的新数据集，然后利用生成的新数据集中训练，即使用换脸技术，利用包含被测对象脸的一张或几张图片，将原始微表情数据集样本的脸替换为被测对象的脸，从而生成一个新数据集用来训练。所述的基于换脸处理针对被测对象的数据增强，可以利用之前进行预处理的结果，实施例使用经典方法对新被试和现有数据集的表情序列进行人脸检测和人脸对齐，得到提取的人脸序列。为了提高换脸的质量，实施例对提取的人脸序列进行归一化处理，将提取的不同分辨率的矩形图像在垂直方向上拉伸和缩放为256像素，然后在水平方向上进行黑色填充。通过这种方式，实施例将所有图像处理成256*256像素。这样，实施例就有了来自待测对象和现有数据集的归一化剪裁的人脸序列。以原始数据集以及被测对象的一张或几张照片作为输入，然后，实施例将这两部分输入送入FSGAN或deepfakes等任一可用的换脸框架，实现人脸换脸，获得一个新的特定数据集，其中所有的人脸都被交换成新对象的人脸。具体实施时可以使用这个新的数据集来训练一个专门针对新对象的识别模型。实施例中，基于换脸处理针对被测对象的数据增强(即图1中方法1)的主要流程为：(1)选取来自待测对象表情序列的一张或多张图片，根据选用换脸模型的要求而定，选一张时尽可能是正面平静表情图片，选多张时尽可能含有多种表情多个角度的人脸的图片。(2)利用选取的来自待测对象表情序列的含脸图片，使用现有换脸算法，对整个原始数据集中所有表情序列样本图片做换脸操作，将原始数据集所有表情图片的脸全都换成被测对象的脸。从而形成一个针对被测对象的新数据集。这里以使用FSGAN为例，首先用现有数据集对其提供的预训练模型进行微调。将选用的待测对象的图片作为FSGAN输入中的source(源图，用于替换)，将现有数据集表情图片作为target(目标图，用于被替换)，送入FSGAN网络。则可生成现有数据集中的所有脸被换成待测对象的脸的新数据集，效果如图2。实施例中，采用表情序列i标识来自于样本i的所有表情序列，采用脸i标识该组表情序列的脸为样本i的脸。设待测对象表情序列为表情序列m，对应脸m；现有数据集中包括表情序列1(脸1)、表情序列2(脸2)…表情序列n(脸n)；采用第一种方式进行增强后，得到表情序列1(脸m)、表情序列2(脸m)…表情序列n(脸m)。另一种方式是将原始数据集中的所有样本的脸分别换成数据集中每一个对象的脸，对数据集中每一个对象生成其一个新的数据集，然后结合所有对象生成的数据集，构建一个扩增的数据集进行训练。即使用换脸技术，利用原始数据集之中来自每一个对象的脸部图片，将原始微表情数据集中的所有样本的脸分别换成数据集中所含有的每一个对象的脸，对数据集中每一个对象生成其一个新的数据集，然后结合所有对象生成的数据集，构建一个扩增的数据集进行训练。所述的基于换脸处理的样本扩增。实施例只需把现有的数据集作为输入，并做同样的预处理。实施例在每两个数据集中的对象上实现换脸。假设实施例有n个对象，第i个对象有mi个表情序列，那么原始数据集原本有个表情序列。实施例利用第i个对象的脸，使用换脸，把数据集中所有样本的脸全换成该对象(第i个对象)的脸。因此，实施例得到额外的表情序列，然后带有第i个对象的脸的表情序列数量从mi提高到实施例对现有数据集中的每一个对象做同样的操作。因此，表情序列总量从增加到n×其中有个表情序列由实施例所提出的数据增广方法生成。实施例中，采用表情序列i标识来自于样本i的所有表情序列，采用脸i标识该组表情序列的脸为样本i的脸。设待测对象表情序列为表情序列m，对应脸m；现有数据集中包括表情序列1(对应脸1)、表情序列2(对应脸2)…表情序列n(对应脸n)；采用第二种方式进行增强后，对表情序列1(脸1)换脸后得到表情序列1(脸1)、表情序列1(脸2)…表情序列1(脸n)，对表情序列2(脸2)换脸后得到表情序列2(脸1)、表情序列2(脸2)…表情序列2(脸n)，…，对表情序列n(脸n)换脸后得到表情序列n(脸1)、表情序列n(脸2)…表情序列n(脸n)。当然，实际操作时，对自己本身相应的脸可以省去换脸操作。以现有数据集中有4个表情序列为例，表情序列1(对应脸1)、表情序列2(对应脸2)…表情序列n(对应脸n)分别记为S1、S2、S3、S4，S1换S4、S2、S3中的脸后得到的序列记为S4(脸1)、S2(脸1)、S3(脸1)，S2换S4、S1、S3中的脸后得到的序列记为S4(脸2)、S1(脸2)、S3(脸2)。以CASMEII为例，该数据集有24个受试者，共有145个样本，这比宏观表达数据集MMI[26]的75个受试者的2900多个样本小得多。但是经过方法2的换脸后，丰富的CASMEII有24×145＝3480个样本，比MMI的样本多。通过这种方法，微观表达数据集的样本量可以增长到与宏观表达数据集相当的样本量。基于换脸的样本扩增(即图1中方法2)的主要流程为：(1)选中一个未被选过的原始微表情数据集中的对象，选取来自该对象表情序列的一张或多张图片。同样的，选一张时尽可能是正面平静表情图片，选多张时尽可能含有多种表情多个角度的人脸的图片。(2)利用来自选取对象表情序列的含脸图片，使用现有换脸算法，对整个原始微表情数据集中所有表情序列样本图片做换脸操作，将原始微表情数据集所有表情图片的脸全都换成选取对象的脸。从而获得了额外的表情样本。(3)重复(1)(2)直到所有原始数据集中的对象都被选中过一次。将所有额外的表情样本和原始数据集整合起来，形成一个扩增数据集。(效果如图3)形成增强数据集以后，可以和普通数据集一样使用，由于样本数量增加了，能够得到精度更好的分类结果。通过这种方式，实施例加强了数据集和被测试对象之间的关系，这对实际应用中的微表情识别很有帮助。为便于理解本发明的技术效果起见，附上实施例方案的实验结果供参考：图中从左到右，最左边OnsetAndOffset和EachFrame指的是测试用的两种方法，分别是取一组表情序列的平静帧和表情最大帧、每一帧两种方式作为输入。OpticalFlow和Dynamicimaging是指对两帧做的处理方式，ELRCN是一种利用连续帧作为输入的微表情识别方法。With和without分别代表着应用和没有应用我们提出的方法。SMIC、SAMM、CASMEII分别为三个微表情数据集。UF1为unweightF1score，UAR为unweightaveragerecall，通过计算TP(TruePositive)、FP(FalsePositive)、FN(FalseNegative)得到。为了得到它们，需要计算每个第i个对象(共N个类别)的k-fold验证的所有TP、FP和FN(下标采用i区别表示)。设ni为第i个对象的样本数，那么UF1和UAR的值由以下公式给出。TABLEI.数据增强方法1在三个单个数据集上分别测试的结果TABLEII.数据增强方法2在三个单个数据集上分别测试的结果TABLEIII.数据增强方法1在跨数据集实验中的结果(在CASMEII上训练，在SMIC上测试)TABLEIV.在选定的SMIC的对象上用方法1做对CASMEII数据集的数据增强实验结果SubjectAcc(without)Acc(with)s20.3330.333s30.4360.487s50.5000.500s900.250s110.1430.428s130.2000.400s150.2500.250s200.3640.455Average0.2780.388TABLEV.数据增强方法2在跨数据集实验中的结果(在CASMEII上训练，在SMIC上测试)应当理解的是，本说明书未详细阐述的部分均属于现有技术。具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。在一些可能的实施例中，提供一种基于卷积神经网络的像素位移向量的微表情识别系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于卷积神经网络的像素位移向量的微表情识别方法。在一些可能的实施例中，提供一种基于卷积神经网络的像素位移向量的微表情识别系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于卷积神经网络的像素位移向量的微表情识别方法。应当理解的是，上述针对当前流行框架实施示例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，做出的替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。当前第1页12