视频数据处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机视觉技术领域，尤其涉及一种视频数据处理方法、装置、电子设备及存储介质。


背景技术：

2.相关技术中，基于计算机视觉技术和机器学习技术，可以通过摄像头捕捉人脸表面由于心脏跳动所引起的微弱颜色变化情况，进而利用相应的算法，根据人脸的微弱颜色变化情况检测相应的心率变化情况。但是，目前根据人脸的微弱颜色变化情况检测相应的心率变化情况时，需要连续拍摄待测者较长时间的视频画面，耗时较长并且准确度不高。


技术实现要素：

3.本公开提供一种视频数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中心率检测耗时较长的问题。本公开的技术方案如下：
4.根据本公开实施例的第一方面，提供一种视频数据处理方法，包括：在当前视频帧队列的队列时长大于或等于预设时长的情况下，确定当前视频帧队列中多个第一人脸视频帧对应的人脸皮肤区域，以及人脸皮肤区域在预设时长内的颜色特征变化信息；当前视频帧队列包括按照时间顺序存入的多个第一人脸视频帧及对应的时间戳，颜色特征变化信息是指人脸皮肤区域的颜色在颜色空间中的各个颜色通道的变化情况，队列时长为当前视频帧队列中的多个第一人脸视频帧所覆盖的时长；根据人脸皮肤区域对应的颜色特征变化信息和预设算法确定预设时长内的生理信号变化信息；基于频域变换对生理信号变化信息进行变换，得到预设时长内的心率检测结果。
5.可选的，在确定当前视频帧队列的队列时长大于预设时长之前，方法还包括：获取多个第二人脸视频帧和多个第二人脸视频帧对应的时间戳；根据多个第二人脸视频帧对应的时间戳，将第二人脸视频帧和多个第二人脸视频帧对应的时间戳添加至历史视频帧队列，得到当前视频帧队列；历史视频帧队列中包括的第三人脸视频帧的数量大于或等于零，历史视频帧队列还包括第三人脸视频帧对应的时间戳。
6.可选的，在确定当前视频帧队列的队列时长大于预设时长之后，方法还包括：判断多个第一人脸视频帧的信号质量是否满足预设条件，预设条件用于对多个第一人脸视频帧的信号质量进行校验；
7.在多个第一人脸视频帧的信号质量满足预设条件的情况下，触发执行确定当前视频帧队列中多个第一人脸视频帧对应的人脸皮肤区域的步骤。
8.可选的，上述判断多个第一人脸视频帧的信号质量是否满足预设条件，包括：判断多个第一人脸视频帧中人脸的旋转角度是否小于第一阈值，且相邻的第一人脸视频帧之间的时间间隔是否小于第二阈值；在旋转角度大于或等于第一阈值，和/或，时间间隔大于或等于第二阈值的情况下，确定多个第一人脸视频帧的信号质量满足预设条件。
9.可选的，上述方法还包括：在旋转角度大于或等于第一阈值，和/或，时间间隔大于
或等于第二阈值的情况下，重新执行获取多个第二人脸视频帧和多个第二人脸视频帧对应的时间戳的操作，并清除当前视频帧队列中的异常视频帧和异常视频帧对应的时间戳；异常视频帧是指不满足预设条件的第一人脸视频帧。
10.可选的，上述确定当前视频帧队列中多个第一人脸视频帧对应的人脸皮肤区域，包括：确定多个第一人脸视频帧中人脸的关键点；根据人脸的关键点对多个第一人脸视频帧进行分割，确定多个第一人脸视频帧对应的人脸皮肤区域。
11.可选的，在确定人脸皮肤区域在预设时长内的颜色特征变化信息之后，还包括：当多个第一人脸视频帧的帧率在预设时长内变化时，对颜色特征变化信息进行插值处理。
12.可选的，在得到预设时长内的心率检测结果之后，还包括：将心率检测结果添加至历史心率队列，得到当前心率队列；历史心率队列和当前心率队列的时长小于或等于第三阈值；将当前心率队列的中位数确定为目标心率检测结果。
13.根据本公开实施例的第二方面，提供一种视频数据处理装置，包括：人脸肤色确定单元，用于在当前视频帧队列的队列时长大于或等于预设时长的情况下，确定当前视频帧队列中多个第一人脸视频帧对应的人脸皮肤区域，以及人脸皮肤区域在预设时长内的颜色特征变化信息；当前视频帧队列包括按照时间顺序存入的多个第一人脸视频帧及对应的时间戳，颜色特征变化信息是指人脸皮肤区域的颜色在颜色空间中的各个颜色通道的变化情况，队列时长为当前视频帧队列中的多个第一人脸视频帧所覆盖的时长；生理信号确定单元，用于根据人脸肤色确定单元确定的人脸皮肤区域对应的颜色特征变化信息和预设算法确定预设时长内的生理信号变化信息；心率检测单元，用于基于频域变换对生理信号确定单元确定的生理信号变化信息进行变换，得到预设时长内的心率检测结果。
14.可选的，上述装置还包括获取单元和队列确定单元；获取单元，用于获取多个第二人脸视频帧和多个第二人脸视频帧对应的时间戳；队列确定单元，用于根据获取单元获取的多个第二人脸视频帧对应的时间戳，将第二人脸视频帧和多个第二人脸视频帧对应的时间戳添加至历史视频帧队列，得到当前视频帧队列；历史视频帧队列中包括的第三人脸视频帧的数量大于或等于零，历史视频帧队列还包括第三人脸视频帧对应的时间戳。
15.可选的，上述装置还包括质量检验单元；质量检验单元，用于在确定当前视频帧队列的队列时长大于预设时长之后，判断多个第一人脸视频帧的信号质量是否满足预设条件，预设条件用于对多个第一人脸视频帧的信号质量进行校验；人脸肤色确定单元，具体用于在多个第一人脸视频帧的信号质量满足预设条件的情况下，触发执行确定当前视频帧队列中多个第一人脸视频帧对应的人脸皮肤区域的步骤。
16.可选的，上述质量检验单元，具体用于判断多个第一人脸视频帧中人脸的旋转角度是否小于第一阈值，且相邻的第一人脸视频帧之间的时间间隔是否小于第二阈值；并在旋转角度大于或等于第一阈值，和/或，时间间隔大于或等于第二阈值的情况下，确定多个第一人脸视频帧的信号质量满足预设条件。
17.可选的，在质量检验单元确定旋转角度大于或等于第一阈值，和/或，时间间隔大于或等于第二阈值的情况下，获取单元重新执行获取多个第二人脸视频帧和多个第二人脸视频帧对应的时间戳的操作，并由队列确定单元清除当前视频帧队列中的异常视频帧和异常视频帧对应的时间戳；异常视频帧是指不满足预设条件的第一人脸视频帧。
18.可选的，上述人脸肤色确定单元，具体用于：确定多个第一人脸视频帧中人脸的关
键点；根据人脸的关键点对多个第一人脸视频帧进行分割，确定多个第一人脸视频帧对应的人脸皮肤区域。
19.可选的，上述装置还包括插值单元；在人脸肤色确定单元确定人脸皮肤区域在预设时长内的颜色特征变化信息之后，插值单元，用于当多个第一人脸视频帧的帧率在预设时长内变化时，对颜色特征变化信息进行插值处理。
20.可选的，在得到预设时长内的心率检测结果之后，心率检测单元，还用于：将心率检测结果添加至历史心率队列，得到当前心率队列；历史心率队列和当前心率队列的时长小于或等于第三阈值；将当前心率队列的中位数确定为目标心率检测结果。
21.根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现如第一方面提供的视频数据处理方法。
22.根据本公开实施例的第四方面，提供一种计算机可读存储介质，计算机可读存储介质包括指令；当指令由电子设备的处理器执行时，使得电子设备执行如第一方面提供的视频数据处理方法。
23.根据本公开实施例的第五方面，提供一种计算机程序产品，计算机程序产品包括指令，当指令在电子设备的处理器上运行时，使得电子设备执行如第一方面提供的视频数据处理方法。
24.本公开的实施例提供的技术方案至少带来以下有益效果：本公开的视频数据处理方法中维护了一个人脸视频帧队列，该人脸视频帧队列中已经按照时间顺序存储了多个第一人脸视频帧和对应的时间戳信息，并确定多个第一人脸视频帧对应的人脸皮肤区域在预设时长内的颜色特征变化信息，通过预设算法确定预设时长内的生理信号变化信息，并进一步的基于频域变换对生理信号变化信息进行变换，得到预设时长内的心率检测结果。而由于在检测心率时，所需要的人脸视频帧的时长是确定的，因此，结合人脸视频帧队列内的人脸视频帧和对应的时间戳，在检测心率时，可以获取较少的人脸视频帧，与人脸视频帧队列中的人脸视频帧结合，即可以进行心率检测。由于这里需要获取的人脸视频帧数量减少了，即减少了获取这些人脸视频帧的时间，也就降低了检测心率所耗时长。
25.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
26.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
27.图1是根据一示例性实施例示出的一种实施环境的架构示意图。
28.图2是根据一示例性实施例示出的一种视频数据处理方法的流程示意图之一。
29.图3是根据一示例性实施例示出的一种人脸皮肤区域的确定示意图。
30.图4是根据一示例性实施例示出的一种颜色特征变化信息的示意图。
31.图5是根据一示例性实施例示出的一种视频数据处理方法的流程示意图之二。
32.图6是根据一示例性实施例示出的一种视频数据处理方法的流程示意图之三。
33.图7是根据一示例性实施例示出的一种视频数据处理方法的流程示意图之四。
34.图8是根据一示例性实施例示出的一种视频数据处理方法的流程示意图之五。
35.图9是根据一示例性实施例示出的一种人脸关键点的示意图。
36.图10是根据一示例性实施例示出的一种视频数据处理方法的流程示意图之六。
37.图11是根据一示例性实施例示出的一种视频数据处理方法的流程示意图之七。
38.图12是根据一示例性实施例示出的一种视频数据处理装置的结构示意图。
39.图13是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
40.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
41.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
42.相关技术中，心率检测可以通过人脸检测装置获取用户的人脸视频信息，并根据人脸视频信息确定其包括的人脸图像，进而确定一定时间段内的人脸图像的颜色变化信息，结合独立成分分析方法(independent component analysis，ica)确定用户对应的生理信号变化信息，根据用户的生理信号变化信息即可以确定对应的心率值。这种心率检测方法中，需要用户录制较长时间的视频信息，限制了心率检测的应用场景。
43.针对上述心率检测方法存在的问题，本公开实施例提供一种视频数据处理方法，电子设备内维护了一个人脸视频帧队列，该人脸视频帧队列中已经按照时间顺序存储了多个第一人脸视频帧和对应的时间戳信息，并确定多个第一人脸视频帧对应的人脸皮肤区域在预设时长内的颜色特征变化信息，通过预设算法确定预设时长内的生理信号变化信息，并进一步的基于频域变换对生理信号变化信息进行变换，得到预设时长内的心率检测结果。而由于在检测心率时，所需要的人脸视频帧的时长是确定的，因此，结合人脸视频帧队列内的人脸视频帧和对应的时间戳，在检测心率时，可以获取较少的人脸视频帧，与人脸视频帧队列中的人脸视频帧结合，即可以进行心率检测。由于这里需要获取的人脸视频帧数量减少了，即减少了获取这些人脸视频帧的时间，也就降低了检测心率所耗时长。
44.图1是根据一示例性实施例示出的一种实施环境的架构图，如图1所示，下述视频数据处理方法可以应用于该实施环境中。该实施环境包括终端01和电子设备02。其中，终端01通过安装在该终端01上的应用程序与电子设备02建立通信连接。
45.在一种可实施的方式中，电子设备02可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。电子设备02可以包括处理器、存储器以及网络接口等。
46.在一种可实施的方式中，终端01用于向用户提供语音和/或数据连通性服务。终端01可以有不同的名称，例如ue、端、终端单元、终端站、移动站、移动台、远方站、远程终端、移动设备、无线通信设备、车辆用户设备、终端代理或终端装置等。
47.可选的，终端01可以为各种具有通信功能的手持设备、车载设备、可穿戴设备、计算机，本公开实施例对此不作任何限定。例如，手持设备可以是智能手机。车载设备可以是车载导航系统。可穿戴设备可以是智能手环。计算机可以是个人数字助理(personal digital assistant，pda)电脑、平板型电脑以及膝上型电脑(laptop computer)。
48.本领域技术人员应能理解上述终端仅为举例，其他现有的或今后可能出现的终端如可适用于本公开，也应包含在本公开保护范围以内，并在此以引用方式包含于此。
49.基于上述实施环境，本公开实施例提供的视频数据处理方法具体实现过程如下：
50.下面结合各个附图对本公开实施例提供的视频数据处理方法进行示例性的说明。
51.图2是根据一示例性实施例示出的一种视频数据处理方法的流程图，如图2所示，视频数据处理方法可以应用于上述的终端或电子设备，该方法包括以下s11至s13。
52.s11、在当前视频帧队列的队列时长大于或等于预设时长的情况下，电子设备确定当前视频帧队列中多个第一人脸视频帧对应的人脸皮肤区域，以及人脸皮肤区域在预设时长内的颜色特征变化信息。
53.其中，当前视频帧队列包括按照时间顺序存入的多个第一人脸视频帧及对应的时间戳，颜色特征变化信息是指人脸皮肤区域的颜色在颜色空间中的各个颜色通道的变化情况，队列时长为当前视频帧队列中的多个第一人脸视频帧所覆盖的时长。
54.作为一种可能的实现方式，这里的当前视频帧队列包括多个第一人脸视频帧，以及这些第一人脸视频帧对应的时间戳，这些第一人脸视频帧依据对应的时间戳顺序排列。例如，当前视频帧队列包括第一人脸视频帧1、第一人脸视频帧2、第一人脸视频帧3、
…
、第一人脸视频帧n，这些第一人脸视频帧对应的时间戳分别为t1、t2、t3、
…
、tn，若时间戳t1、t2、t3、
…
、tn按时间从远到近，则可以将这些第一人脸视频帧按第一人脸视频帧1、第一人脸视频帧2、第一人脸视频帧3、
…
、第一人脸视频帧n的顺序排列。
55.上述当前视频帧队列可以包括当前人脸视频帧和历史人脸视频帧，其中当前人脸视频帧是当前检测用户心率时获取的人脸视频帧，历史人脸视频帧是历史检测用户心率时获取的人脸视频帧，历史人脸视频帧中的最后一个人脸视频帧和当天人脸视频帧中的第一个人脸视频帧之间的时间间隔小于第二阈值。
56.由于当前视频帧队列中包括多个第一人脸视频帧，以及这些第一人脸视频帧对应的时间戳，且这些第一人脸视频帧按时间顺序排列。因此，当前视频帧队列的队列时长即为第一个第一人脸视频帧和最后一个第一人脸视频帧之间的时间间隔。该时间间隔可以根据第一个第一人脸视频帧的时间戳和最后一个第一人脸视频帧的时间戳确定。例如，第一个人脸视频帧的时间戳为2021-08-19:08:10:03，最后一个第一人脸视频帧的时间戳为2021-08-19:08:10:06，则可以确定当前视频帧队列的队列时长为3s。
57.在当前视频帧队列的队列时长大于或等于预设时长时，可以通过人脸检测技术检测到第一人脸视频帧中的人脸，进而根据肤色分割算法确定这些人脸的人脸皮肤区域，该人脸皮肤区域可以为脸颊皮肤。例如，如图3所示，可以将人脸图像中的脸颊皮肤确定为人脸皮肤区域，该人脸图像即为第一人脸视频帧。
58.进一步的，由于颜色通常是由红、绿、蓝颜色组成的，即颜色通道包括红色颜色通道、绿色颜色通道和蓝色颜色通道，因此这里确定多个第一人脸视频帧中的人脸皮肤区域之后，可以根据这些人脸皮肤区域对应的像素颜色确定人脸皮肤区域在红绿蓝颜色通道的
颜色信息，如人脸皮肤区域的红色颜色通道信息、绿色颜色通道信息和蓝色颜色通道信息，即上述的颜色特征变化信息包括人脸皮肤区域对应的红色颜色通道变化信息、绿色颜色通道变化信息和蓝色颜色通道变化信息。
59.由于人脸皮肤区域包括多个像素，且这些像素的颜色可能不同，因此人脸皮肤区域的颜色特征变化信息可以由这些像素对应的颜色通道信息的平均值确定。例如，人脸皮肤区域包括m个像素，这m个像素在t1时刻对应的红色颜色通道信息分别为r1、r2、r3、
…
、rm，在t1时刻对应的绿色颜色通道信息分别为g1、g2、g3、
…
、gm，在t1时刻对应的蓝色颜色通道信息分别为b1、b2、b3、
…
、bm，则这m个像素在t1时刻对应红色颜色通道信息的平均值为(r1 r2 r3
…
rm)/m，在t1时刻对应绿色颜色通道信息的平均值为(g1 g2 g3
…
gm)/m，在t1时刻对应蓝色颜色通道信息的平均值为(b1 b2 b3
…
bm)/m。
60.由于这里预设时长包括多个第一人脸视频帧，且这些第一人脸视频帧是不同时刻得到的，因此可以根据这些不同时间戳对应的第一人脸视频帧中的人脸皮肤区域的颜色通道信息确定对应的颜色特征变化信息。例如，人脸皮肤区域在t1时刻的红色颜色通道信息的平均值为rreg1，在t2时刻的红色颜色通道信息的平均值为rreg2，在t3时刻的红色颜色通道信息的平均值为rreg3，
…
，在tn时刻的红色颜色通道信息的平均值为rregn，则根据这些红色颜色通道信息的平均值以及对应的时间戳可以确定红色颜色通道信息在t1时刻至tn时刻的红色特征变化信息。相应的，根据同样的方法可以确定，在t1时刻至tn时刻的绿色特征变化信息，以及蓝色特征变化信息。上述的颜色特征变化信息即包括红色特征变化信息、绿色特征变化信息和蓝色特征变化信息。例如，这里确定的颜色特征变化信息可以如图4所示。
61.一种可能的实现方式中，在当前视频帧队列的队列时长为p，预设时长为q时，若当前视频帧队列中第一个第一人脸视频帧的时间戳为a，最后一个第一人脸视频帧的时间戳为c，当前视频帧队列中间的一个第一人脸视频帧的时间戳为b，且时间戳b与时间戳c之间的时长为q，则上述多个第一人脸视频帧是指从时间戳b到时间戳c之间的所有人脸视频帧。
62.需要说明的是，上述的人脸检测技术和肤色分割算法均为本领域惯用的技术手段，因此这里不做赘述。上述的预设时长可以小于或等于当前视频帧队列的队列时长，当多个第一人脸视频帧的时长为预设时长时，即可以根据这多个第一人脸视频帧检测用户的心率。
63.s12、电子设备根据人脸皮肤区域对应的颜色特征变化信息和预设算法确定预设时长内的生理信号变化信息。
64.作为一种可能的实现方式，预设算法满足下列公式：
[0065][0066]
其中，rn为相应时刻的红色颜色通道信息的平均值，gn为相应时刻的绿色颜色通道信息的平均值，bn为相应时刻的蓝色颜色通道信息的平均值，c为生理信号信息，σ为求标准差函数。
[0067]
由于上述的颜色特征变化信息包括了红色特征变化信息、绿色特征变化信息和蓝色特征变化信息，能够指示不同时刻的红色特征值、绿色特征值和蓝色特征值，因此根据上列公式可以确定不同时刻的第一特征值x和第二特征值y，进而根据不同时刻的第一特征值x之和和第二特征值y之和确定权重系数α，最后即可以根据该权重系数以及相应时刻的第一特征值x和第二特征值y确定该时刻的生理信号信息。
[0068]
由预设时长内不同时刻的生理信号信息即可以组成生理信号变化信息。
[0069]
需要说明的是，本公开中的时刻可以由对应的时间戳信息指示。
[0070]
s13、电子设备基于频域变换对生理信号变化信息进行变换，得到预设时长内的心率检测结果。
[0071]
作为一种可能的实现方式，频域变换的公式可以如下所示：
[0072][0073]
其中，hr为心率检测结果，f(c)为生理信号信息的频域，fps为帧率，len(c)为预设时长。帧率可以根据下列公式确定：
[0074][0075]
z为信号序列所对应的时长(即可以理解为预设时长内包括的第一人脸视频帧的数量)。
[0076]
由于s12确定了预设时长内不同时刻的生理信号信息，因此这里根据上述公式即可以确定这些不同时刻的生理信号信息对应的心率检测结果，进而可以将这些不同时刻的心率检测结果组成心率检测结果变化信息。
[0077]
上述实施例提供的技术方案至少具有以下有益效果：本公开的视频数据处理方法中维护了一个人脸视频帧队列，该人脸视频帧队列中已经按照时间顺序存储了多个第一人脸视频帧和对应的时间戳信息，并确定多个第一人脸视频帧对应的人脸皮肤区域在预设时长内的颜色特征变化信息，通过预设算法确定预设时长内的生理信号变化信息，并进一步的基于频域变换对生理信号变化信息进行变换，得到预设时长内的心率检测结果。而由于在检测心率时，所需要的人脸视频帧的时长是确定的，因此，结合人脸视频帧队列内的人脸视频帧和对应的时间戳，在检测心率时，可以获取较少的人脸视频帧，与人脸视频帧队列中的人脸视频帧结合，即可以进行心率检测。由于这里需要获取的人脸视频帧数量减少了，即减少了获取这些人脸视频帧的时间，也就降低了检测心率所耗时长。
[0078]
在一种可实施的方式中，结合图2，如图5所示，s11之前，上述方法还包括s21-s22。
[0079]
s21、电子设备获取多个第二人脸视频帧和多个第二人脸视频帧对应的时间戳。
[0080]
作为一种可能的实现方式，上述的当前视频帧队列可以为预设的，也可以是实时获取的。
[0081]
在实时获取当前视频帧队列时，电子设备可以通过摄像头拍摄用户的人脸视频信息，该人脸视频信息包括多个第二人脸视频帧，以及这些第二人脸视频帧对应的时间戳。
[0082]
s22、电子设备根据多个第二人脸视频帧对应的时间戳，将第二人脸视频帧和多个第二人脸视频帧对应的时间戳添加至历史视频帧队列，得到当前视频帧队列。
[0083]
其中，历史视频帧队列中包括的第三人脸视频帧的数量大于或等于零，历史视频帧队列还包括第三人脸视频帧对应的时间戳。
[0084]
作为一种可能的实现方式，历史视频帧队列可以为用户在历史时间段检测心率时拍摄的视频信息组成的视频帧队列，该历史视频很队列的队列时长可能小于预设时长，因此无法用于检测用户的心率。
[0085]
示例性的，在预设时长为q，历史视频帧队列的队列时长为i时，由于当前视频帧队列的队列时长为q即可以检测用户的心率，因此这里可以获取时长为q-i的多个第二人脸视频帧，将其添加至历史视频帧队列即可以得到当前视频帧队列。
[0086]
需要说明的是，由于上述步骤s11-s13中相应的变化信息均与时间戳相关，因此这里还需要将多个第二人脸视频帧对应的时间戳添加至历史视频帧队列。本公开中的第一人脸视频帧、第二人脸视频帧和第三人脸视频帧是指不同时期的人脸视频帧，如第二人脸视频中添加至历史视频帧队列得到当前视频帧队列时，即可以称为第一人脸视频帧队列；而历史视频帧队列中的人脸视频帧队列称为第三人脸视频帧，第三人脸视频帧位于当前视频帧队列时即可以称为第一人脸视频帧。
[0087]
上述实施例提供的技术方案至少具有以下有益效果：这里当前视频帧队列可以包括历史视频帧队列，因此减少了获取的第二人脸视频帧的数量，也就减少了视频信息的拍摄时间，因此能够减少检测心率所耗时间。
[0088]
在一种可实施的方式中，结合图5，如图6所示，s22之后，上述方法还包括s23-s25。
[0089]
s23、电子设备判断多个第一人脸视频帧的信号质量是否满足预设条件。
[0090]
其中，预设条件用于对多个第一人脸视频帧的信号质量进行校验。
[0091]
具体的，电子设备可以判断当前视频帧队列的队列时长是否大于或等于预设时长。
[0092]
作为一种可能的实现方式，当前视频帧队列的队列时长可以为第一个第一人脸视频帧的时间戳和最后一个第一人脸视频帧的时间戳之间的时间间隔。在当前视频帧队列的队列时长大于或等于预设时长时，可以执行步骤s24；否则，执行步骤s25。
[0093]
s24、在多个第一人脸视频帧的信号质量满足预设条件的情况下，触发执行确定当前视频帧队列中多个第一人脸视频帧对应的人脸皮肤区域的步骤。
[0094]
s25、电子设备继续获取第二人脸视频帧和第二人脸视频帧对应的时间戳。
[0095]
作为一种可能的实现方式，预设条件可以为当前视频帧队列中，多个第一人脸视频帧中人脸的旋转角度小于第一阈值；以及多个第一人脸视频帧中相邻的第一人脸视频帧之间的时间间隔小于第二阈值。
[0096]
上述实施例提供的技术方案至少具有以下有益效果：通过对第一人脸视频帧的信号质量进行校验，避免了心率检测时可能因人脸视频帧的信号质量不合格导致的心率检测不准确的问题。
[0097]
在当前视频帧队列的队列时长大于或等于预设时长时，即满足了心率检测的人脸视频帧需求，此时可以校验这些第一人脸视频帧的信号质量是否满足预设条件；否则，继续获取第二人脸视频帧及其对应的时间戳，以确定当前视频帧队列。
[0098]
需要说明的是，由于人脸的旋转可能导致人脸颜色的细微变化，因此在人脸的旋转角度大于第一阈值时可能导致上述得到的颜色特征变化信息不准确，进而影响心率检测
的准确性，因此这里可以对第一人脸视频帧中人脸的旋转角度进行限制。而在相邻第一人脸视频帧时间的时间间隔大于第二阈值时，可能导致第一人脸视频帧的中断，影响心率的检测。这里的第一阈值和第二阈值可以由本领域的技术人员根据经验或实验设置。
[0099]
上述实施例提供的技术方案至少具有以下有益效果：通过确定多个第一人脸视频帧中人脸的旋转角度是否小于第一阈值，且相邻的第一人脸视频帧之间的时间间隔是否小于第二阈值，对第一人脸视频帧的信号质量进行校验，从而避免了心率检测时可能因人脸视频帧的信号质量不合格导致的心率检测不准确的问题。
[0100]
在一种可实施的方式中，结合图6，如图7所示，s23之后，还包括s26-s27。
[0101]
s26、判断多个第一人脸视频帧中人脸的旋转角度是否小于第一阈值，且相邻的第一人脸视频帧之间的时间间隔是否小于第二阈值。
[0102]
其中，在旋转角度大于或等于第一阈值，和/或，时间间隔大于或等于第二阈值的情况下，确定多个第一人脸视频帧的信号质量满足预设条件。
[0103]
s27、在旋转角度大于或等于第一阈值，和/或，时间间隔大于或等于第二阈值的情况下，电子设备重新执行获取多个第二人脸视频帧和多个第二人脸视频帧对应的时间戳的操作，并清除当前视频帧队列中的异常视频帧和异常视频帧对应的时间戳。
[0104]
其中，异常视频帧是指不满足预设条件的第一人脸视频帧。例如，当前视频帧队列包括10个第一人脸视频帧，其中第五个第一人脸视频帧与第六个第一人脸视频帧之间的时间间隔大于第二阈值，则此时异常视频帧可以是指当前视频帧队列中的前5个第一人脸视频帧。
[0105]
作为一种可能的实现方式，在上述s24中多个第一人脸视频帧不满足任一预设条件时，可以确定这些第一人脸视频帧的信号质量不满足质量要求，此时可以重启心率检测流程，即重新获取第二人脸视频帧及其对应的时间戳信息，并根据重新获取第二人脸视频帧及其对应的时间戳信息再次确定当前视频帧队列。即在多个第一人脸视频帧不满足预设条件时，循环执行上述s21-s22。
[0106]
多个第一人脸视频帧不满足预设条件可以是第一人脸视频帧中人脸的旋转角度大于或等于第一阈值，也可以是相邻的第一人脸视频帧之间的时间间隔大于或等于第二阈值。这里时间间隔大于或等于第二阈值可能是由于用户旋转头部姿态，造成电子设备未拍摄到人脸视频帧造成的。
[0107]
此时，可以根据当前视频帧队列中第一人脸视频帧不满足预设条件的临界点，将当前视频帧队列分割为第一当前视频帧队列和第二当前视频帧队列，第一当前视频帧队列在第二当前视频帧队列之前。在重启心率检测流程时，由于第一当前视频帧队列和第二当前视频帧队列可能满足预设条件，仅是将其组合起来时无法满足预设条件，因此这里可以将时间在前的第一视频帧队列中的第一人脸视频帧及其对应的时间戳清除，而保留第二当前视频帧队列中的第一人脸视频帧，以与后续重新获取的第二人脸视频帧重新组成当前视频帧队列，减少获取第二人脸视频帧的获取数量。
[0108]
上述实施例提供的技术方案至少具有以下有益效果：通过预设条件重启心率检测流程，可以确保心率检测的准确性，且在历史视频帧队列中保留部分人脸视频帧，减少了第二人脸视频帧的获取数量，能够减少视频拍摄时间，进而减少心率检测所耗时间。
[0109]
在一种可实施的方式中，结合图7，如图8所示，s11包括s111-s113。
[0110]
s111、电子设备确定多个第一人脸视频帧中人脸的关键点。
[0111]
s112、电子设备根据人脸的关键点对多个第一人脸视频帧进行分割，确定多个第一人脸视频帧对应的人脸皮肤区域。
[0112]
具体的，电子设备可以根据人脸的关键点和肤色分割算法，对多个第一人脸视频帧进行分割，计算确定多个第一人脸视频帧对应的人脸皮肤区域。
[0113]
s113、电子设备确定人脸皮肤区域在预设时长内的颜色特征变化信息。
[0114]
作为一种可能的实现方式，人脸的关键点可以如图9所示，关键点可以包括68个，根据这些关键点可以识别人脸的眉毛、眼睛、鼻子等器官，进而根据这些关键点结合肤色分割算法可以识别人脸中的脸颊区域，即人脸皮肤区域。
[0115]
这里识别人脸的关键点以及肤色分割算法均为本领域惯用的技术手段，这里不再详细赘述。
[0116]
在确定预设时长内每一帧第一人脸视频帧的人脸皮肤区域之后，即可以根据上述s11中的方法，确定这些人脸皮肤区域在预设时长内的颜色特征变化信息，具体参照上述s11，这里不再赘述。
[0117]
上述实施例提供的技术方案至少具有以下有益效果：通过人脸中的关键点识别人脸皮肤区域，能够提升识别人脸皮肤区域的准确度，避免非皮肤区域的引入导致的心率检测结果不准确的问题。
[0118]
在一种可实施的方式中，结合图8，如图10所示，s113之后，还包括s28。
[0119]
s28、当多个第一人脸视频帧的帧率在预设时长内变化时，电子设备对颜色特征变化信息进行插值处理。
[0120]
具体的，电子设备可以根据插值算法，向颜色特征变化信息中插入特征值。
[0121]
作为一种可能的实现方式，颜色特征变化信息的帧率与第一人脸视频帧的帧率是相同的，在第一人脸视频帧的帧率变化时，预设时长内的第一人脸视频帧可能排列不均匀，进而导致根据第一人脸视频帧确定的颜色特征变化信息中的各个颜色特征值排列不均匀，使得心率检测结果出现误差。
[0122]
因此，本公开在确定颜色特征变化信息之后，可以根据插值算法向对应的颜色变化特征信息中插入特征值(信号值)，使得各个颜色变化特征信息中的特征值均匀排列。例如，红色特征变化信息中包括第一特征值、第二特征值、第三特征值和第四特征值，其中第二特征值和第三特征值之间的时间间隔与第三特征值和第四特征值之间的时间间隔相同，而与第一特征值和第二特征值之间的时间间隔不同，此时可以根据插值算法向这些特征值中间插入一些特征值，使得这些特征值之间的时间间隔相同，即使帧率在预设时间内保持稳定。这里的特征值可以是相应颜色特征信息的值，如红色的色度、绿色的色度等。
[0123]
上述的插值算法可以为三次样条插值法，也可以为其他插值算法，这里不做限定。
[0124]
上述实施例提供的技术方案至少具有以下有益效果：由于连续变换场景下的帧率可能不同，而根据频域变换检测心率时，需要根据帧率检测心率，因此在帧率变化情况下无法得到心率检测结果。这里通过插值算法使颜色特征变化信息内的特征值均匀排列，使其对应的帧率保持稳定，能够应用于连续变换场景下的心率检测。
[0125]
在一种可实施的方式中，结合图10，如图11所示，s13之后，还包括s29-s210。
[0126]
s29、电子设备将心率检测结果添加至历史心率队列，得到当前心率队列。
[0127]
其中，历史心率队列和当前心率队列的时长小于或等于第三阈值。
[0128]
s210、电子设备将当前心率队列的中位数确定为目标心率检测结果。
[0129]
作为一种可能的实现方式，本公开中电子设备维护了一个心率队列，该心率队列包括多个时间戳下对应的心率检测结果。
[0130]
作为一种可能的实现方式，上述的第三阈值可以为一个极小的时间段，如1s等。由于在实际人脸皮肤区域的颜色检测用户心率时，可能出现因外界环境变化导致人脸颜色突变的情况，此时根据该人脸颜色检测的心率可能出现误差，因此，这里维护了一个心率队列，将心率队列的中位数确定为目标心率检测结果，以提升心率检测的准确性。
[0131]
心率队列的队列时长是固定的，在向历史心率队列中添加新的心率检测结果时，可以将历史心率队列中最早产生的心率检测结果删除，以得到当前心率队列，同时确保心率队列的队列时长。例如，历史心率队列中包括心率检测结果l1、l2、l3和l4，则在根据上述方法确定新的心率检测结果l5时，可以得到当前心率队列l2、l3、l4和l5。此时可以将l2、l3、l4和l5的中位数确定为目标心率检测结果。
[0132]
上述实施例提供的技术方案至少具有以下有益效果：由于检测用户心率时，可能出现心率估值结果突变，造成较大检测偏差的情况，影响用户心率检测的准确性。因此，这里通过心率队列对心率检测结果进行修正，降低了突变心率检测结果带来的检测偏差的影响，提升了心率检测的准确性。
[0133]
图12是根据一示例性实施例示出的一种视频数据处理装置的结构示意图，如图12所示，该视频数据处理装置30包括人脸肤色确定单元301、生理信号确定单元302、心率检测单元303、获取单元304、队列确定单元305、质量检验单元306和插值单元307。
[0134]
人脸肤色确定单元301，用于在当前视频帧队列的队列时长大于或等于预设时长的情况下，确定当前视频帧队列中多个第一人脸视频帧对应的人脸皮肤区域，以及人脸皮肤区域在预设时长内的颜色特征变化信息；当前视频帧队列包括按照时间顺序存入的多个第一人脸视频帧及对应的时间戳，颜色特征变化信息是指人脸皮肤区域的颜色在颜色空间中的各个颜色通道的变化情况，队列时长为当前视频帧队列中的多个第一人脸视频帧所覆盖的时长。
[0135]
生理信号确定单元302，用于根据人脸肤色确定单元301确定的人脸皮肤区域对应的颜色特征变化信息和预设算法确定预设时长内的生理信号变化信息。
[0136]
心率检测单元303，用于基于频域变换对生理信号确定单元302确定的生理信号变化信息进行变换，得到预设时长内的心率检测结果。
[0137]
可选的，视频数据处理装置30还包括获取单元304和队列确定单元305。
[0138]
获取单元304，用于获取多个第二人脸视频帧和多个第二人脸视频帧对应的时间戳。
[0139]
队列确定单元305，用于根据获取单元304获取的多个第二人脸视频帧对应的时间戳，将第二人脸视频帧和多个第二人脸视频帧对应的时间戳添加至历史视频帧队列，得到当前视频帧队列；历史视频帧队列中包括的第三人脸视频帧的数量大于或等于零，历史视频帧队列还包括第三人脸视频帧对应的时间戳。
[0140]
可选的，视频数据处理装置30还包括质量检验单元306。
[0141]
质量检验单元306，用于在确定当前视频帧队列的队列时长大于预设时长之后，判
断多个第一人脸视频帧的信号质量是否满足预设条件，预设条件用于对多个第一人脸视频帧的信号质量进行校验。
[0142]
人脸肤色确定单元301，具体用于在多个第一人脸视频帧的信号质量满足预设条件的情况下，触发执行确定当前视频帧队列中多个第一人脸视频帧对应的人脸皮肤区域的步骤。
[0143]
可选的，质量检验单元306，具体用于判断多个第一人脸视频帧中人脸的旋转角度是否小于第一阈值，且相邻的第一人脸视频帧之间的时间间隔是否小于第二阈值；并在旋转角度大于或等于第一阈值，和/或，时间间隔大于或等于第二阈值的情况下，确定多个第一人脸视频帧的信号质量满足预设条件。
[0144]
可选的，在质量检验单元306确定旋转角度大于或等于第一阈值，和/或，时间间隔大于或等于第二阈值的情况下，获取单元304重新执行获取多个第二人脸视频帧和多个第二人脸视频帧对应的时间戳的操作，并由队列确定单元305清除当前视频帧队列中的异常视频帧和异常视频帧对应的时间戳；异常视频帧是指不满足预设条件的第一人脸视频帧。
[0145]
可选的，人脸肤色确定单元301，具体用于：确定多个第一人脸视频帧中人脸的关键点；根据人脸的关键点对多个第一人脸视频帧进行分割，确定多个第一人脸视频帧对应的人脸皮肤区域。
[0146]
可选的，视频数据处理装置30还包括插值单元307。
[0147]
在人脸肤色确定单元301确定人脸皮肤区域在预设时长内的颜色特征变化信息之后，插值单元307，用于当多个第一人脸视频帧的帧率在预设时长内变化时，对颜色特征变化信息进行插值处理。
[0148]
可选的，在得到预设时长内的心率检测结果之后，心率检测单元303，还用于：将心率检测结果添加至历史心率队列，得到当前心率队列；历史心率队列和当前心率队列的时长小于或等于第三阈值；将当前心率队列的中位数确定为目标心率检测结果。
[0149]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0150]
图13是本公开提供的一种电子设备30的结构示意图。如图13，该电子设备40可以包括至少一个处理器401以及用于存储处理器401可执行指令的存储器403。其中，处理器401被配置为执行存储器403中的指令，以实现上述实施例中的视频数据处理方法。作为一个示例，结合图12，视频数据处理装置30中的人脸肤色确定单元301、生理信号确定单元302、心率检测单元303、获取单元304、队列确定单元305、质量检验单元306和插值单元307实现的功能与图13中的处理器401的功能相同。
[0151]
另外，电子设备40还可以包括通信总线402以及至少一个通信接口404。
[0152]
处理器401可以是一个gpu，微处理单元，asic，或一个或多个用于控制本公开方案程序执行的集成电路。
[0153]
通信总线402可包括一通路，在上述组件之间传送信息。
[0154]
通信接口404，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)等。
[0155]
存储器403可以是只读存储器(read-only memory，rom)或可存储静态信息和指令
的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起，为gpu中的易失性存储介质。
[0156]
其中，存储器403用于存储执行本公开方案的指令，并由处理器401来控制执行。处理器401用于执行存储器403中存储的指令，从而实现本公开方法中的功能。
[0157]
在具体实现中，作为一种实施例，处理器401可以包括一个或多个gpu，例如图13中的gpu0和gpu1。
[0158]
在具体实现中，作为一种实施例，电子设备40可以包括多个处理器，例如图13中的处理器401和处理器407。这些处理器中的每一个可以是一个单核(single-cpu)处理器，也可以是一个多核(multi-gpu)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
[0159]
在具体实现中，作为一种实施例，电子设备40还可以包括输出设备405和输入设备406。输出设备405和处理器401通信，可以以多种方式来显示信息。例如，输出设备405可以是液晶显示器(liquid crystal display，lcd)，发光二级管(light emitting diode，led)显示设备，阴极射线管(cathode ray tube，crt)显示设备，或投影仪(projector)等。输入设备406和处理器401通信，可以以多种方式接受用户的输入。例如，输入设备406可以是鼠标、键盘、触摸屏设备或传感设备等。
[0160]
本领域技术人员可以理解，图13中示出的结构并不构成对电子设备40的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0161]
另外，本公开还提供一种计算机可读存储介质，计算机可读存储介质包括指令，当指令由电子设备的处理器执行时，使得电子设备执行如上述实施例所提供的视频数据处理方法。
[0162]
另外，本公开还提供一种计算机程序产品，计算机程序产品包括指令，当指令在电子设备的处理器上运行时，使得电子设备执行如上述实施例所提供的视频数据处理方法。
[0163]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0164]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。