基于双目摄像头的人脸框获取方法、系统、装置及介质与流程

1.本发明涉及人脸数据处理领域，尤其涉及一种基于双目摄像头的人脸框获取方法、系统、装置及介质。


背景技术：

2.双目摄像头利用仿生学原理，根据同步获得的曝光图像，能够计算获得二维图像像素点的深度信息，以提高检测的精准度。基于此，双目摄像头可被广泛应用于活体检测中。
3.相关技术中，双目摄像头在做人脸跟踪时，需要通过人脸识别模型对两个摄像头采集的图像分别进行人脸识别，以获得双目对应的人脸框，两个摄像头均进行人脸识别的运算量大，既影响了人脸跟踪的效率，也提高了硬件资源的要求。


技术实现要素：

4.为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于双目摄像头的人脸框获取方法、系统、装置及介质，以提高人脸跟踪的效率。
5.为实现上述目的，本发明实施例提供了一种基于双目摄像头的人脸框获取方法，包括以下步骤：
6.获取第一摄像头实时拍摄的第一图像，对所述第一图像进行人脸识别，获得第一人脸框；
7.获取第二摄像头实时拍摄的第二图像，根据所述第一人脸框和预先获取的偏差信息获取所述第二图像上的第二人脸框；
8.其中，所述偏差信息为所述第一摄像头的成像结果和所述第二摄像头的成像结果之间的偏差。
9.为实现上述目的，本发明实施例还提出了一种基于双目摄像头的人脸框获取系统，包括：
10.人脸识别模块，用于获取第一摄像头实时拍摄的第一图像，对所述第一图像进行人脸识别，获得第一人脸框；
11.人脸匹配模块，用于获取第二摄像头实时拍摄的第二图像，根据所述第一人脸框和预先获取的偏差信息获取所述第二图像上的第二人脸框；
12.其中，所述偏差信息为所述第一摄像头的成像结果和所述第二摄像头的成像结果之间的偏差。
13.为实现上述目的，本发明实施例还提出了一种基于双目摄像头的人脸框获取装置，包括：
14.至少一个处理器；
15.至少一个存储器，用于存储至少一个程序；
16.当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现
前述方法的步骤。
17.为实现上述目的，本发明实施例还提出了一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述方法的步骤。
18.本发明提出的一种基于双目摄像头的人脸框获取方法、系统、装置及介质，对第一图像进行人脸识别，获取第一人脸框，根据第一人脸框和预先获取的偏差信息计算第二人脸框，只需进行一次人脸识别运算得到第一人脸框，即可结合偏差信息进一步获得第二人脸框，从而可以快速获得两个摄像头对应的人脸框，极大地提高人脸跟踪效率，降低了硬件配置的要求。
附图说明
19.图1是本发明实施例提供的一种基于双目摄像头的人脸框获取方法的步骤流程图；
20.图2是本发明实施例提供的获取偏差信息的步骤流程图；
21.图3是本发明实施例提供的构建第二人脸框的步骤流程图
22.图4是本发明实施例提供的用于实现人脸跟踪的设备示意图；
23.图5是本发明实施例提供的构建第二人脸框的示意图；
24.图6是本发明实施例提供的一种基于双目摄像头的人脸框获取系统的结构框图；
25.图7是本发明实施例提供的一种基于双目摄像头的人脸框获取装置的结构框图。
具体实施方式
26.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
27.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
28.如图1所示，本实施例提供一种基于双目摄像头的人脸框获取方法，包括以下步骤：
29.步骤s110：获取第一摄像头实时拍摄的第一图像，对第一图像进行人脸识别，获得第一人脸框。
30.步骤s110中，可从第一摄像头预先拍摄的视频流中获取第一图像，对获取的第一图像进行人脸识别。该第一图像为包括人脸的图像，包括静态图像、动态图像。在一些实施例中，可先对第一图像进行预处理，再对预处理后的第一图像进行人脸识别。其中，预处理的内容包括：1、图片清晰度的检测；2、图像去噪处理；3、对图像进行裁剪等。对图片进行清晰度检测，若发现图片中的人脸比较模糊，比如人体在快速移动时采集到的图片，可能带有阴影等，针对这种模糊的图片，不进行人脸识别。而对图像进行去噪，是为了减少图像中的噪声，以增强图像的信息，可采用均值滤波器或中值滤波器等进行去噪。
31.对预处理后的人脸图像进行人脸检测，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及haar特征等。在一些实施例中，将预处理后的第一图像输入预训练好的人脸识别模型中进
行人脸识别，示例性地，该人脸识别模型为基于深度卷积神经网络的模型，预先采用人脸数据库对该人脸识别模型进行训练，在训练收敛后，对输入的图像进行人脸识别，获得相应的人脸框作为第一人脸框。
32.步骤s120：获取第二摄像头实时拍摄的第二图像，根据第一人脸框和预先获取的偏差信息获取第二图像上的第二人脸框。其中，偏差信息为第一摄像头的成像结果和第二摄像头的成像结果之间的偏差。
33.双目摄像头是利用仿生学原理，通过标定后的双摄像头得到同步曝光图像，然后计算获取的二维图像像素点的第三维深度信息。人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近，这也是3d电影能够使人有立体层次感知的原因。与单摄像头相比，利用双目摄像头实现的视频监控原理系统，可应用于更多场合，并利用深度信息设置报警级别，来降低误检率。传统的双目摄像头，由于工艺上的原因，每款摄像头出厂配置是有差异的，这样会造成两路摄像头成像具有差异，基于此，现有方法在进行人脸跟踪时，通过若干个人脸识别模型对两个摄像头输出的两路视频的图像均进行人脸识别，若采用一个人脸识别模型先后对两路图像进行人脸识别，由于人脸识别的运算量大，影响时效；若采用两个人脸识别模型分别对两路图像进行人脸识别，同时运行两个人脸识别模型的运算，对硬件要求较高。
34.在本实施例中，在获取第二摄像头实时拍摄的第二图像后，无需对第二图像进行人脸识别，通过结合预先获得的偏差信息和第一图像中的第一人脸框，即可获取第二图像中的第二人脸框。该偏差信息为第一摄像头和第二摄像头之间成像的偏差，比如两个图像的质心之间的偏差、颜色的偏差或者关键像素点的偏差；该偏差信息预先存储在配置文件中，在获得第一图像的第一人脸框后，从配置文件中调取偏差信息，结合第一人脸框和偏差信息计算获取第二图像上的第二人脸框。由于根据第一人脸框和偏差信息计算第二人脸框的运算量远远低于进行一次人脸识别的运算量，因此，本实施例中只需通过运行一次人脸识别的计算，即可获得双目摄像头上两个图像的人脸框。
35.在一些可选的实施例中，偏差信息通过以下方式获得：在双目摄像头中获取同一时刻的两张图像，分别计算两张图像的质心。图像的质心，也称为图像的重心；对于x方向的质心，图像在质心左右两边像素和相等；对于y方向的质心，图像在质心上下两边像素和相等。获得两个图像的质心后，计算两个质心之间的偏差作为偏差信息。
36.在一些可选的实施例中，偏差信息通过以下方式获得：在双目摄像头中获取同一时刻的两张图像，检测识别该两张图像的关键点(如双眼上的点，或者鼻梁上的点)，根据两个图像检测到的关键点进行位置匹配，获得两张图像上对应关键点的位置偏差作为偏差信息。
37.在一些可选的实施例中，参见图2，偏差信息通过以下步骤a1-a3获得：
38.a1、获取第一摄像头预先拍摄的第三图像，对第三图像进行人脸识别，获得第一人脸特征图。
39.步骤a1中，可从第一摄像头输出的视频流中获取第三图像，将第三图像输入预训练好的人脸识别模型中进行人脸识别，获得第一人脸特征图。该人脸识别模型可采用现有的模型来实现，比如基于卷积神经网络的人脸识别模型。
40.为了提高后续计算的精度，在一些实施例中，该第三图像通过以下方式挑选获取：
41.a11、获取第一摄像头预先拍摄的视频流，对视频流中所有的图像帧进行清晰度检测，获取清晰度得分最高的图像帧作为第三图像。
42.可选的，视频流中的图像可以为彩色图像，也可以为黑白图像，针对每一帧图像，获取图像的参数(比如：图像的亮度、灰度、对比度、饱和度等，其中，图象亮度是指画面的明亮程度)，根据获取的参数检测每一帧图像的清晰度，并获取清晰度最好的图像作为第三图像。
43.在一些可选的实施例中，使用图像的亮度值来评判图像的清晰度，比如亮度值越大，清晰度越高，亮度值越小，清晰度越低。从视频流中获取每一帧图像的亮度值，从所有的亮度值中获取最大的亮度值，获取该亮度值对应的图像作为第三图像。当图像为黑白图像时，对黑白图像进行扫描，获取每个像素点的灰度值，并计算所有像素点的灰度值的平均值，将该平均值作为图像的亮度值。当图像为彩色图像时，先将彩色图像转换到灰度图像，再计算灰度图像的平均灰度值作为亮度值。
44.作为一种可选的实施方式，打开第一摄像头的视频流，按照图像高度为40，宽度为40的方式，对整张图片进行清晰度检测。示例性地，视频流中的图像为彩色图像，该对视频流中所有的图像帧进行清晰度检测的步骤，包括：对视频流中的每一帧彩色图像进行扫描，获取彩色图像的亮度值，获取亮度值最高的彩色图像作为第三图像。该亮度值的计算方式如下：将彩色图像转换到灰度图像，计算灰度图像的平均灰度值作为亮度值。示例性地，选一张模板图像大小40x40，以步长40扫描整张图像，计算图像的平均亮度，可以得到图像的亮度的分数。从视频流中提取亮度值最高的图像作为第三图像。
45.a2、获取第二摄像头预先拍摄的第四图像，对第四图像进行人脸识别，获得第二人脸特征图；其中，第三图像与第四图像为相同时刻采集获得的图像。
46.获得第三图像后，可根据该第三图像的时间戳或者序列号，在第二摄像头输出的视频流中获取第四图像，即该第三图像和第四图像在采集时间上匹配。其中，可以采用与步骤a1中相同的人脸识别模型，对该第四图像进行人脸识别，获得第二人脸特征图。在一些实施例中，在确定第三图像后，获取该第三图像在视频流中的序列号，由于双目摄像头中两个摄像头是同步采集图像的，因此根据第三图像的序列号，在第二摄像头输出的视频流中查找对应的图像，作为第四图像。由于第三图像和第四图像采集的时间相同，因此图像的内容相同。
47.a3、对第一人脸特征图和第二人脸特征图进行模板匹配，获得第一人脸特征图和第二人脸特征图的位置偏差作为偏差信息。
48.获得第一人脸特征图和第二人脸特征图后，将两个图像进行匹配，比如像素匹配，或者颜色的匹配等。在一些可选的实施例中，该步骤a3具体包括步骤a31-a33：
49.a31、采用滑动窗口的方式，控制第一人脸特征图在第二人脸特征图上滑动；
50.a32、在每一个滑动位置上，获取第一人脸特征图和第二人脸特征图之间的重叠区域，并对重叠区域内的第一像素和第二像素进行匹配，获得匹配值；其中，第一像素为第一人脸特征图在重叠区域内的像素，第二像素为第二人脸特征图在重叠区域内的像素；
51.a33、从所有匹配值中获取最大的匹配值，获取最大的匹配值对应的滑动位置，根据获得的滑动位置获取第一人脸特征图和第二人脸特征图之间坐标偏差作为偏差信息。
52.获得第一人脸特征图和第二人脸特征图后，将第一人脸特征图作为模板图像，将第二人脸特征图作为待检测的图像，采用滑动窗口的方式，控制模板图像在待检测的图像上滑动，滑动方式可以为：在待检测图像上，从左到右，从上向下进行滑动。对于每一个滑动位置，获取第一人脸特征图和第二人脸特征图之间的重叠区域，在这个重叠区域上，计算第一人脸特征图和第二人脸特征图之间像素的匹配度；匹配程度越大，两者相同的可能性越大。计算匹配度的方式有多种，比如：方差匹配法、归一化方差匹配法、相关性匹配法、归一化的相关性匹配法、相关系数匹配法或者归一化相关系数匹配法等。本实施例采用归一化的相关性系数匹配方法进行计算，相关性系数为正值表示匹配的结果较好，负值则表示匹配的效果较差，也就是值越大，匹配效果越好。
53.在所有匹配值中获取最大的匹配值，根据该最大的匹配值获取对应的滑动位置，可以理解为：在这个滑动位置上，重叠区域对应的两个图像的内容是相同的；计算该滑动位置上，第一人脸特征图和第二人脸特征图之间的坐标偏差，将该坐标偏差作为偏差信息。
54.参见图3，基于该偏差信息，步骤s120中根据第一人脸框和预先获取的偏差信息获取第二图像上的第二人脸框的步骤，包括步骤s121-s122：
55.s121、获取第一人脸框在第一图像中的第一坐标。
56.s122、根据第一坐标和偏差信息在第二图像中获取第二坐标，根据第二坐标获取第二人脸框。
57.可选地，该第一人脸框可以为圆形框、矩形框或者正多边形框等，当第一人脸框为圆形框时，该第一坐标可通过圆心的坐标(x，y)来表征，或者也可以通过圆心的坐标(x，y)和圆形的半径r来表征，即第一坐标可以表示为(x,y,r)；当第一人脸框为正多边形框时，该第一坐标可通过正多边形的中心坐标(x，y)来表征，也可通过正多边形的中心坐标(x，y)以及边长b来表征,即第一坐标可以表示为(x,y,b)。
58.在一些可选的实施例中，该第一人脸框为矩形框，第一坐标为矩形框的对角线上两个端点的坐标值，而偏差信息为坐标向量，此时，步骤s122包括：
59.s1221、根据偏差信息移动第一坐标，获得两个端点移动后的坐标值作为第二坐标；
60.s1222、根据第二坐标构建矩形框作为第二人脸框。
61.在本实施例中，第一坐标只需为两个点的坐标值，容易获得并存储；另外，根据这两个坐标值，可快速地构建矩形框，运算简单，易于实现。
62.以下结合具体实施例对上述方法进行解释说明。
63.如图4所示，双目摄像头41与服务器42连接，该服务器42可以为线上服务器(如云服务器)，也可以为线下服务器(如智能终端)。双目摄像头41向服务器输入视频流，其中，双目摄像头41中的第一摄像头输入视频流a，第二摄像头输入视频流b。服务器42从频流a从获取图像帧a1，将图像帧a1输入预先安装在服务器42中的人脸识别模块，进行人脸识别，获得第一人脸框。可选地，该第一人脸框为矩形框。
64.服务器42同时从视频流b中获取图像帧b1,该图像帧b1与图像帧a1对应，即图像帧a1与图像帧b1对应的时间戳相同。参见图5，获取第一人脸框在图像帧a1上的坐标信息，该坐标信息可以为人脸框的对角线上两个端点的坐标值，如：(x11，y11)、(x12，y12)，在图像帧b1上找到这两个坐标值对应的位置作为移动的初始位置；从数据库中调取偏差信息，根
据偏差信息移动这两个端点，获得两个新的坐标值，如：(x21，y21)、(x22，y22)，根据两个新的坐标值构建第二人脸框，比如：将(x21，y21)作为左上角点，(x22，y22)作为右下角点，(x21，y22)作为左下角点，(x22，y21)作为右上角点，围成一个矩形框作为该第二人脸框。
65.上述的人脸框获取方法可应用于多种应用领域，比如应用于人脸跟踪、人脸监控或者人脸三维模型的构建中。在本实施例中，将该人脸框获取方法应用于人脸跟踪技术中；在获得人脸框后，基于肤色模型、椭圆模型、纹理模型及双眼模板等进行人脸的跟踪，其中，基于肤色模型的跟踪方法就是利用恰当的表色系统，把肤色作为实现人脸跟踪的关键信息。由于肤色信息具有对放大和缩小以及对微小变形不敏感的优点，加上人脸相对镜头的变化对肤色信息本身的影响不大，该类方法很容易在前一帧图象分析结果的基础上跟踪到后一帧图象的人脸区域，因此具有速度快、姿态不变性等特点。目前的人脸跟踪技术大都采用基于肤色模型的方法。目前，人脸跟踪技术应用的领域比较广泛，比如在海关、机场、银行、电视电话会议等场合都有应用到人脸跟踪技术，具有广泛的应用市场。
66.在一些可选的实施方式中，双目摄像头安装在视频会议上，用于实时采集会议上的视频画面，其中，根据第一摄像头中的视频画面检测人脸，对画面中的人脸进行识别以及划分，输出各个人脸对应的第一人脸框；根据输出的第一人脸框，在第二摄像头的视频画面中获取第二人脸框，如此快速获得两个摄像头对应的人脸框。后续根据第一人脸框和第二人脸框，以及预设的肤色模型实时跟踪每个人脸。在该实施例中，由于只需进行对双目摄像头中的一目进行人脸识别，就可以获得双目的人脸框，即进行一次人脸识别运算，获得两个人脸框，极大地降低了运算量，提高了跟踪效率。
67.在一些可选的实施方式中，双目摄像头安装在银行大厅内，用于实时采集大厅内人员(包括工作人员和代办理业务的人员)的图像。其中，根据第一摄像头中的视频画面检测人脸，对画面中的人脸进行识别以及划分，输出各个人脸对应的第一人脸框；根据输出的第一人脸框，在第二摄像头的视频画面中获取第二人脸框。后续根据第一人脸框和第二人脸框，以及预设的运动信息跟踪算法实现每个人脸的跟踪，提高银行监控的安全性。在该实施例中，由于只需进行对双目摄像头中的一目进行人脸识别，就可以获得双目的人脸框，间接提高了人脸跟踪的响应速度；另外，由于根据第一人脸框计算第二人脸框的运算量少，可极大地降低硬件的要求。
68.在一些可选的实施方式中，双目摄像头安装在飞机场的大厅内，由于飞机场中的人流大，且人体移动速度快，因此需要快速地检测到人脸，才能提高人脸跟踪的速度。另外，飞机场中安装的摄像头的量非常大，如果针对每个摄像头多需要对双目进行人脸识别，则运算量是非常大的，若能通过本实施例的方法，则可减少将近一半的运算量，能够极大地缩减硬件设备的开支。当采用本实施例的人脸框获取方法时，对双目摄像头中的第一摄像头采集到的人脸图像进行人脸识别，获得第一图像上的第一人脸框。将第一图像中的第一人脸框“移至”第二摄像头采集的第二图像中，再从数据库中调取偏差信息，计算第二图像中的第二人脸框。这里需要注意的是，每个双目摄像头至少对应一个偏差信息，具体在调取偏差信息时，可根据双目摄像头的编号调取对应的偏差信息进行运算，获得第二人脸框，输出第一人脸框和第二人脸框，用于后续的人脸跟踪。在一种实施例中，由于本实施例中的人脸框获取方法只需进行一次人脸识别，即对硬件设备的运算力要求低，因此可通过在双目摄像头中架设数据处理设备，对双目摄像头采集到的图像先进行人脸识别以及人脸框计算，
获得双目的人脸框后，将获得的人脸框传回后台服务器中，进行人脸跟踪，降低了后台服务器的运算压力，提高系统运算的稳定度以及运算效率。
69.如图6所示，本发明实施例提出一种基于双目摄像头的人脸框获取系统，包括：
70.人脸识别模块，用于获取第一摄像头实时拍摄的第一图像，对第一图像进行人脸识别，获得第一人脸框。
71.在人脸识别模块，可从第一摄像头预先拍摄的视频流中获取第一图像，对获取的第一图像进行人脸识别。该第一图像为包括人脸的图像，包括静态图像、动态图像。在一些实施例中，可先对第一图像进行预处理，再对预处理后的第一图像进行人脸识别。其中，预处理的内容包括：1、图片清晰度的检测；2、图像去噪处理；3、对图像进行裁剪等。对图片进行清晰度检测，若发现图片中的人脸比较模糊，比如人体在快速移动时采集到的图片，可能带有阴影等，针对这种模糊的图片，不进行人脸识别。而对图像进行去噪，是为了减少图像中的噪声，以增强图像的信息，可采用均值滤波器或中值滤波器等进行去噪。
72.对预处理后的人脸图像进行人脸检测，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及haar特征等。在一些实施例中，将预处理后的第一图像输入预训练好的人脸识别模型中进行人脸识别，示例性地，该人脸识别模型为基于深度卷积神经网络的模型，预先采用人脸数据库对该人脸识别模型进行训练，在训练收敛后，对输入的图像进行人脸识别，获得相应的人脸框作为第一人脸框。
73.人脸匹配模块，用于获取第二摄像头实时拍摄的第二图像，根据第一人脸框和预先获取的偏差信息获取第二图像上的第二人脸框；其中，偏差信息为第一摄像头的成像结果和第二摄像头的成像结果之间的偏差。
74.双目摄像头是利用仿生学原理，通过标定后的双摄像头得到同步曝光图像，然后计算获取的二维图像像素点的第三维深度信息。人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近，这也是3d电影能够使人有立体层次感知的原因。与单摄像头相比，利用双目摄像头实现的视频监控原理系统，可应用于更多场合，并利用深度信息设置报警级别，来降低误检率。传统的双目摄像头，由于工艺上的原因，每款摄像头出厂配置是有差异的，这样会造成两路摄像头成像具有差异，基于此，现有方法在进行人脸跟踪时，通过若干个人脸识别模型对两个摄像头输出的两路视频的图像均进行人脸识别，若采用一个人脸识别模型先后对两路图像进行人脸识别，由于人脸识别的运算量大，影响时效；若采用两个人脸识别模型分别对两路图像进行人脸识别，同时运行两个人脸识别模型的运算，对硬件要求较高。
75.在本实施例中，在获取第二摄像头实时拍摄的第二图像后，无需对第二图像进行人脸识别，通过结合预先获得的偏差信息和第一图像中的第一人脸框，即可获取第二图像中的第二人脸框。该偏差信息为第一摄像头和第二摄像头之间成像的偏差，比如两个图像的质心之间的偏差、颜色的偏差或者关键像素点的偏差；该偏差信息预先存储在配置文件中，在获得第一图像的第一人脸框后，从配置文件中调取偏差信息，结合第一人脸框和偏差信息计算获取第二图像上的第二人脸框。由于根据第一人脸框和偏差信息计算第二人脸框的运算量远远低于进行一次人脸识别的运算量，因此，本实施例中只需通过运行一次人脸
识别的计算，即可获得双目摄像头上两个图像的人脸框。
76.在一些可选的实施例中，偏差信息通过以下方式获得：在双目摄像头中获取同一时刻的两张图像，分别计算两张图像的质心。图像的质心，也称为图像的重心；对于x方向的质心，图像在质心左右两边像素和相等；对于y方向的质心，图像在质心上下两边像素和相等。获得两个图像的质心后，计算两个质心之间的偏差作为偏差信息。
77.在一些可选的实施例中，偏差信息通过以下方式获得：在双目摄像头中获取同一时刻的两张图像，检测识别该两张图像的关键点(如双眼上的点，或者鼻梁上的点)，根据两个图像检测到的关键点进行位置匹配，获得两张图像上对应关键点的位置偏差作为偏差信息。
78.在一些可选的实施例中，偏差信息通过以下步骤a1-a3获得：
79.a1、获取第一摄像头预先拍摄的第三图像，对第三图像进行人脸识别，获得第一人脸特征图。
80.步骤a1中，可第一摄像头输出的视频流中获取第三图像，将第三图像输入预训练好的人脸识别模型中进行人脸识别，获得第一人脸特征图。该人脸识别模型可采用现有的模型来实现，比如基于卷积神经网络的人脸识别模型。
81.为了提高后续计算的精度，在一些实施例中，该第三图像通过以下方式挑选获取：
82.a11、获取第一摄像头预先拍摄的视频流，对视频流中所有的图像帧进行清晰度检测，获取清晰度得分最高的图像帧作为第三图像。
83.可选的，视频流中的图像可以为彩色图像，也可以为黑白图像，针对每一帧图像，获取图像的参数(比如：图像的亮度、灰度、对比度、饱和度等，其中，图象亮度是指画面的明亮程度)，根据获取的参数检测每一帧图像的清晰度，并获取清晰度最好的图像作为第三图像。
84.在一些可选的实施例中，使用图像的亮度值来评判图像的清晰度，比如亮度值越大，清晰度越高，亮度值越小，清晰度越低。从视频流中获取每一帧图像的亮度值，从所有的亮度值中获取最大的亮度值，获取该亮度值对应的图像作为第三图像。当图像为黑白图像时，对黑白图像进行扫描，获取每个像素点的灰度值，并计算所有像素点的灰度值的平均值，将该平均值作为图像的亮度值。当图像为彩色图像时，先将彩色图像转换到灰度图像，再计算灰度图像的平均灰度值作为亮度值。
85.作为一种可选的实施方式，打开第一摄像头的视频流，按照图像高度为40，宽度为40的方式，对整张图片进行清晰度检测。示例性地，视频流中的图像为彩色图像，该对视频流中所有的图像帧进行清晰度检测的步骤，包括：对视频流中的每一帧彩色图像进行扫描，获取彩色图像的亮度值，获取亮度值最高的彩色图像作为第三图像。该亮度值的计算方式如下：将彩色图像转换到灰度图像，计算灰度图像的平均灰度值作为亮度值。
86.示例性地，选一张模板图像大小40x40，以步长40扫描整张图像，可以得到图像的亮度的分数。从视频流中提取亮度值最高的图像作为第三图像。
87.a2、获取第二摄像头预先拍摄的第四图像，对第四图像进行人脸识别，获得第二人脸特征图；其中，第三图像与第四图像为相同时刻采集获得的图像。
88.获得第三图像后，可根据该第三图像的时间戳或者序列号，在第二摄像头输出的视频流中获取第四图像，即该第三图像和第四图像在采集时间上匹配。其中，可以采用与步
骤a1中相同的人脸识别模型，对该第四图像进行人脸识别，获得第二人脸特征图。在一些实施例中，在确定第三图像后，获取该第三图像在视频流中的序列号，由于双目摄像头中两个摄像头是同步采集图像的，因此根据第三图像的序列号，在第二摄像头输出的视频流中查找对应的图像，作为第四图像。由于第三图像和第四图像采集的时间相同，因此图像的内容相同。
89.a3、对第一人脸特征图和第二人脸特征图进行模板匹配，获得第一人脸特征图和第二人脸特征图的位置偏差作为偏差信息偏差信息。
90.获得第一人脸特征图和第二人脸特征图后，将两个图像进行匹配，比如像素匹配，或者颜色的匹配等。在一些可选的实施例中，该步骤a3具体包括步骤a31-a33：
91.a31、采用滑动窗口的方式，控制第一人脸特征图在第二人脸特征图上滑动；
92.a32、在每一个滑动位置上，获取第一人脸特征图和第二人脸特征图之间的重叠区域，并对重叠区域内的第一像素和第二像素进行匹配，获得匹配值；其中，第一像素为第一人脸特征图在重叠区域内的像素，第二像素为第二人脸特征图在重叠区域内的像素；
93.a33、从所有匹配值中获取最大的匹配值，获取最大的匹配值对应的滑动位置，根据获得的滑动位置获取第一人脸特征图和第二人脸特征图之间坐标偏差作为偏差信息。
94.获得第一人脸特征图和第二人脸特征图后，将第一人脸特征图作为模板图像，将第二人脸特征图作为待检测的图像，采用滑动窗口的方式，控制模板图像在待检测的图像上滑动，滑动方式可以为：在待检测图像上，从左到右，从上向下进行滑动。对于每一个滑动位置，获取第一人脸特征图和第二人脸特征图之间的重叠区域，在这个重叠区域上，计算第一人脸特征图和第二人脸特征图之间像素的匹配度；匹配程度越大，两者相同的可能性越大。计算匹配度的方式有多种，比如：方差匹配法、归一化方差匹配法、相关性匹配法、归一化的相关性匹配法、相关系数匹配法或者归一化相关系数匹配法等。本实施例采用归一化的相关性系数匹配方法进行计算，相关性系数为正值表示匹配的结果较好，负值则表示匹配的效果较差，也就是值越大，匹配效果越好。
95.在所有匹配值中获取最大的匹配值，根据该最大的匹配值获取对应的滑动位置，可以理解为：在这个滑动位置上，重叠区域对应的两个图像的内容是相同；计算该滑动位置上，第一人脸特征图和第二人脸特征图之间的坐标偏差，将该坐标偏差作为偏差信息。
96.基于该偏差信息，人脸匹配模块具体包括：
97.第一坐标子模块，用于获取第一人脸框在第一图像中的第一坐标。
98.坐标计算子模块，用于根据第一坐标和偏差信息在第二图像中获取第二坐标，根据第二坐标获取第二人脸框。
99.可选地，该第一人脸框可以为圆形框、矩形框或者正多边形框等，当第一人脸框为圆形框时，该第一坐标可通过圆心的坐标(x，y)来表征，或者也可以通过圆心的坐标(x，y)和圆形的半径r来表征，即第一坐标可以表示为(x,y,r)；当第一人脸框为正多边形框时，该第一坐标可通过正多边形的中心坐标(x，y)来表征，也可通过正多边形的中心坐标(x，y)以及边长b来表征,即第一坐标可以表示为(x,y,b)。
100.在一些可选的实施例中，该第一人脸框为矩形框，第一坐标为矩形框的对角线上两个端点的坐标值，而偏差信息为坐标向量。坐标计算子模块包括：
101.坐标点计算单元，用于根据偏差信息移动第一坐标，获得两个端点移动后的坐标
值作为第二坐标；
102.人脸框计算单元，用于根据第二坐标构建矩形框作为第二人脸框。
103.在本实施例中，第一坐标只需为两个点的坐标值，容易获得并存储；另外，根据这两个坐标值，可快速地构建矩形框，运算简单，易于实现。
104.以下结合具体实施例对上述方法进行解释说明。
105.如图4所示，双目摄像头41与服务器42连接，该服务器42可以为线上服务器(如云服务器)，也可以为线下服务器(如智能终端)。双目摄像头41向服务器输入视频流，其中，双目摄像头41中的第一摄像头输入视频流a，第二摄像头输入视频流b。服务器42从频流a从获取图像帧a1，将图像帧a1输入预先安装在服务器42中的人脸识别模块，进行人脸识别，获得第一人脸框。可选地，该第一人脸框为矩形框。
106.服务器42同时从视频流b中获取图像帧b1,该图像帧b1与图像帧a1对应，即图像帧a1与图像帧b1对应的时间戳相同。参见图5，获取第一人脸框在图像帧a1上的坐标信息，该坐标信息可以为人脸框的对角线上两个端点的坐标值，如：(x11，y11)、(x12，y12)，在图像帧b1上找到这两个坐标值对应的位置作为移动的初始位置；从数据库中调取偏差信息，根据偏差信息移动这两个端点，获得两个新的坐标值，如：(x21，y21)、(x22，y22)，根据两个新的坐标值构建第二人脸框，比如：将(x21，y21)作为左上角点，(x22，y22)作为右下角点，(x21，y22)作为左下角点，(x22，y21)作为右上角点，围成一个矩形框作为该第二人脸框。
107.上述的人脸框获取方法可应用于多种应用领域，比如应用于人脸跟踪、人脸监控或者人脸三维模型的构建中。在本实施例中，将该人脸框获取方法应用于人脸跟踪技术中；在获得人脸框后，基于肤色模型、椭圆模型、纹理模型及双眼模板等进行人脸的跟踪，其中，基于肤色模型的跟踪方法就是利用恰当的表色系统，把肤色作为实现人脸跟踪的关键信息。由于肤色信息具有对放大和缩小以及对微小变形不敏感的优点，加上人脸相对镜头的变化对肤色信息本身的影响不大，该类方法很容易在前一帧图象分析结果的基础上跟踪到后一帧图象的人脸区域，因此具有速度快、姿态不变性等特点。目前的人脸跟踪技术大都采用基于肤色模型的方法。目前，人脸跟踪技术应用的领域比较广泛，比如在海关、机场、银行、电视电话会议等场合都有应用到人脸跟踪技术，具有广泛的应用市场。
108.在一些可选的实施方式中，双目摄像头安装在视频会议上，用于实时采集会议上的视频画面，其中，根据第一摄像头中的视频画面检测人脸，对画面中的人脸进行识别以及划分，输出各个人脸对应的第一人脸框；根据输出的第一人脸框，在第二摄像头的视频画面中获取第二人脸框，如此快速获得两个摄像头对应的人脸框。后续根据第一人脸框和第二人脸框，以及预设的肤色模型实时跟踪每个人脸。在该实施例中，由于只需进行对双目摄像头中的一目进行人脸识别，就可以获得双目的人脸框，即进行一次人脸识别运算，获得两个人脸框，极大地降低了运算量，提高了跟踪效率。
109.在一些可选的实施方式中，双目摄像头安装在银行大厅内，用于实时采集大厅内人员(包括工作人员和代办理业务的人员)的图像。其中，根据第一摄像头中的视频画面检测人脸，对画面中的人脸进行识别以及划分，输出各个人脸对应的第一人脸框；根据输出的第一人脸框，在第二摄像头的视频画面中获取第二人脸框。后续根据第一人脸框和第二人脸框，以及预设的运动信息跟踪算法实现每个人脸的跟踪，提高银行监控的安全性。在该实施例中，由于只需进行对双目摄像头中的一目进行人脸识别，就可以获得双目的人脸框，间
接提高了人脸跟踪的响应速度；另外，由于根据第一人脸框计算第二人脸框的运算量少，可极大地降低硬件的要求。
110.在一些可选的实施方式中，双目摄像头安装在飞机场的大厅内，由于飞机场中的人流大，且人体移动速度快，因此需要快速地检测到人脸，才能提高人脸跟踪的速度。另外，飞机场中安装的摄像头的量非常大，如果针对每个摄像头多需要对双目进行人脸识别，则运算量是非常大的，若能通过本实施例的方法，则可减少将近一半的运算量，能够极大地缩减硬件设备的开支。当采用本实施例的人脸框获取方法时，对双目摄像头中的第一摄像头采集到的人脸图像进行人脸识别，获得第一图像上的第一人脸框。将第一图像中的第一人脸框“移至”第二摄像头采集的第二图像中，再从数据库中调取偏差信息，计算第二图像中的第二人脸框。这里需要注意的是，每个双目摄像头至少对应一个偏差信息，具体在调取偏差信息时，可根据双目摄像头的编号调取对应的偏差信息进行运算，获得第二人脸框，输出第一人脸框和第二人脸框，用于后续的人脸跟踪。在一种实施例中，由于本实施例中的人脸框获取方法只需进行一次人脸识别，即对硬件设备的运算力要求低，因此可通过在双目摄像头中架设数据处理设备，对双目摄像头采集到的图像先进行人脸识别以及人脸框计算，获得双目的人脸框后，将获得的人脸框传回后台服务器中，进行人脸跟踪，降低了后台服务器的运算压力，提高系统运算的稳定度以及运算效率。
111.如图7所示，本发明实施例提出一种脉象识别装置60，该装置60包括存储器61、处理器62、存储在该存储器上并可在该处理器上运行的程序以及用于实现处理器61和存储器62之间的连接通信的数据总线63，该程序被该处理器执行时，以实现以下如图1所示的具体步骤。
112.上述方法实施例中的内容均适用于本装置的实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
113.本发明实施例提出一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现以下如图1所示的具体步骤。
114.上述方法实施例中的内容均适用于本存储介质的实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
115.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
116.在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算
机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
117.以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。