基于光度立体视觉三维重建的人脸疲劳分析方法

1.本发明涉及人脸疲劳度分析技术领域，具体为基于光度立体视觉三维重建的人脸疲劳分析方法。


背景技术：

2.光度立体视觉(photometric stereo)技术是一种被动式的单一视角测量方法，基于不同方向的光源条件下被测物体图像的阴影信息、亮度信息和反射信息，从而重建被测物体的面部三维精细特征。因光度立体视觉具有重建精度高、价格低廉等优势，因此已被广泛引用于医学治疗、文物保护、游戏开发及人脸重建等领域。光度立体视觉技术可以重建出被测物体的面部三维精细特征，因此可以为疲劳分析问题的求解提供更多的信息。
3.疲劳风险的预测问题的求解方法一般是分析被测人的面部视频信息来检测被测人的疲劳状态，该方法已被广泛应用于实时检测驾驶员在驾驶过程中的疲劳情况。因为驾驶员在处于疲劳状态时其面部会出现可视化的疲劳特征如瞳孔大小和视线方向的变化、头部位姿和面部表情的变化、眨眼睛和打哈欠等人脸五官运动的时序信息变化等，所以通过视频监测如上视觉特征可以分辨出驾驶员驾驶时的疲劳状态。但这样的方法需要摄像装置实时检测驾驶员脸部疲劳特征，既容易受室外环境中复杂光照的影响而无法提取到驾驶员面部的疲劳特征信息，又无法预测驾驶员的疲劳情况，有一定的局限性。


技术实现要素：

4.本发明的目的在于提供基于光度立体视觉三维重建的人脸疲劳分析方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：基于光度立体视觉三维重建的人脸疲劳分析方法，包括以下步骤：
6.步骤一、采集多幅被测人二维面部图像；
7.步骤二、将被测人二维面部图像合成被测人面部的三维精细特征图像；
8.步骤三、确定被测人二维面部图像中眼睛的位置，并将黑眼圈部分分离出来；
9.步骤四、提取彩色人脸图像中斑点的二维坐标，并用二维坐标找到对应的面部三维精细特征矩阵z；
10.步骤五、去除眼部灰度图像过暗和过亮的区域，再使用frangi滤波得到红色的眼部血丝图像；
11.步骤六、预测被测人的工作时间。
12.优选的，所述步骤一中的采集多幅被测人二维面部图像，为在不同led灯源照射作用下拍摄到的。
13.优选的，所述步骤二中的三维精细特征图像为通过光度立体视觉算法将被测人的多幅二维面部图像合成所得。
14.优选的，所述步骤三中，使用adaboost分类算法和带积分图的haar-like特征找到
拍摄得到的被测人二维面部图像中眼睛的位置，并使用聚类算法将黑眼圈部分分离出来，计算并储存黑眼圈区域和非黑眼圈区域中心点处的灰度差值c1。
15.优选的，所述步骤四中，使用高斯拉普拉斯算子提取彩色人脸图像中斑点的二维坐标，并用二维坐标找到对应的面部三维精细特征矩阵z，使用奇异值分解的方法得到量化的噪声信息，若噪声信息大于设定值，则可判定该斑点为面部缺陷，记数量为n。
16.优选的，所述步骤五中，采用阈值法去除眼部灰度图像过暗和过亮的区域，再使用frangi滤波得到红色的眼部血丝图像，与眼睛的大小相比较得到比值c3。
17.优选的，所述步骤六中，将c1、n、c3代入预设的经验公式或将c1、n、c3输入已经训练好的bp神经网络模型可预测被测人的工作时间。
18.与现有技术相比，本发明的有益效果是：
19.在工作前对被测人进行疲劳特征分析，预测被测人的工作时间，可以减少被测人在工作时疲劳的可能性，进而预防工作事故的发生。并且使用光度立体视觉三维重建得到人员的面部三维精细特征和人脸彩色照片信息等多维度结合的方式预测被测人的工作时间，提高了预测的准确度。同时，为了使用被测人的疲劳特征更准确预测其工作时间，本发明使用每个被测人不同时间的疲劳特征和工作时间数据训练bp神经网络，降低了因被测人体质不同，导致疲劳特征和工作时间的对应关系也不同的可能性。另外，因为去除了被测人面部存在的噪声，尽可能还原出准确的被测人面部法向量，提高了重建的精度。
附图说明
20.图1为本发明一种基于光度立体视觉的疲劳预测方法的步骤流程图；
21.图2为本发明拍摄被测人面部二维图像的示意图；
22.图3(a)为本发明的实施例中恢复得到的被测人面部三维精细特征图像；
23.图3(b)为本发明的实施例中恢复得到的被测人面部三维精细特征图像；
24.图4为本发明的实施例中拍摄得到的二维彩色人脸图像；
25.图5(a)为本发明的实施例中使用adaboost分类器分割得到的人眼图像；
26.图5(b)为本发明的实施例中去除人眼图像眼睫毛上方干扰信息、带有黑色三角标签的人眼图像；
27.图5(c)的白色部分为本发明的实施例中通过颜色聚类定位找到的黑眼圈区域；
28.图6为本发明的实施例中使用log算子检测并经过处理去除干扰信息后的斑点图像；
29.图7(a)为本发明实例中有面部缺陷信息的人脸面部三维精细特征图像；
30.图7(b)为本发明实例中使用奇异值分解修补面部缺陷信息的人脸面部三维精细特征图像；
31.图8(a)为本发明实例中输入的带有血丝信息的眼部图像；
32.图8(b)为本发明实例中原图像经过frangi滤波过滤后得到的二值图像
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.请参阅图1-8(b)，本发明提供一种技术方案：基于光度立体视觉三维重建的人脸疲劳预测方法，包括以下步骤：
35.步骤一、采集在不同led光源照射作用下所拍摄得到的多幅被测人二维面部图像，
36.步骤二、使用光度立体视觉算法，将采集得到的多幅被测人二维面部图像合成被测人面部的面部三维精细特征图像；
37.步骤三、使用adaboost分类算法和带积分图的haar-like特征找到拍摄得到的被测人二维面部图像中眼睛的位置，并使用聚类算法将黑眼圈部分分离出来，计算并储存黑眼圈区域和非黑眼圈区域中心点处的灰度差值c1；
38.步骤四、使用高斯拉普拉斯(laplace of gaussian,log)算子提取彩色人脸图像中斑点的二维坐标，并用二维坐标找到对应的面部三维精细特征矩阵z，使用奇异值分解(singular value decomposition,svd)的方法得到量化的噪声信息，若噪声信息大于设定值，则可判定该斑点为面部缺陷，记数量为n；
39.步骤五、阈值法去除眼部灰度图像过暗和过亮的区域，再使用frangi滤波得到红色的眼部血丝图像，与眼睛的大小相比较得到比值c3；
40.步骤六、将c1、n、c3代入预设的经验公式或将c1、n、c3输入已经训练好的bp神经网络模型即可预测被测人的工作时间。
41.其中步骤一的具体实施方式为：
42.固定ccd相机的位置，使其拍摄方向尽可能和待测位置垂直；
43.将多个led光源设置在ccd相机周围不同位置，使每个led光源的光线能均匀照向待测位置；
44.设置led光源照亮的方式，使每一个led光源都能独立发光；
45.控制led光源依次点亮，在每个单独的led光源点亮情况下拍摄被测人面部的二维图像，拍摄的二维图像和led光源的数量相同。
46.其中步骤二的具体实施方式为：
47.根据拍摄得到的被测人面部二维图像，计算出被测人面部的表面法向量；在求解被测人面部表面法向量时，因为受到一些噪声(如高光、阴影等)的影响，所求解的被测人面部表面法向量和真实值有一定的误差。本发明提供一种核函数的最小二乘法，尽可能减少噪声对结果的影响。实验表明，被测人面部越近似郎伯体表面，所求得的被测人面部表面法向量的误差越小，具体实施方式如下：
48.根据标定所得的数据，构造误差函数如下：
[0049][0050]
其中为第i个像素，p为被测人人脸像素总个数，q为灯光的个数，ii为q
×
1的灰度像素向量，li为3
×
q的灯光矩阵，ni为3
×
1的表面法向量，ρi表示为该像素点在各个灯光下的反射率值，代表ρi向量矩阵的每一个元素乘以向量对应位置的元素，li和ρi通过标定得到；构造目标优化函数：
[0051][0052]
对上述目标优化函数进行k次迭代求解：
[0053]
初始化w
i,0
为q
×
q的单位矩阵，最大迭代次数为k
max
，最小误差为e
min
＝10-6
，n
i,0
＝0，c为接近零但大于零的实数，这里设c＝0.01；
[0054]
对第k次迭代求解相应的n
i,k
，其中：
[0055][0056]
则第k代误差函数为：
[0057][0058]
更新权重函数：
[0059][0060]
为q
×
1的向量，diag将对角元素q
×
1的向量转化为只有对角元素的q
×
q对角矩阵；
[0061]
若||n
i,k-n
i,k-1
||≤e
min
或||e
i,k-e
i,k-1
||≤e
min
，则停止迭代。
[0062]
根据计算得到的被测人面部的表面法向量，计算得出被测人面部的梯度向量；
[0063]
根据计算得出的被测人面部的梯度向量，对其积分得出被测人面部的面部三维精细特征。
[0064]
其中步骤三的具体实施方式为：
[0065]
根据带积分图的haar-like特征训练adaboost分类器，对图4使用训练好的adaboost分类器定位被测人左右眼位置，得到图像如图5(a)所示；
[0066]
使用低阈值threshold＝0.1将被测人左右眼灰度图像转化为二值图像，得到眼睫毛位置，其所采用的二值化转换公式为：
[0067][0068]
其中，bw(i,j)为被测人眼部二值图像矩阵i行j列的像素值，gray(i,j)为被测人眼部灰度图像矩阵i行j列的像素值；
[0069]
根据被测人眼部二值图像的黑色像素点坐标位置，使用最小二乘法拟合一次方程，将被测人眼部rgb彩色图像分割成带有黑色三角标签的图像如图5(b)所示；
[0070]
将上述分割后的被测人左右眼rgb图像转化为lab图像，并将其第2、3通道使用聚类算法得到颜色分类后的多幅图像；
[0071]
对聚类所得到图像使用中值滤波、闭运算去除噪声并圆滑图像，将其转化为二值图像；
[0072]
筛选出聚类后的带有黑色三角标签的图像；
[0073]
筛选后的黑眼圈图像像素距离一次方程的平均几何距离最小，所得到最小距离的图像就是黑眼圈所在的图像。
[0074]
其中步骤四的具体实施方式为：
[0075]
使用laplace of gaussian(log)算子卷积拍摄得到的被测人面部二维图像，得到平滑后的面部图像，其中卷积表达公式为：
[0076][0077]
其中b表示为输入的图像，a是经过卷积后平滑的面部图像，*表示为图像卷积操作；
[0078]
对平滑后的被测人面部图像寻找局部极值并排序，较大的20个极值区域视为斑点区域；
[0079]
设定阈值，排除鼻孔等过大或过小或颜色过深的n个斑点的二维坐标，如图6所示；
[0080]
通过已找出的斑点二维坐标，在光度三维重建后的面部三维精细特征中找出每个面部三维精细特征矩阵
[0081]
对第i个斑点的面部三维精细特征矩阵zi奇异值分解(svd)，将噪声信息矩阵分离出来，第i个斑点的噪声信息矩阵所有元素的绝对值求平均得到ri，如图7(a)、图7(b)所示，其中图7(a)红色方框区域为被测人脸部面部缺陷处的面部三维精细特征，图7(b)红色方框区域为被测人脸部面部缺陷处修补后的面部三维精细特征；
[0082]
设定阈值tthreshold，若ri》tthreshold，则判定第i个斑点为面部缺陷，记面部缺陷的数量为n；
[0083]
将该被测人每一天的面部缺陷数量n储存在excel表格中
[0084]
其中步骤五的具体实施方式为：
[0085]
输入被测人眼睛或使用adaboost分类器裁剪的被测人眼睛照片矩阵irgb(rgb图像)和i(灰度图像)，如图8(a)所示，假设
[0086]
为了排除照片中高光对检测结果的影响，设定较高的阈值t
high
＝0.75，设max(i)为照片矩阵i中最大元素的值，若i(i,j)》t
high
*max(i)，*max(i)，则i(i,j)＝0，记高光区域的位置为集合ω
high
；
[0087]
为了快速找到瞳孔的位置和排除眼睫毛对接下来操作的影响，设定较低的阈值t
low
＝0.35，设max(i)为照片矩阵i中最大的元素值，若i(i,j)《t
low
*max(i)，则i(i,j)＝0，记瞳孔、眼睫毛的位置为集合ω
low
，可以认为这一部分区域为眼睛除了眼白之外的区域；
[0088]
对眼睛图像矩阵i使用frangi滤波得到滤波后的图像矩阵i’，若(i,j)∈ω
low
∪ω
high
,则i
′
(i,j)＝0；
[0089]
将i
′
转化为二值图像矩阵，找到最大连通区域b，b储存了i
rgb
和i某些像素点的位
置，即在实例中为图8(b)红色方框区域；
[0090]
若处于b位置的像素点在i
rgb
图像中符合红色的范围，则区域b为即为血丝所在区域，进行下一步；若处于b位置的像素点在i
rgb
图像中不符合红色的范围，则在连通区域里删除b，重复上一步，经处理所得到的图像再经rgb编码处理；
[0091]
记集合ω
low
的元素个数为n
low
，记集合b的元素个数为n
red
，
[0092][0093]
将c3储存在excel表格中。
[0094]
其中步骤六的具体实施方式为：
[0095]
整理数据，将同个人不同时间的数据整理在一起，并按时间升序排列数据，记每个人有i组数据，需要预测的数据为第j组数据，记其特征量为c
1,j
、c
2,j
、c
3,j
；
[0096]
记c
2,1
＝0为第1组数据的c2，对于该被测者的第组数据有：
[0097]c2,j
＝n
j-1-njꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0098]
输入第i组数据被测人真实的工作时间，记为rtimei；
[0099]
将每组数据中的c
1,j
、c
2,j
、c
3,j
作为神经网络的输入，rtimej作为神经网络的输出，训练bp神经网络模型，其中
[0100]
将需要预测的c
1,i
、c
2,i
、c
3,i
输入训练好的bp神经网络模型，输出值rtimei即为预测的被测人的工作时间。
[0101]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0102]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。