基于视频的血流特征测定及疲劳度判定

1.本发明涉及数字图像处理、数字信号处理、深度学习、卷积神经网络在微小信号放大、图像分类等方面的应用。


背景技术：

2.随着科学发展与社会进步，人们的生活水平不断提高，高强度的生产生活与丰富的娱乐方式在不断支配人们消耗精力的同时，让疲劳这一生理现象开始流行于人群当中，很多人不知道何时就患上了慢性疲劳综合症，无法高效的工作学习与娱乐，甚至无法正常的生活。此外，每年因疲劳驾驶导致的交通事故不计其数，人们的生命财产安全受到严重威胁。因此，我们需要一种手段去实时监测并告知人们的疲劳状况，并尽可能使监测的过程不影响人们的生产生活。
3.疲劳作为一种生理表现，已有研究表明它的产生和某些生理信号有所关联，例如脑电信号、心率、眼动信号、血流信号等，这些生理信号相比于疲劳时人们表现出的行为如打哈欠、闭眼等，可能更接近疲劳的本质，而随着计算机视觉领域的发展，依靠视频画面中的像素级变化，非接触式的提取心率、眼动信号甚至血流场已经成为现实，本发明就是从血流信号与疲劳具有一定的相关性为出发点，依靠数字信号分析、数字图像处理从视频中提取血流相关信息，再建立血流信息到人体疲劳度判定的神经网络模型，搭建起由视频，到血流信息再到疲劳度这三者的桥梁。


技术实现要素：

4.本发明目的在于帮助人们在日常生活中能够方便的检测自己的疲劳状态，建立一套非接触式测定疲劳度的系统，以血流信号为媒介建立了一条由视频到血流信息再到人体疲劳程度的新型疲劳度测定途径。
5.本发明解决问题所采用的方案分为两个部分：第一部分，从视频中提取能够反映血流速的特征信息。我们可以从视频的帧序列中锁定人体皮肤的像素区域，从而得到这些像素点的像素值关于时间变化的序列，利用成像光电容积描记法等处理后确定视频中的每一个心动窗口，再从原序列设定条件过滤提取血流特征序列，这些特征记录了一个心动周期中血流信号上升或下降沿时刻，将血流特征序列与心动窗口进行匹配，计算出每一心动窗口血流特征出现的时延，由该时延可以推测血流流经目标像素点的速度，并设计了针对该时延的噪声点过滤方法。第二部分数据融合和模型训练优化。我们通过将第一部分的方法应用于一个已知疲劳度的视频组，将计算出的有效时延根据像素点的位置绘制成图，并在空间上计算梯度得到时延梯度图，该梯度图可反映血流在对应像素位置的血流相对速度大小，我将它与原图像融合相当于从视频中提炼出带有血流信息的关键帧，将该关键帧与视频疲劳度一起构成数据集在神经网络模型上进行训练，同时根据结果优化改进第一部分的算法，并得到具有较高准确率的判决模型，形成完整可靠的疲劳检测系统。
附图说明
6.图1为ippg信号基本过程
7.图2为提取出的ippg信号样例
8.图3为提取出的心动窗口示意图
9.图4为血流变化特征时刻点提取结果样图
10.图5从左到右依次是视频原帧、时延梯度图、带有血流信息的融合图像
11.图6为疲劳检测系统框架图
具体实施方式
12.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实例对本发明进行详细的描述。
13.首先是关于第一部分从视频中提取能够反映血流速度的特征信息，该部分可分为成像光电容积描记信号提取(image photoplethysmography，ippg)、心动窗口提取、血流信号特征提取、特征时延计算、噪声过滤五个过程，以下用人脸皮肤数据集为例做具体描述，这里的数据集是从uta-rldd视频数据集做进一步处理得到，每段视频都有对应的人员疲劳程度标签并且视频中的人脸几乎保持静止状态。
14.ippg信号提取：ippg是一种用于远程非接触式脉搏率测量的技术，其基本过程如图1所示。在进行ippg信号提取前，需要先确定感兴趣区域(roi)，因为ippg的作用对象应为皮肤区域，我们需要去排除面部器官的影响，同时对得到的皮肤区域像素按(1)式：
[0015][0016]
进行筛选，其中为视频第k帧roi区域(i，j)位置的rgb通道值，mk、σk分别为视频第k 帧roi区域对应通道的像素值均值和标准差，β为待定参数，根据以往研究建议取1.5。然后，对roi区域在r、g、b三通道上求均值，得到rk、gk、bk(以下用ck统称)，我需要对ck进行居中和缩放，使其独立于光源：
[0017][0018]
其中m
k，m
是ck的取相邻帧m点的均值：
[0019][0020]
经过上述操作我们可以得到进行居中缩放后的r
′k、g
′k、b
′k，为了使ippg信号提取更加简单有效，我们基于绿色信号携带最大量的搏动信息，而红色信息包含的相关信息很少，但允许补偿两个颜色通道共有的那些伪像这一假设，采用”绿-红差”法通过(4)式：
[0021]
p
′k＝g
′
k-r
′kꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0022]
将三通道三组时域变化信号转化一组信号p
′k，再进行ippg信号提取。我们使用带通滤波器将心率带宽0.8-2hz之外的频率分量抑制，通过裁剪窄高峰幅度来抑制ippg信号中的离群值，应用小波滤波抑制次级频率分量，得到质量较好的ippg信号，如图2。
[0023]
心动窗口提取：在获取ippg信号之后，我们可以通过选取参考点来划分心动窗口，即心脏完成一个跳动周期的时间段。例如，我们选择将ippg信号的波谷定为参考点，可得到t1、 t2、...、t
n 1
个由小到大的参考点时刻，由相邻的两个波谷就能确定一个心动窗口，则可
确定n个心动窗口，容易到的第n个心动窗口的起始和结束时刻分别为tn和t
n 1
，如图3，t3、t4为第三个心动窗口的起始和结束时刻。提取ippg信号和提取心动窗口的目的在于对血流在视频中上升回落的每一个周期过程有一个整体性把握，便于我们接下来的血流特征提取。
[0024]
血流信号特征提取：回到最开始得视频帧序列，这次我们需要从视频帧的像素值变化序列中提取和血流相关的特征，图4为血流特征提取结果的样图，有研究表明，由血流流动引起的皮肤颜色变化主要反映在像素的绿色通道上，因此我们选定绿色通道像素值变化序列为研究对象，设视频第t帧在位置(x，y)处的像素绿色通道像素值为g(x，y，t)，则我们跟帧数为t的帧序列，在经过去基线与平滑操作后，可以到一个一维信号序列g(x，y，t)。根据血流速度和人体疲劳的相关研究结论，我们这里采用基于下降沿映射(down edge mapping，dem) 的血流信号特征提取策略，这里的下降沿代表g(x，y，t)下降最快的时刻，我们期望g(x，y，t) 下降最快的位置能够映射血流显著回落的时刻，而血流从上升到开始回落的时延和人体疲劳又有强相关性，这样我们就可以建立从g(x，y，t)到人体疲劳的一个桥梁。令反映g(x，y，t) 中下降沿位置的特征向量dv(x，y，t)：
[0025]
dv(x，y，t)＝[dv1，dv2，...，dvn]，dvi∈{0，1}
ꢀꢀꢀꢀꢀꢀꢀ
(5)
[0026]
对于g(x，y，t)在t时刻的信号值g(x，y，t)，若满足以下条件：
[0027]
(1)g(x，y，t)的一阶导数为负。
[0028]
(2)g(x，y，t)的一阶导数在t邻近的τ个点内最小。
[0029]
(3)g(x，y，t)在t∈[t-τ，t τ]区间内存在一个极大值和极小值。
[0030]
(4)g(x，y，t)在t∈[t-τ，t τ]区间的最大值和最小值差值大于一个给定阈值。
[0031]
则dv(x，y，t)＝1，即该点为我们要标定的下降沿，否则为0。上述τ是人为设定的值，用于筛除一部分噪音点。
[0032]
特征时延计算：在确定血流下降沿特征时刻后，我们需要结合心动窗口提取的结果，在每一个心动窗口内计算血流下降特征时延。我们通过将心动窗口和下降沿位置特征向量进行匹配，即若td∈[tn，t
n 1
]且满足dv(x，y，td)＝1，则称td是和第n个心动窗口匹配的下降沿特征时刻，通常情况下，每个心动窗口可能匹配多个下降沿特征时刻t
d1
、t
d2
、...、t
dm
，这是由于血流的回落只是一种大致趋势，在其中可能伴随着几次小幅回升再下落，因此我们选取最早出现的下降沿特征时刻，用公式(6)计算第n个心动窗口的相对时延dn，该时延反映血流从上升到开始回落的时间。
[0033]dn
＝t
n-min(t
d1
，t
d2
，...，t
dm
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0034]
噪声过滤：本技术使用的噪声过滤方法分为时间阈值法和能量阈值法两部分。首先使用时间阈值法，对于位置(x，y)，我通过上述过程计算出其n个心动窗口的n个相对时延求平均值若有
[0035][0036]
则判定该点为噪音点，其中τ1为设定阈值，用于保证相对时延在时间上的稳定性。之后再用能量阈值法，选定位置(x，y)的一包含m个像素点的领域p，满足对有通过公式(8)计算我们定义的空间能量
[0037]
[0038]
若
[0039][0040]
其中τ2为设定阈值，用于保证相对时延在空间上的稳定性。
[0041]
关于第二部分数据融合和模型训练，为了能够充分利用上述提取到的血流特征信息并结合深度神经网络进行训练，本技术将原视频信息与提取到的血流特征信息进行了融合，形成了包含时间和空间信息的血流信息融合图像，再使用深度神经网络进行训练、验证和预测。
[0042]
由第一部分所介绍方法，我们得到了视频中人脸多个有效位置的相对时延，可以用来构成一张图片，其大小与原视频帧相同，我们称为基于下降沿特征时延映射图dtmap，
[0043][0044]
其中q为有效位置区域，即通过第一部分方法筛选出的非噪音点区域。之后，我们利用sobel 算子计算dtmap的梯度图g，
[0045][0046][0047][0048]
通过计算dtmap各点时延的大致梯度，我们可以得到各点血流在空间上速度大小的一个映射值图谱g，如图5，将g乘以经验因子α叠加在视频的第一帧的每一个通道上，就可以得到最终的融合图像，该图像既包含人脸本身的空间信息，又包含部分有效位置对应的血流信息在时间上的变化过程。
[0049]
最后，我们使用深度卷积网络，将图片和其对应的疲劳程度标签作为数据集进行训练，这里我们选用的是resnet-50网络，在10次交叉验证后可达到81.1％的准确率，训练结果可以帮助我们优化血流信息提取算法，也可以为我们提供一个由血流信息融合图像到疲劳程度的预测模型，形成一套完整的非接触式疲劳程度检测系统，如图6。
[0050]
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
[0051]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。