红外与光学图像融合的人体血压实时测量方法及装置与流程

1.本发明涉及图像处理及计算机视觉处理技术领域，具体涉及一种红外与光学图像融合的人体血压实时测量方法及装置。


背景技术：

2.目前实时测量人体血压的方法分为接触式测量和非接触式测量两种。其中接触式测量是在胳膊上佩戴测量血压的仪器直接测量血压，例如：腕式血压测量仪、臂式水银柱测压仪等。然而这种方法对于一些手臂大面积烧伤的人和刚出生的婴儿来说测量起来十分的困难。
3.而非接触式的测量方法就是用摄像头对人体血压进行测量。现在用单一的红外镜头和单一的光学镜头对人体血压实时测量的人很多。然而红外镜头采集的红外图像分辨率一般较低，缺少纹理、边缘等细节信息。这样情况下使用红外镜头测量血压会对结果造成很大的影响。光学镜头采集的图像虽然具有清晰的细节纹理信息和更高的分辨率，但是如果被检测的目标隐藏在黑暗或烟雾中却无法清晰成像，使用光学镜头测量血压也会对结果有所影响


技术实现要素：

4.本发明的目的在于提供一种红外与光学图像融合的人体血压实时测量方法及装置，利用由红外镜头组和光学镜头组构成的阵列镜头采集的视频图像，进行红外与光学图像融合避免了红外图像分辨率低，缺少纹理、边缘等细节信息以及光学图像中被检测的目标隐藏再黑暗或烟雾中却无法清晰成像问题，血压检测效果良好。
5.为了实现上述目的，本发明采用如下技术方案：
6.一种红外与光学图像融合的人体血压实时测量方法，所述方法包括：
7.获取基于阵列摄像头录制的人体视频以及同步采集的人体实测血压值，所述阵列摄像头包括光学镜头组和红外镜头组；
8.选取录制视频中的第一感兴趣区域和第二感兴趣区域并使用矩形框框出；
9.对录制视频进行分帧处理，获取第一感兴趣区域对应的第一视频帧序列和第二感兴趣区域对应的第二视频帧序列；
10.将第一视频帧序列中每一帧图像对应的绿色通道的像素灰度值和红外通道的像素灰度值进行加权融合得到第一图像组；
11.将第二图像序列中每一帧图像对应的绿色通道的像素灰度值和红外通道的像素灰度值进行加权融合得到第二图像组；
12.提取第一图像组对应的第一脉搏波信号和第二图像组对应的第二脉搏波信号；
13.基于所述第一脉搏波信号、第二脉搏波信号及所述实测血压值构建血压预测模型；
14.基于所述血压预测模型测量人体血压。
15.在一实施例中，“绿色通道的像素值和红外通道的像素值进行加权融合”的步骤包括：
16.b
f
(i,j)＝ω
i
b
i
(i,j) ω
v
b
v
(i,j)
17.其中，b
f
为加权融合后图像的像素灰度值，b
i
为红外图像中红外通道的像素灰度值，b
v
为光学图像中绿色通道像素灰度值；ω
v
为预设的光学权值，ω
i
为预设的红外权值，(i,j)为图像的像素坐标值。
18.在一实施例中，所述ω
v
如下式所示：
[0019][0020]
其中，x的取值范围为0≤x≤24。
[0021]
在一实施例中，所述ω
i
如下式所示：
[0022][0023]
在一实施例中，“提取第一图像组对应的第一脉搏波信号和第二图像组对应的第二脉搏波信号”的步骤包括：
[0024]
计算第一图像组中每一图像的像素灰度值的均值和第二图像组中每一图像的像素灰度值的均值；
[0025]
将所述第一图像组中图像的像素灰度值的均值作为纵轴，图像对应的帧数作为横轴，得到第一脉搏波信号；
[0026]
将所述第二图像组中图像的像素灰度值的均值作为纵轴，图像对应的帧数作为横轴，得到第二脉搏波信号。
[0027]
在一实施例中，“基于所述第一脉搏波信号、第二脉搏波信号及所述实测血压值构建血压预测模型”的步骤包括：
[0028]
按序提取第一脉搏波信号的波峰、波谷并获取所述波峰、波谷对应时间值；
[0029]
按序提取第二脉搏波信号的波峰、波谷并获取所述波峰、波谷对应时间值；
[0030]
将第一脉搏波信号的波峰与对应的第二脉搏波信号的波峰，二者对应的时间值做差，得到第一时间差值组；
[0031]
将第一脉搏波信号的波谷与对应的第二脉搏波信号的波谷，二者对应的时间值做差，得到第二时间差值组；
[0032]
基于所述第一时间差值组、第二时间差值组和实测血压值进行拟合近似，得到所述血压预测模型。
[0033]
在一实施例中，所述血压预测模型如下式测量人体血压：
[0034]
bp1＝a bptt1[0035]
其中，bp1表示血压预测模型预测的血压值，ptt1表示第一时间差值组和第二时间差值组的均值，a，b分别为血压预测模型的系数。
[0036]
在一实施例中，所述第一感兴趣区域为额头区域，所述第二感兴趣区域为手掌区域；和/或，所述光学镜头组包括两个光学镜头，所述红外镜头组包括两个红外镜头。
[0037]
一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的红外与光学图像融合的人体血压实时测量方法。
[0038]
一种控制装置，包括：处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的红外与光学图像融合的人体血压实时测量方法。
[0039]
本发明的优点在于：
[0040]
本发明提供的红外与光学图像融合的人体血压实时测量方法及装置，利用红外与光学图像融合避免了红外图像分辨率一般较低，缺少纹理、边缘等细节信息以及光学图像中被检测的目标隐藏再黑暗或烟雾中却无法清晰成像问题，提高血压测量精度。
[0041]
进一步地，利用融合图像的方法，使得图像更加清晰干净，测量的血压精度更高，具有更佳的测量效果。
[0042]
进一步地，本发明采用非接触的血压测量方式，避免了接触式血压测量带来的不适感。
附图说明
[0043]
图1是本发明的一种红外与光学图像融合的人体血压实时测量方法的主要步骤示意图；
[0044]
图2是本发明的构建血压预测模型的主要步骤示意图；
[0045]
图3是第一脉搏波信号和第二脉搏信号的坐标示意图。
具体实施方式
[0046]
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
[0047]
参阅附图1，图1示例性示出了一种红外与光学图像融合的人体血压实时测量方法的主要步骤。如图1所示，本发明实施例提供的红外与光学图像融合的人体血压实时测量方法，包括：
[0048]
步骤s1：获取基于阵列摄像头录制的人体视频以及同步采集的人体实测血压值。具体地，利用阵列摄像头录制人体视频并同步采集人体的实测血压值。阵列摄像头包括光学镜头组和红外镜头组，录制的视频中包括光学图像部分和红外图像部分。光学镜头组中光学镜头的数量至少为两个，本实施例中是采用两个光学镜头。红外镜头组中红外镜头的数量至少为两个，本实施例中是采用两个红外镜头。同步采集的实测血压值可以利用腕式血压测量计实施测量得到。
[0049]
步骤s2：选取录制视频中的第一感兴趣区域和第二感兴趣区域并使用矩形框框出。具体地，第一感兴趣区域和第二感兴趣区域分别对应人体的两个不同的部位。通常选取额头和手掌区域。本实施例中，第一感兴趣区域为额头区域，第二感兴趣区域为手掌区域。
[0050]
步骤s3：对录制视频进行分帧处理，获取第一感兴趣区域对应的第一视频帧序列第二感兴趣区域对应的第二视频帧序列。具体地，对录制的视频进行分帧处理，将每一帧图像的第一感兴趣区域对应的图像组成第一视频帧序列；将每一帧图像的第二感兴趣区域对应的图像组成第二视频帧序列。
[0051]
步骤s4：将第一视频帧序列中每一帧图像对应的绿色通道的像素灰度值和红外通道的像素灰度值进行加权融合得到第一图像组。具体地，对于第一视频帧序列中的每一帧
图像均包含光学镜头组采集的光学图像部分和红外镜头组采集的红外图像部分。将光学图像部分中的绿色通道的像素灰度值和红外图像部分中的红外通道的像素灰度值进行加权融合得到加权融合后的图像，将每一帧加权融合后的图像组合构成第一图像组。
[0052]
其中，绿色通道的像素值和红外通道的像素值进行加权融合的方法如公式(1)所示：
[0053]
b
f
(i,j)＝ω
i
b
i
(i,j) ω
v
b
v
(i,j)
ꢀꢀꢀ
(1)
[0054]
其中，b
f
为加权融合后图像的像素灰度值，b
i
为红外图像中红外通道的像素灰度值，b
v
为光学图像中绿色通道像素灰度值；ω
v
为预设的光学权值，ω
i
为预设的红外权值，(i,j)为图像的像素坐标值。
[0055]
其中，光学权值和红外权值如公式(2)所示：
[0056][0057]
其中，x的取值范围为0≤x≤24。因为一天24小时，所以x的取值范围为0≤x≤24，ω
i
的计算公式中乘以0.8是为了让中午12点，不只使用光学图像，红外图像也占一定比例，这样进行加权融合后得到的图像更加清晰干净。
[0058]
步骤s5：将第二图像序列中每一帧图像对应的绿色通道的像素灰度值和红外通道的像素灰度值进行加权融合得到第二图像组。步骤s5与步骤s4的原理相同，可以参考步骤s4的方法获取第二图像组，这里不再赘述。
[0059]
步骤s6：提取第一图像组对应的第一脉搏波信号和第二图像组对应的第二脉搏波信号。
[0060]
具体地，计算第一图像组中每一图像的像素灰度值的均值和第二图像组中每一图像的像素灰度值的均值；将第一图像组中图像的像素灰度值的均值作为纵轴，图像对应的帧数作为横轴，得到第一脉搏波信号；将第二图像组中图像的像素灰度值的均值作为纵轴，图像对应的帧数作为横轴，得到第二脉搏波信号。至此得到了两个感兴趣区域对应的时序脉搏信号。
[0061]
步骤s7：基于第一脉搏波信号、第二脉搏波信号及实测血压值构建血压预测模型。
[0062]
具体地，利用第一脉搏波信号中峰谷位置与对应第二脉搏波信号中峰谷位置的时间差值，与实测血压的数据关系建立血压预测模型。血压预测模型可以是神经网络模型。
[0063]
参阅附图2，图2示例性示出了构建血压预测模型的主要步骤。如图2所示，构建血压预测模型具体包括：
[0064]
步骤s71：按序提取第一脉搏波信号的波峰、波谷并获取波峰、波谷对应时间值。如图3所示，为第一脉搏波信号和第二脉搏信号的坐标示意图。其横坐标为图像帧数，纵坐标是标准化处理后的像素灰度值。图中曲线均经巴特沃斯带通滤波做平滑处理。虚线为第一脉搏波信号，实线为第二脉搏波信号。找出第一脉搏波信号中的波峰和波谷，并获取波峰和波谷出对应的时间。
[0065]
步骤s72：按序提取第二脉搏波信号的波峰、波谷并获取波峰、波谷对应时间值。同理参阅附图3，找出第二脉搏波信号中的波峰和波谷，并获取波峰和波谷出对应的时间。
[0066]
步骤s73：将第一脉搏波信号的波峰与对应的第二脉搏波信号的波峰，二者对应的时间值做差，得到第一时间差值组。即，将第一脉搏信号的第1波峰与第二脉搏信号的第1波峰对应的时间做差，得到t11，第一脉搏信号的第2波峰与第二脉搏信号的第2波峰对应的时间做差，得到t12，第一脉搏信号的第3波峰与第二脉搏信号的第3波峰对应的时间做差，得到t13，以此类推，得到的t11、t12、t13、
…
、t1n为第一时间差值组。
[0067]
步骤s74：将第一脉搏波信号的波谷与对应的第二脉搏波信号的波谷，二者对应的时间值做差，得到第二时间差值组。即将第一脉搏信号的第1波谷与第二脉搏信号的第1波谷对应的时间做差，得到t21，第一脉搏信号的第2波谷与第二脉搏信号的第2波谷对应的时间做差，得到t22，第一脉搏信号的第3波谷与第二脉搏信号的第3波谷对应的时间做差，得到t23，以此类推，得到的t21、t22、t23、
…
、t2n为第一时间差值组。
[0068]
步骤s75：基于第一时间差值组、第二时间差值组和实测血压值进行拟合近似，得到血压预测模型。
[0069]
具体地，将第一时间差值组和第二时间差值组按时序排列得到一数组，{t11、t21、t12、t22、t13、t23、
…
、t1n、t2n}，因为不同血压值对应不同的脉搏波信号流经不同区域产生的时间差，所以根据数组中时间差与血压值的对应的关系将数组划分多个子数组，例如血压值为80mmhg时，对应子数组{t11、t21、t12}；血压值为81mmhg时，对应子数组{t22、t13、t23、t14、t24}等等。将子数组中时间差求均值，得到不同血压值与时间差均值的对应关系。因为血压值与时间差均值并不是完全的线性关系，因此需要将两者进行拟合近似，血压预测模型满足公式(3)。
[0070]
bp＝a bptt
ꢀꢀꢀ
(3)
[0071]
其中，bp表示实测血压值，ptt表示时间差均值，a，b分别为血压预测模型的系数。将不同血压值与时间差均值进行拟合近似得到系数a，b。
[0072]
步骤s8：基于血压预测模型测量人体血压。
[0073]
具体地，按上述方法获取待测人体的第一时间差值组和第二时间差值组，计算第一时间差值组和第二时间差值组的均值ptt1，将该均值ptt1输入血压预测模型血压预测模型按公式(4)获取血压值：
[0074]
bp1＝a bptt1ꢀꢀꢀ
(4)
[0075]
其中，bp1表示血压预测模型预测的血压值，ptt1表示第一时间差值组和第二时间差值组的均值。
[0076]
本发明实施例还提供一种存储装置，其中存储有多条程序，该程序适于由处理器加载并执行以实现上述的红外与光学图像融合的人体血压实时测量方法。
[0077]
本发明实施例还提供一种控制装置，包括：处理器，适于执行各条程序；存储设备，适于存储多条程序；该程序适于由处理器加载并执行以实现上述的红外与光学图像融合的人体血压实时测量方法。
[0078]
综上，本发明提供的红外与光学图像融合的人体血压实时测量方法及装置，利用红外与光学图像融合避免了红外图像分辨率一般较低，缺少纹理、边缘等细节信息以及光学图像中被检测的目标隐藏再黑暗或烟雾中却无法清晰成像问题，提高血压测量精度。
[0079]
进一步地，利用融合图像的方法，使得图像更加清晰干净，测量的血压精度更高，具有更佳的测量效果。
[0080]
进一步地，本发明采用非接触的血压测量方式，避免了接触式血压测量带来的不适感。
[0081]
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0082]
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0083]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。