一种基于计算机视觉的非接触式呼吸检测方法

1.本发明涉及呼吸检测方法，具体涉及一种基于计算机视觉检测人体呼吸的非接触式方法，适用于特殊人群如新生儿、大面积烧伤患者以及瘫痪患者等。


背景技术：

2.呼吸是最重要的人体生命体征之一，临床对于呼吸频率及呼吸异常状态的检测主要以接触方式为主，即在患者胸廓表面贴附心电电极，通过监护仪测量呼吸运动时被测量导联之间阻抗的变化来换算出呼吸频率。
3.这种接触式的检测方法存在一定的缺点，尤其是针对特殊人群，如新生儿的皮肤发育不完善，表皮和真皮之间连接较为松散，在皮肤表面贴附电极会对新生儿的皮肤造成损伤和破坏；另外，大面积烧伤患者也不宜采用与皮肤接触的传感器或电极对其进行呼吸检测。不仅如此，在家庭监护中使瘫痪病人摆脱心电电极和导联线的束缚也具有很强的必要性。
4.非接触式呼吸检测方法包括雷达探测式、热成像式、压力式、视频式。其中雷达探测式方法容易受到不规则反射干扰；热成像式分辨细节能力较差；压力式检测主要以床垫的形式，不适用于多人检测；基于视频图像的检测方法，目前主要以视频图像颜色通道的亮度为信号，也存在着一定的缺点。
5.专利201110325533.3，公开了一种基于视频图像的非接触式生命体征检测方法，该方法中采集多个颜色通道的图像亮度的空间平均值，图像亮度的变化既包含心跳也包含呼吸信息。该方法的缺陷在于以下两点:1.容易受到周围环境亮度变化影响，如新生儿病房中护理人员走动造成的亮度变化和周围新生儿进行蓝光治疗造成的亮度干扰。2.心跳信号和呼吸信号的混叠问题，该方法是通过设置不同的截止频率将二者进行区分，该方法相对局限，因为实际生活中特殊人群的呼吸频率和心率与正常人有很大区别，如成人呼吸频率为12～20次/分钟，心率为60～100次/分钟，而新生儿呼吸频率明显高于成人，为40～60次/分钟，早产儿呼吸频率大于80次才认为是异常，如果通过设置截止频率则无法将两种信号正确筛选区分，更无法有效判断是否异常。特别地，大面积烧伤患者及其他类型患者若存在呼吸过速、心动过缓等异常情况，则更加无法在混叠信号中正确区分两种信号。
6.专利201810269026.4，公开了一种基于多摄像头的非接触式生命体征参数的无缝检测方法，该方法选取多个摄像头中包含感兴趣区域像素个数最多的颜色通道数据，克服的问题是单个摄像头检测不到人脸导致无法进行生命体征参数检测，其本质与上一种方法一样，仍然是一种通过视频图像检测不同颜色通道中反射光强度变化的方法，因此也同样涉及到信号混叠的问题。
7.专利201710519852.5，公开了一种基于摄像头与球状标记物的呼吸测量方法，该方法将球状标记物用双面胶附着在人体胸腹部，通过摄像头采集标记物轮廓半径的变化来反应呼吸运动。该方法的缺点在于，特殊人群不适合在皮肤表面使用双面胶附着标记物，尤其是新生儿和大面积烧伤患者。
8.本发明克服了现有技术中非接触式呼吸检测方法的信号混叠、附着标记物、抗干扰能力差等缺陷，本发明检测方法基于计算机视觉技术，具有信号纯净、快速实时、多目标同时检测、可实现连续监测等优点。


技术实现要素：

9.本发明提供了一种基于计算机视觉的非接触式呼吸检测方法，包括：
10.步骤1，按照固定帧率fps连续采集待测目标的视频图像，fps≥30。
11.步骤2，对采集到的视频图像进行目标检测，检测目标为单个人体，目标检测方法包括但不限于yolov5、tensorflow目标检测、r-cnn、fast-rcnn等。检测到单个人体目标后自动划分，自动划分的方法为按长度比例划分(宽度不变)，划分出视频图像中包含人体胸腹部的roi区域，计算出roi区域的面积s1。此步骤的目的是尽可能将人体目标以外的图像干扰排除。
12.步骤3，将roi区域内的图像进行语义分割，计算出人体胸腹部轮廓包含的图像面积s2。用于语义分割的工具包括但不限于segformer语义分割网络、deeplabv3 语义分割模型等，此步骤的作用是将人体胸腹部和背景图像分离，从而准确计算出roi区域内的胸腹部面积。
13.步骤4，由于受到光照、衣物图案等外界因素影响，图像进行语义分割后的可能存在k个的连通区域，面积分别为a1、a2、
……
、ak，然而这些连通域需要进一步处理才能更准确地体现人体胸腹部轮廓包含的区域。为准确计算人体胸腹部轮廓包含的图像面积，首先使用otsu算法将对图像二值化处理；然后进行开运算，即先腐蚀后膨胀，用于消除面积较小的白色区域；再对处理后的图像进行闭运算，即先膨胀后腐蚀，用于排除小型黑色区域。完成以上处理后，如果连通域个数为1时，计算出该连通域面积s2，即人体胸腹部包含的语区面积；如果连通域个数≥2时，计算最大的连通域面积，记为s2。然后计算出s2与roi区域的面积s1的比值k，即k＝s2/s1。
14.步骤5，对连续多帧图像进行步骤2至步骤4处理，获得k随时间连续变化的波形，该波形可代表人体的呼吸波形。
15.步骤6，对步骤5获得的波形进行滤波处理，滤除高频干扰信号，保留呼吸运动产生的信号。滤波处理方法包括但不限于低通滤波、卡尔曼滤波等。
16.步骤7，对过滤后的信号进行呼吸频率计算，计算方法包括但不限于峰值检测法，阈值检测法和傅里叶变换。
17.7.1)使用峰值检测法计算出波峰和波谷，针对一段时间t1(t1优选值为3～5)秒内，如果检测到w个峰值，分别为p1，p2,
……
，pw，并记录各个波峰和波谷对应的时间为t
p1
，t
p2
，
……
，t
pw
。则呼吸频率resp(单位：次/分钟)的计算公式为：
[0018][0019]
步骤8，计算得到呼吸频率后，根据不同人群各自的标准判断是否存在呼吸过速或呼吸过缓。
[0020]
步骤9，当出现“呼吸过缓”时，即进入此计算模式。可通过以下公式来判断是否发生呼吸暂停，其中f1、f2、f3为中间过程参数，其取值与n和m有关。针对一段时间t2(t2优选值
为5～30)秒内，如果检测到n个峰值和m个谷值，分别为p1，p2,
……
，pn和g1，g2,
……
，gm；并记录各个波峰和波谷对应的时间为t
p1
，t
p2
，
……
，t
pn
和t
g1
，t
g2
，
……
，t
gm
。：
[0021]
当n≤m时，l取值为[n/3]，
[0022][0023][0024][0025]
当n》m时，l取值为[m/3]，
[0026][0027][0028][0029]
然后得出三个评分数值score1、score2、score3，分别代表t2(t2优选值为5～30)秒内波形的起始段、中间段、结尾段三个部分的评分，分成三段进行评分的目的是，更加灵敏地检测这一段时间t2秒内是否存在不同程度的呼吸暂停。score1、score2、score3用于判断一段连续波形中波峰与波谷值是否趋于接近，当接近程度较高时，则认为可能发生了呼吸暂停并给出相应的评分；当接近程度较低时，则认为属于正常呼吸起伏运动引起的波动。score1、score2、score3分别由以下公式进行计算，其中ε1、ε2、ε3为人为设置参数：(这三个值与t2有关，ε1、ε2、ε3可以取t2的0.001～0.05倍，可以体现一段时间t2秒内roi区域内胸腹部面积占比变化的累计值。)
[0030][0031][0032][0033]
apnea_level＝score1 score2 score3[0034]
apnea_level是三个评分数值之和，apnea_level值为0时，代表无呼吸暂停异常；apnea_level值为1～3时，代表发生呼吸暂停异常，并且相应异常等级为ⅰ～ⅲ[0035]
有益效果
[0036]
本发明涉及的方法，直接从原始图像中获取信息，与现有技术中分离多个颜色通道并获取亮度值的做法不同，可以从胸腹部图像语义分割后的面积比变化中获得单一纯净的呼吸信号，能够避免信号混叠问题。本发明能够在准确检测呼吸频率的同时，判断在整个
过程中呼吸暂停异常是否发生，并标注发生异常的等级。
附图说明
[0037]
图1是本发明的非接触式呼吸检测的系统框图；
[0038]
图2是进行目标检测后人体区域示意图；
[0039]
图3是进行自动划分出包含人体胸腹部的roi区域示意图；
[0040]
图4是语义分割后人体胸腹部和背景图像分离示意图；
[0041]
图5(a)是实施例中进行目标检测效果图；
[0042]
图5(b)是实施例中自动划分出包含人体胸腹部的roi区域效果图；
[0043]
图5(c)是实施例中语义分割后人体胸腹部和背景图像分离效果图；
[0044]
图6(a)是提取到的呼吸波形；
[0045]
图6(b)是滤波后的呼吸波形；
[0046]
图6(c)是滤波后的呼吸波形进行峰值检测的结果；
具体实施方式
[0047]
为使本发明实施的目的、技术方案和优点更加清晰，以下结合本发明的技术方案和附图进一步详细描述：
[0048]
按照固定帧率fps连续采集待测目标的视频图像，fps＝30，因此后续涉及的信号采样频率为30hz。
[0049]
对采集到的视频图像进行目标检测，本实施例中检测目标为医院婴儿培养箱的恒温环境中的单个新生儿，采用yolov5进行检测，如图5(a)所示，当检测到新生儿人体的时候会自动框选出该区域。
[0050]
然后根据目标检测结果自动划分(按长度比例划分)出视频图像中包含人体胸腹部的矩形roi区域，如图5(b)所示，然后计算出roi区域的面积s1，即roi区域的长和宽的乘积。
[0051]
将roi区域内的图像使用deeplabv3 语义分割模型进行语义分割，设置两个分类标签，分别是新生儿人体和背景，从而将新生儿胸腹部和背景图像分离，如图5(c)所示，然后计算出新生儿胸腹部轮廓包含的图像面积s2。
[0052]
由于处于医院婴儿培养箱的恒温环境中的新生儿通常腹部皮肤处于裸露状态，所以使用otsu算法将对图像二值化处理后，进行开运算和闭运算后较容易得到1个连通域，计算该连通域的面积，即可得到s2。计算s2与roi区域的面积s1的比值k，得到k＝s2/s1。
[0053]
对连续多帧图像进行以上步骤处理，获得k随时间连续变化的原始波形，如图6(a)所示，该波形可代表新生儿的呼吸波形。
[0054]
对获得的原始信号波形进行滤波处理，滤除高频干扰信号，保留呼吸运动产生的信号，本实施例中进行了低通滤波处理，低通滤波器的阶数为8，由于采样频率为30hz，信号最高频率3hz，因此通过设置截止频率为3hz，滤除3hz以上频率成分，得到滤波后的呼吸波形如图6(b)所示。
[0055]
呼吸波形滤波结束后可以进行呼吸频率计算。由于过滤后得到的波形已经比较平滑，因此过滤后的信号波形直接使用峰值检测法检测出波峰和波谷，如图6(c)所示，在图6
(c)中
“●”
表示峰值点，“ ”表示谷值点。针对一段时间5秒内，若存在4个峰值，且第一个和最后一个峰值之间的时间差为4.5秒，则该段时间内新生儿的呼吸频率为4
÷
4.5
×
60＝53.3次/分钟。
[0056]
判断新生儿是否存在呼吸异常。若计算得到的呼吸频率＞80次/分钟，或者呼吸频率《40次/分钟，则分别可以判断该新生儿可能存在呼吸过速或者呼吸过缓。另外，当出现“呼吸过缓”时，胸腹部一段时间内无起伏动作或者起伏动作十分微弱，需要通过以下公式进行判断：
[0057]
其中f1、f2、f3为中间过程参数，其取值与n和m有关。针对一段时间20秒内，如果检测到n(n为17)个峰值和m(m为17)个谷值，分别为p1，p2,
……
，p
17
和g1，g2,
……
，g
17
；并记录各个波峰和波谷对应的时间为t
p1
，t
p2
，
……
，t
p17
和t
g1
，t
g2
，
……
，t
g17
。l取值为[n/3]，即l取值为5。
[0058][0059][0060][0061]
然后得出三个评分数值score1、score2、score3，分别代表20秒内波形的起始段、中间段、结尾段三个部分的评分。score1、score2、score3用于判断一段连续波形中波峰与波谷值是否趋于接近，当接近程度较高时，则认为可能发生了呼吸暂停并给出相应的评分；当接近程度较低时，则认为属于正常呼吸起伏运动引起的波动。score1、score2、score3分别由以下公式进行计算，其中ε1、ε2、ε3为人为设置参数，本实施例中ε1、ε2、ε3均设置为0.05：
[0062][0063][0064][0065]
apnea_level＝score1 score2 score3[0066]
apnea_level是三个评分数值之和，apnea_level值为0时，代表无呼吸暂停异常；apnea_level值为1～3时，代表发生呼吸暂停异常，并且相应异常等级为ⅰ～ⅲ[0067]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。