一种对患者健康状况进行分析监测的方法与流程

技术特征：
1.一种对患者健康状况进行分析监测的方法，其特征在于：构建利用病房内安装的监控摄像头和放在护理人员值班室的监控终端对患者进行健康状况检测的系统，该系统将面部表情识别、人体姿态估计和手部姿势估计结合起来，将摄像头采集到的患者的表情、姿态和手势数据进行融合，利用融合后的信息综合分析患者的健康状况；患者在病房内出现四种情况时系统需要发出警报，通知护理人员留意观察患者健康的情况，以减轻医院护理人员工作压力。2.根据权利要求1所述的一种对患者健康状况进行分析监测的方法，其特征在于：所述面部表情识别的识别过程包括两部分：人脸预处理和面部表情分类；面部表情分为危险表情、待观察表情和安全表情，当系统识别到患者的表情为危险表情时，系统将会发出警告，立即通知护理人员前往病房查看患者的状况；当系统识别到患者的表情为待观察表情时，系统只需发出预警，提醒医护人员留意观察患者在病房内的情况；当系统识别到患者的表情为安全表情时，系统不用发出任何预警，护理人员无需将全部精力放在观察病房内的患者身上。3.根据权利要求2所述的一种对患者健康状况进行分析监测的方法，其特征在于：患者面部表情识别过程具体包括以下步骤：s1，首先从输入的图片中利用基于cascadecnn的人脸检测算法识别找出目标区域，根据intraface检测到的关键点来裁剪人脸区域，这些关键点用来提取眉毛、眼睛、鼻子和嘴巴的轮廓，并将图片进行归一化处理；s2，然后从归一化处理后的图片中提取能够最大程度上表达整个人脸面部的特征信息；s3，最后将s2得到的特征信息送到softmax分类器中进行表情分类。4.根据权利要求2所述的一种对患者健康状况进行分析监测的方法，其特征在于：所述危险表情至少包括发怒、厌恶、恐惧和伤心；所述待观察表情至少包括惊讶；所述安全表情至少包括中性和开心。5.根据权利要求1所述的一种对患者健康状况进行分析监测的方法，其特征在于：所述人体姿态估计是利用目标检测算法生成人体建议框，再在框内利用基于热图回归的关键点回归算法进行人体关键点回归；将人体姿势分为站立、坐下、平躺和摔倒；提取出患者身体的18个关键点，通过计算关键点之间的欧氏距离来估计患者的姿势；利用膝盖与臀部两处关键点之间的欧氏距离判断患者的身体姿势是站立还是坐下；结合患者与病床之间的位置关系，若患者在病床上，且臀部和颈部两处关键点在竖直方向上的欧氏距离较为接近，则患者是在平躺，系统还需进一步通过面部表情或者手部姿势分析患者的健康状况；若患者没有在病床上且臀部和颈部两处关键点之间在竖直方向上的欧氏距离较为接近，则判断患者摔倒了，需要立即发出警报并通知护理人员前往病房查看患者健康情况。6.根据权利要求5所述的一种对患者健康状况进行分析监测的方法，其特征在于：所述人体姿态估计过程如下：首先通过改进版mobilenet对人体进行检测得到包含一个人的bounding box；然后利用目标检测算法生成人体建议框，再在框内利用基于热图回归的关键点回归算法进行人体关键点回归；用heatmap来表示关键点的粗略位置，而heatmap最大值对应关键点的实际位置。7.根据权利要求1所述的一种对患者健康状况进行分析监测的方法，其特征在于：所述
手部姿势估计是提取手部21个关键点，对21个关键点进行排序，手掌根部为起始关键点，每根手指上有四个关键点，通过计算手部关键点之间的欧氏距离和关键点与手掌根部关键点的角度关系来识别患者手部的姿势；将手部姿势分为握紧和张开；根据手掌掌心与手指指心的欧氏距离和角度关系判断手部姿势是握紧还是张开。8.根据权利要求7所述的一种对患者健康状况进行分析监测的方法，其特征在于：对患者的手部姿势进行估计，采用的是用于手部关键点检测的resnet
‑
50网络模型，通过计算提取的手部21个关键点之间的欧氏距离和关键点与手掌根部关键点的角度关系来识别患者手部的姿势；患者一般在危险的情况下会握紧双手，根据这个特性，利用得到的手部姿势辅助患者的面部表情和身体姿势来对患者的健康情况进行分析。9.根据权利要求1所述的一种对患者健康状况进行分析监测的方法，其特征在于：所述四种情况具体包括：（1）如果系统能够检测到患者的面部表情，通过分析患者的面部表情得到患者的心理活动，从而在患者出现危险表情时，系统发出警报，护理人员能够及时做出反应；（2）如果系统能够检测到患者的面部表情和手部姿势，利用面部表情和手部姿势相结合判断患者的心理活动，当患者出现危险表情时，会出现握紧拳头的姿势，此时系统会发出警报,及时通知护理人员查看患者健康状况；（3）如果系统无法检测到患者的面部表情，通过患者的身体姿态分析患者的健康状况：在得到患者的颈部和臀部两处关键点在竖直方向上坐标相近后，结合患者与病床之间的位置关系判断患者是摔倒还是平躺：患者在病床上是平躺，没有在病床上是摔倒，患者摔倒时要及时通知护理人员；没有发生摔倒时还可以进一步通过患者的手势判断患者的心理情绪，当患者握紧双手时，护理人员要提高警惕，时刻注意患者的健康情况；（4）如果系统无法检测到患者的面部表情和身体姿态，在只能凭借患者的手部姿势判断患者的健康情况下，通过手部关键点距离的变化判断患者双手是否握紧；当无法检测到患者的面部表情和身体姿态，且双手处于握紧状态时，护理人员及时收到系统发出的警报关注患者的健康状况，并且能够迅速做出反应。10.根据权利要求1所述的一种对患者健康状况进行分析监测的方法，其特征在于：所述系统以pytorch1.9.0深度学习框架为基础，至少包括mobilenet网络模型和resnet
‑
50网络模型；至少包括基于cascadecnn的人脸检测算法、目标检测算法和关键点回归算法。

技术总结
本发明公开了一种对患者健康状况进行分析监测的方法，属于目标识别技术领域，构建利用病房内安装的监控摄像头和放在护理人员值班室的监控终端对患者进行健康状况检测的系统，该系统将面部表情识别、人体姿态估计和手部姿势估计结合起来，将摄像头采集到的患者的表情、姿态和手势数据进行融合，利用融合后的信息综合分析患者的健康状况；患者在病房内出现四种情况时系统需要发出警报，通知护理人员留意观察患者健康的情况，以减轻医院护理人员工作压力。本发明较全面的实现了对病房内患者健康情况的分析，从而在患者出现危险情况时，护理人员能够及时做出反应，保障了患者的生命健康，减轻了护理人员的工作压力。减轻了护理人员的工作压力。减轻了护理人员的工作压力。


技术研发人员：张立国 王磊 金梅 耿星硕 孟子杰 申前 秦芊 杨红光
受保护的技术使用者：燕山大学
技术研发日：2021.08.25
技术公布日：2021/11/23