一种可佩戴式急诊病人异常行为监控与识别系统的制作方法

1.本发明属于医疗器械中健康监测的技术领域，特别地，涉及一种可佩戴式急诊病人异常行为监控与识别方法。


背景技术：

2.急诊病人病情重、变化快、危险性高，病人、陪护人员表现出高度的紧张、恐惧、焦虑、绝望等异常行为现象，影响了医务工作的正常进行。在抢救过程的同时加强对病人行为的观察与识别，有助于及时对病人的心理状态进行把握，为尽快做出诊断、争取抢救时机创造有利条件。
3.目前对于急诊患者的行为判别主要依靠护士人工完成，但工作量大，护士数量有限时难以照顾全面，从而发生风险。为此，也有一些人提出使用图像算法，或传感器检测的方式来进行判别。但图像算法不成熟，难以快速准确判断，而传感器检测同样无法准确区分异常行为和正常运动。虽然目前也有一些将多种数据源进行神经网络融合检测的方法，但均不是针对急诊病人的特定行为作出的识别，其网络结构及算法直接使用效果不佳，难以达到临床要求。
4.因此，目前急需一种能够快速、准确预测病人异常行为的装置。


技术实现要素：

5.为解决上述一个或多个问题，本发明提出一种可佩戴式急诊病人异常行为监控与识别方法，利用可佩戴的传感器设备捕捉急诊病人行为活动的相关数据，结合急诊室内安装的摄像设备所拍摄的病人图像画面对急诊病人的行为进行综合分析，实时监控病人行为，识别病人异常行为，向医护人员发出警告。本发明创新的结合智能传感器技术、数据智能分析技术等先进技术，识别急诊病人异常行为并提前预测可能导致的风险，有助于减轻医护人员工作量，提高医院对急诊业务风险的应急处置能力。
6.一种可佩戴式急诊病人异常行为监控与识别系统，包括可佩戴式终端、摄像机和服务器；
7.(一)可佩戴式传感器采集急诊病人行为的加速度数据；
8.(二)摄像机采集急诊病人行为的图像数据，并进行预处理：
[0009][0010]
其中，md、m
d-1
分别为连续采集d张图像中的第d、d-1张图像，为与之对应的高斯差分变换后的图像；
[0011]
取使(3)式最小的σ值，记为并利用该参数对采集到的每帧图像作高斯滤波：
[0012]
[0013]
(三)服务器根据(一)获得加速度数据，及(二)获得预处理后图像数据，实施对急诊病人的异常行为监控、识别：
[0014]
按(二)的方法完成预处理；设每次拍摄的图像记为m
t
，预处理后图像记为t表示拍摄图像的时序，m
t-1
表示m
t
之前一次拍摄的图像，m
t 1
表示m
t
之后一次拍摄的图像；则
[0015][0016][0017][0018]
其中，max、min分别表示在由α1,β1和α2,β2定义的局部范围内取像素的最大、最小值；
[0019]
中央处理装置开始监控后，每获得一张图像可根据式(5)-(7)获得相应的滤波光流微分图以及设距离t时刻最近一次采集到的加速度数据为向前取最近的t次加速度数据，即根据上述滤波光流微分图、及最近的t次加速度数据建立神经网络模型，用于识别当前时刻病人行为是否异常；
[0020]
神经网络模型的输出为：
[0021][0022]
其中，
[0023][0024][0025]
上式中ω3(∈,u,v)、ω4(∈,u,v)表示权值；u1(u,v)与v1(u,v)分别为滤波光流微分图经过网络模型后的输出；
[0026][0027]
上式中ω
41
(∈,τ)、ω
42
(∈,τ)、ω
43
(∈,τ)分别表示加速度时序序列的第τ个元素的x、y、z分量的值与q(∈)之间的权值，b1、b2、b3表示线性偏移。
[0028]
该终端为手环。
[0029]
该终端为手机。
[0030]
摄像机固定设置在医院诊室或病房。
[0031]
摄像机具有数据发送模块，用于将图像数据发送至服务器。
[0032]
服务器设置在医院的信息中心。
[0033]
服务器用于接收可佩戴式终端发送的加速度数据，和一个或多个摄像机发送的图像数据。
[0034]
上述数据发送通过无线网络实现。
[0035]
无线网络为4g、5g网络、wifi、蓝牙。
[0036]
该终端具有加速度传感器。
[0037]
本发明的发明点及技术效果：
[0038]
1、本发明提出一种可佩戴式急诊病人异常行为监控与识别方法，利用可佩戴的加速度传感器设备捕捉急诊病人行为活动的相关加速度数据，结合急诊室内安装的摄像设备所拍摄的病人图像画面对急诊病人的行为进行综合分析，实时监控病人行为，识别病人异常行为，向医护人员发出警告。特别是，专门建立能够融合加速度数据和图像数据两种不同类型数据的神经网络结构，并优化了神经网络的具体算法，从而建立了图像、加速度变化与病人行为的关系，从而可根据相关输入数据快速、准确预测病人异常行为的发生概率。
[0039]
2、对图像数据利用高斯差分卷积核等方法进行预处理，使其更适合后续神经网络的处理，在保证主要图像数据不丢失的情况下，压缩了数据量，提高了后续判别的速度和准确性。
[0040]
3、提出一种基于光流微分图的方法，判断病人是否位于病床上，并进一步自动控制监控的实施或暂停，更加智能，避免无价值的图像占用服务器资源，提高系统的整体响应速度和有效利用率。
附图说明
[0041]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。在附图中：
[0042]
图1是本发明实施方法图。
具体实施方式
[0043]
急诊病人异常行为的监控与识别系统，包括可佩戴式终端、摄像机、服务器。
[0044]
其中可佩戴式终端用于采集病人的加速度数据。该终端可以为专门的手环，也可以与其他产品融合。例如可以在患者的身份识别手环上设置加速度传感器和通信部件，从而构成能够检测患者加速度数据的身份手环；也可以使用患者手机等自有设备，通过app将采集的患者加速度数据传输至服务器。
[0045]
摄像机固定设置在医院诊室或病房，用于采集患者行为的图像数据。摄像机可以为多个，从而使得拍摄范围覆盖患者可能行动的区域。摄像机同样集成有数据发送模块，用于将图像数据发送至服务器。
[0046]
服务器设置在医院的信息中心，用于接收可佩戴式终端发送的加速度数据，和一个或多个摄像机发送的图像数据，并根据这些数据对病人行为进行分析，对异常行为进行预警。服务器可以包括中央处理器。
[0047]
上述数据发送通过无线网络实现，例如4g、5g网络、wifi、蓝牙等。
[0048]
具体实现步骤，如下：
[0049]
(一)利用可佩戴式终端采集急诊病人行为的加速度数据
[0050]
采用可佩戴式终端采集加速度数据，将传感器置于病人身着衣物上并固定，使传感器采集到的数据与病人行动相关。
[0051]
所述可佩戴式终端，指微型的、易于固定在病人身着衣物上的移动装置。传感器内部置有加速度计与传送数据的无线信号收发装置，分别用于测量可佩戴式终端的加速度数据，及将数据传递给中央处理装置。
[0052]
可佩戴式终端建议安装在病人上身的胸部、背部等位置，以能随病人上身运动、且不影响正常行动和医学检查行为、易于固定为佳。
[0053]
所述中央处理装置，指用于接收、存储和处理数据的计算机设备，为每个监控诊室配置一台中央处理装置，接收各传感器传递的数据。
[0054]
所述加速度计指工业用三轴加速度计，以一定频率测量并输出某时刻设备在前后、上下、左右三轴方向上的加速度投影值，任一时刻的测量输出值称为瞬时加速度，数学上用一向量表示，记为其三个分量分别记为
[0055]
加速度计随时间变化测得的离散、顺序的瞬时加速度为向量组成的集合，记为：
[0056][0057]
|a|表示集合a中元素的个数，n表示采集的序数，为集合中一个元素。
[0058]
可佩戴式终端从开启时开始采集加速度数据，每一时刻采集到数据后实时传递给中央处理装置。
[0059]
(二)利用摄像机采集急诊病人行为的图像数据，并进行预处理
[0060]
利用安装于室内的摄像机拍摄室内图像，并生成基于图像的急诊病人行为数据。
[0061]
在急诊诊室内高处安装一台摄像机，并调整拍摄角度和范围至病床区域。摄像机实时拍摄病床区域内的图像并将图像数据传递给步骤1所述中央处理装置；中央处理装置根据图像数据分析并形成行为的预测。
[0062]
在摄像机一端对直接拍摄的图像进行预处理，去除室内光照可能带来的过曝光、欠曝光等现象，生成光照分布稳定的图像序列。
[0063]
采集到一帧图像m后，对其作高斯差分变换：
[0064][0065]
式1中φ(i,j,σ)为高斯差分卷积核，φm(u,v)为变换结果，表示卷积运算符，u,v表示图像像素坐标，i,j表示卷积核元素坐标，σ表示高斯差分卷积核的参数，并且：
[0066][0067]
π为圆周率。在摄像机启动时，连续采集d张图像，并计算σ＝1,2,4,8,16时下式3的值：
[0068]
[0069]
其中，md表示连续采集d张图像中的第d张图像，为与之对应的高斯差分变换后的图像。m
d-1
表示连续采集d张图像中的第d-1张图像，为与之对应的高斯差分变换后的图像。
[0070]
取使(3)式最小的σ值，记为并利用该参数对采集到的每帧图像作高斯滤波：
[0071][0072]
完成预处理。bm为图像m经预处理后的图像。并传递给中央处理装置。
[0073]
(三)根据步骤(一)获得加速度数据，及步骤(二)获得预处理后图像数据，实施对急诊病人的异常行为监控、识别
[0074]
步骤3.1在监控诊室及病床无人的条件下，按步骤(二)所述方法拍摄一张图像r并预处理获得图像br，称为参考图像。
[0075]
步骤3.2当需要实施监控时，在步骤3.1完成条件下，进入监控过程。
[0076]
监控过程中，摄像机实时拍摄图像并按步骤(二)所述方法完成预处理。设每次拍摄的图像记为m
t
，预处理后图像记为t表示拍摄图像的时序，m
t-1
表示m
t
之前一次拍摄的图像，m
t 1
表示m
t
之后一次拍摄的图像。定义光流微分图：
[0077][0078]
式(5)定义了相继采集的两张图像之间的像素变化度量，反映了图像中某个像素的变化情况。当光流微分图中某个像素的取值较大时，该像素所对应的物体发生运动的几率较大，如果该像素对应于病人，则病人发生活动和行为的几率较大。
[0079]
为了减少环境噪声对光流微分图的干扰，进一步对其进行处理：
[0080][0081][0082]
max、min分别表示在由α1,β1和α2,β2定义的局部范围内取像素的最大、最小值。经过式6、7获得滤波后的光流微分图以降低环境噪声干扰。
[0083]
对拍摄和预处理后的每张图像计算其与参考图像br的相关性。
[0084][0085]
单竖线表示绝对值符号。当的高于阈值φc时，认为病人在病床上，开始对病人行为的监控，否则认为病人不在病床上，暂停对病人的监控，以防止误报警。经实验后优选阈值φc＝0.7.
[0086]
式(8)中，γr分别为br的局部特征图，分别为γr的均值，并且：
[0087][0088]
其中f为特征模板矩阵：
[0089][0090]
上述基于高斯模板改进的特征模板可以更好的提取图像的局部特征，并过滤点状噪声，提高相关性计算的命中率。
[0091]
中央处理装置开始监控后，每获得一张图像可根据式5-7获得相应的滤波光流微分图设距离t时刻最近一次采集到的加速度数据为向前取最近的t次加速度数据，即
[0092]
根据上述滤波光流微分图、及最近的t次加速度数据建立神经网络模型，用于识别当前时刻病人行为是否异常。神经网络模型的输入为上述数据，模型输出由下列式定义。
[0093]
定义：
[0094][0095][0096]
其中ω1、ω2表示2个独立卷积核，通过模型学习确定，1≤i,j≤11表示卷积核窗口的相对位置坐标。b0表示卷积后的线性偏移，通过模型学习确定。ξ函数为使线性卷积非线性化的函数，定义如下：
[0097][0098]
非线性化函数ξ的分段结构有助于防止模型在优化过程中陷入局部极值，可提高模型对行为拟合的性能。lnα为自然对数函数，对负输入起抑制作用，有助于降低模型的虚警率。
[0099]
进一步的，定义：
[0100][0101]
上式中ω3(∈,u,v)表示u1(u,v)与w(∈)之间的权值，ω4(∈,u,v)表示v1(u,v)与w(∈)之间的权值，上述权值通过模型学习确定。w是一个64维向量，w(∈)表示其中第∈个
分量。b1表示线性偏移，通过模型学习确定。ξ为(12)定义的非线性化函数。
[0102]
上式建立了图像相关特征与病人行为之间的关系。
[0103]
进一步的，定义：
[0104][0105]
上式中ω
41
(∈,τ)、ω
42
(∈,τ)、ω
43
(∈,τ)分别表示加速度时序序列的第τ个元素的x、y、z分量的值与q(∈)之间的权值，上述权值通过模型学习确定。q是一个64维向量，q(∈)表示其中第∈个分量。b2表示线性偏移，通过模型学习确定。ξ为(12)定义的非线性化函数。
[0106]
上式建立了加速度的变化与病人行为的关系。
[0107]
进一步的，定义：
[0108][0109]
上式中μ1(∈)、μ2(∈)分别表示与w(∈)、q(∈)对应的权值，上述权值通过模型学习确定。b3表示线性偏移，通过模型学习确定。ξ为(12)定义的非线性化函数。上式综合建立了图像、加速度变化与病人行为的关系。通过上述式10-15建立的神经网络模型综合建立了图像的局部特征、图像的全局特征及加速度变化与病人行为的关系。
[0110]
ψ为神经网络的输出，当ψ＝1时，表示根据输入检测出病人行为异常，当ψ＝0时，表示根据输入检测出病人行为正常。
[0111]
根据步骤1方法，采集病人在病床上发生异常行为之前的t次加速度数据；根据步骤2所述方法，采集病人在病床上发生异常行为时的近两幅图像并进行预处理，作为对模型10-15学习的训练样本，该类样本标记为1；重复采集若干组上述样本。
[0112]
根据步骤1方法，采集病人在病床上未发生异常行为之前的t次加速度数据；根据步骤2所述方法，采集病人在病床上未发生异常行为时的近两幅图像并进行预处理，作为对模型10-15学习的训练样本，该类样本标记为0；重复采集若干组上述样本。
[0113]
将上述两类样本、标记分别作为模型的输入、输出，根据消费函数(cost function)迭代优化获得10-15中待学习的参数。消费函数γ定义为：
[0114][0115]
表示样本的标记值，ψ表示根据输入由模型计算的输出值。η表示偏移参数，优选η＝0.015可提高模型收敛的速度。
[0116]
采用上述消费函数学习确定模型10-15的参数。学习完成后，当检测到病人在病床上，采用模型10-15对病人行为实施监控，当检测到模型输出ψ》φ
ψ
时，认为病人行为异常，向医护人员发出警告。经过实验优选阈值φ
ψ
＝0.65。
[0117]
表1
[0118][0119]
表1给出采用本发明方法对急诊病人行为异常监控的检测准确率与虚警率，测试结果表明本发明方法能够较好的识别典型的急诊病人异常行为，同时虚警率较低，有助于减轻医护人员工作量，提高医院对急诊业务风险的应急处置能力。