一种基于异常检测的实时老人跌倒检测方法

1.本发明属于计算机视觉与模式识别、图像处理和智能生活领域，具体为一种基于异常检测原理实时红外检测老人跌倒的方法。


背景技术：

2.进入21世纪以来，人口持续高速增长，且老年人口在总人口所占的比例中也在持续增高，人口老龄化问题日益严重。老年人由于体内各器官的生理机能发生一定的衰退，从而导致出现各式各样负面生理现象，如反应迟钝、行动迟缓、平衡能力下降等等，这一系列的因素使得老年人发生跌倒事件的概率大大增加。对于老年人而言，跌倒后没有得到及时救治很有可能会引发一系列疾病，严重威胁老年人的生命安全。现实生活中，独居老人的现象普遍，独居老人跌倒后得不到及时救治导致瘫痪甚至死亡的情况频频发生。因此，为了保障老年人的日常生活安全，研发实时监测老年人跌倒系统有一定的社会与市场需求。
3.如今现有的传统跌倒检测技术可分为三大类：声频信号检测(如m.popescu,y.li,m.skubic and m.rantz,"an acoustic fall detector system that uses sound height information to reduce the false alarm rate,"200830th annual international conference of the ieee engineering in medicine and biology society,2008,pp.4628-4631,doi:10.1109/iembs.2008.4650244.)，传感器检测(如bagal
à
f,becker c,cappello a,chiari l,aminian k,hausdorff jm,zijlstra w,klenk j.evaluation of accelerometer-based fall detection algorithms on real-world falls.plos one.2012；7(5):e37062.doi:10.1371/journal.pone.0037062.epub 2012may 16.pmid:22615890；pmcid:pmc3353905.)，图像检测(如amira ben mabrouk,ezzeddine zagrouba,abnormal behavior recognition for intelligent video surveillance systems:a review,expert systems with applications,volume91，2018,pages 480-491,issn 0957-4174,)。本文将在现有的跌倒检测技术中的图像检测类别中提出一种实时红外跌倒检测系统。
4.在声频信号检测中，通过麦克风阵列自动检测跌倒(y.li，k.c.ho and m.popescu，"a microphone array system for automatic fall detection"，in ieee transactions onbiomedical engineering，vol.59，no.5，pp.1291-1301，may 2012，doi：10.1109/tbme.2012.2186449.)，获得了高达100％的灵敏性和97％的特异性，但存在不足之处，假设人物缓慢地跌倒在地，发出的声音较微弱，此时声音传感器并不能有效的捕获跌倒的声音。再者，若人物处于较嘈杂的环境时，声音分辨效果欠佳，跌倒识别效果比较一般，误报率较高。
5.佩戴传感器检测跌倒广泛使用(如kangas,m.,konttila,a.,lindgren,p.,winblad,i.,andt.comparison of low-complexity fall detection algorithms for body attached accelerometers.gait posture,2008,28,285
–
291.)，使用传感器检测跌倒的灵敏性好、特异性好。常见的传感器检测跌倒可细分为两类，一类是基于阈值的跌
倒检测，另一类是基于机器学习的跌倒检测。基于阈值的跌倒检测原理主要是使用加速度传感器检测人物是否处于失重状态，检测人物空间方向上的瞬时加速度变化判断人物是否跌倒，(如hsieh,c.-y.；liu,k.-c.；huang,c.-n.；chu,w.-c.；chan,c.-t.novel hierarchical fall detection algorithm using a multiphase fall model.sensors 2017,17,307.)。maarit kangas等人(m.kangas,a.konttila,i.winblad and t.jamsa,"determination of simple thresholds for accelerometry-based parameters for fall detection,"200729th annual international conference of the ieee engineering in medicine and biology society,2007,pp.1367-1370,doi:10.1109/iembs.2007.4352552.)通过在腰部、手腕和头部佩戴三轴加速度传感器分别测量跌倒检测的加速度阈值检测跌倒，结果表明从腰部和头部进行的测量效果最好。理论上把传感器佩戴在头部的识别效果最好，但考虑到实用性与合理性，把传感器佩戴在腰部进行跌倒检测是个更合适的选择。
6.基于机器学习的跌倒检测原理主要是使用训练数据构建模型来预测或检测跌倒，输入跌倒事件和adl(activities of daily living)训练分类器，得到跌倒检测的模型。曹荟强等人运用加速度传感器结合隐马尔可夫模型建立跌倒过程的概率模型进行跌倒检测([1]曹荟强,林仲志,吴水才.基于隐马尔可夫模型的老年人跌倒行为检测方法研究[j].中国生物医学工程学报,2017,36(02):165-171.)，获得了高达98.2％的准确率、91.3％的灵敏度和99.6％的特异性，测试效果好。但仍存在不足之处，假设人物缓慢跌倒在地，垂直方向上的加速度变化不明显，此时跌倒检测效果一般。此外，常应用于跌倒检测机器学习分类方法有支持向量机(如duan kb.,keerthi s.s.(2005)which is the best multiclass svm method？an empirical study.in:oza n.c.,polikar r.,kittler j.,roli f.(eds)multiple classifier systems.mcs2005.lecture notes in computer science,vol 3541.springer,berlin,heidelberg.)、随机森林决策(如罗丹,罗海勇.基于随机森林的跌倒检测算法[j].计算机应用,2015,35(11):3157-3160,3165.doi:10.11772/j.issn.1001-9081.2015.11.3157.)、朴素贝叶斯、k-nearestneighbor(如a.t.；barshan,b.detecting falls with wearable sensors using machine learning techniques.sensors 2014,14,10691-10708.https://doi.org/10.3390/s140610691)等。然而跌倒检测算法大部分使用传统的手工提取特征点进行跌倒动作分类，其分类的标准和准确率受到一定的人为因素影响。实际上，长时间佩戴传感器很有可能影响到老年人的日常生活质量，增添老年人身体机能负担，且若老年人从事复杂度较高的活动，误报率较高。
[0007]
近年来计算机视觉迅速发展，运用摄像机实时监测人物跌倒成为可能。相对传感器而言，摄像机价格低廉，且不会干扰被监测人的正常生活。再者，图像能够提供更多、更丰富关于人物及其周围环境的信息，提取更多的视觉线索，如人物的位置、人物的运动状态以及人物的姿态等。xin ma等人(x.ma,h.wang,b.xue,m.zhou,b.ji and y.li,"depth-based human fall detection via shape features and improved extreme learning machine,"in ieee journal of biomedical and health informatics,vol.18,no.6,pp.1915-1922,nov.2014,doi:10.1109/jbhi.2014.2304357.)在跌倒视频片段中的每一帧提取人体轮廓的曲率尺度空间(css)特征，并组合成css序列(bocss)表示动作,使用极限学习机(elm)识别出摔倒的动作，最后结合一种可变长度粒子群优化算法进行优化，结果达到
91.15％的灵敏度、77.14％的特异性和86.83％的准确性。jia-luen chua等人(chua,jl.,chang,y.c.&lim,w.k.a simple vision-based fall detection technique for indoor video surveillance.sivip 9,623
–
633(2015).https://doi.org/10.1007/s11760-013-0493-7)从视频帧中提取人体中三个不同的质心点来表示人物形状，能够更有效地提供人体上半身和下半身的动作变化信息，使得实时监测人物跌倒中得到了更高的精度。vineet mehta等人(v.mehta,a.dhall,s.pal and s.s.khan,"motion and region aware adversarial learning for fall detection with thermal imaging,"202025th international conference on pattern recognition(icpr),2021,pp.6321-6328,doi:10.1109/icpr48806.2021.9412632.)基于对抗性学习框架，提出一种双通道的对抗性学习框架，并在图像中提取roi及其生成的光流和联合鉴别器来学习时空特征，结果表明roi和差异损失函数明显增强了检测的效果。在双通道的对抗性学习框架中，一个通道输入的是热图像帧，另一个通道输入的是光流图像帧，两种图像帧融合的性能明显优于单纯热分析方法。
[0008]
声频信号检测跌倒会受到声音微弱、声音杂乱等影响，而佩戴传感器设备检测跌倒又会影响到老年人的日常生活，然而利用图像检测跌倒能够有效解决上述的问题。本文提出一种使用红外图像作为原始输入的跌倒检测方法，红外图像作为原始输入能够有效克服光线强弱等影响，并且能够避免识别到人物身份以保障个人隐私。相较于利用声频信号、佩戴传感器检测跌倒，利用红外图像作为原始输入检测跌倒显然更适用于检测老年人跌倒。在人物追踪方面，考虑到光流图常用于分析物体的运动状态，于是通过把红外图像输入到预先训练好的flownet2中计算得到光流图像，结合红外图像与光流图像结合形成红外光流对输入到状态识别网络中检测人物位置与状态，并使用卡尔曼滤波追踪人物。
[0009]
目前基于图像的跌倒检测已取得一定的成效，主流的动作识别网络会使用整张图像作为输入检测人物动作，因为人物动作和人物周围得场景具有较大的关联性，考虑到检测人物跌倒场景一般位于特定环境，并且检测的动作单一，动作的发生具有偶然性与环境关联不大。于是本文中的动作识别网络仅是检测目标框内的动作，使得动作识别网络聚焦于目标的跌倒动作，识别效率更高。再者，基于图像的实时跌倒检测方法比较罕见。在本文中使用状态识别网络全天实时监测并跟踪人物，通过人物状态的切换定位人物动作，若人物状态为“站立”或“坐下”等正常状态，则表示没有发生异常；若人物状态为“躺下”时，此时表示发生异常，进一步激活动作识别网络检测动作，若异常分数高于阈值则认定为跌倒事件。利用状态识别网络和动作识别网络联合实现实时检测更为简单有效、实用性更高，实时效果更优。
[0010]
综上所述，尽管目前基于异常检测的实时老人跌倒检测方法取得一定的成效。但是，为了满足实际生活中的应用要求，迫切需要在人物跌倒检测的准确率、实时性方面做出更进一步的改进。


技术实现要素：

[0011]
本发明在于提供一种基于异常检测的实时老人跌倒检测方法，旨在解决现有的跌倒检测场景数据集缺失、数据本身特殊性和针对动作识别实时性差的问题。提出一种人物旋转拍摄和半自动标注的方法来获得训练数据集和一种状态识别网络和动作识别网络联
合判别的方法，具体包括：
[0012]
步骤一，利用人物旋转拍摄和半自动标注方法构造数据集训练模型；
[0013]
步骤二，联合红外图和光流图检测人物位置和状态；
[0014]
步骤三，基于人物状态切换的方法定位时序动作；
[0015]
步骤四，动作识别网络预测跌倒异常分数；
[0016]
步骤五，状态识别网络和动作识别网络联合获得跌倒识别结果。
[0017]
进一步，所述一种基于异常检测的实时老人跌倒检测方法，其特征在于，步骤一所述人物旋转拍摄是指首先选取室内环境作为拍摄地点，人以各种姿势位于转盘处模拟真实场景，然后，旋转转盘拍摄得到人不同方向的红外图像，将红外摄像头安装在转盘中心的不同方位，以同样方法旋转转盘获得人不同背景的红外图像，重复操作构造大量人不同状态的图像。
[0018]
进一步，所述一种基于异常检测的实时老人跌倒检测方法，其特征在于，步骤一所述半自动标注方法是指将拍摄获得的红外图像进行otsu阈值分割，利用opencv内置连通区域标记函数获得二值图像的连通区域，进一步获得连通区域的外接矩形，通过筛选获得目标矩形框。筛选策略为，对于不同人物状态的二值图，设定不同的目标矩形的长宽比范围和矩形面积范围，对于每一个矩形框，若长宽比或矩形面积不在设定范围内则直接剔除，而对于满足范围要求的矩形框，计算其长宽比与设定长宽比范围的中值和矩形面积与设定矩形面积范围中值的距离，将距离转化为所占范围比例，求出长宽比比例与面积比例的和作为异常得分，选取得分最小的框作为算法最终的矩形框。最后，由人工检查图片，将有明显标注错误的矩形框做出调整，获得最终数据集。
[0019]
进一步，所述一种基于异常检测的实时老人跌倒检测方法，其特征在于，步骤二所述联合红外图和光流图检测人物位置和状态是指，构造一个状态识别网络，其检测过程是对于连续两帧红外图像，使用flownet2计算其代表上一帧运动趋势的光流图，将当前帧红外图和上一帧到当前帧的光流图按通道堆叠为《红外,光流》对作为输入，然后thermal-flow yolov4预测人物的位置和状态。状态识别网络的训练策略为，利用旋转构造的数据作为数据集，单独训练thermal-flow yolov4，使得网络学习红外特征，能够预测红外图像中人物位置和状态，接着，使用人物正常活动的连续视频序列训练整个跌倒检测网络，使得thermal-flow yolov4同时学会光流特征获得更准确的预测结果。
[0020]
进一步，所述一种基于异常检测的实时老人跌倒检测方法，其特征在于，步骤三所述基于人物状态切换的方法定位时序动作是指，本专利将跌倒动作的开始和结束看作是人物单帧状态的切换过程，即人的跌倒是人由“站立”到“躺下”或“坐着”到“躺下”状态的切换。定位时，保存状态识别网络的状态识别结果，并维持一个队列保存红外和光流图片序列，当状态变更至“躺下”时，将当前帧前8张红外和光流图作为动作片段输入到动作识别网络。
[0021]
进一步，所述一种基于异常检测的实时老人跌倒检测方法，其特征在于，步骤四所述动作识别网络预测跌倒异常分数是指剔除状态识别网络识别结果的人物周围环境，将仅含人物的16张红外光流图动作片段按通道叠在一起作为动作识别网络的输入，首先使用1
×
1卷积核将光流和红外图像进行特征融合，获得压缩的融合特征向量，标准流(normalizing flow)将融合特征向量映射到隐空间，将预定义的分布与映射在隐空间的分
布求均方差获得异常分数。由于训练过程均为正常活动，故标准流学习到的为人的正常动作，当跌倒发生时，异常分数将很高，可以通过设定一个阈值，大于阈值的异常分数就认定为跌倒事件，反之则为正常活动。
[0022]
进一步，所述一种基于异常检测的实时老人跌倒检测方法，其特征在于，步骤五所述状态识别网络和动作识别网络联合获得跌倒识别结果是指，为实现动作检测的实时性，在仅通过单帧图像就能判断人必然正常活动的情况下，使用状态识别网络实时检测跟踪人，在人具有跌倒动作可能的情况下联合动作识别网络判别。具体为，状态识别网络全天实时检测跟踪人，当网络检测到人物状态为“站立”或“坐下”时，为正常状态，当网络检测到人“躺下”时，此时激活动作识别网络检测跌倒事件，动作识别网络将此时前8帧红外和光流图作为输入，进一步确认动作类型，若异常分数低于阈值则为正常躺下事件，反馈至状态识别网络，标注为正常状态，直到状态识别网络识别到下一次异常，若异常分数高于阈值则认定为跌倒事件，发出警报。状态识别网络和动作识别网络共同工作实现跌倒的实时检测。
[0023]
本发明提供的一种基于异常检测的实时老人跌倒检测方法，与现有技术相比，本发明具有如下优点和效果：目前，红外行人检测数据集尤其是跌倒数据集还较少，而真实世界的跌倒数据收集难度大，于是本发明提出一种人物旋转拍摄和半自动标注的方法来获得训练数据集；目前，动作识别和动作起始时间定位是视频分析的难点。基于多帧动作分类的检测网络计算开销大，并且较难确定视频中动作的起始和终止阶段。本发明根据人物跌倒的特征，提出一种低功耗全天实时监控检测的算法，即时序动作定位算法；本发明考虑到跌倒检测人物一般位于特定环境，并且检测的动作单一，于是设计了一个仅检测人物框的动作识别网络，使得网络更加专注于跌倒动作本身。本发明提出了一个结合红外图像和光流图像的目标检测网络。根据人会对运动的物体提高注意力原理，网络将原始红外图像融合光流图像作为输入，在杂乱的室内环境下结合运动信息，提高网络对光流图像中运动区域的注意力，从而整体提高人物检测精度；目前绝大多数的动作识别网络都是一个多分类网络，输出各动作的概率。在检测跌倒动作时，这种方法显然不适用，一方面日常生活中人物的动作类别极多，另一方面跌倒动作的数据集较少，实际收集不太现实，于是多分类网络训练困难。本发明提出一种基于异常检测的跌倒动作识别方法。利用较易获得的人日常活动的视频数据作为异常检测网络的训练数据，使得网络学习人物正常活动的运动特征，当跌倒动作发生时，输入动作样本的预测结果将会落到特征分布的边缘，最终获得较高的异常分数，从而检测到跌倒动作。
附图说明
[0024]
图1是本发明实施例提供的一种基于异常检测的实时老人跌倒检测系统结构示意图；
[0025]
图1中：(a)为图像预处理模块、(b)为目标检测模块、(c)为红外-光流融合模块、(d)为异常检测模块。其中(a)(b)构成状态识别网络，(c)(d)构成动作识别网络。
[0026]
图2是本发明实施例提供的一种基于异常检测的实时老人跌倒检测的主要步骤。
[0027]
图3是本发明实施例提供的拍摄构造数据集的示意图。
[0028]
图4、5是本发明实施例提供的相邻的像素之间的连通关系示意图。
[0029]
图6是本发明实施例提供的flownets结构示意图。
[0030]
图7是本发明实施例提供的yolov5结构示意图。
[0031]
图8是本发明实施例提供的人物状态切换的方法定位时序动作算法流程图。
[0032]
图9是本发明实施例提供的人物状态切换的方法定位时序动作示意图。
[0033]
图10是本发明实施例提供的异常检测网络的耦合层。
[0034]
图11是本发明实施例提供的状态识别网络和动作识别网络联合实时判别流程图。
具体实施方式
[0035]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0036]
下面结合附图及具体实施例对本发明的应用原理作进一步描述。
[0037]
如图2所示，本发明实施一种基于异常检测的实时老人跌倒检测方法方法包括以下步骤：
[0038]
s101，利用人物旋转拍摄和半自动标注方法构造数据集训练模型；
[0039]
s102，联合红外图和光流图检测人物位置和状态；
[0040]
s103，基于人物状态切换的方法定位时序动作；
[0041]
s104，动作识别网络预测跌倒异常分数；
[0042]
s105，状态识别网络和动作识别网络联合获得跌倒识别结果。
[0043]
步骤s101所述的半自动标注方法是指将拍摄获得的红外图像进行otsu阈值分割，利用opencv内置连通区域标记函数获得二值图像的连通区域，进一步获得连通区域的外接矩形，通过筛选获得目标矩形框。筛选策略为，对于不同人物状态的二值图，设定不同的目标矩形的长宽比范围和矩形面积范围，对于每一个矩形框，若长宽比或矩形面积不在设定范围内则直接剔除，而对于满足范围要求的矩形框，计算其长宽比与设定长宽比范围的中值和矩形面积与设定矩形面积范围中值的距离，将距离转化为所占范围比例，求出长宽比比例与面积比例的和作为异常得分，选取得分最小的框作为算法最终的矩形框。最后，由人工检查图片，将有明显标注错误的矩形框做出调整，获得最终数据集。
[0044]
步骤s102所述的联合红外图和光流图检测人物位置和状态是指，构造一个状态识别网络，其检测过程是对于连续两帧红外图像，使用flownet2计算其代表上一帧运动趋势的光流图，将当前帧红外图和上一帧到当前帧的光流图按通道堆叠为《红外,光流》对作为输入，然后thermal-flow yolov4预测人物的位置和状态。状态识别网络的训练策略为，利用旋转构造的数据作为数据集，单独训练thermal-flow yolov4，使得网络学习红外特征，能够预测红外图像中人物位置和状态，接着，使用人物正常活动的连续视频序列训练整个跌倒检测网络，使得thermal-flow yolov4同时学会光流特征获得更准确的预测结果。
[0045]
步骤s103所述的基于人物状态切换的方法定位时序动作是指，本专利将跌倒动作的开始和结束看作是人物单帧状态的切换过程，即人的跌倒是人由“站立”到“躺下”或“坐着”到“躺下”状态的切换。定位时，保存状态识别网络的状态识别结果，并维持一个队列保存红外和光流图片序列，当状态变更至“躺下”时，将当前帧前8张红外和光流图作为动作片段输入到动作识别网络。
[0046]
步骤s104所述的动作识别网络预测跌倒异常分数是指剔除状态识别网络识别结
果的人物周围环境，将仅含人物的16张红外光流图动作片段按通道叠在一起作为动作识别网络的输入，首先使用1
×
1卷积核将光流和红外图像进行特征融合，获得压缩的融合特征向量，标准流(normalizing flow)将融合特征向量映射到隐空间，将预定义的分布与映射在隐空间的分布求均方差获得异常分数。由于训练过程均为正常活动，故标准流学习到的为人的正常动作，当跌倒发生时，异常分数将很高，可以通过设定一个阈值，大于阈值的异常分数就认定为跌倒事件，反之则为正常活动。
[0047]
步骤s105所述的状态识别网络和动作识别网络联合获得跌倒识别结果是指，为实现动作检测的实时性，在仅通过单帧图像就能判断人必然正常活动的情况下，使用状态识别网络实时检测跟踪人，在人具有跌倒动作可能的情况下联合动作识别网络判别。具体为，状态识别网络全天实时检测跟踪人，当网络检测到人物状态为“站立”或“坐下”时，为正常状态，当网络检测到人“躺下”时，此时激活动作识别网络检测跌倒事件，动作识别网络将此时前8帧红外和光流图作为输入，进一步确认动作类型，若异常分数低于阈值则为正常躺下事件，反馈至状态识别网络，标注为正常状态，直到状态识别网络识别到下一次异常，若异常分数高于阈值则认定为跌倒事件，发出警报。状态识别网络和动作识别网络共同工作实现跌倒的实时检测。
[0048]
如图1所示，本发明实施例的一种基于异常检测的实时老人跌倒检测方法主要由为图像预处理模块(a)、目标检测模块(b)、红外-光流融合模块(c)、异常检测模块(d)组成。
[0049]
图像预处理模块(a)，用于将红外图像输入flownet2计算得到光流图，与对应红外图组成含两张图片的红外-光流对，作为人物检测网络输入。
[0050]
目标检测模块(b)，用于目标检测网络输出概率最大的人物矩形框，然后将获得的roi mask运用于红外图像序列和光流序列。
[0051]
红外-光流融合模块(c)，用于将仅包含人物的红外和光流图像序列堆叠在一起，运用1
×
1卷积核融合空间和时间信息。
[0052]
异常检测模块(d)，用于将融合特征向量输入到nf异常检测网络中获得异常分数。
[0053]
本发明的具体实施例：
[0054]
本发明方法的整体流程如图2所示，本发明方法主体包括五部分：1)利用人物旋转拍摄和半自动标注方法构造数据集训练模型；2)联合红外图和光流图检测人物位置和状态；3)基于人物状态切换的方法定位时序动作；4)动作识别网络预测跌倒异常分数；5)状态识别网络和动作识别网络联合获得跌倒识别结果。
[0055]
1.利用人物旋转拍摄和半自动标注方法构造数据集训练模型
[0056]
1.1构造数据训练集
[0057]
获取原始数据集：由于人跌倒的情况难以预测和捕捉，用红外摄像头进行旋转拍摄获取实验数据。设定图片画面比例为16:9，分辨率为1280
×
720。拍摄时以室内环境作为拍摄地点为主，人以站立、坐、平躺，三种姿势于一个足够大的转盘上进行拍摄，将红外摄像头固定于转盘外一处，实验时距离为2.5m，如图3。然后以的速度旋转转盘，旋转一圈完成拍摄，得到人不同方向的红外图像。
[0058]
1.2半自动标注拍摄的数据集
[0059]
使用半自动标注法进行数据处理来标注矩形框，先通过算法获取矩形框，再进行
人工判断是否标注有误。算法具体分为两步：
[0060]
第一步，使用otsu最大类间方差法(maximization of interclass variance)进行数据帧的阈值分割实现人像和背景大致分离，得到人像的二值图(binary image)。用opencv将读取的数据帧转化为灰度图，设图像的平均灰度为g，图像的像素总数为m，灰度级i从0～255取值，各灰度级的像素数为ci，各灰度级的概率为pi，可得如公式(1)所示
[0061][0062]
由灰度图像的直方图可得到公式(2)所示结果
[0063][0064]
设阈值为t，阈值将0～255的图像中灰度分布分为两部分，第一部分取值[0,t]，第二部分取值(t,255]，设第一部分的概率p1如公式(3)所示
[0065][0066]
设第二部分的概率p2如公式(4)所示
[0067][0068]
设第一部分的平均灰度g1如公式(5)所示
[0069][0070]
设第二部分的平均灰度g2如公式(6)所示
[0071][0072]
所以可得g1和g2与g关系：g是g1和g2的加权平均和，即公式(7)所示
[0073][0074]
设最大类间方差miv如公式(8)所示
[0075][0076]
代入(7)式，化简得到公式(9)
[0077]
[0078]
当某个t使得miv最大时，也就是背景和人像的方差最大时，此时是能将人像和背景分离的最佳时机，使用遍历法得到最佳的t，将t遍历0～255取值，找到分割最好的阈值。
[0079]
第二步，进行自动标注，用opencv进行连通区域分析(connectedcomponentanalysis&labeling)。二值化后的图像的连通区域(connectedcomponent)是指图像中具有相同像素值且位置相邻的像素点组成的图像区域(regionblob)。相邻的像素之间的连通关系一般有如图4，5，两种关系。连通区域分析是指将图像中的各个连通区域找出并标记，一般用矩形框将其标出。使用python版的opencv内置函数语句，如：retval,labels,stats,centroids＝cv2.connectedcomponentswithstats(image[,labels[,stats[,centroids[,connectivity[,type]]]]])，即可完成该操作。其中image为输入的图像；retval为返回值是连通区域的数量；labels是一个与image一样大小的矩形；stats为外接矩形的5个参数：每一个连通区域的外接矩形的起始坐标x、y，外接矩形的长l、宽w，labels对应的连通区域的像素个数s；connectivity为图像的通道数；type为输出图像标签类型；centroids为是连通区域的质心。通过该函数可初步得到连通区域的多个外接矩形。由于会出现将画面背景中其他物体框出的情况，所以需要对人像的矩形框的相关特征预设一定范围大小，用这些值来从众多矩形框中筛选出符合的人像的矩形框。而人像的矩形框主要有两个特征值：矩形长宽比、矩形在画面中的占比。以第一步中设定的画面比16:9，分别在站立、坐、平躺三种姿势下都预设两个特征值的范围，设画面总面积s，设站立姿势的矩形框长宽比的范围r1为3≤r1≤10.5，设坐姿势的矩形框长宽比的范围r2为1.8≤r2≤2.4，设平躺姿势的矩形框长宽比的范围r3为0.1≤r3≤0.5，设站立姿势的矩形框面积s1与画面总面积s之比的范围为设坐姿势的矩形框面积s2与画面总面积s之比的范围为设平躺姿势的矩形框面积s3与画面总面积s之比的范围为
[0080]
对于某一状态下的一个矩形框，先看其面积占比是否在该状态下的范围内，如果是，再判断长宽比是否在该状态下的范围内，若都符合，则说明该矩形框初步符合；不符合，则剔除该矩形框。对于初步符合的矩形框，设其长宽比为r'，面积为s'，该状态下矩形的长宽比中值为r0，长宽比范围的长度为l1，面积中值为s0，面积范围的长度为l2，设长宽比r'离长宽比范围中值r0的距离和长宽比范围长度l1之比如公式(10)所示
[0081][0082]
设面积s'离面积范围中值s0的距离和面积范围长度l2之比pr2如公式(11)所示
[0083][0084]
设置异常得分p，如公式(12)所示
[0085]
p＝pr1 pr2(12)再选取得分最小的矩形框作为最终的矩形框。
[0086]
最后进行人工评判，对于机器选取的矩形框进行复检，如果有明显错误，则进行人
手再次调整；没有，则完成数据的标注和构建。
[0087]
2.联合红外图和光流图检测人物位置和状态
[0088]
构造一个状态识别网络，其检测过程是对于连续两帧红外图像，使用flownet2计算其代表上一帧运动趋势的光流图，flownet2是基于cnn的光流预测算法，flownet的基本工作思路如图6输入端为待求光流的图像对i_1，i_2，输出端为预测的光流w。其中w＝cnn(θ,i_1,i_2)；其中w，i_1,i_2均为x，y的函数，x，y为图像中像素的位置坐标。θ为cnn中待学习的参数。通过调节θ，来使网络具有光流预测的能力。网络由编码模块和解码模块组成，编码模块均为9层卷积加relu激活函数层，解码模块均为4层反卷积加relu激活函数层；根据不同的输入将flownet分为两种网络来实现网络具有光流预测的能力，分别是：flownets(flownetsimple)和flownetc(flownetcorr)。flownet2是flownet基础上增加了训练数据，改进了训练策略的增强模板；我们选择flownets作为光流预测网络，把它迁移到此计算对于连续两帧红外图像其代表上一帧运动趋势的光流图，将预训练的flownet2嵌入网络中实现端到端的检测网络，这样可以发挥gpu并行性加速光流计算以达到提高计算速度与计算精度。
[0089]
将当前帧红外图和上一帧到当前帧的光流图按通道堆叠为《红外,光流》对作为输入，然后利用yolov5预测人物的位置和状态。
[0090]
yolov5是一种单阶段目标检测算法，该算法在yolov4的基础上在输入端、基准网络、neck网络、head输出层做出改进；如在输出层的训练模型阶段实现mosaic数据增强、自适应锚框计算、自适应图片缩放；在基准网络融合focus结构与csp结构；在neck网络backbone与最后的head输出层之间插fpn pan结构；在head输出层中改进了损失函数。yolov5的框架原理图如图7所示，yolov5具有较快的速度和较高的精度。
[0091]
状态识别网络的训练策略为，利用步骤s101所述的旋转构造的数据作为数据集，单独训练yolov5，使得网络学习红外特征，能够预测红外图像中人物位置和状态，接着，使用人物正常活动的连续视频序列训练整个跌倒检测网络，使得yolov5同时学会光流特征获得更准确的预测结果。
[0092]
3.基于人物状态切换的方法定位时序动作
[0093]
一种低功耗全天实时监控检测的算法，其流程图如图8，定位算法解析图如图9，将跌倒动作的开始和结束看作是人物单帧状态的切换过程，即人的跌倒是人由“站立”到“躺下”或“坐着”到“躺下”状态的切换。定位时，保存状态识别网络的状态识别结果，并维持一个队列保存红外和光流图片序列，当状态变更至“躺下”时，触发动作识别网络，将当前帧前后共8张红外和光流图作为动作片段输入到动作识别网络，由动作识别网络评判获得结果，若为虚警，则忽略此次动作切换，直到检测到下一次“躺”状态，若确认为“跌倒”动作，则触发警报。
[0094]
4.动作识别网络预测跌倒异常分数
[0095]
当动作识别网络被激活后，标准化流将融合特征映射到隐空间，计算映射在隐空间的分布与预定义分布的均方差，获得异常分数。因标准化流学习的为人正常行为，当比较异常分数超过预先设定的阈值，说明检测到跌倒动作。
[0096]
4.1 nf网络的训练
[0097]
利用较易获得的人日常活动的视频数据作为异常检测网络的训练数据进行正向
光流图，大大提升了动作识别网络的识别成功率。红外-光流图作为动作识别网络的输入。
[0108]
动作识别网络被激活后，通过步骤s104所述，将16张仅含人物框图的红外图像与光流图像堆叠，通过1
×
1的卷积核进行特征融合，将得到的融合特征输入到已训练好的nf网络，计算得到该动作片段的异常分数。当异常分数低于预先设定的阈值时，说明该“躺下”的片段不是跌倒的动作，则反馈给状态识别网络，标注该动作片段为正常状态。当异常分数高于阈值，说明该动作片段与训练好的特征分布相差较大，即与正常人物活动相差较大，所以判断该动作为跌倒动作，并发出警告。