基于目标检测时序跟踪并识别人员摔倒后的危险性的方法与流程

技术特征：
1.一种基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，其特征在于，具体包括以下步骤：s1：首先生成原始图像数据集，并对原始图像数据集进行数据增强，获得增强数据集；s2：采用增强数据集训练目标检测模型获得摔倒检测模型，采用摔倒检测模型检测选定区域内是否有人摔倒，若有，则转至步骤s3；若无，则返回步骤s1；s3：判断并分析该摔倒的人员摔倒后的状态，根据分析的结果状态输出相应的危险性等级的告警信息。2.根据权利要求1所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，其特征在于，所述步骤s1的具体步骤为：s11：采集开放场景下的摔倒过程的数据作为正样本数据，以及摔倒相似的状态作为负样本数据，生成原始图像数据集；s12：对原始图像数据集依次进行两次增强处理，获得增强数据集；s13：将增强数据集划分为训练集和测试集。3.根据权利要求2所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，其特征在于，所述步骤s11中通过视频抽帧的方式，对视频进行抽帧处理，生成相应的原始图像数据，即摔倒数据集；所述步骤s12中对抽帧后的原始图像数据进行数据增强处理，具体步骤为：首先使用mosaic数据增强、模糊、裁剪、旋转、色亮度调整进行数据增强，即进行第一次预处理，其次再将经过第一次预处理后的图像使用目标遮挡技术对其进行第二次图像预处理，从而获得增强数据集。4.根据权利要求2所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，其特征在于，在所述步骤s2中，采用yolov5目标检测模型或ssd目标检测模型或retinanet目标检测模型，使用训练集作为模型训练的输入，训练获得摔倒检测模型。5.根据权利要求4所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，其特征在于，所述步骤s2中采用摔倒检测模型检测选定区域内是否有人摔倒的具体步骤为：将采集到的数据的视频流接入训练好的摔倒检测模型进行摔倒检测，当检测到人员摔倒时，即摔倒过程的第一帧开始通过设置队列缓存，以字典形式进行保存，获得以字典形式的缓存结果。6.根据权利要求5所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，其特征在于，所述步骤s2中获得以字典形式的缓存结果的具体步骤为：设一个id_count对应一个目标框的中心点坐标；即保存目标物体检测框的中心点，并赋予该中心点一个id_count，存放在全局变量center_point和fall_temp中，其中center_point和fall_temp均为字典类型的全局变量，fall_temp全局变量中的键为id_count，值为累加值，center_point全局变量中的键为id_count，值为对应的中心点坐标；所述id_count是一个计数器，当检测到新的目标对象时，所述计数器将自动进行累加处理，其中设置一个标志位，记为same_object_detected，所述标志位用于判断是否是同一个目标对象的标志，其初始值默认为false；当该标志位为true时，表明检测到的目标对象为同一个目标，当该标志位为false时，表明检测到的目标对象为新的目标对象，并为该新的目标对象分配id_count；即该id_count自动累加一并存放在fall_temp全局变量中，从而获得以字典形式缓存的结果。7.根据权利要求6所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，
其特征在于，所述步骤s2中若当前图像中通过摔倒检测模型检测到有人员摔倒时，则保存检测结果；即检测到人员摔倒的目标框，将目标框的坐标xmin、ymin、xmax、ymax放入一个队列列表中保存，并缓存设定帧数的结果，计算出该目标框的中心点坐标；计算公式为：；其中，、、、表示该目标框的两个顶点的坐标，、表示该目标框的中心点坐标；再将该目标框的前后帧目标框的中心点进行差值处理，公式为，其中a、b分别表示为、；若差值范围在[0，8]，则表示目标框是同一个目标对象，否则为新的目标对象。8.根据权利要求7所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，其特征在于，所述步骤s2中还包括对摔倒检测模型进行c化即将摔倒检测模型转化为c 能处理的模型，具体步骤为：首先将yolov5目标检测模型训练的摔倒模型文件由.pt文件转为.torchscript文件，获得c化后的摔倒检测模型；再搭建libtorch环境，且需要安装相关c 代码库；再将python形式的逻辑推理转为c 语言编写的逻辑推理；最终将其部署于边缘计算盒子，进行c化算法运行。9.根据权利要求8所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，其特征在于，所述步骤s3的具体步骤为：s31判断人员摔倒后的状态：根据步骤s2获得的以字典形式的缓存结果，依次进行中心点位移差值对比，判断人员是否处理静止状态，若摔倒后立即爬起，则不推送告警信息，并结束判断；若摔倒后不爬起，则转至步骤s32；s32告警提醒：若该摔倒后处理静止状态的目标对象的id_count的值出现的累计次数大于阈值一，触发红色告警并发送一级紧急短信给相关人员，如果非静止的id_count的值累计出现次数大于阈值二，触发黄色告警并发送二级紧急短信给相关人员。10.根据权利要求9所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，其特征在于，所述步骤s31中判断人员是否处理静止状态的具体步骤为：s311：根据步骤s2中的差值处理公式计算前后两帧的中心点距离，用变量distance表示，根据中心点距离distance判断目标对象在摔倒后是否处于静止状态；具体为：若中心点距离distance的值的范围在[0，8]范围内，则表示目标框为同一个目标对象，并进行第二次判断；若中心点距离distance的值在[0，1]范围内，则表示目标框的同一个目标对象并处于静止状态；若中心点距离distance的值在（1，8]范围内，则表示目标框的同一个目标对象并处于非静止状态；s312：当目标对象出现不超过75帧的漏检时，该目标对象之前赋予的id_count并不会立即清除，将会保留设定的帧数阈值，若后续匹配到新的检测结果，且该新的检测结果与前期保存的检测结果一致，那么id_count则不变；具体为：利用一个计数空结果的flag，即变量null_count，当摔倒检测模型因为角度或短暂遮挡未检测到人员摔倒时，该flag进行空结果累加计数，如果空结果的累加值不超过设定的帧数阈值，之前检测到的目标对象的id_count结果则不会自动清空，从而实现目标框的平滑处理，避免的目标框闪动的情况；s313：若步骤s311中的中心点距离distance的值小于设定的静止阈值范围，即，则默认为该目标对象是处于静止状态的，且静止状态的flag，即变量static_
flag自动加1；并将该目标对象的id_count、目标框的两个顶点的坐标（xmin, ymin, xmax, ymax）、中心点距离distance、中心点坐标（,）存放至摔倒静止目标的列表中；若中心点距离distance的值在非静止阈值范围内，即，则默认该目标对象处于非静止状态，且非静止的flag，即变量action_flag自动加1，并将非静止结果存储到摔倒非静止目标的列表中；若监控视频中超过3秒时长检测不到摔倒目标，即变量null_count的累加值超过设定的最大阈值范围，则依次清除摔倒静止目标的列表和摔倒非静止目标的列表中的目标对象的id_count和对应目标框的坐标值，并返回步骤s1；s314：分别统计摔倒静止目标的列表和摔倒非静止目标的列表中对应目标对象的id_count出现的次数。

技术总结
本发明公开了一种基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，步骤为：S1：首先生成原始图像数据集，并对原始图像数据集进行数据增强，获得增强数据集；S2：采用增强数据集训练目标检测模型获得摔倒检测模型，采用摔倒检测模型检测选定区域内是否有人摔倒，若有，则转至步骤S3；若无，则返回步骤S1；S3：判断并分析该摔倒的人员摔倒后的状态，根据分析的结果状态输出相应的危险性等级的告警信息。该基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，显著地提高了告警信息的准确性和效率，减少摔倒的误报。减少摔倒的误报。减少摔倒的误报。


技术研发人员：李鹏博 陈晓芳 孟维
受保护的技术使用者：南京华苏科技有限公司
技术研发日：2022.12.06
技术公布日：2022/12/30