多智能体协同视觉追踪老人行为监测方法和系统与流程

摘要: 本技术涉及跟踪监测领域,更具体的,涉及多智能体协同视觉追踪老人行为监测方法和系统。背景技术:1、随着人口老龄化程度持续加深,独居老人、居家养老老人的安全监护已成...
多智能体协同视觉追踪老人行为监测方法和系统与流程

本技术涉及跟踪监测领域,更具体的,涉及多智能体协同视觉追踪老人行为监测方法和系统。

背景技术:

1、随着人口老龄化程度持续加深,独居老人、居家养老老人的安全监护已成为智慧养老、居家安防领域的核心研究方向。老人日常行为复杂多样,跌倒、长时间卧床、徘徊滞留、异常静止等行为均潜藏安全风险,及时、精准、实时地监测老人行为状态、研判安全风险,对规避老人意外事故、提升居家养老安全保障水平、减轻养老看护压力具有重要现实意义。

2、传统方案多采用单摄像头独立跟踪模式,仅能实现单一视场内的老人轨迹追踪,无法适配多摄像头全覆盖监测场景,难以完成跨镜头老人目标关联与轨迹接续,易出现目标id跳变、跨视场跟踪丢失等问题。

技术实现思路

1、鉴于上述问题,本发明的目的是提供多智能体协同视觉追踪老人行为监测方法和系统,能够更精准地使用摄像头实时跟踪和监测目标老人。

2、本发明第一方面提供了多智能体协同视觉追踪老人行为监测方法,包括:

3、s1,获取多个摄像头采集的检测视频,将所述检测视频进行预处理,得到预处理视频帧;

4、s2,根据第一摄像头中的预处理视频帧,检测智能体检测并输出目标老人的第一外观特征向量;

5、s3,根据所述第一摄像头中的预处理视频帧,跟踪智能体跟踪所述目标老人,生成第一轨迹,并基于所述第一外观特征向量提取第一跨摄像头重识别特征向量;

6、s4,第一摄像头无法检测目标老人的所述第一外观特征向量时,视为所述目标老人离开所述第一摄像头的监控范围,决策智能体根据在所述第一摄像头预设范围内的第二摄像头中经过处理获得的第二跨摄像头重识别特征向量与所述第一跨摄像头重识别特征向量,结合环境特征,得到特征置信度,将所述置信度最高的监测目标确定为所述目标老人;

7、s5,根据所述第二摄像头跟踪拍摄所述目标老人,所述决策智能体确定第二轨迹,基于所述多个摄像头,得到多个轨迹,所述第一轨迹连接所述第二轨迹以及所述多个轨迹,所述决策智能体得到跨摄像头连续跟踪轨迹;

8、s6,根据所述跨摄像头连续跟踪轨迹,识别智能体识别并预测所述目标老人的目标行为;

9、s7,根据所述目标老人的所述目标行为,由风险研判智能体生成风险等级并得到分级预警。

10、本方案中,所述预处理包括以下至少一种:视频流解码、帧采样、图像缩放至模型输入分辨率、像素归一化、色彩空间转换和图像去噪。

11、本方案中,所述s2,包括:

12、所述检测智能体通过建立轻量化目标检测模型,在所述轻量化目标检测模型中输入所述预处理视频帧,得到所述目标老人的表观特征;

13、所述检测智能体将所述表观特征进行空间聚合,消除所述表观特征的空间维度得到聚合向量,将所述聚合向量进行维度的变换,输出预设长度的外观特征向量,并进行归一化处理,得到所述目标老人的第一外观特征向量。

14、本方案中,所述s3,包括:

15、以所述目标老人在第一摄像头出现的时间为基准,所述跟踪智能体串联所述预处理视频帧内的目标老人的位置序列,得到所述第一轨迹;

16、将所述第一外观特征向量输入重识别网络,根据所述重识别网络的特征变换层进行特征提纯,再进行归一化处理,得到第一跨摄像头重识别特征向量。

17、本方案中,所述s4,包括:

18、所述目标老人离开所述第一摄像头的监控范围后,所述决策智能体将第二摄像头中得到的第二跨摄像头重识别特征向量与所述第一跨摄像头重识别特征向量进行对比,计算初始置信度,根据所述第一摄像头的环境特征与所述第二摄像头的环境特征,得到环境参数,根据所述环境参数对所述置信度进行修正,得到特征置信度;

19、所述决策智能体在预设时间内,得到所有检测目标的所述特征置信度,筛选并去除小于预设置信度阈值的所述特征置信度,在筛选后的所述特征置信度中,将所述特征置信度最高的第二摄像头监测所对应的监测目标确定为所述目标老人。

20、本方案中,所述s5,包括:

21、所述目标老人离开所述第一摄像头的监控范围后,若直接进入所述第二摄像头的监控范围,直接根据所述第一轨迹和所述第二轨迹,所述决策智能体得到跨相邻摄像头连续跟踪轨迹;

22、若所述目标老人进入监控盲区后,再进入所述第二摄像头的监控范围,则在所述第一跨摄像头重识别特征向量中采集并计算的所述目标老人平均行驶速度,通过所述第一摄像头监测到所述目标老人的离开时间和所述第二摄像头监测到的出现时间,结合所述平均行驶速度,确定所述目标老人在监控盲区的行驶路线,连接所述第一轨迹和所述第二轨迹,所述决策智能体得到跨不相邻摄像头连续跟踪轨迹;

23、将所述目标老人行驶的所有跨相邻摄像头连续跟踪轨迹和跨不相邻摄像头连续跟踪轨迹连接,所述决策智能体得到跨摄像头连续跟踪轨迹。

24、本方案中,所述s6,包括:

25、所述识别智能体从所述目标老人的所述跨摄像头连续跟踪轨迹中得到时序特征序列,所述时序特征序列包括所述目标老人在连续时间内的位置坐标、运动速度、姿态关键点及停留时长;

26、所述识别智能体通过建立时序神经网络模型,在所述时序神经网络模型中输入所述时序特征序列,预测所述目标老人预设行为时间内的目标行为。

27、本方案中,所述s7,包括:

28、所述风险研判智能体将所述风险等级划分为低风险、中风险、高风险及紧急风险级,并根据所述风险等级,确定预设行为预警阈值;

29、根据所述目标老人的目标行为,结合所述目标老人所在的环境特征,所述风险研判智能体得到所述目标老人的风险预测值,与各风险等级所对应的预设行为预警阈值进行比较,实时检测所述目标老人的安全状况。

30、本发明第二方面提供了多智能体协同视觉追踪老人行为监测系统,包括:

31、采样模块,用于获取多个摄像头采集的检测视频,将所述检测视频进行预处理,得到预处理视频帧;

32、处理模块,用于根据所述预处理视频帧,检测智能体检测并输出目标老人的第一外观特征向量;根据所述预处理视频帧,跟踪智能体跟踪所述目标老人,生成第一轨迹,并基于所述第一外观特征向量提取第一跨摄像头重识别特征向量;

33、跟踪模块,用于第一摄像头无法检测目标老人的所述第一外观特征向量时,视为所述目标老人离开所述第一摄像头的监控范围,决策智能体根据所述第一摄像头预设范围内的第二摄像头提取的第二跨摄像头重识别特征向量与所述第一跨摄像头重识别特征向量,结合环境特征,得到特征置信度,将所述置信度最高的监测目标确定为所述目标老人;根据所述第二摄像头跟踪拍摄所述目标老人,所述决策智能体确定第二轨迹,基于所述多个摄像头,得到多个轨迹,所述第一轨迹连接所述第二轨迹以及所述多个轨迹,所述决策智能体得到跨摄像头连续跟踪轨迹;

34、行为风险分级模块,用于根据所述跨摄像头连续跟踪轨迹,识别智能体识别并预测所述目标老人的目标行为;根据所述目标老人的所述目标行为,由风险研判智能体生成风险等级并得到分级预警。

35、本发明第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质中包括多智能体协同视觉追踪老人行为监测方法程序,所述多智能体协同视觉追踪老人行为监测方法程序被处理器执行时,实现如上所述的多智能体协同视觉追踪老人行为监测方法的步骤。

36、本发明公开了多智能体协同视觉追踪老人行为监测方法和系统,构建由检测智能体、跟踪智能体、决策智能体、识别智能体及风险研判智能体组成的多智能体协同架构,对多路监控视频进行统一处理;其中,检测智能体和跟踪智能体的结合,实现单镜头轨迹持续跟踪;决策智能体、识别智能体和风险研判智能体之间相互结合实现了跨摄像头的持续跟踪和目标监测。本发明通过多智能体分工解耦、特征复用、按需重识别匹配及闭环协同调控,显著提升居家老人行为监测的稳定性、准确性与实时性。