基于边缘设备的AI智慧康养安全监护系统
本发明涉及智慧康养管理,尤其是涉及一种基于边缘设备的ai智慧康养安全监护系统。
背景技术:
1、养老机构、社区康养中心和居家养老场景通常通过人工巡查、普通视频监控、穿戴式监护设备或基于云端服务器的智能监护平台识别老人跌倒等安全事件。普通视频监控需要看护人员持续查看画面,穿戴式设备容易因忘记佩戴、电量不足或主动取下而失去监护作用。采用云端人工智能处理时,需要持续传输视频数据,并依赖外部网络和云端服务器的可用状态;网络发生中断、延迟或丢包时,可能造成检测和报警延迟,同时增加隐私数据向外部网络传输的风险。
2、另一方面,部分视觉跌倒检测方案根据单帧人体姿态或单次检测结果直接报警,未针对不同人体目标维护连续历史状态,容易将弯腰、坐下、躺卧或画面抖动识别为跌倒。即使检测到异常,检测结果、报警执行和事件解除也常由相互独立的模块处理,容易出现同一持续异常被重复报警以及处理结果难以追溯的问题。因此,需要一种能够在本地边缘端完成目标级连续状态判断、异常事件闭环管理和本地设备联动的安全监护系统。
技术实现思路
1、本发明要解决的技术问题在于:降低康养安全监护对外部云端服务器和网络连接的实时依赖,并减少单帧检测以及缺少目标级连续事件管理造成的误报警、重复报警和事件处理不连续。
2、为解决上述技术问题,本发明提供一种基于边缘设备的ai智慧康养安全监护系统,包括本地边缘处理单元、视频采集单元、ai跌倒检测单元、目标状态管理单元、异常事件管理单元、设备联动控制单元和本地数据存储单元;
3、所述视频采集单元获取养老看护区域的连续视频帧,并将所述连续视频帧发送至所述本地边缘处理单元;
4、所述ai跌倒检测单元部署于所述本地边缘处理单元,用于从所述连续视频帧中检测人体目标,获得包含人体目标的检测框、置信度和位置信息的目标检测信息,并根据当前目标检测信息以及所述目标状态管理单元提供的历史目标状态,确定人体目标的疑似跌倒状态或确认跌倒状态;
5、所述目标状态管理单元对相邻视频帧中的人体目标进行关联,为不同人体目标分配目标标识,并按照所述目标标识分别维护包括最近出现时间、连续异常帧数、疑似跌倒状态和报警状态的目标状态记录;
6、所述异常事件管理单元根据具有确认跌倒状态的人体目标的目标标识生成跌倒事件,并在所述目标标识对应的跌倒事件处于未结束状态时,根据后续目标状态更新所述跌倒事件;
7、所述设备联动控制单元根据所述跌倒事件控制本地报警设备执行报警动作,并将报警动作的执行结果返回至所述异常事件管理单元;
8、所述本地数据存储单元用于保存所述目标状态记录、所述跌倒事件和所述执行结果;其中,所述本地边缘处理单元在无外部云端服务器实时参与的情况下,完成对所述连续视频帧的人体目标检测、目标状态维护、跌倒事件生成和本地报警设备控制,以形成监护处理闭环。
9、进一步地,所述ai跌倒检测单元根据人体目标的检测框宽度与检测框高度之间的比例、检测框中心点在竖直方向上的位移、检测框底部与预设地面区域之间的相对位置、检测框面积变化、人体目标处于横向低位状态的持续时间以及人体目标未检测到恢复竖直状态的检测结果中的至少两项确定所述疑似跌倒状态,其中,检测到人体目标恢复竖直状态时,用于减少连续异常帧数或清除已确定的疑似跌倒状态;并在所述疑似跌倒状态连续出现的帧数量达到预设连续帧数量,或者在预设时间窗口内处于所述疑似跌倒状态的有效帧比例达到预设比例时,确定所述确认跌倒状态。
10、进一步地,所述目标状态管理单元按照检测框交并比和检测框中心点距离中的至少一项,将当前视频帧中的人体目标与历史人体目标进行关联;在人体目标未被检测到且目标丢失时间未达到预设丢失时间时,保留所述人体目标的最近位置、疑似跌倒状态、连续异常帧数和报警状态,并在所述人体目标于所述预设丢失时间内重新出现且满足关联条件时恢复对应的目标状态记录。
11、进一步地,所述异常事件管理单元为所述跌倒事件设置事件标识、事件类型、来源目标标识、发生时间、风险状态、处理状态和解除时间;根据所述目标状态由疑似跌倒状态转换为确认跌倒状态而生成所述跌倒事件,并使所述跌倒事件的处理状态在确认状态、报警状态、恢复观察状态和解除状态之间转换;对于来源目标标识和事件类型相同且均处于未结束状态的检测结果,更新已有跌倒事件而不重复生成新的跌倒事件。
12、进一步地,所述设备联动控制单元为异常事件对应的设备控制命令设置控制优先级,并在不同控制优先级的设备控制命令控制同一本地报警设备时,执行控制优先级较高的设备控制命令并锁定相应设备状态;其中,安全报警事件对应的设备控制命令的控制优先级高于非安全提醒或普通控制指令对应的设备控制命令的控制优先级,在所述安全报警事件解除后,根据预设恢复策略将所述本地报警设备恢复为被锁定前仍然有效的设备状态或预设安全状态。
13、进一步地,还包括语音交互单元,所述语音交互单元用于在所述本地边缘处理单元中对麦克风采集的语音数据执行离线语音识别,将识别文本与预设指令模板进行匹配,生成标准化控制指令并发送至所述设备联动控制单元;对于门锁控制指令或报警解除指令,在执行权限判断或二次确认后发送所述标准化控制指令。
14、进一步地,还包括门禁管理单元,所述门禁管理单元通过传输控制协议连接门禁设备,接收并解析门禁设备上传的心跳数据、人员抓拍信息、人脸比对结果和通行事件;当连续多个心跳周期未接收到有效心跳数据,或者人脸比对结果为未识别人员时,向所述异常事件管理单元发送门禁设备离线信息或未识别人员信息,以生成门禁异常事件并触发本地警示动作。
15、进一步地,还包括健康提醒单元、人机交互显示单元和语音播报设备,所述健康提醒单元根据预设提醒时间或提醒间隔生成饮水提醒、久坐提醒或活动提醒,通过所述语音播报设备和所述人机交互显示单元输出提醒信息,并记录提醒触发时间、确认时间和完成状态;其中,所述久坐提醒还能够根据预设监护区域内同一人体目标的位置变化和检测框面积变化均持续小于对应阈值的持续时间进行辅助触发。
16、进一步地,还包括故障检测与恢复单元,所述故障检测与恢复单元检测视频帧读取失败、门禁通信中断、语音输入设备不可用或本地报警设备控制失败,并分别执行视频连接重建、门禁连接重建、故障状态提示或设备控制重试;所述本地边缘处理单元在外部网络中断时继续执行人体目标检测、目标状态维护、异常事件管理和本地报警设备控制,并在外部网络恢复后上传断网期间生成的结构化异常事件记录。
17、进一步地,还包括人机交互显示单元,所述人机交互显示单元接收所述异常事件管理单元输出的事件信息以及所述设备联动控制单元输出的执行结果,显示事件类型、发生时间、检测区域、处理状态和处理入口,并响应于对所述处理入口的操作,将事件确认结果、误报警标记或事件解除结果发送至所述异常事件管理单元。
18、采用上述技术方案,本发明具有如下有益效果:
19、1、视频获取、人工智能推理、目标状态维护、异常事件生成和本地设备控制均在本地边缘处理单元完成,外部网络中断时仍能够保持主要安全监护功能,并减少原始视频持续外传;
20、2、通过为不同人体目标分别维护历史状态,并采用连续帧或时间窗口确认机制,能够过滤人体弯腰、坐下、画面抖动和短时检测异常;
21、3、通过目标标识和事件状态更新同一持续异常事件,能够避免重复报警,并将报警执行、事件确认、恢复观察和解除过程保存为可追溯记录。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com