坐姿异常检测及灯光干预方法和系统与流程
本技术实施例涉及人体姿态感知与识别,特别是涉及一种坐姿异常检测及灯光干预方法和系统,适用于智能学习台灯等嵌入式边缘计算场景下的坐姿实时感知监测与干预。
背景技术:
1、在学习辅助设备领域,智能台灯作为儿童青少年日常使用频率最高的照明设备之一,其功能已从单纯照明逐步向健康监护方向演进。在智能台灯的使用过程中,儿童青少年主要用于伏案学习,然而,不正确的学习坐姿(包括低头、歪头、趴桌、侧身、距离过近或过远等)会对使用者的颈椎健康造成慢性损伤,并导致青少年视力下降;传统台灯无法感知使用者的实时坐姿状态,也无法在姿势异常时及时给予提醒和干预。
2、现有的坐姿检技术方案主要依赖超声波测距或红外传感等传统方式,不仅检测维度单一,且对复杂坐姿类型的识别能力有限,误判率偏高。目前,基于纯视觉的人体姿态估计方法在台灯俯视场景下面临两个主要技术局限:首先,台灯摄像头以俯视角度安装于支架顶端,与常规正面/侧面视角存在显著差异,人体头肩区域在图像中占比小且遮挡关系复杂,现有通用姿态估计网络对此场景的关键点检测精度不足,易出现漏检与误检;其次,单帧视觉特征无法稳健区分低头与距离过近等相似异常姿态,且检测结果存在帧间抖动,缺乏有效的时序滤波机制,导致灯光干预频繁误触发,用户体验较差。
技术实现思路
1、针对现有技术存在的俯视视角下多模态融合关键点检测精度不足以及坐姿异常判定存在抖动误报的技术问题,本技术实施例提供一种坐姿异常检测及灯光干预方法和系统。
2、为实现上述目的,本技术实施例提供以下技术方案:
3、第一方面,本技术实施例提供一种坐姿异常检测及灯光干预方法,所述方法包括:
4、对以俯视角度采集的rgb图像进行增强及归一化处理,得到预处理图像;对同步采集的毫米波雷达点云进行滤波及聚类处理,得到目标点云;
5、将所述目标点云依据离线标定的旋转矩阵及平移向量变换至摄像头坐标系,得到变换后的目标点云;
6、将所述预处理图像输入多尺度检测网络,得到多尺度视觉特征图;将所述变换后的目标点云输入雷达点云编码器,得到雷达特征图;
7、将所述多尺度视觉特征图与所述雷达特征图在通道维度拼接并经卷积降维后,通过卷积块注意力模块进行通道与空间自适应加权,得到融合特征图;
8、将所述融合特征图经检测头输出人体关键点坐标序列及关键点可见性标志;
9、基于所述人体关键点坐标序列计算得到姿态特征向量,对所述姿态特征向量进行时序分析与拓扑推理,得到姿态类别及对应置信度;
10、当所述姿态类别为异常且所述置信度不低于置信度阈值并持续时长超过设定阈值时,输出对应的灯光反馈控制信号。
11、作为一种实施方式,所述将所述预处理图像输入多尺度检测网络,得到多尺度视觉特征图,包括:
12、对所述预处理图像,经膨胀深度可分离卷积主干进行多尺度特征提取,通过膨胀率设置扩大感受野并经密集残差连接增强梯度流,提取基础特征图;
13、将所述基础特征图输入自适应池化核选择模块,依据所述基础特征图的空间尺寸、目标期望尺度及缩放比例因子的比值向上取整确定池化核尺寸,对所述基础特征图进行最大池化,得到多个不同尺度的池化特征图;
14、将所述池化特征图输入加权特征金字塔,在各尺度分支经卷积块注意力模块对所述池化特征图进行通道与空间加权,得到各尺度加权特征图,对所述各尺度加权特征图按可学习正权重进行双向加权融合,输出所述多尺度视觉特征图。
15、作为一种实施方式,所述方法还包括:
16、所述多尺度视觉特征图包含第一分辨率分支特征图、第二分辨率分支特征图及第三分辨率分支特征图;其中,所述第一分辨率分支特征图的分辨率大于所述第二分辨率分支特征图的分辨率,所述第二分辨率分支特征图的分辨率大于所述第三分辨率分支特征图的分辨率;
17、将所述第二分辨率分支特征图作为所述融合特征图生成过程的视觉输入,所述第二分辨率分支特征图的空间尺寸与所述雷达特征图的空间尺寸相匹配;
18、将所述第一分辨率分支特征图及所述第三分辨率分支特征图输入视觉检测分支,得到视觉检测结果,所述第一分辨率分支特征图及所述第三分辨率分支特征图不参与所述融合特征图的生成。
19、作为一种实施方式,所述将所述变换后的目标点云输入雷达点云编码器,得到雷达特征图,包括:
20、对所述变换后的目标点云中每个点,经多层感知机进行独立特征变换,得到各点的局部特征向量;
21、对全部所述局部特征向量进行逐维最大池化,提取全局特征向量;
22、将各点的所述局部特征向量与所述全局特征向量拼接,形成点云特征表示;
23、对所述点云特征表示经空间映射及卷积处理,编码为与所述多尺度视觉特征图空间分辨率匹配的所述雷达特征图。
24、作为一种实施方式,所述基于所述人体关键点坐标序列计算得到姿态特征向量,包括:
25、根据左眼关键点与右眼关键点连线相对水平线的夹角,确定头部偏转角;
26、以鼻梁关键点与颈部关键点的连线为参考,计算相对垂直方向的偏转量,得到颈部俯仰角;其中所述颈部关键点由左肩关键点与右肩关键点的中点确定;
27、根据头部关键点与桌面边界的纵坐标之差,与图像高度的比值,确定桌面距离比;
28、根据左肩关键点与右肩关键点连线相对水平线的夹角,确定肩部倾角;
29、根据背部关键点连线相对垂直方向的夹角,确定背部倾角;
30、对所述人体关键点坐标序列进行归一化处理,得到关键点归一化距离;
31、将所述头部偏转角、所述颈部俯仰角、所述桌面距离比、所述肩部倾角、所述背部倾角及所述关键点归一化距离按序拼接,得到所述姿态特征向量。
32、作为一种实施方式,所述对所述姿态特征向量进行时序分析与拓扑推理,得到姿态类别及对应置信度,包括:
33、将连续设定帧数的多个所述姿态特征向量按采集时间顺序排列,得到姿态特征向量序列;
34、将所述姿态特征向量序列输入双向长短期记忆网络,将所述双向长短期记忆网络的前向隐藏状态与后向隐藏状态拼接,得到时序编码特征;
35、从所述人体关键点坐标序列中获取各人体部位关键点,以所述各人体部位关键点为节点、以预定义骨骼连接为边构建骨骼图,得到所述骨骼图的节点特征;
36、将所述骨骼图的节点特征输入图注意力网络,依据多头注意力系数对所述节点特征中各节点的邻居节点特征加权聚合,得到拓扑特征;
37、将所述时序编码特征与所述拓扑特征拼接,得到融合姿态特征;
38、对所述融合姿态特征经全连接层线性变换及归一化指数函数处理,输出所述姿态类别及对应置信度。
39、作为一种实施方式,所述当所述姿态类别为异常且所述置信度不低于置信度阈值并持续时长超过设定阈值时,输出对应的灯光反馈控制信号,包括:
40、将所述姿态类别及对应置信度中置信度不低于置信度阈值且姿态类别为异常的帧,确定为异常帧;
41、统计所述异常帧的数量,得到异常帧数量;
42、当所述异常帧数量不小于持续帧数阈值时,依据所述异常帧数量生成灯光干预触发指令;
43、从亮度渐变模式、色温切换模式、区域投光模式及频闪提醒模式中,选择与所述灯光干预触发指令所对应异常帧的姿态类别相匹配的模式,确定为目标模式;
44、依据所述目标模式生成灯光反馈控制信号,并输出所述灯光反馈控制信号。
45、作为一种实施方式,所述方法还包括:
46、以第一毫米波雷达采集人体点云及微多普勒特征,以第二毫米波雷达采集人体存在标志及距离测量值,所述第一毫米波雷达的距离分辨率高于所述第二毫米波雷达的距离分辨率;其中所述人体点云为所述毫米波雷达点云;
47、当所述人体存在标志指示无人体时,依据所述人体存在标志使系统进入低功耗待机模式;
48、采集摄像头图像与所述毫米波雷达点云中的多组对应点,得到多组对应点数据;
49、依据所述多组对应点数据经最小二乘法求解摄像头与毫米波雷达之间的外参,得到所述离线标定的旋转矩阵及平移向量。
50、作为一种实施方式,所述目标模式包括所述亮度渐变模式、所述色温切换模式、所述区域投光模式及所述频闪提醒模式,包括:
51、当所述目标模式为所述亮度渐变模式时,使照明亮度按正弦函数以设定周期在基准亮度与所述基准亮度的设定比例之间平滑变化;
52、当所述目标模式为所述色温切换模式时,使照明色温按设定速率平滑过渡至冷白色温;
53、当所述目标模式为所述区域投光模式时,使照明强度在偏离方向对侧按高斯分布进行空间分布,所述偏离方向为所述目标模式所对应异常帧的姿态类别所指示的身体偏离方向;
54、当所述目标模式为所述频闪提醒模式时,使照明亮度按设定频率交替。
55、第二方面,本技术实施例还提供一种坐姿异常检测及灯光干预系统,所述系统包括:
56、数据预处理模块,用于对以俯视角度采集的rgb图像进行增强及归一化处理,得到预处理图像;对同步采集的毫米波雷达点云进行滤波及聚类处理,得到目标点云;
57、坐标变换模块,用于将所述目标点云依据离线标定的旋转矩阵及平移向量变换至摄像头坐标系,得到变换后的目标点云;
58、特征提取模块,用于将所述预处理图像输入多尺度检测网络,得到多尺度视觉特征图;将所述变换后的目标点云输入雷达点云编码器,得到雷达特征图;
59、特征融合模块,用于将所述多尺度视觉特征图与所述雷达特征图在通道维度拼接并经卷积降维后,通过卷积块注意力模块进行通道与空间自适应加权,得到融合特征图;
60、关键点检测模块,用于将所述融合特征图经检测头输出人体关键点坐标序列及关键点可见性标志;
61、姿态分析模块,用于基于所述人体关键点坐标序列计算得到姿态特征向量,对所述姿态特征向量进行时序分析与拓扑推理,得到姿态类别及对应置信度;
62、灯光干预模块,用于当所述姿态类别为异常且所述置信度不低于置信度阈值并持续时长超过设定阈值时,输出对应的灯光反馈控制信号。
63、第三方面,本技术实施例提供了一种计算机设备,所述计算机设备包括:存储器,所述存储器中存储有计算机程序;处理器,用于加载所述计算机程序实现如上所述的坐姿异常检测及灯光干预方法。
64、与现有技术相比,本技术实施例的有益效果如下:
65、本技术实施例采用了多尺度检测网络与雷达点云编码器的多模态特征融合机制,并通过卷积块注意力模块在通道与空间维度进行自适应加权,解决了俯视视角下头肩区域成像小、遮挡复杂导致的关键点检测精度不足的问题,显著提升了复杂台灯场景下的多模态融合检测性能。同时,本技术采用了基于置信度阈值与持续帧数双重判定机制,将瞬态噪声帧滤除后再触发灯光干预,解决了单帧检测抖动导致灯光反馈频繁误触发的问题,有效提升了干预策略的稳定性与用户体验。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com