一种基于AI手势识别的冰箱无接触交互系统及方法与流程

摘要: 本发明涉及一种基于ai手势识别的冰箱无接触交互系统及方法,其属于智能家电与人机交互。背景技术:1、随着智能冰箱的普及,显示触摸屏已成为用户与冰箱交互的主要界面,...
一种基于AI手势识别的冰箱无接触交互系统及方法与流程

本发明涉及一种基于ai手势识别的冰箱无接触交互系统及方法,其属于智能家电与人机交互。

背景技术:

1、随着智能冰箱的普及,显示触摸屏已成为用户与冰箱交互的主要界面,用户通过触摸屏进行温度调节、模式设置、食材管理等日常操作。然而,在厨房烹饪场景中,用户手部经常沾有油污、水渍、面粉或生肉汁液,此时触摸屏幕不仅会导致屏幕迅速脏污、滋生细菌,而且触摸灵敏度受污渍影响明显下降,用户需要反复擦拭屏幕或洗手,使用体验极差。

2、为解决上述问题,部分冰箱产品尝试引入语音控制和红外手势识别作为替代交互方式。但语音控制存在隐私泄露风险、厨房噪音环境下识别率低、唤醒词打扰家庭成员等问题。传统红外手势识别仅支持简单的左滑或右滑,无法识别复杂手势,且难以区分用户的“有意操作”与“无意经过”(如路过冰箱时的挥手),导致频繁误触发,严重影响用户体验。

3、此外,现有手势识别方案大多需要专用深度摄像头或额外硬件,成本较高,难以在冰箱产品上普及。

4、因此,确有必要对现有技术进行改进以解决现有技术之不足。

技术实现思路

1、本发明是为了解决上述现有技术存在的问题而提供一种基于ai手势识别的冰箱无接触交互系统及方法,利用冰箱现有的门体摄像头采集用户手部图像,通过ai视觉检测算法识别手势类型和轨迹,结合防误触机制判断用户意图,执行对应的冰箱功能,并通过屏幕或语音提供即时反馈。

2、本发明采用如下技术方案:一种基于ai手势识别的冰箱无接触交互系统,包括:

3、图像采集模块:用于实时采集用户操作区域画面;

4、手势检测模块:搭载轻量化ai视觉检测算法,用于从采集图像中实时检测手部区域和手部关键点坐标;

5、手势分类模块:连接手势检测模块,采用lstm 循环算法或tcn时序卷积算法对连续多帧关键点轨迹序列运算,输出左滑、右滑、上滑、下滑、画圈、悬停、抓取、挥手各类手势及对应识别置信度;

6、防误触模块:与手势分类模块相连,依托图像采集模块采集的画面获取用户面部朝向数据,综合手部停留时长、手部移动速度、手屏距离、用户面部朝向、手势置信度五个维度参数加权计算综合意图得分intent_score,依据得分阈值区分有效操作手势与无意动作;

7、手势-功能映射模块:配置非易失性存储器,支持自定义手势模板录入、存储,建立手势与冰箱控制功能的绑定关系;

8、反馈模块:电性连接冰箱主控板与显示板,通过屏幕视觉提示、语音播报或呼吸灯闪烁提供交互反馈;

9、主控模块,接收经防误触模块判定有效的手势指令,调用控制冰箱运行的主控板执行温控、模式切换、制冰启停功能。

10、进一步地,所述图像采集模块复用冰箱自带的门体摄像头,或在冰箱显示板附近单独安装有低功耗摄像头,摄像头朝向用户操作区域。

11、进一步地,所述冰箱显示板上集成有低功耗距离传感器。

12、本发明还采用如下技术方案:一种基于ai手势识别的冰箱无接触交互,包括如下步骤:

13、s1、图像采集:距离传感器侦测到人靠近后唤醒摄像头,摄像头以预设帧率连续采集用户操作区域的图像;

14、s2、手部特征提取:将采集的图像输入轻量级目标检测网络,输出图像中手部的边界框;目标检测网络已在大量手部图像数据集上预训练,能够在厨房复杂背景下准确检测手部;在输出的手部边界框内通过关键点检测网络提取并输出21个手部关键点的2d坐标;将连续多帧的关键点坐标按时间顺序排列,形成手部运动轨迹序列,作为后续手势分类的输入;

15、s3、手势分类识别:对轨迹序列进行归一化、平滑滤波和尺寸标准化处理,消除手部大小和距离变化带来的影响;将预处理后的轨迹序列输入lstm 或 tcn时序神经网络,输出各手势类别与每个手势类别的置信度得分,当最高置信度得分超过预设阈值时,才视为有效识别,否则判定识别失败;

16、s4、多参数融合防误触判定:采集用户手部在摄像头视野内的连续停留时间,时间得分记为t_stay,采集手部关键点相邻帧之间的移动速度,速度得分记为v_norm,通过手部边界框的宽度和高度估算手部与屏幕的距离,距离得分记为d_norm,复用冰箱自带的门体摄像头,检测用户的面部朝向,面部朝向得分记为f_face,获取手势置信度,得分记为c_gesture;

17、按照如下公式计算综合意图得分:

18、intent_score=w1×t_stay+w2×(1-v_norm)+w3×d_norm+w4×f_face+w5×c_gesture

19、式中w1~w5 为权重系数,系数之和为1,当intent_score超过预设阈值时,判定为有效手势;否则判定为误触发,忽略本次手势;

20、s5、手势匹配与功能执行:用户通过冰箱菜单进入“手势学习模式”,屏幕提示用户做出某个手势并重复3次,系统采集手势轨迹样本,系统建立该手势模板与功能的映射关系;在正常使用模式下,系统将实时识别的手势与已存储的自定义手势模板进行比对,匹配成功时执行对应的冰箱功能;

21、s6、多级交互反馈:当系统检测到手部进入检测区域时,屏幕边缘显示半透明光晕或提示图标,告知用户“手势识别已就绪”,若手势被成功识别并执行功能时,匹配对应屏幕动画效果和语音播报,若手势置信度过低或防误触机制判定为无效,屏幕显示“未识别到手势”的提示,引导用户重新操作;

22、s7、清洁模式管控:用户通过在手势识别区域画“s”形手势/长按屏幕边缘虚拟按键3秒/语音口令“开启清洁模式”中的任一方式激活清洁模式。

23、进一步地,步骤s5中,系统建立该手势模板与功能的映射关系,具体包括:系统将采集到的手势轨迹样本进行特征提取和编码,生成该手势的模板向量,存储于非易失性存储器中;用户从冰箱功能列表中选择要关联的功能。

24、进一步地,步骤s7中,激活清洁模式后,屏幕进入锁定状态,所有触摸操作和手势操作被暂时禁用,防止擦拭屏幕时的误触;屏幕显示“清洁模式已开启,30秒后自动退出”的提示,并显示倒计时;30秒倒计时结束后,或用户再次执行相同手势/语音指令,系统自动退出清洁模式,恢复正常交互。

25、进一步地,所述清洁模式管控中还同步配置有低功耗策略,低功耗策略具体包括:

26、s701:传感器联动唤醒,冰箱显示板集成低功耗红外距离传感器,当距离传感器检测到人体距离小于100cm时,唤醒摄像头和手势识别算法;无人靠近时,摄像头与算法进入深度休眠,整机功耗降至μa级别;

27、s702:帧率自适应调节,系统依据手部检测结果动态调节摄像头采集帧率:未检测到手部时,帧率降至5fps进行低功耗侦测;检测到手部但无手势动作时,帧率提升至 15fps进行轻度侦测;检测到有效手势动作时,帧率提升至30fps满帧采集与识别。

28、本发明具有如下有益效果:本发明利用冰箱现有摄像头通过纯软件算法实现手势识别,独创性地融合停留时长、移动速度、距离估算和面部朝向等多维度信息的防误触机制有效区分有意操作与无意动作,支持用户自定义手势映射满足个性化需求,并通过屏幕光晕、动画效果和语音播报提供即时交互反馈,同时清洁模式下屏幕锁定避免擦拭时的误触、帧率自适应策略降低整机功耗,从而以零硬件成本实现了厨房场景下卫生便捷、高可靠性、低误触率的冰箱无接触手势交互。