车载车门关闭手势识别算法的制作方法
本技术涉及智能汽车,具体涉及车载车门关闭手势识别算法。
背景技术:
1、智能汽车技术的发展推动了车辆人机交互方式的不断升级,基于视觉感知的非接触式交互技术逐渐成为智能座舱的重要组成部分。其中,车载手势控制技术利用车内摄像设备采集用户动作信息,通过计算机视觉算法对人体姿态、手部关键点以及运动轨迹进行分析,实现对车辆功能的智能控制。相较于传统按键、触摸屏或语音控制方式,手势交互具有操作自然、响应直观、无需接触设备等特点,尤其适用于车门关闭、后备箱开启、车窗控制等需要用户快速操作的车辆控制场景。
2、目前,现有车载手势控制技术主要基于视觉检测算法实现,例如通过车载摄像头获取用户手部图像,利用手部关键点检测模型或深度学习识别模型提取手部特征,并根据预设手势类别或运动轨迹判断用户意图。其中,一类技术方案采用单帧静态手势识别方式,通过检测用户握拳、张掌、挥手、ok手势等固定动作,在识别到目标手势后直接生成车辆控制指令;另一类技术方案采用基于运动轨迹的识别方式,通过持续跟踪手腕或手部关键点的位置变化,计算手部移动方向、距离以及速度等运动参数,当检测到满足预设轨迹条件时触发车辆控制操作。
3、此外,部分现有技术进一步引入时序分析方法,通过连续采集多帧图像,对用户动作过程进行判断,以提高复杂环境下的识别能力。例如,通过人体姿态检测模型提取手腕关键点坐标,并结合轨迹分析算法判断用户是否完成特定动作。现有部分方案基于mediapipe等开源视觉框架实现人体关键点检测,通过对手部关键点进行跟踪,实现低成本、实时性的车载手势识别功能,为智能汽车非接触式控制提供了技术基础。
4、然而,现有车载手势识别技术仍存在一定不足,难以完全满足车辆控制场景对于安全性、准确性以及实时性的要求。首先,现有方案多数采用单一静态手势或简单运动轨迹作为触发条件,缺少对用户完整动作过程和行为意图的综合判断,例如仅检测到挥手、伸手或位移动作后即执行车辆控制指令,无法有效区分用户主动控制行为与自然动作、无意识摆动、身体调整等非控制行为,容易造成误触发,尤其在车门关闭等涉及车辆安全的操作场景中存在潜在风险。其次,现有技术普遍针对单只手进行识别,多以驾驶员右手操作为主要应用场景,缺少针对左右手分别建立独立识别逻辑的机制,无法适应不同用户的操作习惯以及驾驶员、副驾驶等不同位置用户的交互需求。同时,车内环境存在光照变化、遮挡、摄像角度变化以及用户动作幅度差异等复杂因素,传统手势识别方法容易受到关键点检测噪声影响,导致识别稳定性下降。
5、此外,部分基于复杂深度学习模型的识别方案虽然能够提高识别精度,但模型计算量较大,容易增加车载处理设备负担,导致控制响应延迟增加,难以满足车辆实时交互需求。现有技术通常缺少完善的动作状态管理机制、动作确认机制以及触发后的防重复控制机制,当用户连续执行类似动作或出现手部抖动时,可能产生重复触发问题。
6、因此,现有车载手势控制技术仍需要一种能够结合人体真实动作逻辑,通过连续时序动作分析、状态转换判断、多级防误触机制以及稳定关键点处理方式,实现低误触、高鲁棒性、低延迟并支持多用户操作习惯的车辆手势识别方法。
7、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本技术的目的是提供车载车门关闭手势识别算法,以解决上述背景技术中的问题。
2、为了实现上述目的,本技术提供如下技术方案:车载车门关闭手势识别算法,包括以下步骤:
3、采集车载场景下用户手部及姿态的视频流,通过单目rgb摄像头获取包含用户手部运动信息的图像数据,对图像数据进行缓存处理;
4、对视频流中的用户手部及姿态信息进行感知检测,通过姿态检测模型提取左手腕关键点和右手腕关键点的二维坐标信息及对应置信度,并通过手部检测模型获取左右手存在状态及手掌姿态信息;
5、基于二维坐标信息及对应置信度进行关键点预处理,对置信度低于预设阈值的关键点数据进行过滤,并采用滑动平均滤波方式对有效关键点坐标进行平滑处理,根据相邻帧关键点坐标之间的距离判断手部运动状态,筛选有效动作轨迹;
6、根据有效动作轨迹以及手掌姿态信息,对左手和右手分别执行独立有限状态机判断,按照空闲状态、前伸状态、拉回状态以及触发状态的顺序进行状态转换,当检测到手掌张开状态且手腕产生有效位移时进入前伸状态,当检测到前伸距离达到预设阈值后记录前伸位置,并在检测到拉回距离达到预设阈值且未处于冷却状态时进入触发状态;
7、根据触发状态输出车载车门关闭控制信号,在状态转换过程中,当检测到手掌闭合、关键点丢失、动作超时或触发后的冷却时间结束时,将当前状态恢复至空闲状态,并输出对应控制状态信息。
8、单目rgb摄像头采集车载场景下用户手部及姿态的视频流时,设置图像采集分辨率为1280×720,视频采集帧率为30fps,图像数据采用bgr格式进行传输,并对连续采集的视频流缓存1帧图像数据,以降低视觉处理过程中的数据等待时间;通过车载处理器接收缓存后的图像数据,并按照时间顺序对用户手部运动过程进行连续分析,以保证手部动作轨迹信息的完整性。
9、姿态检测模型采用人体关键点检测方式获取用户左右手腕位置信息,通过提取左手腕对应的第15号关键点以及右手腕对应的第16号关键点,获取二维像素坐标以及关键点检测置信度;手部检测模型对用户左右手目标进行识别,判断对应手部是否存在于有效检测区域,并获取手掌张开状态信息,以通过手腕运动位置变化信息与手掌姿态信息共同判断用户是否执行车门关闭手势。
10、关键点预处理过程包括置信度筛选处理、坐标平滑处理以及运动有效性判断处理;其中,置信度筛选处理设置conf_thresh阈值为0.6,当关键点检测置信度大于或等于0.6时保留对应坐标数据,当关键点检测置信度小于0.6时过滤对应异常数据;坐标平滑处理采用窗口长度smooth_len为5帧的滑动平均滤波算法,对连续获取的手腕坐标进行计算,以减少关键点检测过程中的随机偏移。
11、有效动作轨迹通过计算相邻视频帧之间手腕关键点坐标的欧氏距离进行确定,设置静止判定阈值stop_thresh为1.8px,当相邻帧坐标距离小于1.8px时,将对应手部运动状态判定为静止状态,不更新当前动作轨迹;当相邻帧坐标距离达到或超过1.8px时,将对应手部位置变化信息记录为有效动作轨迹,用于后续车门关闭手势状态转换判断。
12、有限状态机分别对应左手识别过程和右手识别过程,每只手独立维护一套状态转换逻辑,有限状态机包括idle空闲状态、forward前伸状态、backward拉回状态以及triggered触发状态;当检测到对应手掌处于张开状态且手腕产生有效位移时,由idle空闲状态转换至forward前伸状态,并记录当前手腕坐标作为动作起始位置。
13、有限状态机处于forward前伸状态时,通过计算手腕位置相对于动作起始位置的移动距离判断前伸动作是否完成,设置前伸距离阈值forward_min_dis为70px,当手腕移动距离达到70px时,记录当前手腕位置作为前伸过程中的最远位置,并将状态转换至backward拉回状态,以确认用户完成前伸动作过程。
14、有限状态机处于backward拉回状态时,根据当前手腕位置与前伸最远位置之间的距离变化判断拉回动作是否完成,设置拉回距离阈值backward_min_dis为60px,当检测到手掌持续保持张开状态且拉回距离达到60px,同时当前未处于冷却状态时,将有限状态机转换至triggered触发状态,并生成车门关闭控制指令。
15、状态恢复过程包括异常状态恢复以及触发冷却控制,其中,当检测到手掌由张开状态变为闭合状态、手腕关键点数据连续丢失或者动作持续时间超过1.5秒时,将当前有限状态机状态恢复至idle空闲状态;当完成一次车门关闭控制指令输出后,进入cool_down冷却控制状态,冷却时间设置为1.5秒,在冷却时间范围内忽略再次检测到的相同手势动作,避免重复输出车门关闭控制信号。
16、车门关闭控制信号通过车辆控制接口传输至车载can总线,由车门控制单元接收对应控制信息并执行车门关闭操作,同时输出控制日志信息以及车载显示状态提示信息,以展示当前手势识别状态、控制触发状态以及执行结果;算法采用轻量级视觉关键点检测方式运行于车载嵌入式处理设备中,并支持通过调整动作距离阈值、识别区域范围以及控制接口方式适配不同车型的车辆控制需求。
17、在上述技术方案中,本技术提供的技术效果和优点:
18、本技术通过对用户手部动作进行连续时序分析,将车门关闭手势由单一动作识别转变为“手掌张开、前伸、拉回”的完整动作过程判断,并结合手掌状态检测、动作阶段判断、运动距离阈值限制以及状态复位机制等多级约束条件,提高了用户控制意图识别的可靠性。在检测过程中,系统能够过滤手部轻微抖动、无意识挥动以及未完成动作等非控制行为,降低错误触发车门关闭指令的概率。同时,通过左右手分别维护独立状态判断逻辑,用户可根据自身操作习惯选择不同手部执行关闭动作,提升了不同乘员位置下的交互适应能力,满足驾驶员以及副驾驶用户的手势控制需求。
19、本技术通过对手部关键点数据进行置信度筛选以及滑动平均滤波处理,降低光照变化、局部遮挡以及摄像采集误差对识别结果造成的影响,提高复杂车内环境下的动作识别稳定性。采用轻量级关键点检测方式完成手势分析,降低算法运行过程中的计算资源需求,缩短控制响应时间,满足车载实时交互应用需求。同时,该方案仅依靠单目rgb摄像头即可完成手势采集与识别,无需增加额外深度传感设备,便于在不同车型中进行部署应用,并支持后续扩展其他车辆控制功能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com