一种基于多模态大模型的电动轮椅控制系统及方法与流程

摘要: 本发明涉及轮椅控制,具体而言,涉及一种基于多模态大模型的电动轮椅控制系统及方法。背景技术:1、随着民航旅客服务品质提升与智慧机场建设的推进,特殊旅客(如老年、残...
一种基于多模态大模型的电动轮椅控制系统及方法与流程

本发明涉及轮椅控制,具体而言,涉及一种基于多模态大模型的电动轮椅控制系统及方法。

背景技术:

1、随着民航旅客服务品质提升与智慧机场建设的推进,特殊旅客(如老年、残疾旅客)的地面服务成为机场服务评价的一个重点。在机场航站楼中,轮椅需经过通道、安检区、登机口等人流密集区域,使用者可能因头部晃动、姿态不稳或紧张反应产生非主动动作,而电动轮椅的控制过程不能仅依赖单一操控信号或简单动作匹配,还需要结合乘员状态、车辆运动状态、环境感知信息和安全监管信息对当前行驶风险进行综合判断,从而避免将非主动动作误判为控制指令的风险。

2、现有专利cn106909106a公开了一种电动轮椅的体感控制方法及装置,其通过采集姿态信号,并根据姿态及运动轨迹数据判定动作,由此完成对电动轮椅的控制。由此可见,将姿态动作识别结果直接映射为轮椅控制信号,未根据车辆实时速度、轮椅姿态变化来对动作来源和控制风险进行综合判断,且未区分用户主动控制动作、用户生理性不自主动作以及轮椅行驶过程中由路面颠簸、坡道变化、转弯惯性引起的被动晃动,导致复杂场景下电动轮椅存在误操作的风险,致使电动轮椅的控制可靠性不足。

3、因此,有必要设计一种基于多模态大模型的电动轮椅控制系统及方法用以解决当前技术中存在的问题。

技术实现思路

1、鉴于此,本发明提出了一种基于多模态大模型的电动轮椅控制系统及方法,旨在解决现有技术无法根据车辆实时速度、轮椅姿态变化来对动作来源和控制风险进行综合判断,且未区分用户主动控制动作、用户生理性不自主动作以及轮椅行驶过程中的被动晃动,导致电动轮椅控制可靠性不足的问题。

2、一个方面,本发明提出了一种基于多模态大模型的电动轮椅控制方法,包括:

3、采集电动轮椅的乘员状态信息、车辆运行信息、轮椅姿态信息、行驶环境信息和导航定位信息;

4、基于所述乘员状态信息提取乘员动作特征,并将所述乘员动作特征与预设控制动作进行匹配,确定候选控制动作,基于所述车辆运行信息和轮椅姿态信息确定扰动触发方向和扰动出现时间,将所述扰动触发方向和扰动出现时间与所述候选控制动作进行关联比对,确定所述候选控制动作的动作来源类型;

5、基于所述行驶环境信息和导航定位信息识别所述电动轮椅的航站楼通行区域、路径偏离信息和障碍物接近信息,并确定场景约束状态,基于所述动作来源类型和场景约束状态确定所述电动轮椅的控制指令;

6、当所述动作来源类型为主动控制动作时,基于所述乘员状态信息确定乘员操作能力等级,并基于所述航站楼通行区域和路径偏离信息确定通行安全边界,基于所述乘员操作能力等级和通行安全边界的匹配结果,输出行驶调整指令、限速行驶指令或减速转向指令;

7、当所述动作来源类型为被动扰动动作时,基于所述扰动触发方向、扰动出现时间和场景约束状态屏蔽所述候选控制动作,并基于所述场景约束状态输出保持行驶指令或减速行驶指令;

8、当所述动作来源类型为异常风险动作时,则基于所述乘员操作能力等级、障碍物接近信息和航站楼通行区域输出停车控制指令/远程请求指令/急停控制指令。

9、进一步的,在确定候选控制动作时,包括:基于所述乘员状态信息确定乘员头部偏转方向、上身倾斜方向、动作幅度和面部朝向信息,并将所述头部偏转方向和上身倾斜方向确定为动作方向,将所述动作幅度确定为动作强度信息,基于所述动作方向、动作强度信息和面部朝向信息确定所述乘员动作特征,当所述乘员动作特征与预设控制动作中的方向条件和幅度条件一致时,则将对应的预设控制动作确定为所述候选控制动作。

10、进一步的,在确定扰动触发方向和扰动出现时间时,包括:基于所述车辆运行信息确定车速变化量、驱动轮转速差和驱动电流变化量,基于所述轮椅姿态信息确定车体俯仰变化量、车体横摆变化量和车体侧倾变化量,当所述车速变化量、驱动轮转速差、驱动电流变化量、车体俯仰变化量以及车体横摆变化量和/或车体侧倾变化量为同步扰动时,则将同步开始时间确定为所述扰动出现时间,并基于同步扰动的方向确定前后扰动方向和/或左右扰动方向和/或侧向扰动方向。

11、进一步的,在确定所述候选控制动作的动作来源类型时,包括:当所述候选控制动作的动作出现时间早于所述扰动出现时间,且所述候选控制动作的动作方向与预设控制动作对应的控制方向一致时,则将所述动作来源类型确定为所述主动控制动作;当所述候选控制动作的动作出现时间晚于或等于所述扰动出现时间,且所述候选控制动作的动作方向与所述扰动触发方向一致或相反时,则将所述动作来源类型确定为所述被动扰动动作;当所述候选控制动作与若干个预设控制动作匹配,且动作方向与当前行驶方向和路径方向均不一致时,则将所述动作来源类型确定为所述异常风险动作。

12、进一步的,在确定场景约束状态时,包括:基于所述导航定位信息确定所述电动轮椅在航站楼的当前位置,并将所述当前位置与区域边界进行匹配,确定所述航站楼通行区域,基于所述导航定位信息和目标通行路径确定所述路径偏离信息,基于所述行驶环境信息确定障碍物接近信息,当所述航站楼通行区域为通道区域,且所述路径偏离信息处于偏离范围内,以及所述障碍物接近信息未达到接近条件时,则将所述场景约束状态确定为通道通行状态,否则为受限通行状态。

13、进一步的,在确定场景约束状态时,还包括:所述受限通行状态包括区域受限状态、路径受限状态和障碍受限状态,当所述航站楼通行区域为安检区/登机口区域/电梯口区域/坡道区域/转弯区域/人流交汇区域时,则将所述受限通行状态确定为所述区域受限状态;当所述路径偏离信息为所述电动轮椅偏离所述目标通行路径,且偏离方向为非目标通行区域时,则将所述受限通行状态确定为所述路径受限状态;当所述障碍物接近信息为前向/侧向/转向内侧存在障碍物时,则将所述受限通行状态确定为所述障碍受限状态。

14、进一步的,在确定所述乘员操作能力等级时,包括:基于所述乘员状态信息确定乘员年龄段、坐姿状态、头部动作状态、上身状态和乘员注视状态,当所述乘员年龄段为低风险年龄段,且坐姿状态、头部动作状态和乘员注视状态均满足稳定条件时,则确定为第一操作能力等级;当所述乘员年龄段为高龄年龄段,或,所述坐姿状态、头部动作状态和上身晃动状态任一项不满足稳定条件时,则确定为第二操作能力等级;当所述乘员注视状态或上身状态存在异常时,则确定为第三操作能力等级。

15、进一步的,在确定通行安全边界时,包括:基于所述航站楼通行区域确定区域控制边界,基于所述乘员操作能力等级确定乘员控制边界,将所述区域控制边界和乘员控制边界进行叠加,确定所述通行安全边界。

16、进一步的,在输出轮椅控制指令时,包括:当所述动作来源类型为所述主动控制动作,且候选控制动作对应的车速增量、转向角度和动作响应时间均位于所述通行安全边界时,则输出所述行驶调整指令;当所述动作来源类型为所述主动控制动作,且对应的车速增量/转向角度/动作响应时间超出所述通行安全边界时,则将超出部分进行截断,并基于所述场景约束状态输出所述限速行驶指令或减速转向指令;当所述动作来源类型为所述异常风险动作,且存在障碍受限状态/路径受限状态/第三操作能力等级时,则输出停车控制指令、远程请求指令或急停控制指令。

17、与现有技术相比,本发明的有益效果在于:通过采集乘员状态信息、车辆运行信息、轮椅姿态信息、行驶环境信息和导航定位信息,使得电动轮椅的控制依据不再局限于单一姿态动作,而是将乘员状态、车辆运动、轮椅姿态、周围环境和当前位置共同纳入判断,避免因单一操控信号造成对控制的误判。将乘员动作特征与预设控制动作进行匹配,能够筛选出对应控制意图的动作,再结合车辆运行信息和轮椅姿态信息确定扰动触发方向和扰动出现时间,区分了主动控制动作、被动扰动动作和异常风险动作,避免了将路面颠簸、坡道变化、转弯惯性或乘员非主动晃动误判为有效的控制指令。通过确定场景约束状态,控制指令能够结合通道、安检区、登机口、人流密集区域等不同航站楼环境进行调整,且能够根据乘员自身状态和通行区域对控制进行限制,减少由车辆晃动引起的误动作,基于乘员操作能力等级、障碍物接近信息和航站楼通行区域输出对应的控制指令,提升了对电动轮椅控制的可靠性和智能化程度。

18、另一方面,本技术还提供了一种基于多模态大模型的电动轮椅控制系统,用于应用上述基于多模态大模型的电动轮椅控制方法,包括:

19、采集单元,被配置为采集电动轮椅的乘员状态信息、车辆运行信息、轮椅姿态信息、行驶环境信息和导航定位信息;

20、分析单元,被配置为基于所述乘员状态信息提取乘员动作特征,并将所述乘员动作特征与预设控制动作进行匹配,确定候选控制动作,基于所述车辆运行信息和轮椅姿态信息确定扰动触发方向和扰动出现时间,将所述扰动触发方向和扰动出现时间与所述候选控制动作进行关联比对,确定所述候选控制动作的动作来源类型;

21、控制单元,被配置为基于所述行驶环境信息和导航定位信息识别所述电动轮椅的航站楼通行区域、路径偏离信息和障碍物接近信息,并确定场景约束状态,基于所述动作来源类型和场景约束状态确定所述电动轮椅的控制指令;

22、所述控制单元,还被配置为当所述动作来源类型为主动控制动作时,基于所述乘员状态信息确定乘员操作能力等级,并基于所述航站楼通行区域和路径偏离信息确定通行安全边界,基于所述乘员操作能力等级和通行安全边界的匹配结果,输出行驶调整指令、限速行驶指令或减速转向指令;

23、所述控制单元,还被配置为当所述动作来源类型为被动扰动动作时,基于所述扰动触发方向、扰动出现时间和场景约束状态屏蔽所述候选控制动作,并基于所述场景约束状态输出保持行驶指令或减速行驶指令;

24、所述控制单元,还被配置为当所述动作来源类型为异常风险动作时,则基于所述乘员操作能力等级、障碍物接近信息和航站楼通行区域输出停车控制指令/远程请求指令/急停控制指令。

25、可以理解的是,上述一种基于多模态大模型的电动轮椅控制系统及方法具备相同的有益效果,在此不再赘述。