一种面向障碍人群的多模态康复训练智能体调控方法及系统与流程

摘要: 本发明涉及智能康复训练和多模态信息处理,具体涉及一种面向障碍人群的多模态康复训练智能体调控方法及系统。背景技术:1、随着康复机器人、人工智能交互技术及多模态感知...
一种面向障碍人群的多模态康复训练智能体调控方法及系统与流程

本发明涉及智能康复训练和多模态信息处理,具体涉及一种面向障碍人群的多模态康复训练智能体调控方法及系统。

背景技术:

1、随着康复机器人、人工智能交互技术及多模态感知技术的发展,利用机器人或训练终端辅助功能障碍人群进行语言、认知、社交、运动及行为配合训练,已成为智能康复训练领域的重要方向;现有训练系统通常通过语音、图像、触控、生理信号或行为数据采集受训者响应,并结合预设课程或训练任务输出提示、示范或反馈,以提高训练过程的互动性和连续性。

2、然而,在实际康复训练场景中,受训者的响应常存在动作延迟、注意力转移、误触、背景语音、遮挡、脑电伪迹或异常行为等情况;若训练系统仅依赖单一模态识别结果,或者对多模态数据进行简单加权融合,容易将低质量数据、跨相位数据或无效响应误用于任务完成判定,进而造成训练状态误判和能力画像更新不准确。

3、同时,现有训练系统中的能力评估、训练任务生成和机器人执行控制通常相对分离;能力画像或训练等级多用于课程推荐或报告生成,难以与机器人语音播放速度、屏幕刺激时长、机械臂示范速度、响应时间窗、模态权重和安全暂停阈值等执行参数形成实时联动;对于由模型或课程规则生成的训练任务,也缺少面向机器人执行能力、模态可用性和动作安全的校验机制,导致训练任务难以稳定、安全地转化为可执行反馈控制过程。

4、此外,不同模态数据在采集频率、传输延迟、信号质量和有效响应时间上存在差异;若缺少统一的任务相位同步机制、模态质量筛选机制和证据不足处理机制,低质量或跨相位的数据可能被错误用于任务判定和能力更新,影响后续训练路径和机器人反馈策略的准确性与安全性。

5、因此,有必要提供一种面向障碍人群的多模态康复训练智能体调控方法及系统,以提高多模态训练证据与训练步骤的对应准确性,降低低质量数据对任务判定和能力画像更新的影响,并提升机器人反馈调控的适配性和安全性。

技术实现思路

1、本发明的目的在于提供一种面向障碍人群的多模态康复训练智能体调控方法及系统,用于解决现有康复训练系统中多模态数据难以准确对应训练步骤、低质量数据易污染训练结果、训练任务生成结果缺少面向机器人执行的安全校验机制以及训练任务缺少实时闭环调控的问题。

2、为了实现上述目的,本发明提供一种面向障碍人群的多模态康复训练智能体调控方法,包括以下步骤:

3、获取使用者训练档案、能力画像、安全配置表及视觉、语音、触控、脑电和行为模态的质量阈值,生成包括多个任务相位的训练任务状态机,每个任务相位包括相位事件码、刺激内容、预期响应、响应时间窗、最低有效模态集合、机器人动作参数和安全停止条件;

4、执行当前任务相位时,将当前相位事件码写入机器人执行单元和各模态数据缓存区,采集携带当前相位事件码和时间戳的视觉数据、语音数据、触控数据、脑电意图数据和行为反馈数据;

5、以机器人刺激输出完成时刻为响应计时基准,从携带当前相位事件码且落入响应时间窗的数据中确定候选训练证据;

6、根据候选训练证据的质量阈值生成质量门控标记,将质量门控有效的数据确定为有效训练证据;

7、对有效训练证据提取特征生成多模态特征向量,根据预期响应和多模态特征向量输出当前任务相位状态,并根据当前任务相位状态生成反馈调控指令,控制康复训练机器人或训练终端执行反馈及安全校验,基于有效训练证据更新能力画像。

8、进一步地,生成训练任务状态机时,根据训练档案、能力画像、训练目标、知识图谱和课程规则生成训练任务;当生成结构化候选训练任务包时,边缘端规则校验器对能力等级、课程先决条件、模态可用性、机器人能力、动作安全、提示策略、强化策略以及隐私和数据策略进行校验,校验通过后将候选训练任务包编译为机器人可执行任务状态机。

9、进一步地,所述候选训练任务包包括任务目标、任务相位列表、预期响应、难度参数、提示策略、强化策略、机器人动作约束、完成标准和回退方案;校验不通过时,边缘端删除不可执行相位、替换机器人动作、降低难度参数、调整提示策略、改用本地训练模板或进入人工确认模式。

10、进一步地,所述相位事件码根据使用者标识的脱敏编号、训练会话编号、任务编号、相位编号和相位起始时间生成,并采用不可逆散列或会话内随机编码;视觉帧、语音片段、触控事件、脑电滑动窗口和行为事件入队时均绑定相位事件码和时间戳。

11、进一步地,确定候选训练证据时,根据最近多个任务相位中各模态数据的采集时间戳与入队时间戳计算平均采集延迟,并对入队时间进行补偿;同一数据落入相邻任务相位的响应时间窗时,优先归属于相位事件码一致且补偿后时间距离响应计时基准最近的任务相位。

12、进一步地,生成质量门控标记时,分别计算视觉、语音、触控、脑电和行为质量参数;当某一模态质量参数低于对应质量阈值时,将该模态标记为无效并将其融合权重置零;当最低有效模态集合不满足或有效模态数量低于最低证据要求时,输出证据不足状态并执行重新采集、重新提示或人工确认。

13、进一步地,输出当前任务相位状态时,根据任务类型选择多模态证据融合规则并计算任务相位完成度;完成度达到完成阈值且最低有效模态集合满足要求时输出完成状态;主模态质量低于阈值或多模态证据不足时优先输出证据不足状态;主模态质量合格、响应时间有效且错误证据明确时输出未完成状态;安全停止条件被触发时输出异常暂停状态。

14、进一步地,生成反馈调控指令时,完成状态对应强化反馈指令,未完成状态对应纠错提示指令或任务重试指令,证据不足状态对应重新采集指令、重新提示指令或人工确认指令,异常暂停状态对应停止机械臂动作和移动动作的停止指令;下发机械臂示范指令或移动跟随指令前,依据安全配置表对速度、距离、空间和姿态限制进行校验。

15、本发明还提供了一种面向障碍人群的多模态康复训练智能体调控系统,包括训练档案与能力画像模块、任务规划与状态机生成模块、多模态采集与相位同步模块、质量筛选与特征处理模块、融合判定与机器人调控模块以及画像更新与报告同步模块;

16、训练档案与能力画像模块用于生成训练档案、能力画像和安全配置表;

17、任务规划与状态机生成模块用于生成训练任务状态机;

18、多模态采集与相位同步模块用于采集携带相位事件码和时间戳的多模态数据并确定候选训练证据;

19、质量筛选与特征处理模块用于生成质量门控标记并形成多模态特征向量;

20、融合判定与机器人调控模块用于输出当前任务相位状态,并控制康复训练机器人或训练终端执行反馈调控及安全校验;

21、画像更新与报告同步模块用于基于有效训练证据更新能力画像。

22、进一步地,所述系统包括云端服务层、边缘计算层和终端设备层;云端服务层用于执行大模型推理、知识图谱维护、训练路径分析和跨会话数据统计;边缘计算层用于本地轻量模型推理、多模态质量筛选和安全控制,并在网络异常、云端服务不可用或安全停止条件被触发时执行本地安全规则;终端设备层包括康复训练机器人、多模态传感器、显示屏、语音输出设备、触控部件、机械臂、移动底座和脑电意图接收接口。

23、综上所述,由于采用了上述技术方案,本发明的有益效果是:

24、1、本发明以任务相位为单位建立响应时间窗,并对视觉、语音、触控、脑电和行为数据进行同步采集与相位绑定,能够减少提示未完成、响应延迟或跨相位数据造成的误判,提高训练数据采集的准确性和有效性;

25、2、本发明通过对各模态数据设置质量参数、质量阈值和质量门控标记,使低质量模态不参与任务失败判定和能力画像正向更新,能够避免遮挡、噪声、误触、脑电伪迹等异常数据污染训练结果,提高多模态训练证据的可信度;

26、3、本发明采用质量门控归一化融合方式计算任务完成度,并结合最低有效证据权重、证据不足状态和异常暂停优先级进行任务状态判定,能够降低常规加权融合导致的误识别风险,提高机器人反馈和安全控制的可靠性;

27、4、本发明将能力画像更新结果映射为下一任务状态机的机器人控制参数,包括响应时间窗、模态权重、提示等级、刺激呈现时长、机器人动作速度和安全暂停阈值等,使训练路径不再仅是课程推荐结果,而是直接用于调节机器人执行策略,提高个体化训练的适配性和连续性。