一种护理机器人情绪评估与护理控制方法及系统与流程

本发明涉及护理机器人、人工智能情绪识别及多模态信号处理，具体涉及一种护理机器人情绪评估与护理控制方法及系统。

背景技术：

1、随着计算机科学以及人工智能技术的迅速发展，情绪检测研究逐渐由主观测量转向基于客观信号的情绪识别。按照输入信号类型，情绪识别方法可以分为单模态方法和多模态方法。单模态方法通常基于脑电、心电、语音或面部表情等单一信号实现识别，然而情绪是一种复杂且动态变化的心理—生理过程，单一模态往往难以充分表征其多维特征，并容易受到光照、遮挡、环境噪声、体动干扰或个体差异影响。

2、在护理机器人、理疗机器人或陪伴机器人场景中，用户的短时表情、单句语音或瞬时心率并不能完整反映其在整个服务过程中的舒适程度。例如，用户可能因动作牵拉在某一瞬间出现痛苦表情，但随后迅速恢复平静；也可能在短时间内保持平静，而在持续护理过程中逐渐产生紧张、不适或疲劳。仅对单个时间窗口进行情绪分类，难以识别情绪状态的持续时间、恢复速度和恶化趋势。

3、现有非接触式生命体征检测技术可以利用毫米波雷达提取呼吸和心搏信息，现有视觉识别技术可以识别人脸表情及动作，现有语音技术可以进行语音识别和语义分析。但是，现有方案往往将多模态特征进行简单拼接，未充分处理不同模态在时间尺度、采样频率和信号质量上的差异，也未将短时情绪识别结果进一步转换为护理服务过程中的长时程情绪演变特征。

4、此外，不同用户的静息心率、心率变异性、面部表情习惯和语音表达习惯存在明显差异。若采用完全相同的阈值或模型参数，容易导致跨个体评估偏差。现有护理机器人通常只输出情绪类别或健康提示，缺少根据服务状态评估结果对护理动作强度、动作速度、交互语音及人工提醒进行闭环控制的技术方案。

5、因此，需要一种能够在护理服务过程中同步采集多模态信号、根据模态质量进行动态融合、利用情绪状态转移规律进行长时程服务状态评估，并根据评估结果控制护理机器人动作的技术方案。

技术实现思路

1、本发明的目的在于提供一种护理机器人情绪评估与护理控制方法，以解决现有技术中单模态识别不稳定、多模态融合不充分、瞬时情绪无法反映完整护理过程、个体差异处理不足以及缺少护理闭环控制的问题。

2、本发明的上述目的通过以下技术方案实现：

3、一种护理机器人情绪评估与护理控制方法，包括：

4、s1、在护理服务过程中，通过毫米波雷达采集用户胸腔微动回波信号，通过音频采集模块采集用户语音信号，并通过视频采集模块采集用户人脸表情及动作图像；依据统一时间戳对所述胸腔微动回波信号、所述语音信号和所述动作图像进行时间对齐，得到多模态同步序列；

5、s2、分别计算所述多模态同步序列中各模态的质量指标，并依据所述质量指标确定各模态的融合权重；

6、s3、对所述胸腔微动回波信号进行呼吸心搏分离，提取呼吸率、心搏间期及心率变异性特征；对所述语音信号提取声学特征和语义特征；对所述动作图像提取表情特征和动作特征；

7、s4、将各模态对应的特征序列分别输入时间卷积网络，得到各模态的高阶时序表征，并将所述高阶时序表征及所述融合权重输入跨模态注意力融合模型，得到融合表征；

8、s5、根据所述融合表征输出当前时间窗口的情绪类别和情绪置信度；

9、s6、在一次护理服务过程对应的连续时间窗口内，依据所述情绪类别和所述情绪置信度形成情绪状态序列，并构建情绪状态转移概率矩阵；

10、s7、提取所述情绪状态转移概率矩阵的转移矩阵特征，并将所述转移矩阵特征、所述心率变异性特征的趋势特征以及所述语义特征输入服务状态评估模型，得到护理舒适度指标或服务过程满意度指标；

11、s8、根据所述护理舒适度指标或服务过程满意度指标生成护理机器人控制指令，以调整护理动作参数、调整语音交互内容或触发人工提醒。

12、作为优选，所述统一时间戳由边缘处理单元基于同一单调时钟在接收雷达数据包、音频采样帧和视频图像帧时生成，各模态时间戳的同步误差不大于50毫秒；所述毫米波雷达的帧率为20hz，所述语音信号的采样率为16khz，所述动作图像的帧率为30fps；所述时间对齐包括：按照预设短时窗口截取各模态数据，所述短时窗口的长度默认为2秒、滑动步长为0.5秒，将采样频率不同的各模态数据经线性插值重采样或窗口聚合至统一时间轴，并将各短时窗口内的生理特征、语音特征和视觉特征关联至同一窗口编号。

13、作为优选，所述毫米波雷达为调频连续波雷达；对所述胸腔微动回波信号进行混频、低通滤波和距离维傅里叶变换，获得目标距离单元对应的相位信号；对所述相位信号进行相位解缠，并分别经通带为0.1hz至0.5hz的呼吸滤波通道和通带为0.8hz至2.0hz的心搏滤波通道处理，获得呼吸波形和心搏波形；以滑动窗口均值与预设倍数标准差之和作为自适应阈值检测所述心搏波形的峰值，并约束相邻峰值间隔不小于300毫秒，对峰值位置进行抛物线插值以获得亚采样精度，根据相邻峰值间隔获得心搏间期序列；根据多个距离单元的相位方差检测体动时段，剔除所述体动时段内的心搏间期并进行插值校正；根据校正后的心搏间期序列计算时域心率变异性特征、频域心率变异性特征以及庞加莱图特征。

14、作为优选，所述质量指标归一化至[0,1]区间；毫米波雷达通道的质量指标q_r由归一化相位信噪比、心搏峰检出率和体动干扰强度加权获得；语音通道的质量指标包括语音识别置信度、声压级或语音信噪比；视频通道的质量指标包括人脸检测置信度、遮挡程度或动作模糊程度；所述融合权重β_m按照β_m=exp(γq_m)/σ_j exp(γq_j)计算，其中q_m为第m个模态的质量指标，γ为温度系数；当q_m低于第一质量阈值时，将对应模态的融合权重置零，并利用历史窗口特征或其他模态特征进行插值补偿；当q_m处于第一质量阈值与第二质量阈值之间时，对对应模态降权。

15、作为优选，所述表情特征由局部感知增强的视觉transformer模型提取；所述局部感知增强的视觉transformer模型包括局部感知增强patch embedding模块和多层transformer编码器，所述局部感知增强patch embedding模块包括依次连接的3×3卷积层、激活函数层、3×3深度可分离卷积层、1×1逐点卷积层和残差连接，用于在图像块线性映射之前引入局部卷积交互，以增强面部关键区域的细节纹理和细微形变表征。

16、作为优选，所述语音信号经自监督语音预训练模型提取声学表征，所述自监督语音预训练模型通过遮蔽部分语音帧并预测被遮蔽语音帧对应的语音单元伪标签进行训练；所述语音信号经端到端语音识别模型转换为文本，所述端到端语音识别模型基于连接时序分类或注意力机制；将所述声学表征和所述文本分别输入语音情绪分支和语义分析分支，得到语音情绪特征、护理不适语义特征和服务评价语义特征。

17、作为优选，所述连续时间窗口为一次护理服务过程，时长为5分钟至30分钟；以60秒分析窗和10秒滑动步长对所述情绪状态序列进行统计，更新所述情绪状态转移概率矩阵；所述情绪状态包括由六种基本情绪映射得到的积极、平静和消极三种状态，或者所述六种基本情绪；对于情绪置信度低于0.6的短时结果，保持前一情绪状态；所述情绪状态转移概率矩阵的元素p_ij按照p_ij=(n_ij+α)/(σ_j n_ij+αm)计算，其中n_ij为由第i种情绪状态转移至第j种情绪状态的次数，α为平滑系数，m为情绪状态数量；所述转移矩阵特征包括积极情绪保持率、消极情绪保持率、由消极情绪向积极情绪的恢复率、由积极或平静状态向消极状态的恶化率、消极情绪驻留时间以及状态转移熵中的至少两种。

18、作为优选，在护理服务开始前采集用户处于坐姿静息状态下时长为60秒的静息基线数据；根据所述静息基线数据确定心率变异性特征的基线均值和基线标准差，并按照z=(x−μ_0)/σ_0对所述心率变异性特征进行归一化，其中x为当前特征值，μ_0为所述基线均值，σ_0为所述基线标准差；根据所述静息基线数据对情绪置信度阈值或服务状态评估阈值进行偏移校正，或者通过用户嵌入向量对不同用户的表情习惯、语音习惯和自主神经反应差异进行在线适配。

19、作为优选，所述护理动作参数包括按摩力度档位、动作速度、动作部位或动作轨迹以及热敷温度，所述按摩力度档位对应驱动电机的扭矩上限，所述动作速度不超过关节角速度上限，所述热敷温度不超过45°c；当所述护理舒适度指标低于第一舒适度阈值，或所述服务过程满意度指标低于第一满意度阈值时，控制护理机器人降低按摩力度档位、降低动作速度、改变动作部位、暂停当前护理动作或播放安抚语音；当消极情绪驻留时间超过预设时长且所述心率变异性特征的趋势特征相对于静息基线满足异常条件时，控制护理机器人停止当前护理动作、恢复至安全姿态并触发人工提醒，所述人工提醒包括向移动终端推送消息、呼叫护理站或发出声光提示；所述护理机器人控制指令经安全校验层限制最大压力、最大速度和温度上限；当任一模态缺失或所述情绪置信度持续偏低时，仅执行降低动作强度或暂停动作类的保守指令，并在执行调节动作前通过语音询问进行二次确认。

20、一种护理机器人情绪评估与护理控制系统，包括毫米波雷达、音频采集模块、视频采集模块、边缘处理单元和护理机器人控制单元；所述毫米波雷达经usb或uart接口与所述边缘处理单元连接，所述视频采集模块经mipi-csi或usb接口与所述边缘处理单元连接，所述音频采集模块经i2s或usb接口与所述边缘处理单元连接，所述边缘处理单元经uart、can总线或以太网与所述护理机器人控制单元连接；所述边缘处理单元为集成神经网络加速引擎的嵌入式处理器，被配置为在本地执行上述方法的步骤，所述护理机器人控制单元被配置为根据所述边缘处理单元输出的控制指令调整护理执行机构、语音交互模块或提醒通信模块。

21、综上所述，本发明的有益效果包括：

22、1、通过在一次护理服务过程的连续时间窗口内构建情绪状态转移概率矩阵，将短时情绪分类结果转换为长时程情绪演变特征，能够降低瞬时表情、短暂体动或单句语音造成的误判，使护理舒适度和服务过程满意度评估更贴近完整服务过程。

23、2、通过根据模态质量指标进行动态加权、遮蔽或插值补偿，在光照不足、人脸遮挡、环境噪声或体动干扰导致某一模态质量下降时，仍能够保持情绪评估和护理状态评估的连续性。

24、3、通过结合心率变异性趋势、语音语义和情绪状态转移规律，可以从自主神经反应、语言表达和外部行为三个层面交叉验证用户状态，提高护理服务状态评估的鲁棒性。

25、4、通过静息基线采集和个体化阈值校正，降低不同用户静息心率、表情习惯和语音表达习惯差异对评估结果的影响。

26、5、通过将护理舒适度或服务过程满意度指标转换为护理机器人控制指令，并设置安全校验层、降级模式和二次确认机制，实现对护理动作参数、语音交互内容和人工提醒的安全闭环调节，有利于提高护理服务的及时性和安全性。