一种面向卧床偏瘫对象的口腔多模态感知与个性化喂食位姿估计方法及其系统

本发明属于护理机器人、计算机视觉、人工智能感知、rgb-d深度感知、多模态信号处理、床旁边缘计算以及机器人辅助进食控制，具体涉及一种面向卧床偏瘫对象的口腔多模态感知与个性化喂食位姿估计方法及其系统。

背景技术：

1、现有助餐机器人、护理机器人或口部交互设备通常通过单目摄像头、rgb-d摄像头或面部关键点检测算法识别人的口部区域，并以口中心、唇部中心或人脸几何中心作为送餐、递物或交互的参考目标。对于普通坐姿进食对象，该类方法能够在相对稳定的正面人脸姿态下完成口部定位；部分方案还会结合深度相机获得口部三维坐标，并将视觉定位结果转化为机械臂坐标系下的目标点。

2、对于卧床偏瘫对象，真实护理场景更复杂。对象可能处于床头抬高加侧卧的姿态，头面部相对于床体和机器人基坐标系存在旋转、倾斜和局部遮挡；偏瘫或偏瘫样运动障碍又会造成左右口角闭合能力不一致、面部表情不对称、流涎、食物外漏以及张口配合差异。床被、枕头、护理员手部、餐具和机械臂末端也会周期性遮挡口部区域，单相机口中心定位在此类场景下容易发生目标点跳变或错误递送。

3、普通口中心定位没有区分患侧与健侧，容易将目标设定在闭合能力较弱或外漏风险较高的一侧，不符合偏瘫对象从健侧口角少量慢喂的护理需求。

4、单相机定位在侧卧、头部偏转和局部遮挡条件下稳定性不足；当一侧口角被枕头、床被、餐具或机械臂遮挡时，容易出现深度数据缺失、关键点误识别和目标漂移。

5、现有口部识别结果多停留在二维关键点或三维坐标层面，缺少可直接供机器人控制端调用的推荐进入方向、勺面朝向、可达窗口和可递送置信度。

6、现有方法通常缺少对象专属口面模型，难以将长期面部不对称、口角闭合能力、口腔开合幅度、流涎和食物外漏风险等信息纳入统一估计。

7、感知模块与机器人控制模块若耦合过强，后续误吸预警、人在环慢喂和安全暂停等功能难以独立升级，专利保护边界也容易混杂。

技术实现思路

1、本发明提供一种面向卧床偏瘫对象的口腔多模态感知与个性化喂食位姿估计方法及其系统，在卧床偏瘫对象处于侧卧进食体位、头面部旋转且存在遮挡的情况下，如何稳定识别健侧口角和口面状态，并输出带有置信度、进入方向和可达窗口的个性化喂食位姿，使机器人控制端能够在不重复理解复杂口面状态的前提下完成安全送餐。

2、本发明通过以下技术方案实现：

3、一种面向卧床偏瘫对象的口腔多模态感知与个性化喂食位姿估计方法，所述方法包括以下步骤：

4、步骤1：获取照护对象的患侧、健侧和床上侧卧方向；

5、步骤2：通过至少两个具有互补视角的rgb-d图像采集单元同步采集侧卧状态下的面部彩色图像、深度图、时间戳、内参和外参，其中第一rgb-d相机设置于床旁前侧或床头斜前方，用于获得对象面部整体可见区域；第二rgb-d相机设置于床侧或机械臂附近，用于补偿侧卧状态下健侧口角、口裂区域或局部遮挡区域的观测不足，两路相机采集的数据在同一边缘计算单元内完成时间同步和坐标变换；

6、步骤3：基于所述面部彩色图像识别面部关键点、口裂中心、左右口角、头部姿态、口角开合状态和遮挡区域；

7、步骤4：根据相机外参、头部姿态旋转矩阵和侧卧方向，建立从图像坐标到人体解剖坐标的映射关系，将检测得到的左/右口角关键点归一到人体左口角和人体右口角，以健侧口角作为候选递送口角；

8、步骤5：建立或调用对象专属口面不对称模型subjectoralprofile，所述模型包含患侧、健侧、基准头部姿态、左右口角相对位置、口裂中心、口角闭合能力、张口幅度范围、流涎风险等级、食物外漏风险等级以及历史人工修正偏移量；

9、步骤6：计算各rgb-d图像采集单元的健侧口角候选三维点及多项质量指标，进行加权融合得到融合后的健侧口角目标点

pfuse；

10、步骤7：结合口面模型、食物性状和机器人可达空间，计算最终递送目标点

ptarget、推荐进入方向、勺面朝向、允许进入深度和横向安全边界；

11、步骤8：计算可递送置信度

cdeliver和风险标签，向机器人控制端输出标准化feedingposepacket位姿包；

12、步骤9：若置信度不足或目标点连续漂移、口角遮挡、口腔未打开或外漏风险升高，输出暂停送餐或人工复核标志。

13、进一步的，所述步骤1具体为，所述患侧和健侧由护理记录、肢体活动评估、人工输入或视觉体姿识别确定，侧卧方向包括左侧卧、右侧卧和半侧卧，由护理床体位数据、床面压力分布或视觉体姿识别结果提供。

14、进一步的，所述步骤5具体为，口面不对称向量表示为：

15、

dasym= [

dleft,

dright,

hopen,

cclose,

rleak]

16、其中

dleft和

dright表示左右口角相对口裂中心的空间偏移，

hopen表示口腔开合幅度，

cclose表示口角闭合能力评分，

rleak表示流涎或外漏风险评分。

17、进一步的，所述步骤6具体为，对于第k路rgb-d图像采集单元，综合置信度：

18、

qk= normalize(

w1·

sk+

w2·

dk+

w3·

ok+

w4·

ak+

w5·

tk)

19、其中

sk表示关键点检测可靠性，

dk表示深度数据可用性，

ok表示遮挡反向分数，

ak表示相机视角与口面法向的适配程度并由相机光轴与健侧口角局部法向的夹角确定，

tk表示双路rgb-d帧的时间同步质量并由双路时间戳差值映射得到，

w1至

w5为权重参数；

20、当两路相机均有效时，

21、

pfuse= σ(

qk·

pk)/σ

qk

22、当仅一路相机置信度满足阈值时采用该路结果并降低可递送置信度；当两路均低于阈值时输出不可递送状态。

23、进一步的，所述步骤7具体为，结合口面模型、食物性状和机器人可达空间，计算最终递送目标点

ptarget、推荐进入方向

din、勺面朝向

nspoon、允许进入深度

depthrange和横向安全边界

windowxy，

24、其中

ptarget以

pfuse为基础在口角外侧沿局部法向和推荐进入方向进行微小偏移，偏移量由口角闭合能力、张口幅度、食物黏稠度和单口勺量共同确定，推荐进入方向优先从健侧口角外侧向口裂中心或口腔入口方向缓慢进入并避开患侧口角、面颊、牙龈、鼻部和已识别遮挡区域。

25、进一步的，所述步骤8具体为，计算可递送置信度

cdeliver和风险标签：

26、

cdeliver=

σ(

a1·

qp+

a2·

qs+

a3·

qo+

a4·

qm+

a5·

qr-

a6·

e)

27、其中σ为归一化函数，

qp表示目标点定位质量，

qs表示患健侧判定置信度，

qo表示遮挡可见度，

qm表示口角开合与闭合能力评价值并由subjectoralprofile中的口角闭合能力评分cclose和张口幅度hopen映射得到，

qr表示执行机构可达性评价值，

e表示流涎、食物外漏、异常头动或目标点跳变风险项，

a1至

a6为权重参数。

28、进一步的，所述步骤8具体为，输出的标准化feedingposepacket位姿包包括targetpoint、orientation、approachvector、spoonnormal、depthrange、reachablewindow、deliverconfidence、risklabels、validflag，供机器人控制端调用；若置信度不足或目标点连续漂移、口角遮挡、口腔未打开或外漏风险升高，输出暂停送餐或人工复核标志；记录逐口日志perbitelog，字段包括biteindex、timestamp、posepacket、confidence、risklabels、manualcorrection、robotacceptflag，支持模型更新和事后追溯。

29、进一步的，所述患侧和健侧的获取优先级为：优先读取护理记录或护理员输入的患侧信息；当护理记录不存在或存在冲突时，采集上肢活动幅度、面部对称性、嘴角闭合能力和护理员交互确认结果确定最终患健侧；

30、所述统一坐标系为床体坐标系、机器人基坐标系或与机器人基坐标系具有固定变换关系的视觉坐标系，利用相机标定参数将各相机坐标系下的三维点转换到所述统一坐标系；

31、所述双rgb-d图像采集单元均用于观测同一对象的面部与口面区域，两路相机采集的数据在统一坐标系下针对同一健侧口角候选点进行置信加权融合，而非分别用于观测人脸与物品。

32、进一步的，所述健侧和患侧信息来源于护理记录、病历标注、肢体活动评估或护理员手动输入，并作为后续双rgb-d置信融合和feedingposepacket输出的前置约束条件；

33、所述对象专属口面不对称模型subjectoralprofile由人工标定初始化，或由多次喂食过程中的人工纠正标签和逐口日志perbitelog自动更新。

34、一种面向卧床偏瘫对象的口腔多模态感知与个性化喂食位姿估计系统，其特征在于，所述系统使用如上述面向卧床偏瘫对象的口腔多模态感知与个性化喂食位姿估计方法，所述系统包括，

35、侧别信息获取模块，用于读取护理记录、肢体评估或护理员输入，确定患侧、健侧和侧卧方向；

36、多视角rgb-d采集模块，包括至少两个具有互补视角的rgb-d图像采集单元，用于采集面部彩色图像、深度图、时间戳、内参和外参；

37、口面状态识别模块，用于检测面部关键点、口裂中心、左右口角、头部姿态、口角开合状态和遮挡区域；

38、个体化建模模块，用于建立或调用对象专属口面不对称模型subjectoralprofile；

39、置信融合模块，用于将各图像采集单元获得的口角三维候选点转换到统一坐标系，并结合关键点置信度、深度有效性、遮挡比例、视角质量和历史稳定性进行加权融合，得到健侧口角目标点；

40、位姿估计模块，用于根据健侧口角目标点、口面状态、食物性状和机器人可达约束输出喂食位姿估计结果；

41、接口输出模块，用于向机器人控制端输出标准化feedingposepacket。

42、本发明的有益效果是：

43、本发明将传统口中心定位改进为健侧口角位姿估计，更适合偏瘫对象单侧口角闭合能力差异明显的侧卧慢喂场景。

44、本发明通过双rgb-d相机互补观测和遮挡置信度融合，在头部偏转、局部遮挡或单路深度失效时仍能维持较稳定的口角目标估计。

45、本发明通过subjectoralprofile记录对象患健侧、面部不对称、张口范围、口角闭合能力和历史修正量，使每次喂食位姿估计具备个体化依据。

46、本发明输出位姿级数据包而非仅输出关键点坐标，使感知端、机器人轨迹规划端、力控喂食端、误吸预警端和人在环复核端能够清晰解耦。

47、本发明在可递送置信度不足、目标点连续漂移、口角遮挡、口腔未打开或外漏风险升高时，系统可输出暂停送餐或人工复核标志，从状态感知层面降低误递送风险。