基于实时关节状态的机器人手语多通道分配方法及系统与流程
本发明属于智能机器人与无障碍人机交互,尤其是涉及一种基于实时关节状态的机器人手语多通道分配方法及系统。
背景技术:
1、在政务大厅、医疗导诊、展厅接待、教育服务与公共咨询等场景中,服务机器人需向听障、聋哑或以手语为主要沟通方式的用户输出信息,同时往往还需面向使用口语的用户。服务机器人本体具有有限的手指自由度、手腕与肘肩活动范围、头部姿态范围以及面部非手动特征表达能力,难以完整复现自然手语中的精细手型、连续构形变化、面部表情、口型与头部姿态。
2、为弥补服务机器人本体能力的不足,当前公知手段主要包括以下几类。一类是从多通道输出的角度弥补本体能力不足:由机器人本体动作承担部分空间指向与节奏性动作,由屏幕虚拟手语角色承担精细手语与非手动特征,由字幕与语音分别面向手语用户消歧与面向非手语用户补充说明。另一类是从本体单通道动作可执行性的角度弥补运动问题:在模型输出或重定向得到本体动作序列后,对不可执行动作做几何修正或自碰撞处理,并在实体部署时对关节轨迹做平滑与限位避让,以使预定手语动作尽可能在本体上可求解、可稳定跟踪。上述两类手段分别解决了多通道并行呈现问题,以及单通道条件下的几何可行与运动跟踪问题。
3、上述公知手段虽能分别解决多通道并行呈现或单通道动作可执行性问题,但其共同前提是:各输出通道的能力在设计阶段被预先声明为固定不变,且输出开始前一次性确定全部通道分工,运行中不再调整。这一共同前提导致在面对关节限位、负载变化、故障或用户视点移动等运行期动态变化时,上述方案无法在线调整已分配好的通道承载关系。
4、qiao等人发表于arxiv:2505.24266的论文“signbot:learning human-to-humanoid sign language interaction(面向人与仿人机器人手语交互的学习研究)”(icra 2026)中公开了一种人形机器人手语交互方案。该方案应用于人形机器人与手语用户之间的双向交互。该方案所要解决的问题是:使机器人理解用户手语并生成机器人侧手语回应,且动作可在仿真与实体机器人上稳定执行。该方案的技术实现主要包括三部分。其一为运动重定向,将人类手语数据映射为机器人躯干与灵巧手的关节运动。其二为低层运动控制,上身通过模仿学习跟踪手语姿态,下身维持站立平衡。其三为高层交互,由手语翻译、应答与生成模块将文本转换为机器人侧手语运动,并驱动低层控制器执行。实体部署时,该方案采用在线轨迹生成以保证相邻关节目标之间的平滑过渡,并避免关节指令接近物理限位,以降低仿真与实体差异带来的风险。
5、然而,该方案存在如下技术缺陷:
6、第一,通道能力仍按单通道本体执行来组织,缺少由关节实时状态驱动的跨通道表达决策。该方案的目标是将手语语义尽可能完整地落实到人形本体执行。当手指自由度不足、腕部灵活性受限或关节接近限位时,仍主要通过重定向与控制优化在单通道本体内逼近原动作,而不依据由关节编码器及伺服驱动器测得的关节角度、关节角速度、当前力矩,并结合力矩限值及故障或受限关节标识等计算表达能力画像,从而决定某一手语语义单元改由屏幕虚拟手语、字幕等其他通道承载。
7、第二,不结合用户观察视点判定手语动作是否对用户可见。该方案在安排精细手型等手部动作时,不以用户视点下的可见区域为约束。因而可能出现:动作在运动学上可达,但执行位置处于用户当前视点下看不见的区域,用户仍无法读懂该精细手型。
8、第三,缺少输出中途的跨通道重规划与全通道失败处理,亦未建立可校验的语义完整性约束。该方案实体部署中的在线轨迹生成与避免关节指令接近物理限位,属于单通道本体内的轨迹平滑与安全包络。其并不在多通道协同输出过程中因能力或视点变化而对尚未输出的手语语义单元重新分配通道,亦不具备全部通道均不适合时的降级重构与未完整表达标记,更不校验各通道已承载语义单元之并集是否等于全部待输出单元。
9、此外,hei等人发表于hri 2024 companion的论文“a bilingual social robotwith sign language and natural language(支持手语与自然语言的双语社交机器人)”(第526至529页,doi 10.1145/3610978.3640549)虽公开了语音、本体手势与屏幕虚拟角色手语的并行呈现,但其完整手语通常固定由虚拟角色承载,本体侧多为伴随口语的手势,并不依据运行期关节状态把本可执行的手语语义单元改派到本体,或在本体能力不足时在线改派到其他通道。
10、另有khan等人发表于arxiv:2607.17769的论文“from sign languagegeneration to humanoid execution:vision-language guided retargeting withcollision mitigation(从手语生成到仿人机器人执行:基于视觉语言引导的动作重定向与碰撞抑制)”(iros 2026)所公开的方案,将手语生成结果离线映射为人形关节轨迹并做自碰撞处理,其处理边界限于本体单通道几何可行且为离线预处理,同样不构成运行期跨通道语义分配。
11、上述已有技术的不足可归纳为四项。
12、其一,通道分配依赖设计阶段静态能力描述,不能由关节实时状态在线计算表达能力画像并驱动跨通道改派。
13、其二,不结合用户视点判定可见区域,导致用户看不见的区域仍被用于承载精细手型。
14、其三,输出开始前一次性确定通道分工,中途无法仅对尚未输出的手语语义单元重规划。
15、其四,全通道均不适合时语义静默丢失且不被记录,并缺乏可校验的语义完整性约束。
技术实现思路
1、本发明所要解决的技术问题是:针对现有人形机器人手语执行及多通道呈现方案中,通道分配依赖设计阶段静态能力描述,不能由关节实时状态计算表达能力画像并驱动跨通道改派,不结合用户视点判定可见区域导致用户看不见的区域仍承载精细手型,输出开始前一次性确定通道而中途无法重规划,全通道均不适合时语义静默丢失且不被记录、以及缺乏可校验的语义完整性约束的问题,提供一种基于实时关节状态的机器人手语多通道分配方法及系统。
2、为解决上述技术问题,本发明提供如下技术方案:
3、第一方面,本发明提供一种基于实时关节状态的机器人手语多通道分配方法,包括以下步骤:
4、s1:获取待输出回复,将所述待输出回复转换为手语表达任务;
5、s2:将所述手语表达任务的语义拆分为多个手语语义单元,并对各手语语义单元标注切分粒度与表达手段;
6、s3:读取机器人的关节实时状态,并结合用户观察视点计算表达能力画像;所述用户观察视点由头部相机检测到的用户人脸位置与朝向确定;
7、s4:根据所述表达能力画像,针对每一手语语义单元,评估其在各输出通道下的表达适合度;
8、s5:根据所述表达适合度,在语义完整性约束、时序协调约束与通道切换连贯性约束下,为各手语语义单元分配输出通道,生成多通道协同表达方案;当某一手语语义单元在全部输出通道上的表达适合度均低于预设阈值时,执行降级重构,并在字幕兜底时于交互记录中标记未完整表达;
9、s6:按照所述多通道协同表达方案控制各输出通道执行输出;
10、s7:在输出过程中周期性更新所述表达能力画像,当后一表达能力画像相对前一表达能力画像的变化超过预设阈值时,锁定当前已输出完毕的所有手语语义单元,对尚未输出完毕的所有手语语义单元,根据当前表达能力画像,更新表达适合度和多通道协同表达方案,基于更新后的多通道协同表达方案控制各输出通道执行输出,从而在保持已输出部分连续性的前提下切换至修正后的多通道协同表达方案。
11、优选的,步骤s2中,所述手语语义单元为便于通道分配而作的工程标注拆分结果,而非对手语语言学标准词类或语法范畴的穷尽分类。
12、对每一手语语义单元,可沿相互正交的维度进行标注:在切分粒度上,标注为词汇级或短语级;在表达手段上,标注其主要所需的手动成分、非手动成分或空间指向中的一项或多项。
13、其中,手动成分包括手型、手部轨迹与上肢位姿等依赖手部构形的表达。非手动成分包括面部表情、口型与头部姿态等不依赖手部构形的表达。空间指向包括依靠空间方位和指向轨迹承载的指示性内容。
14、情态、疑问、强调等语法或语用功能,可作为附加功能标注,其实现手段可以是非手动成分,也可以是相应的词汇级手动成分,因而不与表达手段维度并列单列为一类语义单元。
15、优选的,所述输出通道包括本体动作通道、屏幕虚拟手语通道、屏幕字幕通道和语音通道。具体的:
16、所述本体动作通道用于以机器人本体关节运动输出手语语义单元,其是否实际承载某一手语语义单元由所述表达能力画像与所述表达适合度决定。在表达能力画像表明关节可达、动作可跟踪且对用户可见时,所述本体动作通道可承载手型、手部轨迹、上肢位姿及空间指向等手语相关内容,而不是在设计阶段被固定为仅输出伴随口语的指向或节奏性动作。当某一手语语义单元因关节能力不足或对用户不可见而不适合由所述本体动作通道承载时,将该手语语义单元改派至其他输出通道。
17、所述屏幕虚拟手语通道用于以屏幕虚拟角色输出手语,在所述本体动作通道不宜承载时承接输出精细手型,以及输出非手动特征。其中,非手动特征是指面部表情、口型与头部姿态等不依赖手部构形的手语表达成分。
18、所述屏幕字幕通道用于输出关键文字。
19、所述语音通道用于面向非手语用户输出语音。
20、优选的,步骤s3中,所述读取机器人关节的实时状态,并结合用户观察视点计算表达能力画像,包括以下步骤:
21、s3.1:读取由关节编码器及伺服驱动器测得的关节角度、关节角速度与当前力矩,作为关节实时状态;并读取力矩限值以及当前故障或受限关节标识,作为能力约束;
22、s3.2:根据所述关节实时状态与所述能力约束,计算本体侧运动可达能力,至少得到可达手型集合、手部轨迹范围和上肢位姿范围;
23、s3.3:结合用户观察视点,判定手部工作空间中的可见区域与不可见区域;所述用户观察视点包括用户在机器人相机坐标系下的观察位置与朝向单位向量。一种实施方式中,由头部相机图像经现有人脸检测得到人脸框,经现有头部姿态估计得到至少偏航角与俯仰角以近似面部朝向;取人脸中心像素及对应深度,按相机内参反投影至相机坐标系,得到观察位置与朝向。可见性判定时,对手部工作空间采样点自该视点作射线:若采样点不在以朝向为前向的半空间内,或射线与遮挡几何体相交且交点位于采样点之前,则判定为不可见;可见区域比例写入表达能力画像;
24、s3.4:根据所述运动可达能力、所述可见区域与不可见区域,以及各输出通道当前可稳定承载的内容类型及可用性,生成所述表达能力画像。所述表达能力画像用于描述各输出通道在当前运行条件下的表达能力事实,供步骤s4评估表达适合度使用。所述表达能力画像采用具名字段的键值数据结构表示,至少包括可达手型集合、手部轨迹范围、上肢位姿范围、手部工作空间可见区域比例、不可见采样点标识集合,以及各输出通道的可用性与可稳定承载内容类型集合。步骤s4评估表达适合度时按字段直接引用:可表达程度读取可达手型集合、可见区域比例与通道可承载内容类型;执行代价评估不改写所述表达能力画像的字段,仅读取通道可用性。
25、优选的,步骤s4中,所述表达适合度依据所述表达能力画像,对每一手语语义单元在每一输出通道上分别评估,评估依据至少包括可表达程度、语义保持程度、可懂度保持程度和执行代价。所述可表达程度,是指该输出通道在当前表达能力画像下能否输出该手语语义单元所需的内容形态。其直接引用表达能力画像中的运动可达能力、可见性判定结果以及输出通道可承载内容类型。所述语义保持程度,是指某手语语义单元改由该输出通道表达后原语义能否保持。所述可懂度保持程度,是指目标用户经该输出通道接收后是否仍可理解。所述执行代价,包括时延、资源占用及对多通道时序协同的影响。所述执行代价的一种量化方式为:分别量化时延、资源占用与对多通道时序协同的影响后加权合成。其中,时延量化为归一化时延=该“手语语义单元—输出通道”组合的实测或估计时延除以参考时延,并截断至0至1;资源占用量化为处理器占用比例与图形处理器占用比例,均为对该组合占用估计并截断至0至1;对多通道时序协同的影响量化为时序协同惩罚,为该组合相对相邻手语语义单元发生跨通道切换时对时序对齐不利影响的估计并截断至0至1。再计算归一化执行代价=0.4×归一化时延+0.3×处理器占用比例+0.2×图形处理器占用比例+0.1×时序协同惩罚;归一化执行代价取值落在0至1,并以(1-归一化执行代价)进入表达适合度评分。所述执行代价针对单一“手语语义单元-输出通道”组合进行评估,不代替步骤s5中对相邻手语语义单元通道切换连贯性的约束。进一步地,对每一“手语语义单元—输出通道”组合,按加权评分函数计算表达适合度:表达适合度=w1×可表达程度+w2×语义保持程度+w3×可懂度保持程度+w4×(1-归一化执行代价),其中w1、w2、w3、w4为非负权重且之和为1;一种可实施取值为w1=0.40、w2=0.25、w3=0.20、w4=0.15(优先保证可表达,其次语义与可懂度,再次抑制高代价通道)。可表达程度按连乘得到,取值均落在0至1:可表达程度=通道可用性系数×内容类型覆盖率×手型可达率×可见性因子;其中通道可用性系数在该输出通道当前可用时取1、不可用时取0;内容类型覆盖率为该手语语义单元所需内容类型落在该输出通道可承载类型集合中的比例;手型可达率在本体动作通道上为所需手型落在可达手型集合中的比例,在其他输出通道上取1;可见性因子在本体动作通道且该手语语义单元依赖手部可见时,按手部工作空间可见区域比例折算,否则取1。语义保持程度与可懂度保持程度分别取该输出通道类型的预设保持系数,并与可表达程度相乘后截断至0至1,用以体现改派后语义是否仍可保持、目标用户是否仍可理解。
26、优选的,步骤s5中,所述语义完整性约束是指:各输出通道最终承载的手语语义单元之并集,等于步骤s2拆分得到的全部手语语义单元,即所述并集与步骤s2拆分得到的全部手语语义单元之间形成等于关系;该等于关系可被校验。所述等于关系的校验方法为:令u为步骤s2拆分得到的全部手语语义单元标识集合,令a为各输出通道已分配承载的手语语义单元标识集合,程序化检验集合a与集合u相等。进一步地,对每一已分配手语语义单元,校验其所需内容类型集合为目标输出通道在当前表达能力画像中可承载内容类型集合的子集,且该输出通道可用;任一项不通过则校验失败。若校验不通过,则不得结束通道分配,而应继续调整分配或转入降级重构。所述时序协调约束是指:各通道输出在时间上保持可对齐,以避免语义错位。
27、优选的,步骤s5中,所述通道切换连贯性约束是指:在相邻手语语义单元的表达适合度差异不超过预设范围时,优先使所述相邻手语语义单元分配至同一输出通道或同族输出通道,以降低因通道频繁切换造成的观感跳跃。其中,同族输出通道是指同属本体侧或同属屏幕侧的通道组合。当某一手语语义单元因可达性或可见性显著不适合当前输出通道时,仍应改派至更适合的输出通道,通道切换连贯性约束不排斥必要改派。
28、优选的,步骤s5中所述降级重构依次包括:将该手语语义单元拆分为子手语语义单元并分配至不同输出通道;若不可行,则以语义等价替代表达替换;若仍不可行,则经字幕通道输出显式文字说明,并在交互记录中标记为未完整表达。
29、优选的,步骤s7中,所述变化超过预设阈值的情形包括:关节进入限位、关节发生故障、负载导致可用角速度下降,或用户视点移动导致可见区域改变。若某手语语义单元已开始输出但未完成,则在当前输出通道上完成该手语语义单元后再切换。所述“变化超过预设阈值”中阈值的一种设定方式如下。需说明的是:表达能力画像本身仍保持键值结构;步骤s7为比较前后两次画像的整体变化,另由画像各字段按统一规则编码得到定长数值摘要向量,该摘要向量仅用于变化度量,不替代步骤s4对键值字段的引用。一种可实施编码方式为:将可达手型集合编码为其元素个数,或按预定义手型词表作多热编码后取各维0或1;将手部轨迹范围、上肢位姿范围中的各数值跨度分量按固定顺序写入向量;将可见区域比例直接写入;将不可见采样点标识集合编码为其元素个数或不可见比例;将各输出通道可用性编码为1或0,将各通道可承载内容类型集合编码为其元素个数,或按预定义类型词表作多热编码;上述分量按固定字段顺序拼接为同一长度的数值向量。再计算相对变化量=前后两次摘要向量之差的欧氏长度÷(前一次摘要向量的欧氏长度+一小的正数,以避免除零);当相对变化量大于阈值时,判定为变化超过预设阈值。阈值本身在标定阶段确定:在机器人空闲运行时连续采集多帧表达能力画像并计算相邻帧的相对变化量,取这些相对变化量的第95百分位作为噪声底;阈值取“最小阈值”与“系数×该第95百分位”二者中的较大者。一种可实施取值为:最小阈值=0.08,系数=2.5。此外,出现下列任一事件时,即使相对变化量未大于阈值,亦直接判定为变化超过预设阈值,并触发对尚未输出手语语义单元的重规划:故障或受限关节集合发生变化;任一输出通道可用性发生跳变;或手部工作空间可见区域比例较前一次绝对下降超过0.15。
30、优选的,关于整体朝向调整:若交互对象尚未处于有效观看区间,可在进入手语表达任务前通过底盘转动或腰部、头部偏转将其纳入有效交互扇区,关节实时状态与可见性判定应反映该调整后的结果。多通道协同输出进行期间,不宜为消除局部不可见而触发大幅转身或转腰;此时由适合度评估驱动改派即可。
31、优选的,步骤s2中,所述手语语义单元为便于通道分配而作的工程标注下的语义拆分结果;对每一手语语义单元沿相互正交的维度进行标注:在切分粒度上标注为词汇级或短语级,在表达手段上标注其主要所需的手动成分、非手动成分或空间指向中的一项或多项;情态、疑问或强调等语法或语用功能作为附加功能标注,其实现手段为非手动成分或相应词汇级手动成分,而不与所述表达手段维度并列单列为一类手语语义单元。
32、第二方面,本发明提供一种基于实时关节状态的机器人手语多通道分配系统,包括:
33、任务获取模块,用于获取待输出回复,将所述待输出回复转换为手语表达任务;
34、语义拆分模块,用于将所述手语表达任务的语义拆分为多个手语语义单元,并对各手语语义单元标注切分粒度与表达手段;
35、关节实时状态采集模块,用于读取机器人关节的实时状态,所述关节实时状态包括关节角度、关节角速度与当前力矩;
36、视点相关可见性计算模块,用于由用户观察视点判定手部工作空间中的可见区域与不可见区域;
37、表达能力画像模块,用于根据所述关节实时状态、力矩限值及故障或受限关节标识,以及所述可见性判定结果,计算表达能力画像;
38、适合度评估模块,用于根据所述表达能力画像,评估各手语语义单元在各输出通道下的表达适合度;
39、通道分配模块,用于根据所述表达适合度,在语义完整性约束、时序协调约束与通道切换连贯性约束下分配输出通道,生成多通道协同表达方案;当某一手语语义单元在全通道适合度均低于阈值时,执行降级重构,并在字幕兜底时于交互记录中标记未完整表达;
40、协同控制模块,用于按照所述多通道协同表达方案控制各输出通道执行输出;并在输出过程中调度所述关节实时状态采集模块、视点相关可见性计算模块与表达能力画像模块周期性更新表达能力画像;当后一表达能力画像相对前一表达能力画像的变化超过预设阈值时,锁定已输出完毕的手语语义单元,调度所述适合度评估模块与通道分配模块仅对尚未输出的手语语义单元执行重新评估与分配适合度并更新多通道协同表达方案,基于更新后的多通道协同表达方案重新分配输出通道并控制各输出通道执行输出,从而在保持已输出部分连续性的前提下切换至修正后的多通道协同表达方案控制输出;
41、第三方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法。
42、第四方面,本发明提供一种计算机程序产品,包括计算机程序或指令,所述计算机程序或指令被处理器执行时实现上述方法。
43、与现有技术相比,本发明的优点在于:
44、(一)本发明根据关节实时状态在线计算表达能力画像,并据此驱动手语语义单元在各输出通道之间的改派。相对多通道呈现类方案在设计阶段固定通道分工的做法,本发明在能力允许时使本体动作通道真正承载手语语义单元,而不再将本体动作通道固定为仅输出指向类动作、将完整手语交由虚拟角色。相对本体动作通道单通道可执行类方案仅以重定向与控制在本体内逼近原动作的做法,本发明在本体能力不足或对用户不可见时,将相应手语语义单元改派至其他输出通道,而不再继续在单通道本体内硬性逼近。
45、(二)本发明将用户视点下的可见性判定结果记入表达能力画像,并据此评估表达适合度。据此,精细手型仅在对用户可见且本体适合时由本体动作通道执行;若不可见或本体动作通道不适合,则改派至其他输出通道。
46、(三)本发明在输出过程中周期性更新表达能力画像,当表达能力画像变化超过预设阈值时,锁定已输出完毕的手语语义单元,仅对尚未输出的手语语义单元重规划。同时,本发明在适合度驱动分配的同时施加通道切换连贯性约束,以减少相邻手语语义单元之间无必要的频繁换通道,降低观感跳跃。
47、(四)当手语语义单元在全部输出通道上的表达适合度均不足时,本发明执行降级重构,并在字幕兜底时于交互记录中标记未完整表达;同时以可校验的语义完整性约束保证各输出通道所承载手语语义单元之并集等于全部拆分子手语语义单元,避免语义静默丢失。
48、(五)本发明可适配不同自由度与不同运行状态的机器人平台,当本体能力减弱或部分关节失效时,自动提高虚拟角色与字幕的承载比例。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com