机器人及基于计算机视觉的机器人意图预测方法与流程

本技术涉及机器人视觉感知与运动预测，具体而言，涉及一种机器人及基于计算机视觉的机器人意图预测方法。

背景技术：

1、在机器人拳击对抗场景中，实时、精准的视觉感知是制定防守与反击策略的核心基础。相关技术方案主要侧重于单帧图像的目标检测、三维关键点定位或离散动作分类，通常在动作明显发生后给出识别结果。然而，上述方法多输出离散的类别标签，无法直接转化为具体的闪避方向或反击时机等连续控制量，而且仅依赖距离阈值反应，易导致防守滞后及误判假动作，存在预测准确性和稳定性差的技术问题。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种机器人及基于计算机视觉的机器人意图预测方法，以至少解决相关技术在进行意图预测时预测准确性和稳定性差的技术问题。

2、根据本技术实施例的一个方面，提供了一种机器人，包括：躯干；分别与躯干相连接的两条上肢和两条下肢；安装于头部的立体视觉传感器；至少一个处理器；以及至少一个存储介质，至少一个存储介质存储有指令，指令在由至少一个处理器执行时使机器人：通过立体视觉传感器采集对手的同步图像对，对同步图像对执行关键点检测和三维重建处理，得到对手多个身体部位的三维关键点坐标，并基于三维关键点坐标的时序序列维护各关键点的位置状态和运动状态，得到三维关键点时序状态；将历史窗口内的三维关键点时序状态输入隐式预测架构的上下文编码器生成上下文表征，通过隐式预测架构的预测器基于上下文表征在表征空间生成未来状态表征，并基于上下文表征或未来状态表征识别当前动作所处的攻防阶段和攻防意图；基于三维关键点时序状态和未来状态表征，在预设上肢运动学约束下预测未来预设步数内对手拳部的三维轨迹分布，并基于三维轨迹分布计算命中概率和命中时间窗口。

3、可选地，指令在由至少一个处理器执行时还使机器人：根据命中概率、命中时间窗口和攻防意图，确定防守动作类型和防守执行时机；在命中概率满足预设概率门限且当前时刻处于命中时间窗口的预设提前量范围内的情况下，控制两条上肢和躯干中的至少一者执行防守动作类型对应的防守运动。

4、可选地，防守动作类型包括格挡动作、闪避动作和反击动作中的至少一种，其中：格挡动作的格挡位置根据三维轨迹分布中轨迹终点的空间聚集区域确定；闪避动作的闪避方向根据三维轨迹分布中轨迹终点的空间聚集区域的反方向确定；反击动作在攻防阶段处于回收阶段时触发。

5、可选地，多个身体部位包括拳部、腕部、肘部、肩部、头部、躯干和足部，维护各关键点的位置状态和运动状态包括：对多个身体部位的三维关键点坐标执行时序滤波更新，得到滤波后的位置状态和速度状态；根据当前帧的重投影误差和可见性标志计算各关键点的状态置信度；对状态置信度低于预设置信阈值的关键点执行降权处理或者，根据前序状态进行插值替换。

6、可选地，拳部和腕部对应的关键点以高于其余身体部位的采样频率进行检测和状态更新；或者，在拳部和腕部的状态置信度连续多帧低于预设置信阈值的情况下，基于肘部和肩部的运动状态以及连杆长度约束推算拳部和腕部的位置状态。

7、可选地，隐式预测架构为联合嵌入预测架构，上下文编码器的输入包括：历史窗口内的三维关键点位置序列、速度序列、骨架图结构信息和双方相对状态信息；在训练阶段，利用目标编码器对未来帧的关键点信息编码得到目标表征，预测器基于上下文表征输出预测表征，通过预测表征与目标表征之间的距离损失以及攻防阶段与意图识别的分类损失更新网络参数；在部署阶段，利用预测器基于上下文表征输出未来状态表征。

8、可选地，预设上肢运动学约束包括：肩部至肘部连杆长度约束，以及肘部至腕部连杆长度约束；肩关节和肘关节的角速度上限约束；拳部运动速度上限约束；出拳动作与回收动作之间的轨迹连续性约束。

9、可选地，预测未来预设步数内对手拳部的三维轨迹分布时，输出多个假设轨迹分支，各假设轨迹分支对应不同攻击意图下的候选拳路；计算命中概率包括：对各假设轨迹分支分别计算到达目标区域的意图概率，并以各分支对应的意图概率进行加权求和，得到命中概率。

10、可选地，指令在由至少一个处理器执行时还使机器人：在三维关键点时序状态的状态置信度低于第一门限，或者命中概率低于第二门限，或者同步图像对未通过同步有效性校验的情况下，将预测输出降级为保守模式，以及在保守模式下输出预设防守姿态指令。

11、根据本技术实施例的另一个方面，提供了一种基于计算机视觉的机器人意图预测方法，应用于配备头部立体视觉传感器的机器人，该方法包括：通过所述立体视觉传感器采集对手的同步图像对，对所述同步图像对执行关键点检测和三维重建处理，得到对手多个身体部位的三维关键点坐标，并基于所述三维关键点坐标的时序序列维护各关键点的位置状态和运动状态，得到三维关键点时序状态；将历史窗口内的所述三维关键点时序状态输入隐式预测架构的上下文编码器生成上下文表征，通过所述隐式预测架构的预测器基于所述上下文表征在表征空间生成未来状态表征，并基于所述上下文表征或所述未来状态表征识别当前动作所处的攻防阶段和攻防意图；基于所述三维关键点时序状态和所述未来状态表征，在预设上肢运动学约束下预测未来预设步数内对手拳部的三维轨迹分布，并基于所述三维轨迹分布计算命中概率和命中时间窗口。

12、根据本技术实施例的另一方面，还提供了一种基于计算机视觉的机器人意图预测装置，应用于配备头部立体视觉传感器的机器人，该装置包括：处理模块，用于通过所述立体视觉传感器采集对手的同步图像对，对所述同步图像对执行关键点检测和三维重建处理，得到对手多个身体部位的三维关键点坐标，并基于所述三维关键点坐标的时序序列维护各关键点的位置状态和运动状态，得到三维关键点时序状态；识别模块，用于将历史窗口内的所述三维关键点时序状态输入隐式预测架构的上下文编码器生成上下文表征，通过所述隐式预测架构的预测器基于所述上下文表征在表征空间生成未来状态表征，并基于所述上下文表征或所述未来状态表征识别当前动作所处的攻防阶段和攻防意图；计算模块，用于基于所述三维关键点时序状态和所述未来状态表征，在预设上肢运动学约束下预测未来预设步数内对手拳部的三维轨迹分布，并基于所述三维轨迹分布计算命中概率和命中时间窗口。

13、根据本技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行本技术各个实施例中的方法。

14、根据本技术实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本技术各个实施例中的方法。

15、根据本技术实施例的另一方面，还提供了一种计算机程序产品，包括非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行时实现本技术各个实施例中的方法。

16、根据本技术实施例的另一方面，还提供了一种计算机程序，计算机程序被处理器执行时实现本技术各个实施例中的方法。

17、在本技术实施例中，通过采集同步图像对进行三维关键点重建以维护高可靠性的三维关键点时序状态，利用隐式预测架构生成蕴含运动演化规律的上下文表征和未来状态表征以准确识别攻防阶段和意图，并在预设上肢运动学约束下预测未来拳部的三维轨迹分布，从而能够在仅使用头部双目视觉的条件下，提前识别对手的攻击意图和拳路轨迹，输出高精度的命中概率和命中时间窗口，使机器人能够在接触发生前完成精准的防守、闪避或反击决策，有效解决了相关技术在进行意图预测时预测准确性和稳定性差的技术问题，实现了提高意图预测的准确性和稳定性的技术效果。