基于边缘图形处理器算力叠加的轮式服务机器人多模态交互控制系统及方法与流程

本发明涉及服务机器人控制，具体涉及一种基于边缘图形处理器算力叠加的轮式服务机器人多模态交互控制系统及方法。

背景技术：

1、轮式服务型机器人已在展厅导览、政务大厅引导、商业迎宾等场景获得应用。此类机器人通常由单片机控制器驱动底盘电机与云台电机，通过预置的触摸屏菜单或固定语音指令词表与用户交互。

2、现有此类机器人存在以下技术缺陷：

3、第一，交互能力受限于本地算力。单片机控制器仅具备定点运算能力，无法承载语音活动检测、语音识别、自然语言生成等神经网络推理任务，因而只能采用固定指令词表匹配的方式响应用户，无法进行开放域自然语言对话。

4、第二，缺乏对声源方位的主动响应。既有机器人的麦克风通常仅用于指令词拾取，不解析声源到达方向，用户在机器人侧后方呼唤时，机器人无法转向用户，交互过程缺乏拟人的注意力表现。

5、第三，整机替换成本高昂。为使既有机器人获得智能交互能力，常见做法是整体更换为搭载高算力平台的新机型，既有的机械底盘、电机驱动电路与结构件被一并废弃，改造成本高、周期长。

6、第四，若将高算力计算平台直接替代原有单片机控制器承担电机时序生成任务，则电机脉冲时序将受通用操作系统的进程调度抖动影响。通用操作系统不保证微秒级的时序确定性，调度延迟会导致脉冲宽度不均，进而引起电机运转不平稳、失步或异响。

7、第五，多机构协同存在超调与视线丢失的两难。当机器人需要转向侧方声源时，若仅驱动云台偏转机构转向，则云台受机械行程限制无法覆盖大角度，且机身仍背对用户；若仅驱动底盘运动机构转向，则在底盘完成转动所需的数秒内，摄像头光轴始终偏离用户方位，机器人表现为"没有看向说话人"；若先驱动云台转向再驱动底盘转向，则底盘转动会在云台既有偏角上继续叠加角位移，导致光轴越过声源方位形成超调。

8、第六，语音交互模块的冷启动延迟显著。语音活动检测模型、语音识别模型与语言模型的加载通常需要数秒至数十秒，若在用户唤醒时才启动相应进程，用户将经历明显的等待，交互体验割裂。

9、第七，语音播报声易引发自激励误触发。机器人通过扬声器播报应答语音时，播报声同样被麦克风阵列拾取并解析出声源方位，若不加抑制，机器人将把自身播报声误判为新的用户呼唤，反复触发转向与唤醒流程。

10、第八，车规级图像传感器经串行解串链路接入时存在驱动注册障碍。在采用串行解串链路级联车规级图像传感器的方案中，解串器与图像传感器分处链路两端，解串器驱动完成探测后，位于其设备树节点下的串行器子节点并未被自动实例化为总线设备，图像传感器驱动因缺少设备树节点而无法获得图形遍历入口，导致子设备注册失败、视频链路无法建立。

技术实现思路

1、本发明所要解决的技术问题是：如何在不废弃既有轮式服务机器人机械本体与电机驱动电路的前提下，使其获得开放域语音对话、声源主动定向与视觉持续跟随的智能交互能力，同时避免通用操作系统调度抖动破坏电机时序确定性，并解决多机构协同转向中的超调与视线丢失两难、语音模块冷启动延迟、播报声自激励误触发以及串行解串链路图像传感器子设备注册失败等问题。

2、为解决上述技术问题，本发明采用算力叠加而非算力替换的技术路线，提供一种基于边缘图形处理器算力叠加的轮式服务机器人多模态交互控制系统。所述机器人包括原有的单片机控制器、电机驱动电路、底盘运动机构和云台偏转机构，所述系统还包括感知层、决策层和异步串行通信接口。

3、所述感知层包括麦克风阵列模块和图像采集模块。所述麦克风阵列模块采集声场信号并输出声源方位角度，所述图像采集模块采集图像信号。

4、所述决策层为搭载图形处理器的边缘计算单元，其上运行声源定向映射子模块、视觉跟随子模块、语音交互子模块和统一编排仲裁子模块。

5、所述异步串行通信接口连接所述决策层与所述单片机控制器。所述决策层经该接口向所述单片机控制器下发指令帧，所述指令帧包含表征运动语义的命令字和表征运动量的脉冲数。所述单片机控制器接收指令帧后，调用其自身的电机脉冲时序生成函数驱动所述电机驱动电路，所述决策层不参与电机脉冲时序的生成。

6、进一步地，所述声源定向映射子模块将麦克风阵列输出的原始角度值叠加安装偏置量后，归一化为以机器人正前方为零点、取值范围为负一百八十度至正一百八十度的有符号偏角；在该偏角绝对值小于预设死区阈值时输出空动作指示；否则将该绝对值经预设上限饱和截断得到有效偏角，并分别依据云台偏转机构对应的第一比例系数与底盘运动机构对应的第二比例系数计算云台脉冲数与底盘脉冲数，其中第二比例系数大于第一比例系数。

7、进一步地，所述统一编排仲裁子模块在获得云台脉冲数与底盘脉冲数后，先下发第一云台指令使云台朝声源方位转动，延迟预设的机构间协同时延后下发底盘指令，并在底盘指令写入通信接口后、底盘完成转动之前下发第二云台指令，该指令脉冲数等于云台脉冲数且方向相反，使底盘转动与云台反向转动在时间上重叠、两机构角位移在世界坐标系下相互抵消，从而在底盘转向全过程中图像采集模块的光轴持续指向声源方位。

8、进一步地，所述视觉跟随子模块检测目标对象在图像中相对图像中心的水平偏移量，经中心死区判定、偏转方向连续性确认与指令速率限流三重判定后，依据偏移量所处分档区间确定云台脉冲数并下发云台指令；同时维护左右两方向的累积脉冲计数器，当任一方向累积值达到预设底盘跟随阈值且距上次底盘指令的间隔不小于预设值时，附加下发同向底盘指令并将该方向计数器清零。

9、进一步地，所述统一编排仲裁子模块按待机态、定向态、激活态、跟随态、收尾态五态状态机运行；所述语音交互子模块以独立子进程方式在待机前完成模型加载并进入挂起态，由统一编排仲裁子模块在激活态通过发送操作系统信号使其转入监听态；所述收尾态清空麦克风阵列事件队列以丢弃播报期间由自身播报声引发的方位事件。

10、进一步地，所述图像采集模块包括经串行解串链路接入的车规级图像传感器，所述解串器驱动在探测成功后遍历解串器设备树节点下的串行器子节点，为每一子节点创建对应的集成电路总线客户端实例并将该子节点赋值给客户端实例的设备树节点字段，使图像传感器驱动获得图形遍历入口并完成子设备注册。

11、本发明还提供相应的多模态交互控制方法，包括感知步骤、映射步骤、协同转向步骤、跟随步骤、指令传输步骤和执行步骤，各步骤的技术特征与上述系统相对应。

12、与现有技术相比，本发明具有以下有益效果：

13、第一，保留既有机械本体与电机驱动电路，仅叠加边缘计算单元与感知器件即可使既有轮式服务机器人获得开放域语音对话、声源主动定向与视觉跟随能力，避免整机替换，显著降低智能化改造的成本与周期。

14、第二，决策层仅下发包含运动语义与运动量的指令帧，电机脉冲时序仍由单片机控制器在裸机环境下生成，使高算力平台的通用操作系统调度抖动与电机时序确定性相互隔离，在获得高算力的同时保持原有运动平稳性。

15、第三，通过云台反向补偿协同控制，两机构角位移在世界坐标系下相互抵消，使图像采集模块光轴在底盘转向全过程中持续指向声源方位，既解决了仅转云台无法覆盖大角度且机身背对用户的问题，也解决了仅转底盘时数秒内视线丢失的问题，同时避免了顺序转动导致的光轴超调，机器人在转向过程中始终表现为"注视说话人"。

16、第四，视觉跟随采用云台高频小幅跟随与底盘低频累积补偿的频率分工，云台负责快速响应目标的小幅移动，底盘仅在累积偏移超阈值时介入，减少底盘频繁启停带来的机械磨损与运动噪声；方向连续性确认可滤除单帧误检导致的抖动。

17、第五，语音交互模块预热挂起并以操作系统信号唤醒，将用户感知的唤醒延迟由模型加载所需的数秒降低至信号传递的毫秒量级。

18、第六，收尾态清空事件队列的机制有效抑制了播报声引发的自激励误触发，使机器人不会被自身应答语音重复唤醒。

19、第七，解串器驱动自动实例化串行器子节点的机制，解决了串行解串链路下图像传感器因缺少设备树节点而无法完成子设备注册的问题，使车规级图像传感器链路可在开机时自动就绪。