一种机器人场景预反应与大模型推理并行的交互加速方法与流程

本发明属于机器人智能交互与人工智能，具体为一种机器人场景预反应与大模型推理并行的交互加速方法。

背景技术：

1、随着语音识别、机器视觉和大语言模型在教育陪伴设备中的应用，桌面伴学机器人能够接收用户针对书本、练习册、试卷或书写纸提出的查看、阅读、讲解及核对请求；现有桌面伴学机器人通常设置可转动头部及随头部转动的摄像头，并依次通过语音识别确定用户请求，通过头部转动调整摄像头朝向，通过图像采集获取桌面内容，再利用视觉语言模型识别桌面对象及文字内容，最后由大语言模型结合识别结果生成回答。

2、在上述处理过程中，现有技术通常以语音处理结果作为机器人动作的启动依据，待头部转动至目标方向后再采集图像，并在视觉分析完成后构建大语言模型请求；由此形成语音识别—动作确定—头部转动—图像采集—视觉分析—回答生成的串行处理链；当摄像头初始朝向用户，而书本、练习册或试卷位于机器人前方、左前方或右前方桌面区域时，头部转动时间与模型请求准备时间不能重叠，机器人在前序处理完成前缺少与当前请求相对应的动作反馈，整体交互容易出现停顿。

3、为缩短等待时间，部分现有技术采用关键词触发低头、转头或点头动作，并通过预设时间延迟控制摄像头取景，但该方式通常分别配置动作规则、取景条件和模型处理规则；由于关键词未必能够同时确定用户所指对象及桌面方位，预设延迟也不能反映执行器的实际到位状态，可能出现头部尚未达到有效取景姿态即采集图像的情况；同时，动作控制、目标图像和模型回答规则缺少统一的场景关联，容易造成用户请求、摄像头取得的桌面内容及大语言模型采用的处理规则不一致，难以稳定验证目标对象取景正确性、任务并行程度和回答内容对应性。

技术实现思路

1、本发明所要解决的技术问题是：现有桌面伴学机器人在用户针对书本、练习册、试卷或桌面题目提出查看、阅读或讲解请求时，通常先对用户语音进行模型分析，再根据分析结果控制机器人头部转动并采集桌面图像，语音处理、机器人动作、图像采集和问答生成依次执行，导致机器人在模型处理期间处于等待状态；部分方案虽然能够根据关键词提前触发机器人动作，但机器人动作、摄像头取景位置、图像采集时点和大语言模型采用的场景约束规则分别确定，缺少统一的场景关联，容易出现摄像头尚未朝向目标桌面区域即采集图像，或者采集到的桌面内容与用户请求及模型处理规则不对应的问题。

2、为解决上述技术问题，本发明提供一种机器人场景预反应与大模型推理并行的交互加速方法，应用于桌面伴学机器人；所述桌面伴学机器人包括语音采集组件、设置于可转动头部的摄像头、横向转动执行器、俯仰执行器、本地场景调度进程、运动控制进程、视觉处理进程、大语言模型调用进程以及输出组件，所述输出组件用于播放语音或显示文字。

3、所述语音采集组件获取用户语音，并将所述用户语音转换为交互文本；本地场景调度进程对所述交互文本进行场景语义解析，并将解析结果与预先存储的场景响应规则进行匹配。

4、每一场景响应规则对应一种桌面伴学交互工况，并具有唯一的规则标识；所述场景响应规则记录触发语义、目标桌面区域标识、头部动作标识、取景设备标识、预设取景姿态范围和场景约束规则标识；所述触发语义用于确定用户请求的动作类型和对象类型；所述目标桌面区域标识用于确定摄像头需要朝向的桌面空间区域；所述头部动作标识用于确定机器人头部的转动方式；所述预设取景姿态范围用于确定摄像头采集目标场景图像时所述可转动头部应达到的姿态范围；所述场景约束规则标识用于读取当前交互采用的场景约束规则。

5、对所述交互文本进行场景语义解析时，对所述交互文本进行分词和词性标注，提取动作词、对象词和方位词；根据预先建立的动作词映射表，将所述动作词转换为动作类型标识；根据预先建立的对象词映射表，将所述对象词转换为对象类型标识；根据预先建立的方位词映射表，将所述方位词转换为桌面区域方位标识；将所述动作类型标识和所述对象类型标识组成场景触发标识，并在场景响应规则中查询场景触发标识一致且目标桌面区域标识与所述桌面区域方位标识相对应的场景响应规则，将查询到的场景响应规则确定为当前交互采用的场景响应规则。

6、当交互文本中未包含明确的方位词时，根据动作类型标识和对象类型标识，从预设的对象放置区域配置表中读取对应的桌面区域方位标识；例如，当动作类型为查看、对象类型为题目时，将机器人前方桌面区域对应的桌面区域方位标识作为当前交互采用的桌面区域方位标识。

7、场景响应规则匹配成功后，本地场景调度进程根据匹配到的规则标识，读取目标桌面区域标识、头部动作标识、取景设备标识、预设取景姿态范围和场景约束规则标识，并为当前交互生成交互事件标识；所述交互事件标识用于关联当前交互对应的运动控制任务、视觉分析任务和模型请求上下文。

8、在不以视觉语言模型或大语言模型输出结果作为启动条件的情况下，本地场景调度进程生成运动控制任务、视觉分析任务和上下文构建任务，并分别发送至运动控制进程、视觉处理进程和大语言模型调用进程；所述运动控制任务、视觉分析任务和上下文构建任务具有相同的交互事件标识。

9、运动控制进程接收到所述运动控制任务后，根据头部动作标识确定横向转动执行器和俯仰执行器的目标姿态值，并控制对应执行器朝向所述目标姿态值运动；所述头部预反应动作包括横向转动动作、俯仰动作或者横向转动动作与俯仰动作的组合，使摄像头的取景方向朝向所述目标桌面区域标识所对应的桌面空间区域。

10、运动控制进程在执行头部预反应动作期间，持续输出横向转动执行器的横向姿态值和俯仰执行器的俯仰姿态值，并将所述横向姿态值和所述俯仰姿态值作为头部姿态反馈发送至视觉处理进程。

11、所述预设取景姿态范围包括横向取景姿态范围和俯仰取景姿态范围；视觉处理进程将所述横向姿态值与所述横向取景姿态范围进行比较，并将所述俯仰姿态值与所述俯仰取景姿态范围进行比较；当横向姿态值位于横向取景姿态范围内，且俯仰姿态值位于俯仰取景姿态范围内时，确定所述可转动头部达到预设取景姿态，并控制所述取景设备标识对应的摄像头采集一帧图像，将所述图像确定为目标场景图像；由此，目标场景图像的采集时点由机器人头部的实际姿态确定，而不是由预设等待时长确定。

12、视觉处理进程根据所述目标桌面区域标识，从桌面区域配置表中读取目标桌面区域的区域名称和方位信息，并将所述区域名称和方位信息组合为区域描述；随后，将所述目标场景图像和所述区域描述输入视觉语言模型。

13、视觉语言模型对目标场景图像中的目标桌面区域进行分析，输出对象类别、对象位置和可见文字内容；所述对象位置采用对象在目标场景图像中的图像坐标或区域坐标表示；视觉处理进程按照预设的数据字段，将所述对象类别、对象位置和可见文字内容组合形成桌面内容描述，并将所述桌面内容描述与当前交互的交互事件标识关联；所述桌面内容描述用于向大语言模型提供用户语音所指向的桌面对象及桌面对象承载的文字内容。

14、在运动控制进程驱动摄像头朝向目标桌面区域运动期间，大语言模型调用进程执行上下文构建任务，创建与所述交互事件标识对应的模型请求上下文，并将交互文本和当前交互之前的对话内容写入所述模型请求上下文。

15、场景约束规则以系统指令片段的形式存储于场景规则库中；本地场景调度进程根据场景约束规则标识，从所述场景规则库中读取对应的系统指令片段，并将所述系统指令片段发送至大语言模型调用进程；所述系统指令片段用于限定当前桌面伴学场景下的处理对象、回答内容和回答方式。

16、大语言模型调用进程将用于限定桌面伴学机器人身份及通用交互规则的基础系统指令置于系统输入的前部，将当前场景响应规则对应的系统指令片段置于所述基础系统指令之后，形成当前交互对应的完整系统指令；通过固定基础系统指令和系统指令片段的组合顺序，避免不同场景约束规则之间出现调用顺序不确定的问题。

17、视觉处理进程生成桌面内容描述后，根据交互事件标识，将所述桌面内容描述写入已经建立的模型请求上下文；大语言模型调用进程将当前交互对应的完整系统指令作为大语言模型的系统输入，并依次将当前交互之前的对话内容、当前交互文本和桌面内容描述写入用户交互输入；随后，将系统输入和用户交互输入提交至大语言模型。

18、大语言模型根据当前交互文本确定用户请求，根据桌面内容描述确定用户请求所指向的桌面对象及其文字内容，并根据系统指令片段限定的处理方式生成交互回答内容；桌面伴学机器人通过输出组件播放或显示所述交互回答内容。

19、在题目辅导场景中，当从交互文本中提取的动作词对应查看或讲解动作、对象词对应题目，且方位词对应机器人前方桌面区域时，本地场景调度进程匹配题目辅导场景对应的场景响应规则；所述场景响应规则中的目标桌面区域为机器人前方桌面区域，头部预反应动作为控制俯仰执行器向机器人前方桌面区域转动的俯仰动作，预设取景姿态范围为摄像头能够覆盖机器人前方桌面区域时对应的俯仰姿态范围，场景约束规则为题目辅导场景对应的系统指令片段。

20、当俯仰执行器输出的俯仰姿态值进入所述俯仰姿态范围后，摄像头采集包含题目所在区域的目标场景图像；视觉语言模型从所述目标场景图像中识别题目载体类别、题目所在位置和题目文字内容，并按照题目载体类别字段、题目位置字段和题目文字字段形成桌面内容描述。

21、大语言模型调用进程将题目辅导场景对应的系统指令片段、用户提出的查看或讲解请求、题目文字内容及当前交互之前的对话内容共同输入大语言模型，由大语言模型按照题目辅导场景对应的回答方式生成与当前题目内容对应的交互回答内容。

22、与现有技术相比，本发明通过同一场景响应规则关联触发语义、目标桌面区域、头部预反应动作、预设取景姿态范围和场景约束规则，使机器人动作、摄像头取景条件和模型处理规则具有相同的场景来源，达到使机器人头部动作、目标场景图像及大语言模型处理方式相互对应的效果。

23、本发明通过在未取得视觉语言模型和大语言模型输出结果的情况下发送头部预反应动作，并在头部执行器运动期间同步执行视觉分析任务的准备和模型请求上下文的构建，使机器人头部转动过程与模型请求数据准备过程在时间上重叠，达到减少头部转动、桌面取景和模型问答依次等待的效果。

24、本发明通过将实际头部姿态进入预设取景姿态范围作为目标场景图像的采集条件，并将视觉语言模型生成的桌面内容描述写入同一交互事件对应的模型请求上下文，使提交至大语言模型的桌面内容来自用户请求所指向的桌面区域，达到保持用户请求、视觉分析对象和场景约束规则一致的效果

25、本发明的有益效果如下：

26、1、本发明通过由本地场景调度进程将交互文本与场景响应规则进行匹配，并在同一场景响应规则中关联触发语义、目标桌面区域、头部预反应动作、预设取景状态和场景约束规则，使用户语音所触发的机器人头部动作、摄像头观察区域、图像采集条件及大语言模型采用的处理规则具有统一的场景来源，避免动作控制、视觉分析和模型回答分别确定时产生的场景错配，达到保持用户请求、机器人动作、目标场景图像及模型处理方式相互对应的效果。

27、2、本发明通过在尚未取得视觉语言模型和大语言模型输出结果时，将头部预反应动作发送至运动控制进程，并同步启动视觉分析任务和模型请求上下文构建任务，使机器人头部转动期间能够并行完成取景条件加载、历史对话读取及场景约束规则写入，无需待机器人动作完成后再依次进行模型请求准备，达到减少语音处理、头部转动、桌面取景和模型调用之间串行等待的效果，并使机器人能够在用户提出桌面查看、阅读或讲解请求后及时形成与当前场景相符的实体响应。

28、3、本发明通过将头部执行器的实际姿态反馈与预设取景状态进行比较，在头部预反应动作达到预设取景状态后采集目标场景图像，并由视觉语言模型形成包含对象类别、对象位置和可见文字内容的桌面内容描述，再将所述桌面内容描述写入同一交互对应的模型请求上下文，使摄像头采集的视觉数据来源于用户请求所指向的目标桌面区域，达到降低头部尚未到位即取景以及不同交互数据相互混用的风险，并提高大语言模型输入内容与当前桌面学习对象及场景约束规则之间的一致性。