一种智能服务机器人人机交互信息处理系统的制作方法

本发明涉及智能机器人，具体涉及一种智能服务机器人人机交互信息处理系统。

背景技术：

1、智能服务机器人作为一种能够提供自动化服务的智能装备，已广泛评估商业导览、医疗辅助、家庭陪伴等场景，人机交互信息处理系统是智能服务机器人获取用户指令并生成对应动作的控制单元，其信息处理的准确度影响机器人的最终交互效果。

2、在现有的应用场景中，智能服务机器人通常会通过麦克风接收摄像头感知交互环境，当用户与机器人进行交互时，系统通过麦克风阵列全向采集空间内的混合声音信号，利用数字信号处理器和软件稀疏算法对采集到的进行数字音频处理，以分离出目标语音，同时，系统将采集传感器的图像数据与音频数据输入到多态神经模型中，通过深度学习算法推断用户的交互逻辑，进一步生成对应的控制指令。

3、然而，现有的交叉信息处理系统在多声源环境下复杂，存在信号拾取失真以及听力解析计算开销较大的问题，由于结构简单，拾音硬件缺乏空间指向性的物理波场调制能力，系统只能将包含背景噪声的混合声波直接转换为数字信号，主要依赖数字域的软件算法进行锁定，物理拾音前端缺乏可动态重构的声阻抗边界调控能力，在嘈杂环境中，数字领域的拾音处理会导致目标语音信号发生连通中断，降低转换后的声学信噪比，为了补偿拾音失真带来的信息缺失，现有系统需要调用高算力的多模态神经网络进行推理推断，增加了系统的计算资源消耗和处理延迟，此外，纯算法的预测模型在面临环境声学干扰时，缺乏基于实时声学特征反馈的闭环验证机制，容易产生错误的逻辑匹配，降低机器人在复杂环境下的交互执行准确率。

技术实现思路

1、为解决上述背景技术提出的问题，本发明提供一种智能服务机器人人机交互信息处理系统，包括：多模态感知模块、标量场动力学解算模块、跨层反馈控制器以及动态电控声学超构表面模块；

2、所述多模态感知模块设置于服务机器人的机体外部表面，用于同步采集服务机器人所处三维物理空间的环境数据，提取三维物理空间内可交互目标的三维质心坐标，并同步追踪用户头部节点的空间坐标以及视线方向向量，输出至所述标量场动力学解算模块；

3、所述标量场动力学解算模块与所述多模态感知模块通信连接，用于接收所述三维质心坐标、空间坐标以及视线方向向量，将所述可交互目标的三维质心坐标映射为静态引力势，将用户的所述视线方向向量映射为动态定向势能，通过叠加所述静态引力势与所述动态定向势能生成全局虚拟势场；计算所述全局虚拟势场的空间梯度，搜索极小值点确立为意图目标点；以所述轨迹起始点为起点，以所述意图目标点为终点，沿势能梯度下降方向提取空间轨迹，输出至所述跨层反馈控制器；

4、所述跨层反馈控制器分别与所述标量场动力学解算模块以及所述动态电控声学超构表面模块电性连接，用于获取所述空间轨迹，控制所述动态电控声学超构表面模块进入初始全向拾音模式以采集初始环境音频信号，并提取所述初始环境音频信号的特征频率，将所述空间轨迹离散化为多个空间动态焦点，计算各个空间动态焦点与所述动态电控声学超构表面模块之间的空间距离，根据计算出的空间距离与特征频率生成相位补偿矩阵，并将所述相位补偿矩阵转化为偏置电压矩阵输出至所述动态电控声学超构表面模块；

5、所述动态电控声学超构表面模块设置于服务机器人的交互面板上，包括阵列排布的多个压电谐振单元，所述压电谐振单元根据接收到的所述偏置电压矩阵改变内部的等效电容值，以重构所述动态电控声学超构表面模块表面的声阻抗边界条件，在物理空间形成声学干涉焦点并使所述声学干涉焦点沿所述空间轨迹移动，通过空间相消干涉过滤非意图目标点区域的环境噪声，并通过相长干涉采集意图目标点区域的音频信号。

6、优选的，所述多模态感知模块包括视觉传感器和深度相机，所述多模态感知模块调用内置的实例分割算法对点云数据以及图像数据进行融合分割，提取三维物理空间内各个独立物体的三维轮廓边界，计算所述三维轮廓边界的几何中心设定为所述可交互目标的三维质心坐标；

7、所述多模态感知模块提取各个可交互目标的语义分类标签并查询预设的物体属性数据库，获取与所述语义分类标签对应的物理属性参数，为对应的可交互目标分配基础引力增益常数；

8、所述标量场动力学解算模块计算三维物理空间内任意一点的静态引力势能的公式为：

9、；

10、式中，为第i个可交互目标的基础引力增益常数，为第i个可交互目标的三维质心坐标向量，表示空间点与所述三维质心坐标向量之间的欧几里得距离，为防止分母为零的非零极小正常数；所述标量场动力学解算模块对产生的所有静态引力势能进行线性叠加，生成环境总静态引力势分布矩阵。

11、优选的，所述多模态感知模块提取面部图像序列中的眼部特征点以及面部轮廓特征点，结合深度点云信息建立头部局部坐标系，基于所述头部局部坐标系计算所述用户头部节点的三维空间坐标以及视线方向的单位向量；

12、所述标量场动力学解算模块计算三维物理空间内任意一点在时刻t的动态定向势能的公式为：

13、；

14、式中，为视线方向势能增益常数，为时刻t用户头部节点的三维空间坐标向量，为时刻t用户视线方向的单位向量；

15、所述标量场动力学解算模块判定空间相对向量与所述视线方向的单位向量之间的向量内积结果，当所述向量内积结果大于零时，将所述动态定向势能与所述环境总静态引力势分布矩阵进行代数叠加，生成全局动态势场分布模型；当所述向量内积结果小于或等于零时，将所述动态定向势能的值赋为零。

16、优选的，所述标量场动力学解算模块针对所述全局动态势场分布模型中的三维离散空间网格点执行空间偏导数运算，计算三维物理空间内各个三维离散空间网格点的空间梯度向量；

17、提取所述空间梯度向量的模长小于预设收敛阈值的坐标点作为候选驻点，构建二阶偏导数海森矩阵并计算特征值；

18、筛选出所述特征值均大于零的候选驻点编入局部极小值点集合，当所述局部极小值点集合为空集时，维持所述动态电控声学超构表面模块的当前焦点位置不变；当所述局部极小值点集合中存在多个坐标点时，选取势能标量数值最小的坐标点确立为所述意图目标点。

19、优选的，所述标量场动力学解算模块以轨迹起始点作为初始迭代基准点，对所述空间梯度向量进行空间几何归一化处理生成单位反向梯度向量，沿所述单位反向梯度向量推进空间迭代步长常数的空间欧氏距离，生成下一个三维离散空间节点；

20、计算所述三维离散空间节点与轨迹终点之间的空间欧几里得距离，根据系统预设的距离容差常数判定迭代更新或停止运算；

21、调用样条插值算法对拼接后的三维离散空间节点集合进行平滑拟合，生成连续的三维梯度下降控制轨迹曲线并输出至所述跨层反馈控制器。

22、优选的，所述跨层反馈控制器控制所述动态电控声学超构表面模块进入初始全向拾音模式采集初始环境音频信号，执行快速傅里叶变换提取基频锁定为所述特征频率，通过配置于服务机器人机体外部的环境温度传感器获取温度参数计算当前环境介质中的实时声速；

23、按照预设的时间采样步长将所述三维梯度下降控制轨迹曲线离散化为一系列随时间演变的所述空间动态焦点；

24、选取几何中心单元作为相位参考基准点，第m个压电谐振单元在时刻t针对当前空间动态焦点调整的相位补偿参数的公式为：

25、，

26、式中，为特征频率，为实时声速，为第m个压电谐振单元的三维物理坐标向量，为空间动态焦点的三维空间坐标向量，为相位参考基准点的三维物理坐标向量，为全局初始相位偏置常数。

27、优选的，所述跨层反馈控制器调取内部存储的压电谐振单元电压-相位响应映射表，将所述相位补偿矩阵转换为数字偏置电压数值并拼接生成数字偏置电压矩阵，调用内置的数模转换驱动单元将所述数字偏置电压矩阵转换为多通道模拟控制电信号同步输出至所述动态电控声学超构表面模块的各个电气控制引脚；

28、所述压电谐振单元内部的驱动电压变化通过逆压电效应改变等效机械刚度，使得局部机械共振频率发生连续空间偏移，重构所述动态电控声学超构表面模块表面的整体声阻抗边界条件。

29、优选的，当非目标环境噪声入射至所述动态电控声学超构表面模块时，所述动态电控声学超构表面模块重构的声阻抗边界条件使得反射声波与入射声波之间产生空间相位错位，进而使非目标环境噪声在所述动态电控声学超构表面模块表面发生空间相消干涉；

30、当目标音频信号入射至所述动态电控声学超构表面模块时，其入射声波与当前声阻抗边界条件对应的反射声波空间相位匹配，在所述动态电控声学超构表面模块的表面发生相长干涉，将声学能量向所述动态电控声学超构表面模块的几何中心位置物理汇聚；

31、所述动态电控声学超构表面模块包括布置于其几何中心位置的中心声电转换单元以及模数转换硬件单元，所述中心声电转换单元接收汇聚后的目标音频信号转换为模拟电信号，所述模数转换硬件单元执行离散采样与量化操作将所述模拟电信号转换为数字目标音频信号输出至所述跨层反馈控制器。

32、优选的，所述跨层反馈控制器对所述数字目标音频信号进行加窗分帧处理，提取梅尔频率倒谱系数以及短时能量特征值，调取预设的物理交互声学特征库；

33、将提取的所述梅尔频率倒谱系数以及短时能量特征值与物理交互声学特征库中的特征模板进行相似度计算，当相似度计算结果高于系统设定的判定阈值时，提取高出判定阈值的数值差并乘以预设的正向反馈系数，计算生成声学正向激励因子并反馈至所述标量场动力学解算模块。

34、优选的，所述标量场动力学解算模块将所述声学正向激励因子与所述意图目标点对应的所述基础引力增益常数进行数值相加，以强化所述意图目标点在全局虚拟势场中的局部势能极小值分布梯度，在数学运算层面维持所述意图目标点的极值绝对锁定状态；

35、所述跨层反馈控制器调用语音识别算法解析所述数字目标音频信号中的语音语义内容，将所述语音语义内容与所述意图目标点绑定的物理实体属性进行逻辑融合，生成对应服务机器人执行机构的确定性控制指令集。

36、本发明采用上述技术方案，能够带来如下有益效果：

37、1、本发明通过层反馈控制器与特征频率生成相位补偿矩阵并转化为偏置电压矩阵，驱动动态电控声学超构表面模块重建声阻抗边界条件，使声学干涉焦点沿轨迹移动，利用相消干涉非目标区域噪声并利用相长干涉汇聚目标信号，实现了在转换前的物理层干涉，避免了数字算法引起的非线性失真，达到了在杂环境中无损采集高信噪比目标语音的效果。

38、2、本发明通过标量场动力学解算模块将可交互目标的三维质心坐标配置为静态惯性势，将用户的视线方向配置为动态定向势能，生成全局虚拟势场，并计算空间梯度与三维质心矩阵特征值以锁设定极小值点并提取梯度下降空间图，实现了将复杂的空间式意图解析转化为确定性的标量场极值搜索过程，解耦了对高算力多模态神经网络的依赖，降低了计算资源消耗，降低了意图解析演算延迟。

39、3、本发明通过跨层反馈控制器提取目标语音特征并与预设物理交互声学特征库比对生成声学正向激励因子，反馈至标量场动力学解算模块以增加目的点处的基础引力增益，强化局部的势能极小值分布梯度，实现了从物理声学测量反向驱动解模型参量计算的闭环验证，防止解算机制系统计算因视觉盲区或微小扰动陷入错误极值点，达到了提升多目标环境下稳定性与鲁棒性的效果。