一种轻量化知识图谱与边缘计算的人机交互系统的制作方法

本发明涉及人机交互，尤其涉及一种轻量化知识图谱与边缘计算的人机交互系统。

背景技术：

1、现有轻量化知识图谱与人机交互结合的技术体系中，多模态交互数据的处理多局限于单一模态解析或简单的多模态信息拼接，尚未实现将语音识别结果文本、视觉传感器捕捉的手势轨迹坐标以及终端设备的姿态角变化序列进行统一化的输入处理。边缘计算节点端的任务调度机制，也普遍采用固定优先级或仅依据单一算力、网络状态的调度逻辑，未将终端设备的姿态角变化纳入交互状态判断的依据范畴。

2、现有技术方案中，轻量化知识图谱的查询接口仅能基于单一语义解析结果检索功能服务节点，多模态信息的缺失导致交互意图的捕捉存在偏差，难以精准匹配用户实际的交互需求。同时，边缘计算节点的推理任务队列生成缺乏动态适配机制，无法结合终端设备姿态变化与实时网络带宽情况调整任务执行策略，使得推理任务的执行与边缘算力环境的匹配度不足，进而影响人机交互系统的实时性与精准性。

3、现有技术未针对多模态交互数据流的整合处理、边缘计算节点的动态调度与推理队列生成形成有效解决方案，也缺乏闭环的状态反馈更新机制，导致轻量化知识图谱与边缘计算结合的人机交互系统，在实际应用中难以满足复杂场景下的交互需求。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点，而提出的一种轻量化知识图谱与边缘计算的人机交互系统。

2、为了实现上述目的，本发明采用了如下技术方案：一种轻量化知识图谱与边缘计算的人机交互系统，包括：

3、数据采集模块，获取目标场景下的多模态交互数据流，所述多模态交互数据流包含语音识别结果文本、视觉传感器捕捉到的手势轨迹坐标以及终端设备的姿态角变化序列；

4、图谱查询模块，将所述多模态交互数据流输入至预先构建的轻量化知识图谱的查询接口，所述轻量化知识图谱的查询接口根据语义解析结果，在图谱的实体节点中检索与当前交互意图相关的功能服务节点，并输出所述功能服务节点及其关联的属性约束；

5、任务调度模块，由部署在边缘计算节点上的任务调度器接收所述功能服务节点及其关联的属性约束，结合所述终端设备的姿态角变化序列判断当前的交互状态，并据此调整所述功能服务节点在边缘计算节点上的执行优先级；

6、推理适配模块，在边缘计算节点上加载所述功能服务节点对应的轻量化推理模型，将经调整后的执行优先级与当前的网络带宽占用情况进行比对，生成适配当前算力环境的推理任务队列；

7、闭环更新模块，根据所述推理任务队列的执行进度，对所述轻量化知识图谱的查询接口返回的状态反馈进行更新，形成闭环控制的人机交互过程。

8、作为本发明的进一步方案，所述获取目标场景下的多模态交互数据流，包括：

9、通过麦克风阵列采集用户发出的原始语音信号，对所述原始语音信号进行降噪与端点检测，提取出有效语音片段并转换为所述语音识别结果文本；

10、通过深度摄像头获取包含用户手部的视频帧序列，对所述视频帧序列进行手部区域分割，利用光流法计算所述手势轨迹坐标，并滤除因手部抖动产生的异常坐标点；

11、通过惯性测量单元获取所述终端设备在空间坐标系下的加速度与角速度数据，采用卡尔曼滤波算法对所述加速度与角速度数据进行融合解算，生成所述姿态角变化序列；

12、将时间戳对齐后的所述语音识别结果文本、手势轨迹坐标以及姿态角变化序列打包封装为所述多模态交互数据流。

13、作为本发明的进一步方案，将所述多模态交互数据流输入至预先构建的轻量化知识图谱的查询接口，所述轻量化知识图谱的查询接口根据语义解析结果，在图谱的实体节点中检索与当前交互意图相关的功能服务节点，并输出所述功能服务节点及其关联的属性约束，包括：

14、调用自然语言处理引擎对所述语音识别结果文本进行依存句法分析与语义角色标注，识别出其中的操作动词与目标宾语，生成所述语义解析结果；

15、将所述语义解析结果与手势轨迹坐标的轨迹特征进行跨模态融合，形成复合交互意图向量；

16、将所述复合交互意图向量输入至所述轻量化知识图谱的查询接口，所述查询接口遍历图谱中的实体节点与关系边，筛选出与所述复合交互意图向量匹配的候选功能服务节点；

17、对筛选出的候选功能服务节点进行置信度打分，选取最高置信度的所述功能服务节点及其关联的所述属性约束作为查询结果输出。

18、作为本发明的进一步方案，所述由部署在边缘计算节点上的任务调度器接收所述功能服务节点及其关联的属性约束，结合所述终端设备的姿态角变化序列判断当前的交互状态，并据此调整所述功能服务节点在边缘计算节点上的执行优先级，包括：

19、解析所述属性约束中包含的资源需求量与延时容忍度指标；

20、分析所述姿态角变化序列的变化速率与加速度，若所述变化速率高于预设阈值且加速度呈上升趋势，则判定当前交互状态为急迫交互状态；

21、针对处于所述急迫交互状态的场景，将所述功能服务节点的执行优先级提升至最高级别，并为其分配独占的边缘计算算力资源；

22、对于非急迫交互状态的场景，根据所述延时容忍度指标动态调整所述功能服务节点的执行优先级，使其在不阻塞高优先级任务的前提下排队等待执行。

23、作为本发明的进一步方案，所述在边缘计算节点上加载所述功能服务节点对应的轻量化推理模型，将经调整后的执行优先级与当前的网络带宽占用情况进行比对，生成适配当前算力环境的推理任务队列，包括：

24、根据所述功能服务节点的类型标识，从本地模型库中调取对应的所述轻量化推理模型，所述轻量化推理模型是经过剪枝与量化处理后的神经网络模型；

25、周期性地监测边缘计算节点与外部云端的网络连接状态，获取当前的所述网络带宽占用情况；

26、建立执行优先级与网络带宽占用情况的映射关系表，若所述执行优先级为高且所述网络带宽占用情况低于下限阈值，则将推理过程中所需的远程数据下载任务并入所述推理任务队列；

27、按照任务的依赖关系与时间戳顺序，对所有待执行的推理任务进行排序，生成所述适配当前算力环境的推理任务队列。

28、作为本发明的进一步方案，根据所述推理任务队列的执行进度，对所述轻量化知识图谱的查询接口返回的状态反馈进行更新，形成闭环控制的人机交互过程，包括：

29、在所述推理任务队列中的每个任务启动时，向所述轻量化知识图谱的查询接口发送任务开始执行的信令；

30、实时监控所述推理任务队列中各任务的运行状态与完成百分比，将最新的运行状态写入所述轻量化知识图谱中对应功能服务节点的状态属性字段；

31、当所述推理任务队列中的所有任务执行完毕后，汇总最终的推理结果数据，并将所述最终的推理结果数据封装为状态反馈数据包发送至所述轻量化知识图谱的查询接口；

32、所述轻量化知识图谱的查询接口接收到所述状态反馈数据包后，触发人机交互界面的刷新指令，完成一次闭环交互。

33、作为本发明的进一步方案，所述采用卡尔曼滤波算法对所述加速度与角速度数据进行融合解算，生成所述姿态角变化序列，包括：

34、初始化卡尔曼滤波器模型，其中状态向量包含终端设备的姿态角和陀螺仪零偏，测量向量包含惯性测量单元采集的三轴加速度和角速度数据；

35、通过惯性测量单元的加速度计和陀螺仪分别获取所述加速度与角速度数据，并将所述加速度与角速度数据输入至卡尔曼滤波器模型，作为系统的观测量；

36、在卡尔曼滤波器的预测步，基于系统状态方程，利用上一时刻的姿态角和陀螺仪测量值递推计算当前时刻姿态角的预测值；

37、在卡尔曼滤波器的更新步，利用当前时刻加速度计的测量值计算重力向量在设备坐标系下的投影，并与姿态角预测值计算出的重力向量进行比较，得到观测残差；

38、根据计算出的所述观测残差和卡尔曼滤波器模型中的观测噪声协方差矩阵，更新姿态角预测值的协方差矩阵，计算得到卡尔曼增益；

39、利用所述卡尔曼增益对所述姿态角预测值进行校正，得到融合解算后最优的姿态角估计值，并同步更新陀螺仪零偏的估计；

40、将连续多个时间戳下计算得到的最优姿态角估计值按时间顺序排列，生成所述姿态角变化序列。

41、作为本发明的进一步方案，分析所述姿态角变化序列的变化速率与加速度，若所述变化速率高于预设阈值且加速度呈上升趋势，则判定当前交互状态为急迫交互状态，包括：

42、对所述姿态角变化序列进行滑动窗口划分处理，在每个滑动时间窗口内，计算终端设备绕其三个坐标轴滚转角、俯仰角、偏航角的变化量；

43、分别对滚转角、俯仰角、偏航角的变化量进行微分运算，得到对应姿态角的变化速率序列；

44、计算所述变化速率序列在相邻时间间隔内的增量，得到姿态角的变化加速度；

45、将滚转角、俯仰角、偏航角的变化速率序列中的最大值与所述预设阈值进行比较；

46、同时，对滚转角、俯仰角、偏航角的变化加速度进行趋势分析，判断其在预设的时间区间内是否持续为正；

47、若存在姿态角的变化速率高于预设阈值，且其对应的变化加速度在所述预设的时间区间内呈持续上升趋势，则触发条件判定机制，产生急迫交互状态触发信号；

48、任务调度器根据接收到的所述急迫交互状态触发信号，判定当前交互状态为所述急迫交互状态。

49、作为本发明的进一步方案，还包括基于边缘侧的增量学习机制对所述轻量化知识图谱进行更新的步骤：

50、在每次人机交互过程结束后，将本次交互产生的所述多模态交互数据流、所述功能服务节点信息以及所述推理结果数据作为一条新的训练样本；

51、对所述新的训练样本进行脱敏与特征提取，生成用于模型微调的特征向量；

52、利用边缘计算节点上的在线学习算法，对所述轻量化推理模型进行参数更新，所述参数更新仅针对与本次交互功能相关的网络层权重；

53、当所述轻量化推理模型的性能评估指标提升超过预设的收敛标准时，将更新后的网络层权重反序列化并存储至所述轻量化知识图谱的模型资产库中，替换原有的旧权重。

54、作为本发明的进一步方案，对所述轻量化推理模型进行参数更新，所述参数更新仅针对与本次交互功能相关的网络层权重，包括：

55、在所述轻量化知识图谱中为每一种类型的所述功能服务节点建立一个独立的模型版本号索引；

56、根据所述本次交互功能对应的功能服务节点类型，锁定所述轻量化推理模型中与类型强相关的卷积层或全连接层的权重参数；

57、冻结所述轻量化推理模型中除锁定层之外的其余网络层的权重参数；

58、将生成的所述特征向量输入至解冻后的网络中，执行梯度下降算法，仅更新所述锁定层的权重参数，其余层的权重保持不变。

59、与现有技术相比，本发明的优点和积极效果在于：

60、将语音识别结果文本、视觉传感器捕捉的手势轨迹坐标以及终端设备的姿态角变化序列这三类多模态交互数据流，统一输入预先构建的轻量化知识图谱查询接口，该接口依据语义解析结果在图谱实体节点中检索与当前交互意图相关的功能服务节点，并输出功能服务节点及其关联的属性约束。多模态信息的全面输入替代了单一模态或简单拼接的处理方式，语义解析结果能更全面地映射交互意图，使得功能服务节点的检索过程能够精准匹配用户真实的交互需求，属性约束的同步输出也为交互执行提供了与意图完全契合的限定条件。

61、部署在边缘计算节点的任务调度器接收功能服务节点及其属性约束后，结合终端设备的姿态角变化序列判断当前交互状态，并据此调整功能服务节点在边缘计算节点的执行优先级；推理适配模块在边缘计算节点上加载对应轻量化推理模型，将调整后的执行优先级与当前网络带宽占用情况进行比对，生成适配当前算力环境的推理任务队列。终端姿态角变化所反映的交互场景动态特征被纳入优先级调整依据，使得执行优先级的设定更贴合实际交互过程；推理任务队列的生成结合了动态优先级与实时网络带宽，让边缘计算节点的算力资源分配更贴合当前运行环境，推理任务的执行效率与适配性得到提升。

62、闭环更新模块根据推理任务队列的执行进度，对轻量化知识图谱的查询接口返回的状态反馈进行更新，形成闭环控制的人机交互过程。这一闭环机制让交互系统的运行状态能持续反馈并调整，进一步保障了交互过程的连贯性与精准性，使得轻量化知识图谱与边缘计算结合的人机交互系统，能够更好地适配复杂多变的实际应用场景。