一种机器人交互控制方法、介质及设备与流程
本发明涉及机器人控制,特别是涉及一种机器人交互控制方法、介质及设备。
背景技术:
1、随着人工智能与机器人技术的快速发展,服务型机器人正逐步从单一功能的执行工具向具备多模态感知与自然交互能力的智能体演进。在人机交互场景中,机器人需要同时感知语音、视觉、空间位置等多维度信息,以准确识别交互意图并做出实时响应。目前,多模态交互已成为机器人领域的研究热点,通过融合图像、视频、语音和文本等多模态信息,机器人能够更全面地理解环境并进行交互。
2、然而,现有的机器人多模态交互控制方法中,声源定位、语音识别、人脸检测等任务通常由相互独立的模块分别完成,各模块之间缺乏有效的协同机制,仅通过简单的时序串联,未能实现音视频信息的深度交互与协同利用,不仅增加了系统复杂度,也限制了交互的准确性和自然度。
3、同时,面向机器人交互的深度学习模型参数量大、计算复杂度高,而机器人边缘端设备普遍存在算力有限、功耗受限、存储资源紧张等约束。现有技术中,srp-phat等声源定位算法虽然定位精度较高,但其全局网格搜索涉及大量互相关计算,计算量庞大,难以在嵌入式设备上实时执行。若将计算任务上传至云端处理,则会引入网络延迟,无法满足交互场景对低延迟的严苛要求。
4、因此,如何实现音视频多模态信息的深度协同感知与轻量化高效推理,使机器人能够在边缘端算力约束下完成实时、准确、自适应的交互控制成为亟待解决的问题。
技术实现思路
1、针对上述技术问题,本发明采用的技术方案为一种机器人交互控制方法,该机器人交互控制方法包括如下步骤:
2、s1,根据机器人采集的音频信号,在以机器人为坐标原点的三维空间范围内,剔除根据当前场景信噪比设定的阈值所判定的低功率网格区域,得到声源粗定位区域,其中,网格区域是三维空间范围的离散化表示。
3、s2,根据声源粗定位区域从音频信号中截取音频帧序列,并通过预设的轻量化时延神经网络提取音频帧序列对应的音频特征。
4、s3,根据声源粗定位区域对应的空间方位信息,在机器人搭载的图像采集设备的成像平面中限定视觉特征提取区域,并通过预设的轻量化骨干网络提取视觉特征提取区域内人脸图像的人脸视觉特征。
5、s4,通过预设的多模态融合模型对音频特征和人脸视觉特征进行加权聚合,得到多模态融合特征,其中,预设的多模态融合模型采用自适应注意力机制动态分配模态权重。
6、s5,对目标模型组的浮点参数进行整数量化压缩,并将目标模型组中的预设运算逻辑封装后部署至异构计算平台进行并行加速处理,得到适配机器人边缘端部署的轻量化推理模型,其中,目标模型组包括预设的轻量化时延神经网络、预设的轻量化骨干网络和预设的多模态融合模型。
7、s6,根据轻量化推理模型和多模态融合特征执行预设任务,驱动机器人完成交互动作,其中,预设任务至少包括声源精细定位、声纹身份识别和人脸张嘴状态检测。
8、本发明还提供了一种非瞬时性计算机可读存储介质,非瞬时性计算机可读存储介质中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现上述的机器人交互控制方法。
9、本发明还提供了一种电子设备,包括处理器和上述的非瞬时性计算机可读存储介质。
10、本发明至少具有以下有益效果:通过声源空间迭代收缩与自适应阈值处理,减少了全局网格搜索的计算量;通过声源粗定位区域引导音频帧精准截取与视觉检测区域限定,缩小了视觉检测范围,从源头剔除了无效数据,降低了全链路计算负荷;通过轻量化时延神经网络与轻量化骨干网络的双分支设计,能够在边缘端嵌入式平台上实时完成高精度音视频特征提取;通过自适应注意力机制根据信噪比与人脸检测置信度动态分配模态权重,使得融合结果在噪声或遮挡等复杂场景下始终由高质量模态主导,提升了感知鲁棒性;通过整数量化压缩与fpga硬件并行加速的协同部署,压缩了模型体积、提升了推理速度,突破了边缘端算力瓶颈;通过共享骨干网络的多任务并行推理架构,并行执行声源精细定位、声纹身份识别和人脸张嘴状态检测任务,实现了交互场景的多维度综合感知与决策,使得机器人在算力、功耗、存储受限的嵌入式平台上,仍能完成实时、准确、自适应的人机交互控制。
1.一种机器人交互控制方法,其特征在于,所述机器人交互控制方法包括如下步骤:
2.根据权利要求1所述的机器人交互控制方法,其特征在于,s1包括如下步骤:
3.根据权利要求1所述的机器人交互控制方法,其特征在于,所述预设的轻量化时延神经网络包括前端卷积模块、密集连接时延神经网络主干、统计池化层和第一全连接层,s2包括如下步骤:
4.根据权利要求1所述的机器人交互控制方法,其特征在于,s3包括如下步骤:
5.根据权利要求4所述的机器人交互控制方法,其特征在于,所述预设的轻量化骨干网络包括深度可分离卷积层和第二全连接层,s34包括如下步骤:
6.根据权利要求1所述的机器人交互控制方法,其特征在于,所述多模态融合模型包括第一映射网络、第二映射网络和模态权重生成网络,s4包括如下步骤:
7.根据权利要求1所述的机器人交互控制方法,其特征在于,s5包括如下步骤:
8.根据权利要求1所述的机器人交互控制方法,其特征在于,所述轻量化推理模型包括共享骨干网络、声源定位分支、声纹识别分支和状态检测分支,s6包括如下步骤:
9.一种非瞬时性计算机可读存储介质,所述非瞬时性计算机可读存储介质中存储有至少一条指令或至少一段程序,其特征在于,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8中任意一项所述的机器人交互控制方法。
10.一种电子设备,其特征在于,包括处理器和权利要求9中所述的非瞬时性计算机可读存储介质。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com