具身智能输入自适应动态计算图执行方法、设备及介质与流程
本发明涉及具身智能,尤其涉及一种具身智能输入自适应动态计算图执行方法、设备及介质。
背景技术:
1、在具身智能机器人的机器视觉任务中,深度神经网络通常以计算图形式描述从输入图像到输出结果的完整运算流程,涉及物理模型交互与环境感知。然而,实际应用场景的输入内容复杂度存在较大差异,大量输入属于目标稀疏、背景简单的场景,少数输入包含密集目标、复杂遮挡或小尺寸物体,输入复杂度呈现明显的不均衡分布。
2、目前,在现有技术中,大部分的推理系统普遍采用静态计算图,模型在部署后对每一帧输入图像均执行相同的运算序列和计算量,不因输入内容的复杂程度而改变。进一步地,一些方案通过模型量化、剪枝或专用硬件加速来降低单次推理的计算开销,但这些优化手段对所有输入一视同仁,单次推理的计算成本保持固定。进一步地,另一些方案部署多个不同复杂度的独立模型,但模型之间的切换通常依赖人工配置或预设规则,难以在实际运行中根据输入情况自动调整计算路径。
3、基于上述现有的技术方案,大量简单输入仍消耗与复杂输入相当的计算资源,导致具身智能机器人在执行机器视觉任务时平均计算功耗和平均推理延迟难以有效降低。对于计算资源受限的嵌入式视觉设备或长时间运行的监控系统,这一问题更为突出。
技术实现思路
1、本发明提供了一种具身智能输入自适应动态计算图执行方法、设备及介质,旨在解决的技术问题是:如何提供一种能够降低平均计算开销并保持推理精度的有效解决方案。
2、第一方面,本发明提供了一种具身智能输入自适应动态计算图执行方法,其包括:
3、获取输入图像;
4、将所述输入图像输入决策模型进行属性分析,得到场景属性;
5、根据所述场景属性,从预先定义的多个计算子图中选择与所述场景属性匹配的目标计算子图,并实例化所述目标计算子图;
6、执行所述目标计算子图对所述输入图像进行推理,得到推理结果。
7、可选地,所述将所述输入图像输入决策模型进行属性分析,得到场景属性,包括:
8、利用所述决策模型对所述输入图像进行特征提取,得到输入特征;
9、将所述输入特征输入所述决策模型的目标数量回归分支,得到目标数量;
10、将所述输入特征输入所述决策模型的场景复杂度分类分支,得到场景复杂度;
11、将所述输入特征输入所述决策模型的特定物体检测分支,得到特定物体存在结果;
12、将所述目标数量、所述场景复杂度和所述特定物体存在结果组合为所述场景属性。
13、可选地,所述预先定义的多个计算子图至少包括第一计算子图、第二计算子图和第三计算子图,所述第一计算子图、所述第二计算子图和所述第三计算子图的计算复杂度依次递增;
14、所述根据所述场景属性,从所述预先定义的多个计算子图中选择与所述场景属性匹配的目标计算子图,包括:
15、判断所述特定物体存在结果是否表示存在特定物体;
16、若所述特定物体存在结果表示存在特定物体,则选择所述第三计算子图作为所述目标计算子图;
17、若所述特定物体存在结果表示不存在特定物体,则判断所述场景复杂度是否低于第一复杂度阈值且所述目标数量是否低于第一数量阈值;
18、若所述场景复杂度低于所述第一复杂度阈值且所述目标数量低于所述第一数量阈值,则选择所述第一计算子图作为所述目标计算子图;
19、若所述场景复杂度不低于所述第一复杂度阈值或所述目标数量不低于所述第一数量阈值,则判断所述场景复杂度是否低于第二复杂度阈值且所述目标数量是否低于第二数量阈值,所述第二复杂度阈值大于所述第一复杂度阈值,所述第二数量阈值大于所述第一数量阈值;
20、若所述场景复杂度低于所述第二复杂度阈值且所述目标数量低于所述第二数量阈值,则选择所述第二计算子图作为所述目标计算子图;
21、若所述场景复杂度不低于所述第二复杂度阈值或所述目标数量不低于所述第二数量阈值,则选择所述第三计算子图作为所述目标计算子图。
22、可选地,所述根据所述场景属性,从预先定义的多个计算子图中选择与所述场景属性匹配的目标计算子图,并实例化所述目标计算子图,包括:
23、获取所述预先定义的多个计算子图,每个计算子图关联一个属性描述向量;
24、将所述场景属性编码为场景属性向量;
25、计算所述场景属性向量与各属性描述向量之间的匹配度;
26、将匹配度最高的计算子图确定为所述目标计算子图;
27、实例化所述目标计算子图。
28、可选地,在所述根据所述场景属性,从所述预先定义的多个计算子图中选择与所述场景属性匹配的目标计算子图之前,所述方法还包括:
29、获取所述输入图像之前输入的前一输入图像;
30、获取前一场景属性,所述前一场景属性为将所述前一输入图像输入所述决策模型进行属性分析得到的场景属性;
31、对所述场景属性与所述前一场景属性进行加权平滑,得到平滑后场景属性;
32、所述根据所述场景属性,从所述预先定义的多个计算子图中选择与所述场景属性匹配的目标计算子图,包括:
33、根据所述平滑后场景属性,从所述预先定义的多个计算子图中选择与所述平滑后场景属性匹配的目标计算子图。
34、可选地,所述方法还包括:
35、获取训练图像和所述训练图像对应的标注真值;
36、将所述训练图像输入所述决策模型进行属性分析,得到训练场景属性;
37、根据所述训练场景属性,从所述预先定义的多个计算子图中选择与所述训练场景属性匹配的训练目标计算子图,并实例化所述训练目标计算子图;
38、执行所述训练目标计算子图对所述训练图像进行推理,得到预测推理结果;
39、根据所述预测推理结果与所述标注真值计算精度损失;
40、根据所述训练目标计算子图的结构确定所述训练目标计算子图的计算量;
41、根据所述计算量计算计算成本损失;
42、对所述精度损失和所述计算成本损失进行加权求和,得到总损失;
43、根据所述总损失更新所述决策模型和所述训练目标计算子图的参数,保持所述预先定义的多个计算子图中除所述训练目标计算子图外的其他计算子图的参数不变。
44、可选地,所述根据所述总损失更新所述决策模型和所述训练目标计算子图的参数,保持所述预先定义的多个计算子图中除所述训练目标计算子图外的其他计算子图的参数不变,包括:
45、判断所述精度损失是否满足预设精度要求;
46、若所述精度损失满足所述预设精度要求,则保持所述训练目标计算子图的参数不变,根据所述总损失更新所述决策模型的参数,以减小所述计算成本损失;
47、若所述精度损失不满足所述预设精度要求,则保持所述决策模型的参数不变,根据所述总损失更新所述训练目标计算子图的参数,以减小所述精度损失。
48、可选地,所述方法还包括:
49、获取基础推理模型;
50、根据预设的多个场景类别,对所述基础推理模型分别进行不同复杂度的结构调整,得到多个模型变体,所述多个模型变体的计算复杂度不同;
51、将所述多个模型变体分别转换为对应的计算子图,得到多个候选计算子图;
52、设置所述多个候选计算子图中至少一个特征提取层的参数为共享参数;
53、将携带所述共享参数的所述多个候选计算子图作为所述预先定义的多个计算子图。
54、第二方面,本发明还提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法。
55、第三方面,本发明还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时可实现上述方法。
56、本发明提供了一种具身智能输入自适应动态计算图执行方法、设备及介质,通过获取输入图像,为后续属性分析和推理提供统一的输入数据;进一步地,将所述输入图像输入决策模型进行属性分析,得到场景属性,使输入图像的内容特点被转化为可用于指导计算路径选择的属性信息;进一步地,根据所述场景属性,从预先定义的多个计算子图中选择与所述场景属性匹配的目标计算子图,并实例化所述目标计算子图,使得本次推理所执行的计算路径与所述输入图像的内容特点相适应,而非对所有输入图像均执行相同的计算流程;进一步地,执行所述目标计算子图对所述输入图像进行推理,得到推理结果,完成与所述场景属性匹配的推理过程。由于所述目标计算子图是根据所述场景属性从所述预先定义的多个计算子图中选择得到的,不同场景属性的输入图像对应不同的计算子图,计算资源的分配随输入图像的内容特点自适应调整,避免了对所有输入图像执行相同计算量,从而降低了平均计算开销;进一步地,所述目标计算子图与所述场景属性匹配,使各输入图像由适合其场景特点的计算子图处理,推理精度得以保持。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com