基于动态路由的具身智能多任务处理方法、设备及介质与流程

摘要: 本发明涉及具身智能,尤其涉及一种基于动态路由的具身智能多任务处理方法、设备及介质。背景技术:1、在具身智能领域,机器人等智能体需依赖机器视觉在动态环境中实时执行...
基于动态路由的具身智能多任务处理方法、设备及介质与流程

本发明涉及具身智能,尤其涉及一种基于动态路由的具身智能多任务处理方法、设备及介质。

背景技术:

1、在具身智能领域,机器人等智能体需依赖机器视觉在动态环境中实时执行人员检测、行为识别以及面向物理交互的物体位姿精确估计等多种感知任务。上述任务的计算复杂度差异显著,且往往须在算力、功耗均受限的边缘平台上并行处理。

2、现有技术中,用于机器视觉的多任务学习网络普遍采用固定的计算图结构,无论输入场景的复杂程度如何,网络均会执行全部预设分支的完整前向推理。当空旷场景中仅需识别单个静止物体时,网络仍然会激活所有为处理复杂多人交互或动态物理约束而设计的计算单元。然而这种固定全量计算的方式导致大量算力被无效消耗,推理延迟波动显著,功耗居高不下,严重削弱了具身智能体在动态环境中的实时响应能力。进一步地,对于需要将视觉感知结果快速映射至物理模型以实现实时操控的系统而言,上述延迟与能效瓶颈直接影响操作精度与安全性。

技术实现思路

1、本发明提供了一种基于动态路由的具身智能多任务处理方法、设备及介质,旨在解决的技术问题是:如何提供一种能够在边缘设备有限资源条件下,高效满足具身智能机器视觉多任务实时处理需求的有效解决方案。

2、第一方面,本发明提供了一种基于动态路由的具身智能多任务处理方法,其包括:

3、获取输入图像;

4、将所述输入图像输入特征提取网络,提取通用视觉特征;

5、基于所述通用视觉特征进行路由决策,生成路由权重,所述路由权重用于指示从多个任务簇分支中激活的任务簇分支;

6、根据所述路由权重,将所述通用视觉特征输入至所激活的任务簇分支中进行特征变换,得到任务簇特征;

7、将所述任务簇特征输入至与所激活的任务簇分支对应的任务特定头,得到任务处理结果。

8、可选地,所述特征提取网络由多个深度可分离卷积模块堆叠而成,每个所述深度可分离卷积模块包括逐通道卷积层、通道注意力机制模块和逐点卷积层;

9、所述将所述输入图像输入特征提取网络,提取通用视觉特征,包括:

10、对所述输入图像进行标准卷积处理,得到初始特征图;

11、将所述初始特征图依次通过多个所述深度可分离卷积模块,在每个所述深度可分离卷积模块中,先经过所述逐通道卷积层进行空间特征提取,再通过所述通道注意力机制模块对通道进行自适应加权,最后经过所述逐点卷积层进行通道融合;

12、将最后一个深度可分离卷积模块输出的特征图作为所述通用视觉特征。

13、可选地,所述基于所述通用视觉特征进行路由决策,生成路由权重,包括:

14、对所述通用视觉特征进行全局平均池化,得到特征向量;

15、将所述特征向量输入门控网络,生成与所述任务簇分支数量对应的原始分数;

16、基于所述通用视觉特征,预测场景复杂度系数,并将所述场景复杂度系数作为温度系数;

17、将所述原始分数除以所述温度系数后输入softmax函数,得到每个任务簇分支的概率分布;

18、对所述概率分布执行argmax操作,得到独热形式的所述路由权重。

19、可选地,所述特征提取网络、所述任务簇分支和所述任务特定头部署于目标边缘计算芯片,所述目标边缘计算芯片包含多个异构硬件计算单元及共享片上缓存区;

20、所述根据所述路由权重,将所述通用视觉特征输入至所激活的任务簇分支中进行特征变换,得到任务簇特征,包括:

21、将所述通用视觉特征存储至所述共享片上缓存区;

22、根据所述路由权重确定当前激活的任务簇分支集合;

23、将所述激活的任务簇分支集合中各任务簇分支的指令流分别分配至不同的异构硬件计算单元;

24、通过各所述异构硬件计算单元从所述共享片上缓存区读取所述通用视觉特征,并行执行所分配的任务簇分支的指令流,生成各任务簇分支的特定特征图,并将所述特定特征图写回所述共享片上缓存区;

25、从所述共享片上缓存区读取所有激活的任务簇分支的特定特征图,并进行通道拼接,得到所述任务簇特征。

26、可选地,所述通过各所述异构硬件计算单元从所述共享片上缓存区读取所述通用视觉特征,并行执行所分配的任务簇分支的指令流,生成各任务簇分支的特定特征图,包括:

27、对于每个被激活的任务簇分支,根据所述路由权重中对应于所述被激活的任务簇分支的分支权重,确定所述被激活的任务簇分支内多个并行的子分支的动态融合系数;

28、将所述通用视觉特征分别输入所述多个并行的子分支,所述多个并行的子分支具有不同尺寸的卷积核,得到多个子分支输出特征图;

29、将所述多个子分支输出特征图分别乘以对应的动态融合系数后,进行逐元素相加,得到所述被激活的任务簇分支的特定特征图。

30、可选地,所述特征提取网络、所述任务簇分支、所述任务特定头以及用于进行所述路由决策的门控网络的参数通过以下训练步骤获得:

31、获取训练图像及对应的多任务标签;

32、将所述训练图像输入所述特征提取网络,得到训练通用视觉特征;

33、将所述训练通用视觉特征分别输入每个任务簇分支,得到每个任务簇分支的特定特征图;

34、将所述训练通用视觉特征输入所述门控网络,并添加gumbel噪声后经由softmax函数生成训练软路由权重;

35、根据所述训练软路由权重对所述每个任务簇分支的特定特征图进行加权聚合,得到训练任务簇特征,并通过所述任务特定头得到预测结果;

36、基于所述预测结果与所述多任务标签计算任务损失,并基于所述训练软路由权重计算熵正则化损失;

37、以最小化所述任务损失和所述熵正则化损失的加权和为目标,更新所述特征提取网络、所述任务簇分支、所述任务特定头以及所述门控网络的参数。

38、可选地,所述以最小化所述任务损失和所述熵正则化损失的加权和为目标,更新所述特征提取网络、所述任务簇分支、所述任务特定头以及所述门控网络的参数,包括:

39、获取各任务簇分支预标定的计算资源消耗值;

40、根据所述训练软路由权重和所述计算资源消耗值计算当前训练样本的期望计算资源消耗;

41、计算所述期望计算资源消耗与预设目标资源限制的偏差,得到资源损失;

42、将所述资源损失加入所述任务损失和所述熵正则化损失的加权和中,得到总损失;

43、以最小化所述总损失为目标,更新所述特征提取网络、所述任务簇分支、所述任务特定头以及所述门控网络的参数。

44、可选地,所述将所述任务簇特征输入至与所激活的任务簇分支对应的任务特定头,得到任务处理结果,包括:

45、根据所述路由权重确定当前激活的任务类型;

46、从预配置的任务头集合中调用与所述任务类型匹配的至少一个任务特定头,每个所述任务特定头包含动态卷积核生成子网络;

47、将所述任务簇特征中对应所述至少一个任务特定头的特征子集输入所述动态卷积核生成子网络,生成所述任务特定头的卷积核参数;

48、利用生成的所述卷积核参数对所述特征子集进行卷积处理,得到所述任务处理结果。

49、第二方面,本发明还提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法。

50、第三方面,本发明还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时可实现上述方法。

51、本发明提供了一种基于动态路由的具身智能多任务处理方法、设备及介质,在获取输入图像后,由特征提取网络提取通用视觉特征,并基于该通用视觉特征进行路由决策生成路由权重,所述路由权重用于指示从多个任务簇分支中激活的任务簇分支;进一步地,根据所述路由权重,将所述通用视觉特征仅输入至所激活的任务簇分支中进行特征变换得到任务簇特征,再将该任务簇特征输入至对应的任务特定头得到任务处理结果。上述处理过程中,路由决策根据输入图像的内容特性动态确定需要激活的任务簇分支,对于与当前场景无关的任务簇分支,其特征变换操作被完全跳过,对应的计算资源不被消耗,使得网络对简单场景仅执行必要的分支计算,对复杂场景按需激活更多分支,从而将多任务推理的平均计算量控制在较低水平,在维持各任务处理精度的同时降低了推理延迟与功耗,使部署于算力和功耗均受限的边缘平台上的具身智能设备能够高效满足多种机器视觉任务并行的实时处理需求。