模型训练和任务处理方法、装置、设备、芯片和介质与流程

摘要: 本申请涉及人工智能,尤其涉及一种模型训练和任务处理方法、装置、设备、芯片和存储介质。背景技术:1、在计算机视觉领域,视觉模型通常针对单一任务进行设计与优化,例如...
模型训练和任务处理方法、装置、设备、芯片和介质与流程

本申请涉及人工智能,尤其涉及一种模型训练和任务处理方法、装置、设备、芯片和存储介质。

背景技术:

1、在计算机视觉领域,视觉模型通常针对单一任务进行设计与优化,例如,更快的基于区域的卷积神经网络(faster region-based convolutional neural network,简称为faster r-cnn)专用于目标检测任务,u型网络(u-net)聚焦于图像分割任务。这种一任务一模型的范式虽在特定场景下性能优异,但在面对实际应用中普遍存在的多任务、多粒度需求时,往往需并行加载多个独立模型,导致计算资源消耗较大、内存占用较高、推理延迟增加,难以满足端侧设备对轻量化与实时性的要求。

技术实现思路

1、本申请提出一种模型训练和任务处理方法、装置、设备、芯片和存储介质,以至少在一定程度上解决相关技术中的技术问题之一。

2、本申请一方面实施例提出了一种多任务模型的训练方法,包括:

3、获取与多层级任务关联的样本视觉数据;其中,所述多层级任务包括与语义理解关联的至少一个高层级视觉任务,以及与像素处理关联的至少一个低层级视觉任务;

4、基于多任务模型中与所述多层级任务适配的网络层,对所述样本视觉数据进行处理,以得到所述多层级任务的任务处理结果;

5、根据所述多层级任务的任务处理结果,对所述多任务模型中各网络层进行联合训练。

6、本申请另一方面实施例提出了一种任务处理方法,包括:

7、获取待处理的视觉任务;其中,所述视觉任务中包括视觉数据和对应的输出要求;

8、根据所述视觉数据的数据格式和所述输出要求,激活多任务模型中的至少部分网络层;其中,所述多任务模型是采用如前述一方面实施例提出的训练方法训练得到的;

9、采用激活的网络层对所述视觉数据执行所述视觉任务,得到与所述输出要求匹配的任务执行结果。

10、本申请又一方面实施例提出了一种多任务模型的训练装置,包括:

11、第一获取模块,用于获取与多层级任务关联的样本视觉数据;其中,所述多层级任务包括与语义理解关联的至少一个高层级视觉任务,以及与像素处理关联的至少一个低层级视觉任务;

12、处理模块,用于基于多任务模型中与所述多层级任务适配的网络层,对所述样本视觉数据进行处理,以得到所述多层级任务的任务处理结果;

13、训练模块,用于根据所述多层级任务的任务处理结果,对所述多任务模型中各网络层进行联合训练。

14、本申请再一方面实施例提出了一种任务处理装置,包括:

15、第二获取模块,用于获取待处理的视觉任务;其中,所述视觉任务中包括视觉数据和对应的输出要求;

16、激活模块,用于根据所述视觉数据的数据格式和所述输出要求,激活多任务模型中的至少部分网络层;其中,所述多任务模型是采用如前述又一方面实施例提出的训练装置训练得到的;

17、执行模块,用于采用激活的网络层对所述视觉数据执行所述视觉任务,得到与所述输出要求匹配的任务执行结果。

18、本申请还一方面实施例提出了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如前述一方面所述的多任务模型的训练方法,或者,实现如前述另一方面所述的任务处理方法。

19、本申请又一方面实施例提出了一种芯片,该芯片包括相互耦合的接口电路和处理电路,所述接口电路用于输入或输出信号,所述处理电路被配置为执行如前述一方面所述的多任务模型的训练方法,或者,执行如前述另一方面所述的任务处理方法。

20、本申请再一方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如前述一方面所述的多任务模型的训练方法,或者,执行时实现如前述另一方面所述的任务处理方法。

21、本申请又一方面实施例提出了一种计算机程序产品,其上存储有计算机程序,所述程序被处理器执行时实现如前述一方面所述的多任务模型的训练方法,或者,执行时实现如前述另一方面所述的任务处理方法。

22、本申请提出的模型训练和任务处理方法、装置、设备、芯片和存储介质,通过为多层级任务配置与其特性相适配的网络层,使多任务模型能够针对不同任务的输入-输出映射关系进行精准建模,从而显著提升各任务的独立处理性能——即在不引入额外模型的前提下,获得更准确的单任务处理结果;在此基础上,高层级和低层级视觉任务之间得以开展双向互指导:低层级视觉任务通过增强视觉数据的清晰度、边缘锐度或结构完整性,为高层级视觉任务提供更高质量的视觉特征,从而增强其语义判别能力与定位精度,同时,高层级视觉任务所捕获的语义先验(如物体边界、语义标签)可反向引导低层级视觉任务在关键区域(如边缘、纹理)进行更有针对性的像素级修复或增强,有效抑制盲目平滑或伪影生成。这种跨层级的特征交互与损失联合优化,不仅显著提升了各任务自身的性能,还增强了多任务模型对多粒度视觉需求的整体适配性,最终在降低计算开销与内存占用的同时,实现端到端的高效、高质的多任务推理。

23、本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。

1.一种多任务模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于多任务模型中与所述多层级任务适配的网络层,对所述样本视觉数据进行处理,以得到所述多层级任务的任务处理结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述采用所述多任务模型中所述多层级任务共享的网络层,对所述第一视觉特征进行处理,得到多个尺寸的第二视觉特征,包括:

4.根据权利要求3所述的方法,其特征在于,所述高层级视觉任务包括语义分割任务和检测任务;

5.根据权利要求3所述的方法,其特征在于,所述低层级视觉任务包括超分辨率重建任务和非超分辨率重建任务;

6.根据权利要求1-5中任一项所述的方法,其特征在于,所述根据所述多层级任务的任务处理结果,对所述多任务模型中各网络层进行联合训练,包括:

7.根据权利要求6所述的方法,其特征在于,所述低层级视觉任务包括去模糊任务,所述去模糊任务的任务处理结果包括去模糊后的输出视觉数据,

8.根据权利要求6所述的方法,其特征在于,所述低层级视觉任务包括去噪任务,所述去噪任务的任务处理结果包括去噪后的输出视觉数据,

9.根据权利要求6所述的方法,其特征在于,所述高层级视觉任务包括目标检测任务,所述目标检测任务的任务处理结果包括至少一个检测框的预测位置信息和所述检测框内的目标属于多个预测类别的预测概率,

10.根据权利要求9所述的方法,其特征在于,所述预测位置信息用于指示所述检测框相对于设定锚框的第一坐标偏移量,所述标注位置信息用于指示所述标注框相对于所述设定锚框的第二坐标偏移量,

11.一种任务处理方法,其特征在于,包括:

12.一种多任务模型的训练装置,其特征在于,包括:

13.根据权利要求12所述的装置,其特征在于,所述处理模块,用于:

14.根据权利要求13所述的装置,其特征在于,所述处理模块,用于:

15.一种任务处理装置,其特征在于,包括:

16.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1至10中任一项所述方法的步骤,和/或,实现如权利要求11所述方法的步骤。

17.一种非临时性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1至10中任一项所述方法的步骤,和/或,实现权利要求11所述方法的步骤。

18.一种芯片,其特征在于,所述芯片包括相互耦合的接口电路和处理电路,所述接口电路用于输入或输出信号,所述处理电路用于实现权利要求1至10中任一项所述的方法,和/或,实现权利要求11所述的方法。

19.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被处理器执行时,实现权利要求1至10中任一项所述方法的步骤,和/或,实现权利要求11所述方法的步骤。