多任务学习方法及装置、电子设备和介质与流程

技术特征：
1.一种多任务学习方法，包括：获取包含第一任务所对应的待识别目标的第一样本图像、以及所述第一样本图像所对应的标签数据；将所述第一样本图像输入经训练的主干网络，获得第一图像特征；将所述第一图像特征输入第一任务对应的第一子网络以及第二任务对应的第二子网络中，以分别获得所述第一子网络的第一输出结果和所述第二子网络的第二输出结果；基于所确定的所述多任务之间的相关性参数，确定所述第一任务和所述第二任务各自受其他任务影响后各自对应的第三输出结果和第四输出结果；以及基于所述第三输出结果、第四输出结果以及所述标签数据，调节所述主干网络、所述第一子网络和所述第二子网络的网络参数。2.如权利要求1所述的方法，其中，所述主干网络基于以下步骤训练得到：获取第二样本图像；将所述第二样本图像进行序列化，以获得多个图像块；将所述多个图像块中的预设比例的图像块进行随机掩码化，以获得未被掩码遮盖的剩余图像块；将所述剩余图像块输入所述编码器网络，以获得第二图像特征；补齐所述第二图像特征中的与被掩码遮盖的图像块相对应位置的数据，以获得第三图像特征；将所述第三图像特征输入解码器网络，以获得第四图像特征，其中所述第四图像特征与所述第二样本图像的像素数据具有相同维度；以及基于所述第四图像特征和第二样本图像的像素数据调节所述编码器网络和所述解码器网络的参数，其中，所述经调节的编码器网络作为所述主干网络。3.如权利要求2所述的方法，其中，所述第二样本图像包括所述多个任务中的至少一个任务所对应的待识别目标。4.如权利要求2所述的方法，其中，基于所述第四图像特征和所述第二样本图像的像素数据调节所述编码器网络和所述解码器网络的参数包括：基于所述第二样本图像的像素数据和所述第四图像特征的平均绝对误差，调节所述编码器网络和所述解码器网络的参数。5.如权利要求1所述的方法，其中，所述相关性参数为可训练的相关性参数，并且其中，调节所述主干网络、所述第一子网络和所述第二子网络的网络参数包括：基于所述第三输出结果、第四输出结果以及所述标签数据，调节所述主干网络、所述第一子网络和所述第二子网络的网络参数、以及所述相关性参数。6.如权利要求1或5所述的方法，还包括：确定所述多个任务之间的相关性参数，包括：将所述多个任务中的任意两个任务进行组合，得到多个任务对；以及对于每个任务对，根据该任务对中的每个任务的标签序列，确定该任务对中两个任务之间的相关性参数，作为该任务对的相关性参数。7.如权利要求1所述的方法，其中，所述第一任务和所述第二任务所对应的待识别目标包括一个或多个目标类别，并且其中，对于每个任务，根据该任务对应的输出结果与第五输出结果的比值，确定该任务受其他任务影响后的输出结果，
其中，第五输出结果为对所学习的所有任务各自对应的输出结果以及所述所有任务各自与该任务之间的相关性参数进行加权求和后所得的结果。8.如权利要求7所述的方法，其中，根据以下公式确定所述第三输出结果和第四输出结果：其中，output
i
和output
j
分别表示第i个任务和第j个任务所对应的输出结果，a
ij
表示i个任务受第j个任务影响的相关性参数，j＝1,2,
…
,n，其中n为所述多个任务的数量，和分别表示第i个任务和第j个任务中置信度最大的目标类别所对应的输出结果。9.如权利要求2所述的方法，其中，所述编码器和所述解码器基于transformer模型实现。10.如权利要求1所述的方法，其中，所述相关性参数为预设的相关性参数。11.一种图像识别方法，包括：获取包括待识别目标的图像；将所述图像输入经训练的主干网络，以获得第五图像特征；将所述第五图像特征输入相对应的子网络中，以获得识别结果，其中，所述主干网络和所述子网络通过权利要求1-10中任一项所述的方法训练得到。12.一种多任务学习装置，包括：第一获取单元，配置为获取包含第一任务所对应的待识别目标的第一样本图像、以及所述第一样本图像所对应的标签数据；第一输入单元，配置为将所述第一样本图像输入经训练的主干网络，获得第一图像特征；第二输入单元，配置为将所述第一图像特征输入第一任务对应的第一子网络以及第二任务对应的第二子网络中，以分别获得所述第一子网络的第一输出结果和所述第二子网络的第二输出结果；第一确定单元，配置为基于所确定的所述多任务之间的相关性参数，确定所述第一任务和所述第二任务各自受其他任务影响后各自对应的第三输出结果和第四输出结果；以及训练单元，配置为基于所述第三输出结果、第四输出结果以及所述标签数据，调节所述主干网络、所述第一子网络和所述第二子网络的网络参数。13.如权利要求12所述的装置，其中，所述主干网络基于以下步骤训练得到：获取第二样本图像；将所述第二样本图像进行序列化，以获得多个图像块；将所述多个图像块中的预设比例的图像块进行随机掩码化，以获得未被掩码遮盖的剩余图像块；将所述剩余图像块输入所述编码器网络，以获得第二图像特征；补齐所述第二图像特征中的与被掩码遮盖的图像块相对应位置的数据，以获得第三图
像特征；将所述第三图像特征输入解码器网络，以获得第四图像特征，其中所述第四图像特征与所述第二样本图像的像素数据具有相同维度；以及基于所述第四图像特征和第二样本图像的像素数据调节所述编码器网络和所述解码器网络的参数，其中，所述经调节的编码器网络作为所述主干网络。14.如权利要求13所述的装置，其中，所述第二样本图像包括所述多个任务中的至少一个任务所对应的待识别目标。15.如权利要求13所述的装置，其中，基于所述第二样本图像的像素数据和所述第四图像特征的平均绝对误差，调节所述编码器网络和所述解码器网络的参数。16.如权利要求12所述的装置，其中，所述相关性参数为可训练的相关性参数，并且其中，所述训练单元包括训练子单元，配置为：基于所述第三输出结果、第四输出结果以及所述标签数据，调节所述主干网络、所述第一子网络和所述第二子网络的网络参数、以及所述相关性参数。17.如权利要求12或16所述的装置，还包括第二确定单元，配置为确定所述多个任务之间的相关性参数，所述第二确定单元包括：第一确定子单元，配置为将所述多个任务中的任意两个任务进行组合，得到多个任务对；以及第二确定子单元，配置为对于每个任务对，根据该任务对中的每个任务的标签序列，确定该任务对中两个任务之间的相关性参数，作为该任务对的相关性参数。18.如权利要求12所述的装置，其中，所述第一任务和所述第二任务所对应的待识别目标包括一个或多个目标类别，并且其中，对于每个任务，根据该任务对应的输出结果与第五输出结果的比值，确定该任务受其他任务影响后的输出结果，其中，第五输出结果为对所学习的所有任务各自对应的输出结果以及所述所有任务各自与该任务之间的相关性参数进行加权求和后所得的结果。19.如权利要求18所述的装置，其中，根据以下公式确定所述第三输出结果和第四输出结果：其中，output
i
和output
j
分别表示第i个任务和第j个任务所对应的输出结果，a
ij
表示i个任务受第j个任务影响的相关性参数，j＝1,2,
…
,n，其中n为所述多个任务的数量，和分别表示第i个任务和第j个任务中置信度最大的目标类别所对应的输出结果。20.如权利要求13所述的装置，其中，所述编码器和所述解码器基于transformer模型实现。21.如权利要求12所述的装置，其中，所述相关性参数为预设的相关性参数。22.一种图像识别装置，包括：
第二获取单元，配置为获取包括待识别目标的图像；第三输入单元，配置为将所述图像输入经训练的主干网络，以获得第五图像特征；第四输入单元，配置为将所述第五图像特征输入相对应的子网络中，以获得识别结果，其中，所述主干网络和所述子网络通过权利要求1-10中任一项所述的方法训练得到。23.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。25.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-11中任一项所述的方法。

技术总结
本公开提供了一种多任务学习方法、装置、电子设备、计算机可读存储介质和计算机程序产品，涉及人工智能领域，尤其涉及图像识别、视频分析技术领域，可应用在智慧城市、城市治理、应急管理场景下。实现方案为：获取包含第一任务所对应的待识别目标的第一样本图像和标签数据；将第一样本图像输入经训练的主干网络获得第一图像特征，以输入分别对应的第一子网络和第二子网络中，以分别获得第一输出结果和第二输出结果；基于所确定的多任务之间的相关性参数，确定第一任务和第二任务各自受其他任务影响后各自对应的第三输出结果和第四输出结果；以及基于第三输出结果、第四输出结果以及标签数据，调节主干网络、第一子网络和第二子网络的网络参数。的网络参数。的网络参数。


技术研发人员：赵一麟 沈智勇 陆勤 龚建
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.11.11
技术公布日：2023/2/3