图像处理方法、装置、电子设备和存储介质与流程

技术特征：
1.一种图像处理方法，包括：确定待处理图像对应的第一张量；基于所述第一张量，确定所述第一张量对应的行向聚合的第一键张量、列向聚合的第二键张量、行向聚合的第一值张量、及列向聚合的第二值张量；基于第二张量，确定查询张量，所述第二张量为待与所述第一张量进行交叉注意力操作的张量；基于所述第一键张量和所述查询张量进行注意力操作，获得第一注意力权重；基于所述第二键张量和所述查询张量进行注意力操作，获得第二注意力权重；基于所述第一注意力权重、所述第一值张量、所述第二注意力权重及所述第二值张量，确定目标输出张量；基于所述目标输出张量，确定所述待处理图像对应的图像处理结果。2.根据权利要求1所述的方法，其中，所述基于所述第一张量，确定所述第一张量对应的行向聚合的第一键张量、列向聚合的第二键张量、行向聚合的第一值张量、及列向聚合的第二值张量，包括：基于所述第一张量，确定行向聚合的第一聚合张量、及列向聚合的第二聚合张量；基于所述第一聚合张量及第一映射规则，确定所述第一键张量；基于所述第二聚合张量及第二映射规则，确定所述第二键张量；基于所述第一聚合张量及第三映射规则，确定所述第一值张量；基于所述第二聚合张量及第四映射规则，确定所述第二值张量。3.根据权利要求2所述的方法，其中，所述基于所述第一张量，确定行向聚合的第一聚合张量、及列向聚合的第二聚合张量，包括：对所述第一张量在行向上进行第一预设池化操作，确定所述第一聚合张量；对所述第一张量在列向上进行第二预设池化操作，确定所述第二聚合张量。4.根据权利要求1所述的方法，其中，所述基于所述第一张量，确定所述第一张量对应的行向聚合的第一键张量、列向聚合的第二键张量、行向聚合的第一值张量、及列向聚合的第二值张量，包括：基于所述第一张量，确定第三键张量及第三值张量；对所述第三键张量在行向进行聚合操作，获得所述第一键张量；对所述第三键张量在列向进行聚合操作，获得所述第二键张量；对所述第三值张量在行向进行聚合操作，获得所述第一值张量；对所述第三值张量在列向进行聚合操作，获得所述第二值张量。5.根据权利要求1所述的方法，其中，所述基于所述第一键张量和所述查询张量进行注意力操作，获得第一注意力权重，包括：针对所述查询张量中的任一第一位置的c维向量，将该c维向量与所述第一键张量中每个第二位置的c维向量的转置相乘，获得该第一位置对应的权重值，c表示所述查询张量和所述第一键张量的通道数量；基于各所述第一位置分别对应的权重值，确定所述第一注意力权重。6.根据权利要求1所述的方法，其中，所述基于所述第二键张量和所述查询张量进行注意力操作，获得第二注意力权重，包括：
针对所述查询张量中的任一第一位置的c维向量，将该c维向量与所述第二键张量中每个第三位置的c维向量的转置相乘，获得该第一位置对应的权重值，c表示所述查询张量和所述第二键张量的通道数量；基于各所述第一位置分别对应的权重值，确定所述第二注意力权重。7.根据权利要求1所述的方法，其中，所述基于所述第一注意力权重、所述第一值张量、所述第二注意力权重及所述第二值张量，确定目标输出张量，包括：基于所述第一注意力权重及所述第一值张量，确定第一输出张量；基于所述第二注意力权重及所述第二值张量，确定第二输出张量；基于所述第一输出张量和所述第二输出张量，确定所述目标输出张量。8.根据权利要求7所述的方法，其中，所述基于所述第一输出张量和所述第二输出张量，确定所述目标输出张量，包括：将所述第一输出张量与所述第二输出张量相加，获得所述目标输出张量。9.根据权利要求1所述的方法，其中，所述基于第二张量，确定查询张量，包括：基于所述第二张量及第五映射规则，确定所述查询张量。10.根据权利要求1所述的方法，其中，所述基于所述目标输出张量，确定所述待处理图像对应的图像处理结果，包括：将所述目标输出张量与所述第二张量相加，获得第三张量；对所述第三张量进行归一化，获得第四张量；基于所述第四张量，确定所述待处理图像对应的所述图像处理结果。11.根据权利要求1所述的方法，其中，所述确定待处理图像对应的第一张量，包括：对所述待处理图像进行特征提取，获得所述待处理图像对应的第一图像特征；基于所述第一图像特征及所述第一图像特征对应的空间位置编码张量，确定所述第一张量。12.一种图像处理装置，包括：第一确定模块，用于确定待处理图像对应的第一张量；第一处理模块，用于基于所述第一张量，确定所述第一张量对应的行向聚合的第一键张量、列向聚合的第二键张量、行向聚合的第一值张量、及列向聚合的第二值张量；第二处理模块，用于基于第二张量，确定查询张量，所述第二张量为待与所述第一张量进行交叉注意力操作的张量；第三处理模块，用于基于所述第一键张量和所述查询张量进行注意力操作，获得第一注意力权重；第四处理模块，用于基于所述第二键张量和所述查询张量进行注意力操作，获得第二注意力权重；第五处理模块，用于基于所述第一注意力权重、所述第一值张量、所述第二注意力权重及所述第二值张量，确定目标输出张量；第六处理模块，用于基于所述目标输出张量，确定所述待处理图像对应的图像处理结果。13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的图像处理方法。
14.一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-11任一所述的图像处理方法。

技术总结
本公开实施例公开了一种图像处理方法、装置、电子设备和存储介质，其中，方法包括：确定待处理图像对应的第一张量；基于第一张量，确定第一张量对应的行向聚合的第一键张量、列向聚合的第二键张量、行向聚合的第一值张量、及列向聚合的第二值张量；基于第二张量，确定查询张量；基于第一键张量和查询张量进行注意力操作，获得第一注意力权重；基于第二键张量和查询张量进行注意力操作，获得第二注意力权重；基于第一注意力权重、第一值张量、第二注意力权重及第二值张量，确定目标输出张量；基于目标输出张量，确定图像处理结果。本公开实施例实现了对键张量和值张量的降维，可以有效降低注意力操作的计算复杂度，从而提高图像处理效率。效率。效率。


技术研发人员：何泳澔 隋伟 张骞
受保护的技术使用者：北京地平线信息技术有限公司
技术研发日：2022.09.19
技术公布日：2022/12/16