一种图像处理方法、装置、计算机设备及存储介质与流程

技术特征：
1.一种图像处理方法，其特征在于，包括：获取包含目标对象的待处理图像；提取所述待处理图像的原始图像特征，原始图像特征包括n个原始特征图，任一原始特征图包括k个特征图像素，n个原始特征图中同一位置的特征图像素对应所述待处理图像的一个图像区域，n和k是正整数；基于注意力机制和所述n个原始特征图确定所述待处理图像中k个图像区域的k个图像区域特征；分别获取每个图像区域在原始图像特征中的位置特征，并将所述原始图像特征、所述k个图像区域特征和k个位置特征叠加为所述待处理图像的目标图像特征；对所述目标图像特征进行识别处理，得到所述目标对象的对象识别结果。2.根据权利要求1所述的方法，其特征在于，所述目标对象包括公式对象，所述对象识别结果包括所述公式对象的排版代码序列；或者，所述目标对象包括字符对象，所述对象识别结果包括所述字符对象的排版代码序列；或者，所述目标对象包括第一字符对象，所述对象识别结果包括第二字符对象，所述第一字符对象的语种类型和第二字符对象的语种类型不同。3.根据权利要求1所述的方法，其特征在于，所述基于注意力机制和所述n个原始特征图确定所述待处理图像中k个图像区域的k个图像区域特征，包括：基于第一卷积核对所述n个原始特征图进行卷积处理操作，得到p个第一卷积特征图，p是正整数；基于第二卷积核对所述n个原始特征图进行卷积处理操作，得到p个第二卷积特征图；基于第三卷积核对所述n个原始特征图进行卷积处理操作，得到p个第三卷积特征图，任一第一卷积特征图，任一第二卷积特征图，任一第三卷积特征图与任一原始特征图的尺寸均相同；基于注意力机制，识别所述p个第一卷积特征图，所述p个第二卷积特征图和所述p个第三卷积特征图，确定所述待处理图像中k个图像区域的k个图像区域特征。4.根据权利要求3所述的方法，其特征在于，参考图像区域为所述k个图像区域中的一个图像区域；基于注意力机制，识别所述p个第一卷积特征图，所述p个第二卷积特征图和所述p个第三卷积特征图，确定所述待处理图像中参考图像区域的图像区域特征的流程，包括：根据所述p个第一卷积特征图和所述p个第二卷积特征图，确定所述参考图像区域和k个图像区域之间的k个区域相似度；根据参考图像区域和k个图像区域之间的k个区域相似度以及所述p个第三卷积特征图，确定参考图像区域的图像区域特征。5.根据权利要求4所述的方法，其特征在于，所述p个第二卷积特征图包括k个第二卷积特征向量，每个第二卷积特征向量的维度为p；所述根据所述p个第一卷积特征图和所述p个第二卷积特征图，确定所述参考图像区域和k个图像区域之间的k个区域相似度，包括：
分别获取每个第一卷积特征图中所述参考图像区域对应像素的像素值，并将获取到的p个像素值组合为第一卷积特征向量；将所述第一卷积特征向量分别与所述k个第二卷积特征向量进行点积运算，得到参考图像区域和k个图像区域之间的k个区域相似度。6.根据权利要求4所述的方法，其特征在于，所述p个第三卷积特征图包括k个第三卷积特征向量，每个第三卷积特征向量的维度为p；所述根据参考图像区域和k个图像区域之间的k个区域相似度以及所述p个第三卷积特征图，确定参考图像区域的图像区域特征，包括：对所述k个区域相似度和所述k个第三卷积特征向量之间进行加权运算，确定所述参考图像区域的图像区域特征。7.根据权利要求3所述的方法，其特征在于，所述参考图像区域为所述k个图像区域中的一个图像区域；获取参考图像区域在原始图像特征中的位置特征的流程，包括：获取参考图像区域在所述原始图像特征中对应的参考特征图像素；获取所述参考特征图像素在所述n个原始特征图中分别对应的第一参考位置和第二参考位置；根据所述第一参考位置和所述第二参考位置，生成参考位置特征，所述参考位置特征的维度为p。8.根据权利要求3所述的方法，其特征在于，所述目标图像特征包括k个特征向量，每个特征向量的维度为p；所述对所述目标图像特征进行识别处理，得到所述目标对象的对象识别结果，包括：基于自注意力机制和所述k个特征向量，获取自注意力权重矩阵并根据所述自注意力权重矩阵，确定k个特征向量分别对应的k个注意力特征向量；调用解码器分别识别所述k个注意力特征向量，确定所述目标对象的对象识别结果。9.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取样本图像集合，所述样本图像集合包括多个样本图像、每个样本图像对应的正样本对象识别结果和每个样本图像对应的负样本对象识别结果；调用样本图像处理模型，获取每个样本图像分别对应的第一预测概率集合，所述样本图像处理模型包括判别器和生成器；根据所述每个正样本对象识别结果、所述每个负样本对象识别结果和所述每个第一预测概率集合对所述样本图像处理模型进行对抗训练；当训练后的样本图像处理模型满足模型收敛条件时，将训练后的生成器确定为图像处理模型，所述图像处理模型用于识别包含目标对象的待处理图像，以得到所述目标对象的对象识别结果。10.根据权利要求9所述的方法，其特征在于，所述根据所述每个正样本对象识别结果、所述每个负样本对象识别结果和所述每个第一预测概率集合对所述样本图像处理模型进行对抗训练，包括：根据所述每个样本图像的正样本对象识别结果、所述每个样本图像的第一预测概率集合和所述每个样本图像的负样本对象识别结果，调整所述判别器的模型参数；
根据所述调整后的判别器，获取每个样本图像分别对应的第二预测概率集合；根据所述每个样本图像的正样本对象识别结果和所述每个样本图像的第二预测概率集合，调整所述生成器的模型参数，所述判别器和所述生成器之间是交替训练。11.根据权利要求10所述的方法，其特征在于，所述根据所述每个样本图像的正样本对象识别结果、所述每个样本图像的第一预测概率集合和所述每个样本图像的负样本对象识别结果，调整所述判别器的模型参数，包括：根据所述每个样本图像的正样本对象识别结果和所述每个样本图像的第一预测概率集合，确定第一奖励反馈；根据所述每个样本图像的第一预测概率集合，确定第二奖励反馈；根据所述每个样本图像的负样本对象识别结果和所述每个样本图像的第一预测概率集合，确定第三奖励反馈；将所述第一奖励反馈，所述第二奖励反馈和所述第三奖励反馈叠加为目标奖励反馈，并根据所述目标奖励反馈反向调整所述判别器的模型参数。12.根据权利要求10所述的方法，其特征在于，所述根据所述每个样本图像的正样本对象识别结果和所述每个样本图像的第二预测概率集合，调整所述生成器的模型参数，包括：根据所述每个样本图像的正样本对象识别结果，所述每个样本图像的第二预测概率集合，获取目标损失；根据所述目标损失反向调整所述生成器的模型参数。13.一种图像处理装置，其特征在于，包括：获取单元，用于获取包含目标对象的待处理图像；提取单元，用于提取所述待处理图像的原始图像特征，原始图像特征包括n个原始特征图，任一原始特征图包括k个特征图像素，n个原始特征图中同一位置的特征图像素对应所述待处理图像的一个图像区域，n和k是正整数；确定单元，用于基于注意力机制和所述n个原始特征图确定所述待处理图像中k个图像区域的k个图像区域特征；处理单元，用于分别获取每个图像区域在原始图像特征中的位置特征，并将所述原始图像特征、所述k个图像区域特征和k个位置特征叠加为所述待处理图像的目标图像特征；识别单元，用于对所述目标图像特征进行识别处理，得到所述目标对象的对象识别结果。14.一种计算机设备，其特征在于，包括存储器以及处理器，所述存储器存储一组程序代码，所述处理器调用所述存储器中存储的程序代码，用于执行1～12中任一项所述的方法。15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～12中任一项所述的方法。

技术总结
本申请实施例提出一种图像处理方法，具体是：获取包含目标对象的待处理图像；提取待处理图像的原始图像特征，原始图像特征包括N个原始特征图，任一原始特征图包括K个特征图像素，N个原始特征图中同一位置的特征图像素对应所述待处理图像的一个图像区域；基于注意力机制和N个原始特征图确定K个图像区域特征；分别获取每个图像区域在原始图像特征中的位置特征，并将原始图像特征、K个图像区域特征和K个位置特征叠加为待处理图像的目标图像特征；对目标图像特征进行识别处理，得到目标对象的对象识别结果。通过本申请，提高了图像识别结果的准确性。果的准确性。果的准确性。


技术研发人员：李敏丽 赵沛霖
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2021.01.21
技术公布日：2021/10/28