一种数据处理方法、装置、电子设备及存储介质与流程

技术特征：
1.一种数据处理方法，其特征在于，包括：获取待处理业务图像以及所述待处理业务图像关联的业务文本；所述业务文本中包括命名实体；基于提取的所述待处理业务图像的视觉特征，得到视觉提示向量；对所述视觉提示向量和所述业务文本进行编码处理，得到编码向量；所述编码向量包括对应所述视觉提示向量的视觉编码向量和对应所述业务文本的文本编码向量；基于所述视觉编码向量和所述文本编码向量中各所述命名实体对应的实体编码向量，确定实体提示向量；基于所述视觉提示向量和所述实体提示向量对所述编码向量进行解码处理，得到所述待处理业务图像对应的描述文本。2.根据权利要求1所述的方法，其特征在于，所述基于所述视觉编码向量和所述文本编码向量中各所述命名实体对应的实体编码向量，确定实体提示向量包括：确定所述视觉编码向量与所述文本编码向量中各实体编码向量之间的相关程度；基于所述相关程度从所述实体编码向量中选取目标实体编码向量，构成实体提示向量。3.根据权利要求2所述的方法，其特征在于，所述基于所述相关程度从所述实体编码向量中选取目标实体编码向量，构成实体提示向量包括：确定最大所述相关程度对应的实体编码向量，得到关键实体编码向量；确定所述关键实体编码向量与各剩余实体编码向量之间的依赖程度；所述剩余实体编码向量是指除所述关键实体编码向量之外的实体编码向量；基于所述依赖程度确定目标剩余实体编码向量；所述目标剩余实体编码向量对应的依赖程度大于预设依赖程度阈值；将所述关键实体编码向量和所述目标剩余实体编码向量作为目标实体编码向量进行拼接，得到实体提示向量。4.根据权利要求3所述的方法，其特征在于，所述确定所述关键实体编码向量与各剩余实体编码向量之间的依赖程度，包括：将所述关键实体编码向量作为双向长短期记忆网络的初始隐藏状态；将所述剩余实体编码向量输入至所述双向长短期记忆网络，得到对应所述剩余实体编码向量的状态向量；基于对应所述剩余实体编码向量的状态向量进行归一化处理，得到所述剩余实体编码向量对应的归一化结果；所述归一化结果表征所述关键实体编码向量与所述剩余实体编码向量之间的依赖程度。5.根据权利要求1所述的方法，其特征在于，所述基于所述视觉提示向量和所述实体提示向量对所述编码向量进行解码处理，得到所述待处理业务图像对应的描述文本包括：对所述视觉提示向量和所述实体提示向量进行拼接，得到多模态提示向量；基于所述多模态提示向量和所述编码向量进行自回归解码处理，得到所述待处理业务图像对应的描述文本。6.根据权利要求1所述的方法，其特征在于，所述基于提取的所述待处理业务图像的视觉特征，得到视觉提示向量包括：
将所述待处理业务图像输入至视觉-语言预训练模型进行特征提取，得到提取的视觉特征；基于多层感知网络将所述视觉特征映射到目标语言模型的输入空间，得到视觉提示向量；其中，所述目标语言模型用于进行所述编码处理和所述解码处理。7.根据权利要求1～6中任一项所述的方法，其特征在于，所述方法基于数据处理模型实现，所述方法还包括训练所述数据处理模型的步骤：获取样本业务图像文本对和对应的参考描述文本；所述样本业务图像文本对包括样本业务图像以及所述样本业务图像关联的样本业务文本，所述样本业务文本中包括命名实体；基于视觉-语言预训练模型提取的所述样本业务图像的视觉特征，并基于初始多层感知网络将所述样本业务图像的视觉特征映射到预训练语言模型的输入空间，得到样本视觉提示向量；将所述样本视觉提示向量和所述样本业务文本输入至预训练语言模型的编码器进行编码处理，得到样本编码向量；所述样本编码向量包括对应所述样本视觉提示向量的样本视觉向量和对应所述样本业务文本的样本文本编码向量；基于所述样本视觉编码向量和所述样本文本编码向量中各所述命名实体对应的样本实体编码向量，确定样本实体提示向量；对所述样本视觉提示向量和所述样本实体提示向量进行拼接，得到样本多模态提示向量；将所述样本多模态提示向量和所述样本编码向量输入到所述预训练语言模型的解码器进行解码处理，得到预测描述文本；基于所述预测描述文本与所述参考描述文本之间的差异进行模型参数的调整，直至达到预设训练结束条件结束训练，得到所述数据处理模型。8.根据权利要求7所述的方法，其特征在于，所述基于所述预测描述文本与所述参考描述文本之间的差异进行模型参数的调整，包括：基于所述预测描述文本与所述参考描述文本之间的差异，确定损失值；固定所述视觉-语言预训练模型的模型参数不变，基于所述损失值调整所述初始多层感知网络和预训练语言模型的参数。9.根据权利要求7所述的方法，其特征在于，所述基于所述样本视觉编码向量和所述样本文本编码向量中各所述命名实体对应的样本实体编码向量，确定样本实体提示向量包括：确定所述样本视觉编码向量与所述样本文本编码向量中各样本实体编码向量之间的样本相关程度；基于样本相关程度从所述样本实体编码向量中选取目标样本实体编码向量，构成样本实体提示向量。10.根据权利要求9所述的方法，其特征在于，所述基于样本相关程度从所述样本实体编码向量中选取目标样本实体编码向量，构成样本实体提示向量包括：确定最大所述样本相关程度对应的样本实体编码向量，得到关键样本实体编码向量；确定所述关键样本实体编码向量与各剩余样本实体编码向量之间的样本依赖程度；所
述剩余样本实体编码向量是指除所述关键样本实体编码向量之外的样本实体编码向量；基于所述样本依赖程度确定目标剩余样本实体编码向量；所述目标剩余样本实体编码向量对应的样本依赖程度大于预设依赖程度阈值；将所述关键样本实体编码向量和所述目标剩余样本实体编码向量作为目标样本实体编码向量进行拼接，得到样本实体提示向量。11.根据权利要求10所述的方法，其特征在于，所述确定所述关键样本实体编码向量与各剩余样本实体编码向量之间的样本依赖程度，包括：将所述关键样本实体编码向量作为双向长短期记忆网络的初始隐藏状态；将所述剩余样本实体编码向量输入至所述双向长短期记忆网络，得到对应所述剩余样本实体编码向量的状态向量；基于所述剩余样本实体编码向量对应的状态向量进行归一化处理，得到所述剩余样本实体编码向量对应的样本归一化结果；所述样本归一化结果表征所述关键样本实体编码向量与所述剩余样本实体编码向量之间的样本依赖程度。12.一种数据处理装置，其特征在于，包括：数据获取单元，被配置为执行获取待处理业务图像以及所述待处理业务图像关联的业务文本；所述业务文本中包括命名实体；视觉提示向量确定单元，被配置为执行基于提取的所述待处理业务图像的视觉特征，得到视觉提示向量；编码单元，被配置为执行对所述视觉提示向量和所述业务文本进行编码处理，得到编码向量；所述编码向量包括对应所述视觉提示向量的视觉编码向量和对应所述业务文本的文本编码向量；实体提示向量确定单元，被配置为执行基于所述视觉编码向量和所述文本编码向量中各所述命名实体对应的实体编码向量，确定实体提示向量；解码单元，被配置为执行基于所述视觉提示向量和所述实体提示向量对所述编码向量进行解码处理，得到所述待处理业务图像对应的描述文本。13.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至11中任一项所述的数据处理方法。14.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至11中任一项所述的数据处理方法。15.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至11中任一项所述的数据处理方法。

技术总结
本公开关于一种数据处理方法、装置、电子设备及存储介质，该方法包括：获取待处理业务图像以及其关联的业务文本；基于提取的待处理业务图像的视觉特征得到视觉提示向量；对视觉提示向量和业务文本进行编码处理得到编码向量；该编码向量包括对应视觉提示向量的视觉编码向量和对应业务文本的文本编码向量；基于所述视觉编码向量和所述文本编码向量中各所述命名实体对应的实体编码向量，确定实体提示向量；基于所述视觉提示向量和所述实体提示向量对所述编码向量进行解码处理，得到所述待处理业务图像对应的描述文本。本公开提高了生成描述文本中命名实体的准确性。述文本中命名实体的准确性。述文本中命名实体的准确性。


技术研发人员：张菁菁 方山城 毛震东 张志伟 陈小帅
受保护的技术使用者：北京中科研究院
技术研发日：2022.07.28
技术公布日：2022/11/25