生成描述文本的方法及装置与流程

本技术涉及人工智能领域，并且更具体地，涉及一种生成描述文本的方法及装置。

背景技术：

1、描述（caption）数据，例如，图像或视频的描述文本，在多模态任务中至关重要，能够提高视觉模型的性能。高质量的caption数据能够帮助模型更好地理解视觉内容，从而提升用户体验和任务性能。

2、目前获取caption数据的方案存在一系列问题，难以满足实际的使用需求。例如，在相关方案中，通过人工标注的方式来获取caption数据。该方案中人工标注的难度较大，成本昂贵且效率受限。再如，在相关方案中，基于开源多模态大模型生成caption数据。该方案的推理成本较高，无法批量生产，且生成质量不稳定，可能存在噪声。

技术实现思路

1、本技术实施例提供一种生成描述文本的方法及装置，该方案有利于提高生成的描述文本的质量。

2、第一方面，提供了一种生成描述文本的方法，包括：获取待处理图像；获取待处理图像的世界知识信息；将待处理图像和待处理图像的世界知识信息输入至第一描述生成模型中，以生成待处理图像的描述文本。

3、根据本技术实施例的方案，在模型生成描述文本的过程中引入图像的世界知识，从而避免仅依赖模型自身的世界知识去描述图像，相当于扩充了模型的世界知识，有利于提升模型的内容描述能力，进而提高描述文本的质量。

4、此外，相较于获取视觉辅助信息而言，获取图像的世界知识所需的时间资源和计算资源相对较少，采用本技术实施例的方案有利于在提高描述文本的质量的同时，提高生成效率，避免对资源的过度占用。

5、待处理图像可以是单张图像，也可以是视频中的图像帧。

6、可选地，待处理图像的世界知识信息是基于待处理图像进行检索得到的。

7、示例性地，将待处理图像输入至搜索工具中进行检索，以得到该待处理图像相关的知识信息。例如，待处理图像相关的知识信息可以是通过以图搜文的方式得到该待处理图像相关的文字信息。

8、结合第一方面，在第一方面的某些实现方式中，方法还包括：获取待处理图像的视觉辅助信息，待处理图像的视觉辅助信息是通过对待处理图像进行视觉处理得到的；以及将待处理图像和待处理图像的世界知识信息输入至第一描述生成模型中，以生成待处理图像的描述文本，包括：将待处理图像、待处理图像的世界知识信息和待处理图像的视觉辅助信息输入至第一描述生成模型中，以生成待处理图像的描述文本。

9、根据本技术实施例的方案，可以通过视觉处理得到图像的视觉辅助信息，在模型生成描述文本的过程中同时引入视觉辅助信息和世界知识信息，进一步扩充了模型的世界知识，有利于进一步提升模型的内容描述能力，进而提高描述文本的质量。相较于对生成描述文本后再与其他信息进行融合以优化描述文本的方案而言，在本技术实施例的方案中，待处理图像可以作为视觉引导，基于视觉引导实现对多模态信息（如待处理图像、世界知识信息和视觉辅助信息）的融合，在视觉引导下有利于避免出现描述错误以及幻觉性等问题，从而有利于进一步提升描述文本的质量。

10、结合第一方面，在第一方面的某些实现方式中，待处理图像的视觉辅助信息包括以下至少一项：待处理图像的标签，待处理图像中的目标的位置信息，或者，待处理图像的ocr信息。

11、示例性地，待处理图像的标签可以用于指示以下任一项或多项：目标、场景、属性和行为。

12、示例性地，待处理图像中的目标的位置信息可以通过待处理图像中的目标的检测框指示。

13、示例性地，待处理图像的ocr信息可以包括待处理图像中的文字内容。进一步地，待处理图像的ocr信息还可以包括待处理图像中的文字内容的元数据。

14、结合第一方面，在第一方面的某些实现方式中，待处理图像的视觉辅助信息还包括待处理图像中的目标数量信息。

15、示例性地，待处理图像中的目标数量信息可以通过统计待处理图像中各目标对应的检测框数量来指示。

16、结合第一方面，在第一方面的某些实现方式中，第一描述生成模型是基于第一数据集对第二描述生成模型进行训练得到的，其中，第一数据集中的训练数据包括第一图像样本、第一图像样本的偏好样本和第一图像样本的非偏好样本，在训练过程中调整第二描述生成模型的参数以使得第二描述生成模型生成第一图像样本的偏好样本的概率高于第二描述生成模型生成第一图像样本的非偏好样本的概率，第一图像样本的偏好样本和第一图像样本的非偏好样本为第一图像样本的两个描述文本。

17、根据本技术实施例的方案，模型可以是基于描述文本的偏好数据对进行训练得到的，这有利于使得模型更倾向于生成偏好样本，而不是非偏好样本，从而有利于进一步优化模型，提高生成的描述文本的质量。

18、结合第一方面，在第一方面的某些实现方式中，第一图像样本的非偏好样本是第一图像样本的预测描述文本中与第一图像样本的目标描述文本不一致的内容，第一图像样本的偏好样本是第一图像样本的目标描述文本中与第一图像样本的预测描述文本不一致的内容，第一图像样本的预测描述文本是通过第二描述生成模型生成的。

19、根据本技术实施例的方案，可以从图像的两个完整的描述文本中确定出不一致的内容，分别作为非偏好样本和偏好样本。通过该方式得到的偏好数据对的质量更高，有利于使得模型针对错误文本进行针对性强化，排除正确文本对优化的干扰，从而有利于进一步提升模型的生成质量。

20、结合第一方面，在第一方面的某些实现方式中，第一图像样本的目标描述文本是通过对第一图像样本的预测描述文本进行校正得到的。

21、结合第一方面，在第一方面的某些实现方式中，第一描述生成模型是基于第二数据集对第三描述生成模型进行训练得到的，第二数据集中的第二图像样本属于难例，第二图像样本属于难例是根据第二图像样本的预测描述文本确定的，第二图像样本的预测描述文本是通过第三描述生成模型生成的。

22、根据本技术实施例的方案，可以进行难例挖掘，并利用难例对模型进行优化，有利于提升模型的生成质量。

23、结合第一方面，在第一方面的某些实现方式中，第二图像样本属于难例是根据第二图像样本的预测描述文本和质检策略确定的，质检策略用于确定图像样本是否为难例。

24、可选地，质检策略可以包括质检模型。

25、示例性地，质检模型可以为多模态大模型。例如，质检模型的输入可以包括图像样本和图像样本的描述文本。质检模型的输出可以包括该图像样本的描述文本的分数，该分数可以用于指示生成质量。图像样本的描述文本的分数与阈值#1之间的比较结果可以用于判断该图像样本是否属于难例。

26、可选地，质检策略可以包括一个或多个质检规则。

27、示例性地，该一个或多个质检规则可以用于基于图像样本的描述文本中的错误情况判断图像样本是否属于难例。

28、结合第一方面，在第一方面的某些实现方式中，第二数据集中的第三图像样本是根据第二图像样本的类别和/或第二图像样本的预测描述文本进行检索得到。

29、根据本技术实施例的方案，可以基于已挖掘到的难例的类别和/或描述文本，检索相关的图像样本，将其作为新的难例，以实现训练数据集的扩充。

30、第二方面，提供了一种描述生成模型的训练方法，该方法包括：获取第三数据集，第三数据集中的训练数据包括第四图像样本、第四图像样本的偏好样本和第四图像样本的非偏好样本，第四图像样本的偏好样本和第四图像样本的非偏好样本为第四图像样本的两个描述文本；通过训练数据调整第四描述生成模型进行训练，在训练过程中，调整第四描述生成模型的参数，以使得第四描述生成模型生成偏好样本的概率高于第四描述生成模型生成非偏好样本的概率。

31、根据本技术实施例的方案，可以基于描述文本的偏好数据对对描述生成模型进行训练，这有利于使得模型更倾向于生成偏好样本，而不是非偏好样本，从而有利于进一步优化模型，提高生成的描述文本的质量。

32、结合第二方面，在第二方面的某些实现方式中，方法还包括：将第四图像样本输入至第四描述生成模型，以生成第四图像样本的预测描述文本，第四图像样本的非偏好样本和第四图像样本的偏好样本分别是第四图像样本的预测描述文本和第四图像样本的目标描述文本中不一致的内容。

33、结合第二方面，在第二方面的某些实现方式中，第四图像样本的目标描述文本是通过对第四图像样本的预测描述文本进行校正得到的。

34、结合第二方面，在第二方面的某些实现方式中，方法还包括：获取第四图像样本的世界知识信息和/或第四图像样本的视觉辅助信息，其中，第四图像样本的视觉辅助信息是通过对第四图像样本进行视觉处理得到的；以及将第四图像样本输入至第四描述生成模型，以生成第四图像样本的预测描述文本，包括：将第四图像样本和第四图像样本的辅助信息输入至第四描述生成模型中，以生成第四图像样本的预测描述文本，第四图像样本的辅助信息包括第四图像样本的世界知识信息和/或第四图像样本的视觉辅助信息。

35、结合第二方面，在第二方面的某些实现方式中，第四图像样本的视觉辅助信息包括以下至少一项：第四图像样本的标签，第四图像样本中的目标的位置信息，或者，第四图像样本的ocr信息。

36、结合第二方面，在第二方面的某些实现方式中，待处理图像的视觉辅助信息还包括待处理图像中的目标数量信息。

37、结合第二方面，在第二方面的某些实现方式中，第四描述生成模型是基于第四数据集对第五描述生成模型进行训练得到的，第四数据集中的第五图像样本属于难例，第五图像样本属于难例是根据第五图像样本的预测描述文本确定的，第五图像样本的预测描述文本是通过第五描述生成模型生成的。

38、结合第二方面，在第二方面的某些实现方式中，第五图像样本属于难例是根据第五图像样本的预测描述文本和质检策略确定的，质检策略用于确定图像是否为难例。

39、结合第二方面，在第二方面的某些实现方式中，第四数据集中的第六图像样本是根据第五图像样本的类别和/或第五图像样本的预测描述文本进行检索得到的。

40、第三方面，提供了一种描述生成模型的训练装置，该装置包括用于执行第一方面以及第一方面中任意一种实现方式中的方法的各个模块/单元。

41、第四方面，提供了一种生成描述文本的装置，该装置包括用于执行第二方面以及第二方面中任意一种实现方式中的方法的各个模块/单元。

42、应理解，在上述第一方面中对相关内容的扩展、限定、解释和说明也适用于第二方面、第三方面和第四方面中相同的内容。

43、第五方面，提供了一种计算设备，包括处理器和存储器，可选地，还包括输入输出接口。其中该处理器用于控制该输入输出接口收发信息，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得该执行第一方面或第二方面及任意一种可能的实现方式中该的方法。

44、可选地，该处理器可以是通用处理器，可以通过硬件来实现也可以通过软件来实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。

45、可选地，上述计算设备可以是终端设备/服务器，也可以是终端设备/服务器内的芯片。

46、第六方面，提供了一种芯片，该芯片获取指令并执行该指令来实现上述第一方面或第二方面及任意一种实现方式中的方法。

47、可选地，作为一种实现方式，该芯片包括处理器与数据接口，该处理器通过该数据接口读取存储器上存储的指令，执行上述第一方面或第二方面及任意一种实现方式中的方法。

48、可选地，作为一种实现方式，该芯片还可以包括存储器，该存储器中存储有指令，该处理器用于执行该存储器上存储的指令，当该指令被执行时，该处理器用于执行第一方面或第二方面及任意一种实现方式中的方法。

49、第七方面，提供了一种包含指令的计算机程序产品，当该指令被计算设备运行时，使得该计算设备执行如上述第一方面或第二方面及任意一种实现方式中的方法。

50、第八方面，提供了一种计算机可读存储介质，包括计算机程序指令，当该计算机程序指令由计算设备执行时，该计算设备执行如上述第一方面或第二方面及任意一种实现方式中的方法。

51、作为示例，这些计算机可读存储包括但不限于如下的一个或者多个：只读存储器（read-only memory，rom）、可编程rom（programmable rom，prom）、可擦除的prom（erasableprom，eprom）、flash存储器、电eprom（electrically eprom，eeprom）以及硬盘驱动器（harddrive）。

52、可选地，作为一种实现方式，上述存储介质具体可以是非易失性存储介质。