学习装置以及学习方法与流程

本公开涉及学习装置以及学习方法。

背景技术：

1、以往，公知有使用多模态大语言模型（mllm：multimodal large language model）等生成模型来生成图像的描述文本（caption）的技术。例如，专利文献1公开了如下技术，即：将所取得的输入图像输入到生成拍摄到检查对象的输入图像的描述文本的第1语言生成模型来生成输入图像的描述文本，当输入了与检查对象有关的询问内容时，将所取得的询问内容输入到生成询问内容的摘要的第2语言生成模型来生成摘要，基于所生成的摘要来修正由第1语言生成模型生成的描述文本，并将修正后的描述文本输入到图像生成模型来生成对象图像。另外，专利文献1公开了如下技术，即：当输入了检查对象的图像时，将所取得的对象图像输入到生成与检查对象有关的文章的文章生成模型，来生成与对象图像的检查对象有关的文章，计算由文章生成模型生成的文章与摘要的相似度，并判定计算出的相似度是否在允许范围内，当不在允许范围内时，对文章生成模型生成的文章进行修正，并将修正后文章向图像生成模型输出，来反复进行基于图像生成模型的处理。

2、专利文献1：日本特开2021－022007号公报

3、但是，对于mllm而言，仅凭借文本的反馈，无法学习到错位的部分（所生成的描述文本与实际的图像内容不一致的部分）与图像之间的关系性，所以难以减轻mllm中的与视觉信息有关的幻觉。

技术实现思路

1、鉴于该情况完成的本公开的目的在于，提供能够减轻模型中与视觉信息有关的幻觉的学习装置及学习方法。

2、本公开的1个实施方式所涉及的学习装置具备：图像编码器，其对图像进行编码来生成第1向量；第1文本编码器，其对提示进行编码来生成第2向量；学习部，其使用被赋予给上述图像的标签、上述第1向量以及上述第2向量，对生成上述图像的描述文本的模型进行学习；错位信息取得部，其取得上述描述文本的关键词被修正后的修正描述文本、以及与修正后的关键词对应的关键词区域；热图制成部，其制成将在上述模型生成上述描述文本时所关注的关注区域可视化后的热图；以及图像奖励计算部，其计算上述关键词区域与上述关注区域的相似度而作为第1奖励，上述学习部以使上述第1奖励变大的方式对上述模型进行学习。

3、本公开的1个实施方式所涉及的学习方法中，学习装置执行：对图像进行编码来生成第1向量；对提示进行编码来生成第2向量；使用被赋予给上述图像的标签、上述第1向量以及上述第2向量，对生成上述图像的描述文本的模型进行学习；取得上述描述文本的关键词被修正后的修正描述文本、以及与修正后的关键词对应的关键词区域；制成将在上述模型生成上述描述文本时所关注的关注区域可视化后的热图；以及计算上述关键词区域与上述关注区域的相似度而作为第1奖励，上述学习包括以使上述第1奖励变大的方式对上述模型进行学习。

4、根据本公开，能够减轻模型中与视觉信息有关的幻觉。

1.一种学习装置，其中，具备：

2.根据权利要求1所述的学习装置，其中，

3.根据权利要求1所述的学习装置，其中，

4.根据权利要求1所述的学习装置，其中，

5.根据权利要求1所述的学习装置，其中，

6.一种学习装置，其中，具备：

7.根据权利要求6所述的学习装置，其中，

8.根据权利要求1~5中任一项所述的学习装置，其中，具备：

9.根据权利要求1~5中任一项所述的学习装置，其中，

10.根据权利要求6或7所述的学习装置，其中，

11.根据权利要求8所述的学习装置，其中，

12.一种学习方法，其中，

13.根据权利要求12所述的学习方法，其中，

14.根据权利要求12所述的学习方法，其中，

15.一种学习方法，其中，

16.根据权利要求15所述的学习方法，其中，

17.根据权利要求12~14中任一项所述的学习方法，其中，

18.根据权利要求12~14中任一项所述的学习方法，其中，

19.根据权利要求15或16所述的学习方法，其中，

20.根据权利要求17所述的学习方法，其中，