场景图信息生成装置、场景图信息生成方法、学习装置以及学习方法与流程

本公开涉及场景图信息生成装置、场景图信息生成方法、学习装置以及学习方法。

背景技术：

1、以往，已知有一种生成通过图模型来对图像中的对象彼此的关系进行说明的场景图的技术。例如，在专利文献1公开了一种使用基于深度学习的对象检测方法来从图像检测对象并利用plsi检测图像内的上下文（context）状况、使用基于深度学习的关系检测以及本体方法来检测对象彼此的关系、生成对于输入图像的场景图的技术。

2、专利文献1：日本特开2021－197129号公报

3、但是，由于场景图的注释难易度高，所以难以提高精度，另外非常花费时间以及成本。鉴于此，要求一种高效地生成准确的场景图的技术。另外，主要使用非结构化数据进行对多模态大型语言模型（mllm；multimodal large language model）的调整，使用了结构化数据的mllm的调整还没有开展研究。

技术实现思路

1、鉴于这样的情况完成的本公开的目的在于，提供能够高效地生成准确的场景图的场景图信息生成装置、场景图信息生成方法、学习装置以及学习方法。

2、本公开的一个实施方式所涉及的场景图信息生成装置具备：带注释图像取得部，取得对图像赋予了多个注释的第一带注释图像；场景列表取得部，将上述第一带注释图像输入到第一模型来取得对上述图像内的对象描述了对象的说明和与其他对象的关系的场景列表；以及列表过滤部，从上述场景列表删除错误的关系的描述。

3、本公开的一个实施方式所涉及的场景图信息生成方法使场景图信息生成装置执行：取得对图像赋予了多个注释的第一带注释图像这一处理；将上述第一带注释图像输入到第一模型来取得对上述图像内的对象描述了对象的说明和与其他对象的关系的场景列表这一处理；以及从上述场景列表删除错误的关系的描述这一处理。

4、本公开的一个实施方式所涉及的学习装置具备：学习部，使用被赋予给图像的正解标签来对生成上述图像的场景图信息的模型进行学习；和第二场景图信息取得部，取得对上述模型生成的场景图信息进行了修正的第二场景图信息，上述正解标签包含上述第二场景图信息。

5、本公开的一个实施方式所涉及的学习方法使学习装置执行：对生成图像的场景图信息的模型进行学习这一处理；将图像输入到上述模型来生成场景图信息这一处理；取得对由上述模型生成的上述场景图信息进行了修正的第二场景图信息这一处理；以及使用上述第二场景图信息来对上述模型进行再学习这一处理。

6、根据本公开，能够高效地生成准确的场景图。

1.一种场景图信息生成装置，其中，具备：

2.根据权利要求1所述的场景图信息生成装置，其中，具备：

3.根据权利要求2所述的场景图信息生成装置，其中，

4.一种场景图信息生成方法，其中，使场景图信息生成装置执行：

5.根据权利要求4所述的场景图信息生成方法，其中，使上述场景图信息生成装置执行：

6.根据权利要求5所述的场景图信息生成方法，其中，

7.一种学习装置，其中，具备：

8.根据权利要求7所述的学习装置，其中，具备：

9.根据权利要求7所述的学习装置，其中，

10.根据权利要求7~9中任意一项所述的学习装置，其中，

11.一种学习方法，其中，使学习装置执行：

12.根据权利要求11所述的学习方法，其中，

13.根据权利要求11所述的学习方法，其中，

14.根据权利要求13所述的学习方法，其中，

15.根据权利要求11~14中任意一项所述的学习方法，其中，