一种基于多模态超图的图像百科问答方法及装置

背景技术：

1、现有多模态知识图谱问答方法虽然能够同时利用文字和图像信息，但在处理需要外部百科知识的图像问答任务时，存在以下技术问题。

2、1.难以完整表示包含多个条件的事实。百科文档中的一项事实往往包含多个对象、属性、数值、单位和限定条件。例如，某动物的雌性个体体重为20至30千克，同时包含动物名称、性别条件、体重属性、数值范围和计量单位。现有方法通常将该事实拆分为多条关系，拆分后，各项内容之间原有的整体联系容易丢失。系统在检索时可能找到体重数值，却遗漏雌性这一限定条件，从而得到不准确的证据或答案。

3、2.文字事实与图像内容之间的对应关系不够完整。一项文字事实可能不是由单个视觉对象支持的，而是与整张图像、多个视觉对象或者对象之间的关系有关。例如，文字中描述两个同种生物通常成对出现，该事实需要由图像中的两个对象及其相对关系共同支持，不能仅通过一个文字实体与一个视觉对象之间的连接完整表示。现有方法虽然把文字和图像放入了同一知识图谱，但二者之间的连接仍然较为简单，难以明确表示图像中的哪些内容共同对应文字中的哪一项完整事实。

4、3.检索到的证据较为分散，难以形成完整证据链。现有检索方法通常分别检索文档片段、实体节点、关系边或图像对象，检索结果往往只是若干相互独立的内容，缺少对不同证据之间联系的进一步组织。例如，当用户上传一张鸟类图像并询问这种鸟的上一级分类是什么时，系统可能分别检索到鸟类图像、物种名称、分类关系和百科文章段落，但不能保证这些内容属于同一物种，也不能保证分类关系与查询图像中的鸟类对象正确对应。在这种情况下，答案生成模型仍需自行判断图像对象、文字实体、分类关系和来源段落之间的联系，容易受到无关内容干扰，难以说明最终答案是根据哪一组证据得到的。

5、因此，如何根据用户提供的查询图像和问题获得来源明确、相互关联的多模态证据成为亟待解决的技术问题。

技术实现思路

1、本发明提供一种基于多模态超图的图像百科问答方法及装置，解决根据用户提供的查询图像和问题获得来源明确、相互关联的多模态证据的技术问题。

2、为解决上述技术问题，本发明所采取的技术方案在于如下方面：

3、步骤1：原始多模态百科知识文档经多模态文档结构化解析获得结构化文档，结构化文档包括文档标识、文档标题、分节集合、图像集合和文档-分节-图像的图像关联映射关系，分节集合包括多个分节节点，图像集合包括多张图像；

4、步骤2：基于分节文本提取获得文本实体集合、文本关系边集合和文本超边集合，文本实体集合包括多个文本实体节点，文本实体节点包括来源分节标识，文本关系边集合包括多个文本关系边，文本关系边包括来源分节和原始证据文本，文本超边集合包括多个文本超边，对文本实体节点、文本关系边和文本超边进行名称规范化、去重和合并，保留文本实体节点的来源分节和原始证据文本，得到文本实体节点与来源分节之间的文本实体来源映射关系，形成文档级文本超图；

5、步骤3：对同一结构化文档的图像集合中每张图像逐张执行图像整体语义理解、视觉对象检测和视觉关系抽取，相应获得图像节点、视觉对象节点和图像-对象包含关系以及视觉对象节点之间的视觉关系边，获得每一图像节点与相应视觉对象节点的来源文档、来源分节和来源图像之间的图像来源映射关系，形成文档级视觉图；图像节点包括图像节点标识、图像说明、整体语义摘要、图像本地存储路径、来源文档和来源分节，视觉对象节点包括视觉对象的视觉对象节点标识、对象类别、来源图像、边界框、检测置信度和对象描述；

6、步骤4：将步骤3获得的文档级视觉图中的图像节点、视觉对象节点和视觉关系边接入步骤2获得的文档级文本超图，对文本实体节点与视觉对象节点跨模态对齐获得文本实体节点与视觉对象节点之间的实体-对象跨模态对齐关系，形成文档级异构多模态知识图谱，文档级异构多模态知识图谱包括分节节点、文本实体节点、文本关系边、文本超边、图像关联映射关系、图像节点、视觉对象节点、视觉关系边、实体-对象对齐关系和图像来源映射关系；

7、步骤5：基于步骤4获得的文档级异构多模态知识图谱，分别进行分节文本向量编码、整图视觉特征编码、对象区域截取与视觉特征编码以及索引-图谱映射构建，相应获得分节文本检索索引、整图视觉检索索引、视觉对象检索索引和每一索引项与图谱节点、所属文档之间的索引-图谱映射关系，形成多模态检索索引；

8、步骤6：获得用户输入的查询，所述查询包括查询图像和自然语言问题，从自然语言问题中提取获得问题文字特征，从查询图像中提取获得查询整图特征和对象区域视觉特征；用问题文字特征在分节文本检索索引中进行召回获得分节文本召回结果，用查询整图特征在整图视觉检索索引中进行召回获得整图视觉召回结果，用对象区域视觉特征在视觉对象检索索引中进行召回获得视觉对象召回结果；对分节文本召回结果、整图视觉召回结果和视觉对象召回结果进行归一化、加权和聚合，获得文档相关性分值较高的若干文档并作为候选文档，形成候选文档集合，候选文档包括命中分节、命中图像和命中视觉对象；基于索引-图谱映射关系和候选文档转换获得候选文档的图谱节点标识，形成每一候选文档的命中图谱节点集合；

9、步骤7：基于步骤4获得的对应文档级异构多模态知识图谱，以步骤6获得的候选文档中的命中分节节点、命中图像节点和命中视觉对象节点作为扩展起点，沿文档级异构多模态知识图谱中的文本关系边、文本超边、视觉关系边和实体-对象对齐关系进行与查询相关的局部扩展，形成局部多模态证据子图，获得结构化证据上下文。

10、进一步的技术方案在于：所述步骤1中，多模态文档结构化解析的步骤包括从原始多模态百科知识文档中提取获得文档标识、文档标题、分节编号、分节标题、分节文本和图像，以及文档-分节-图像的图像关联映射关系，分节编号、分节标题和分节文本形成分节，一个分节对应为一个分节节点，所有分节形成分节集合；图像包括图像标识、图像链接、图像内容、图像说明和本地缓存路径，所有图像形成图像集合；基于文档标识、文档标题、分节集合、图像集合和图像关联映射关系形成结构化文档。

11、进一步的技术方案在于：步骤2具体划分包括如下步骤，

12、步骤201：从分节文本中实体抽取获得文本实体，形成文本实体集合；文本实体包括种类和信息，一个文本实体相应为一个文本实体节点，文本实体的种类包括物种、地点、人物和建筑，文本实体的信息包括实体名称、类型、描述及来源分节，来源分节包括来源分节标识；

13、步骤202：从分节文本中关系抽取获得每两个文本实体的文本关系边，形成文本关系集合；文本关系边包括起始实体标识、目标实体标识、关系类型、关系描述、来源分节和原始证据文本；

14、步骤203：从分节文本中识别获得高阶复合事实，基于每项高阶复合事实构建获得一条文本超边，形成文本超边集合；高阶复合事实包括多个实体共同参与的事实，事实包括每一实体、属性条件、数值范围、计量单位和时间条件，文本超边包括每一实体的作用、事实类型、语义描述、来源分节和原始证据文本；

15、步骤204：对同一结构化文档每一分节中获得的文本实体、文本关系边和文本超边进行名称规范化、去重和合并，保留文本实体的来源分节和原始证据文本，得到文本实体与来源分节之间的文本实体来源映射关系，形成文档级文本超图。

16、进一步的技术方案在于：步骤3具体划分包括如下步骤，

17、步骤301：图像集合中每一图像经图像整体语义理解获得所有的图像节点，图像节点包括图像节点标识、图像说明、整体语义摘要、图像本地存储路径、来源文档和来源分节，获得整体语义摘要的步骤包括针对每张图像，根据图像内容和图像说明生成图像整体语义摘要；

18、步骤302：图像集合中每一图像经视觉对象检测获得所有的视觉对象节点并形成视觉对象节点集合，在图像节点与该图像节点包含的视觉对象节点之间建立获得图像-对象包含关系，视觉对象节点包括视觉对象的视觉对象节点标识、对象类别、来源图像、边界框、检测置信度和对象描述；

19、步骤303：基于同一图像中存在明确语义联系的视觉对象，提取获得视觉对象之间的空间关系、动作关系和语义关系，在相应视觉对象节点之间建立获得视觉关系边；视觉关系边包括关系两端的视觉对象节点标识、关系类型、关系描述和来源图像，形成视觉关系集合；

20、步骤304：获得每一图像节点与相应视觉对象节点的来源文档、来源分节和来源图像之间的图像来源映射关系，基于同一结构化文档内每一图像对应的图像节点、视觉对象节点、图像-对象包含关系、视觉关系边和图像来源映射关系形成文档级视觉图。

21、进一步的技术方案在于：步骤4具体划分包括如下步骤，

22、步骤401：将步骤3得到的图像节点、视觉对象节点、图像-对象包含关系和视觉关系边加入文档级图结构；根据步骤1获得的文档-分节-图像的图像关联映射关系，在分节节点与对应图像节点之间建立获得来源关联关系；

23、步骤402：根据每一视觉对象节点的对象类别和对象描述以及相应的图像说明、图像整体语义摘要和来源分节，从步骤2得到的文本实体集合中选取获得语义相关的候选文本实体，形成实体-对象对齐候选集合；

24、步骤403：结合候选文本实体与视觉对象节点的语义相似程度、来源分节一致性及图像说明，对候选文本实体与视觉对象节点进行语义匹配，获得候选组合，建立获得文本实体节点与视觉对象节点之间的跨模态对齐关系，即实体-对象对齐关系；每条跨模态对齐关系包括文本实体标识、视觉对象节点标识、所属图像节点标识、匹配分值、判断依据和来源信息；

25、步骤404：基于分节节点、文本实体节点、文本关系边、文本超边、图像关联映射关系、图像节点、视觉对象节点、视觉关系边、实体-对象对齐关系和图像来源映射关系形成文档级多模态知识图谱，分节节点、文本实体节点、文本关系边和文本超边形成文本侧节点与关系，图像节点、视觉对象节点和视觉关系边形成视觉侧节点与关系。

26、进一步的技术方案在于：步骤5具体划分包括如下步骤，

27、步骤501：将多模态知识图谱中的分节节点划分为分节文本检索单元，每个分节文本检索单元包括所属文档标识、分节标识、分节标题、分节文本和对应的图谱节点标识；

28、步骤502：对每一分节文本检索单元生成文本表示并进行向量编码，得到分节文本特征；根据所述分节文本特征建立获得分节文本检索索引，用于根据自然语言问题召回相关分节及分节所属文档；

29、步骤503：根据图像节点的图像本地存储路径读取对应图像，提取获得整图视觉特征，并将整图视觉特征与图像节点标识、所属文档标识和来源分节标识进行关联，建立获得整图视觉检索索引；

30、步骤504：根据视觉对象节点的来源图像和边界框，从对应图像中截取获得对象区域，提取获得对象区域视觉特征，并将对象区域视觉特征与视觉对象节点标识、图像节点标识、所属文档标识和来源分节标识进行关联，建立获得视觉对象检索索引；

31、步骤505：为每个索引项记录对应的图谱节点标识和所属文档标识获得索引-图谱映射关系，使后续检索结果能够返回对应的分节节点、图像节点或视觉对象节点，并能够进入相应文档的异构多模态知识图谱进行局部证据扩展。

32、进一步的技术方案在于：步骤6具体划分包括如下步骤，

33、步骤601：获得用户输入的查询图像和自然语言问题，对自然语言问题进行文本向量编码，得到问题文字特征；对查询图像进行整体视觉特征编码，得到查询整图特征；对查询图像执行对象检测，根据检测得到的边界框截取对象区域，提取获得对象区域视觉特征；

34、步骤602：用问题文字特征在分节文本检索索引中召回相关分节，获得分节文本召回结果；用查询整图特征在整图视觉检索索引中召回相似图像，获得整图视觉召回结果；用每一对象区域视觉特征在视觉对象检索索引中召回相似视觉对象，获得视觉对象召回结果；每条召回结果包括检索类型、相似度分值、图谱节点标识和所属文档标识；

35、步骤603：对分节文本召回结果、整图视觉召回结果和视觉对象召回结果的相似度分值进行归一化，并按照对应检索类型进行加权融合，得到每一召回结果的综合相关性分值；不同检索类型的权重根据实际应用需要预先设置；

36、步骤604：按照每一召回结果的所属文档标识对召回结果进行分组，将属于同一文档的分节、图像和视觉对象的召回结果进行合并，根据每一文档包含的多路召回结果及相应综合相关性分值计算获得文档相关性分值，选取文档相关性分值较高的若干文档为候选文档，形成候选文档集合，候选文档包括命中分节、命中图像和命中视觉对象；

37、步骤605：根据步骤5获得的索引-图谱映射关系，将每一候选文档中的命中分节、命中图像和命中视觉对象转换为对应的图谱节点标识，形成每一候选文档对应的命中图谱节点集合。

38、进一步的技术方案在于：步骤7具体划分包括如下步骤，

39、步骤701：基于步骤6获得的每一候选文档中的命中分节节点、命中图像节点和命中视觉对象节点以及命中图谱节点集合，将分节文本召回结果、整图视觉召回结果和视觉对象召回结果中每一召回结果的综合相关性分值作为每一相应命中节点的初始相关性分值；

40、步骤702：围绕命中节点在同一模态内部进行邻域扩展包括如下步骤，对于命中分节节点，扩展与该分节节点关联的文本实体节点、文本关系边、文本超边和来源图像；对于命中图像节点，扩展该图像节点包含的视觉对象、对象之间的视觉关系以及该图像节点对应的来源分节；对于命中视觉对象节点，扩展该对象节点所属的图像节点、与该对象节点存在视觉关系的其他视觉对象以及对应的视觉关系；

41、步骤703：对于与视觉对象节点存在对齐关系的文本实体节点，沿实体-对象对齐关系扩展到对应文本实体节点；从所述文本实体节点扩展至该文本实体节点的来源分节、相关文本关系边以及包含该文本实体节点的文本超边；对于扩展得到的文本超边，补充该文本超边关联的其他成员实体、成员在复合事实中的作用及对应证据文本；

42、步骤704：以命中节点的初始相关性分值为基础，沿文本关系边、文本超边、视觉关系边和实体-对象对齐关系传播查询相关性；传播过程中根据节点类型、超边成员作用和连接关系设置权重，并结合自然语言问题所需的答案类型，提高与地点、时间、数值、类别或其他目标答案类型相关的节点优先级；根据传播后的相关性分值选取相关节点、关系边和文本超边，限制扩展层数和证据数量，删除重复节点、低相关节点及无法形成有效证据连接的孤立节点，获得筛选后的分节节点、文本实体节点、文本关系边、文本超边、图像节点、视觉对象节点、视觉关系边和实体-对象对齐关系；

43、步骤705：将筛选后的分节节点、文本实体节点、文本关系边、文本超边、图像节点、视觉对象节点、视觉关系边和实体-对象对齐关系进行统一组织，形成局部多模态证据子图；从所述局部多模态证据子图中提取候选文档标题、分节文本、实体描述、文本超边、图像整体语义摘要、视觉对象描述、跨模态对应关系及来源信息，形成结构化证据上下文。

44、进一步的技术方案在于：还包括位于步骤7之后的如下步骤，

45、步骤8：将步骤7输出的结构化证据上下文，并与查询图像和自然语言问题共同输入多模态大语言模型，生成最终答案，最终答案包括问题答案、答案可信度分值、答案依据、所使用的证据内容及来源标识。

46、进一步的技术方案在于：步骤8具体划分包括如下步骤，

47、步骤801：将自然语言问题、查询图像和结构化证据上下文组合成多模态提示信息，并输入多模态大语言模型；查询图像用于确认或区分问题所指向的目标对象，结构化证据上下文用于提供与所述目标对象相关的属性和事实依据；

48、步骤802：由所述多模态大语言模型对查询图像、自然语言问题和结构化证据上下文进行联合推理，生成问题答案、答案可信度分值、答案依据以及所使用的证据内容并作为输出结果；

49、步骤803：对多模态大语言模型的输出结果进行格式解析和字段校验，将答案可信度分值规范至0至1的范围，并将生成的答案与对应的候选文档标识或者分节标识关联保存；当现有证据不足时，降低答案可信度分值，并输出保守答案或证据不足提示。

50、一种基于多模态超图的图像百科问答装置，包括计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种基于多模态超图的图像百科问答方法中相应的步骤。

51、采用上述技术方案所产生的有益效果在于：

52、一种基于多模态超图的图像百科问答方法，包括步骤1：对原始多模态百科知识文档进行多模态文档结构化解析获得结构化文档；步骤2：基于结构化文档构建获得文档级文本超图；步骤3：基于结构化文档构建获得文档级视觉图；步骤4：基于文档级文本超图和文档级视觉图构建获得文档级异构多模态知识图谱；步骤5：基于文档级异构多模态知识图谱构建获得多模态检索索引；步骤6：基于多模态检索索引以及用户输入的查询图像和自然语言问题进行多路召回及候选文档聚合获得候选文档集合和相应的命中图谱节点集合；步骤7：基于候选文档集合和命中图谱节点集合以及文档级异构多模态知识图谱构建获得局部多模态证据子图和相应的结构化证据上下文。通过将百科知识文档中的文字事实、图像、视觉对象及对应关系组织成统一的知识结构，根据用户提供的图像和问题检索相关证据，形成可用于答案生成的完整证据链，以便下一步结合证据链和大语言模型，输出用于回答问题的答案。

53、一种基于多模态超图的图像百科问答装置，包括计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种基于多模态超图的图像百科问答方法中相应的步骤。通过将百科知识文档中的文字事实、图像、视觉对象及对应关系组织成统一的知识结构，根据用户提供的图像和问题检索相关证据，形成可用于答案生成的完整证据链。