多模态证据融合与定向核验方法、装置、设备及介质与流程

本发明涉及人工智能，尤其涉及一种多模态证据融合与定向核验方法、装置、设备及介质。

背景技术：

1、在智能体执行事故调查、合同审核、运维诊断，以及金融科技领域的智能风控与医疗健康领域的辅助诊疗等复杂任务时，所获取的原始证据材料往往跨越多种模态，文本报告、现场图片、系统日志及视频片段相互交织，不同模态对于事件核心要素的表达方式存在显著差异。这种异构性给智能体的证据理解与关键事实抽提带来了极大的挑战。

2、目前，在常规的技术中，通常先将各类非结构化材料统一编码为高维向量，再利用相似度计算或模型总结生成单一事实结论，然而这种基于统一特征空间的方式并未区分各模态在时间基准和实体表达上的天然差异，使得系统极易将采集时间偏差错误映射为实质性事实矛盾。另外，在证据来源管理方面，针对同一原始材料不同格式的复制或派生关系，现有系统缺乏有效的追溯与合并处理机制，导致大量同源信息被重复计入证据权重，进而干扰了最终结论的可信度评判。

3、由于上述缺陷的存在，当前智能体在面对跨模态证据时，其内部推理逻辑极易因基础数据对齐的不准确而产生偏差，尤其是在金融交易纠纷回溯或患者多模态病历审查过程中，常常需要耗费长时间的人工介入或繁琐的二次验证流程才能抵消这种基础性干扰，大幅制约了智能体在实际场景中的落地效能和响应效率。

技术实现思路

1、本发明提供一种多模态证据融合与定向核验方法、装置、设备及介质，以解决以下技术问题：如何对多模态异构证据进行可靠锚定与结构化组织，以有效定位实质性事实冲突并提高事实抽提准确性及响应效率。

2、第一方面，提供了一种多模态证据融合与定向核验方法，包括：

3、响应于获取到多模态证据材料，将各所述证据材料中的实体、时间及动作映射至事件锚点，得到关联所述事件锚点的证据集合；

4、基于所述证据集合，构建由事件锚点、证据材料、待验证命题及核验结果构成的证据关系图，所述证据关系图的关系边至少包括支持边和反驳边，并获取所述关系边所关联的来源可靠度；

5、针对同一待验证命题的所述支持边与所述反驳边，基于命题重要度、相互矛盾证据的可靠度、冲突覆盖范围及结论决策风险，计算冲突消耗，并将各所述冲突消耗累加得到总冲突预算；

6、当所述总冲突预算超过预设不确定性阈值时，定位对所述总冲突预算贡献最大的目标命题及其对应的目标证据子图，对所述目标证据子图进行核验，得到核验结果；

7、将所述核验结果增量写回所述证据关系图，更新受影响的所述关系边及所述来源可靠度，并基于更新后的所述证据关系图输出包含确定事实、条件性结论与未解决冲突的核验结论。

8、第二方面，提供了一种多模态证据融合与定向核验装置，包括：

9、映射单元，用于响应于获取到多模态证据材料，将各所述证据材料中的实体、时间及动作映射至事件锚点，得到关联所述事件锚点的证据集合；

10、构建单元，用于基于所述证据集合，构建由事件锚点、证据材料、待验证命题及核验结果构成的证据关系图，所述证据关系图的关系边至少包括支持边和反驳边，并获取所述关系边所关联的来源可靠度；

11、计算单元，用于针对同一待验证命题的所述支持边与所述反驳边，基于命题重要度、相互矛盾证据的可靠度、冲突覆盖范围及结论决策风险，计算冲突消耗，并将各所述冲突消耗累加得到总冲突预算；

12、核验单元，用于当所述总冲突预算超过预设不确定性阈值时，定位对所述总冲突预算贡献最大的目标命题及其对应的目标证据子图，对所述目标证据子图进行核验，得到核验结果；

13、更新单元，用于将所述核验结果增量写回所述证据关系图，更新受影响的所述关系边及所述来源可靠度，并基于更新后的所述证据关系图输出包含确定事实、条件性结论与未解决冲突的核验结论。

14、第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述多模态证据融合与定向核验方法的步骤。

15、第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述多模态证据融合与定向核验方法的步骤。

16、上述多模态证据融合与定向核验方法、装置、计算机设备及存储介质所实现的方案中，通过构建跨模态事件锚点，将各证据材料中的实体、时间及动作统一映射至所述事件锚点，从根本上消除了因不同模态表达基准差异引发的伪冲突，实现了对多模态异构证据的可靠锚定；进一步地，基于所述证据集合构建包含支持边与反驳边的证据关系图并获取关联的来源可靠度，以图结构系统地表征了证据间的逻辑对抗关系，完成了对散乱证据的结构化组织；进一步地，在此基础上，综合命题重要度、相互矛盾证据的可靠度、冲突覆盖范围及结论决策风险计算冲突消耗并累加得到总冲突预算，不仅将定性矛盾转化为可排序的量化指标，更凭借与预设不确定性阈值的比较精准定位了对总冲突预算贡献最大的目标命题及其目标证据子图，从核验空间维度上避免了盲目全面核验；进一步地，针对定位的所述目标证据子图进行定向核验并采用增量写回方式更新受影响的所述关系边与所述来源可靠度，在维持证据图实时一致性的同时有效降低了单次核验计算开销，进而避免了因全图重算所导致的处理等待时间，显著提升了核验结论生成的整体响应效率；最终输出的核验结论通过明确区分确定事实、条件性结论与未解决冲突，为事实抽提结果提供了分层可信度依据，从而在确保决策准确性的同时加速了可信度信息的交付，有效解决了多模态异构证据融合中冲突定位难、事实抽提准确性不足以及响应效率受限的技术问题。

1.一种多模态证据融合与定向核验方法，其特征在于，包括：

2.根据权利要求1所述的多模态证据融合与定向核验方法，其特征在于，所述事件锚点包括主体字段、客体字段、动作字段、时间范围字段、地点字段和状态版本字段，所述将各所述证据材料中的实体、时间及动作映射至事件锚点，包括：

3.根据权利要求2所述的多模态证据融合与定向核验方法，其特征在于，所述得到关联所述事件锚点的证据集合之后，所述方法还包括：

4.根据权利要求1所述的多模态证据融合与定向核验方法，其特征在于，所述获取所述关系边所关联的来源可靠度，包括：

5.根据权利要求1所述的多模态证据融合与定向核验方法，其特征在于，所述基于命题重要度、相互矛盾证据的可靠度、冲突覆盖范围及结论决策风险，计算冲突消耗，包括：

6.根据权利要求1所述的多模态证据融合与定向核验方法，其特征在于，所述对所述目标证据子图进行核验，包括：

7.根据权利要求1所述的多模态证据融合与定向核验方法，其特征在于，所述将所述核验结果增量写回所述证据关系图，更新受影响的所述关系边及所述来源可靠度，包括：

8.一种多模态证据融合与定向核验装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述多模态证据融合与定向核验方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多模态证据融合与定向核验方法的步骤。