视觉识别证据融入业务知识图谱方法、装置、设备及介质

本申请涉及新能源车控制，特别涉及一种视觉识别证据融入业务知识图谱方法、装置、设备及介质。

背景技术：

1、在商业银行对公信贷的全生命周期中，存在大量以图像形态承载、却高度依赖人工处理的风险信号。贷前尽职调查中的增值税专用发票、银行流水、审计报告、财务报表、合同等凭证以扫描件或手机拍照形式流转；贷后对机器设备、厂房、存货等抵质押物的状态跟踪依赖现场照片与视频。

2、相关技术中，仍高度依赖人工将视觉识别结果与业务知识图谱进行对接，当视觉模型输出某押品疑似损毁某发票疑似篡改等结论后，需由业务人员人工查阅识别结果、手动定位对应客户或押品的图谱节点、比对台账数据是否一致，再手工录入复核意见或发起风险预警流程，人工对接方式存在以下缺陷：（1）效率极低，一条影像证据的完整核验往往需要数十分钟甚至更长时间，无法满足大批量影像的实时处理需求；（2）易出错，人工定位实体、比对数据过程中极易产生遗漏或误判，尤其是在处理简称、别名、一证多主体等复杂情形时错误率显著上升；（3）难以规模化复用，不同业务人员对同一影像证据的处理标准和判断逻辑存在主观差异，且人工积累的经验无法在不同业务场景之间高效迁移复用。

技术实现思路

1、本申请提供一种视觉识别证据融入业务知识图谱方法、装置、设备及介质，以解决相关技术中高度依赖人工解读与桥接视觉识别结果，存在效率低、易出错、难追溯、无法规模化复用的缺陷等技术问题。

2、本申请第一方面实施例提供一种视觉识别证据融入业务知识图谱方法，包括以下步骤：获取不同视觉识别模型输出的异构结果，其中，异构结果包括边界框、置信度、分割掩膜、字段抽取结果中的至少一种；将异构结果转换为目标视觉事件，其中，目标视觉事件包含事件类型、主体标识、时间戳、置信度、证据载体指针及识别依据；基于主体标识将目标视觉事件对齐至业务知识图谱中的目标实体节点，根据视觉证据节点与目标实体节点建立至少一条证据指向关联边，根据至少一条证据指向关联边构建业务知识图谱；在识别到目标视觉事件与业务知识图谱中结构化指标发生冲突时，生成携带识别依据的复核提示反馈至客户端。

3、进一步地，基于主体标识将目标视觉事件对齐至业务知识图谱中的目标实体节点，包括：以目标视觉事件的主体标识为查询键，在业务知识图谱的实体节点主键属性索引上等值查找对应的目标实体节点；若存在唯一目标实体节点，则视觉证据节点和目标实体节点对齐成功，并在业务知识图谱中显示第一对齐方式属性；若不存在目标实体节点或命中多个候选实体节点，则将目标视觉事件的名称与属性编码为语义向量，计算语义向量与业务知识图谱中各实体节点嵌入向量之间的相似度，根据相似度生成对齐结果。

4、进一步地，根据相似度生成对齐结果，包括：若相似度大于等于预设阈值，则视觉证据节点和目标实体节点对齐成功，并在业务知识图谱中显示第二对齐方式属性；若相似度小于预设阈值，则挂起目标视觉事件，并生成人工复核任务反馈至客户端。

5、进一步地，在根据视觉证据节点与目标实体节点建立至少一条证据指向关联边之前，包括：获取对齐后的视觉事件及对应的目标实体节点；以主体标识、事件类型、时间戳、证据载体指针确定匹配键，以匹配键在业务知识图谱中查找对应视觉证据节点。

6、进一步地，以匹配键在业务知识图谱中查找对应视觉证据节点，包括：若视觉证据节点不存在，则创建视觉证据节点，将事件类型、主体标识、时间戳、置信度、证据载体指针、识别依据及对齐方式写入视觉证据节点的属性；若视觉证据节点已存在，则仅更新视觉证据节点的置信度、更新时间和匹配相似度值。

7、进一步地，根据视觉证据节点与所述目标实体节点建立至少一条证据指向关联边，还包括：以主体标识查找业务知识图谱中的目标实体节点；若视觉证据节点与目标实体节点之间不存在证据指向关联边，则创建证据指向关联边，其中，证据指向关联边为从视觉证据节点指向目标实体节点的有向边，证据指向关联边携带创建时间与对齐方式属性。

8、本申请第二方面实施例提供一种视觉识别证据融入业务知识图谱的装置，包括：获取模块，用于获取不同视觉识别模型输出的异构结果，其中，异构结果包括边界框、置信度、分割掩膜、字段抽取结果中的至少一种；转换模块，用于将异构结果转换为目标视觉事件，其中，目标视觉事件包含事件类型、主体标识、时间戳、置信度、证据载体指针及识别依据；对齐模块，用于基于主体标识将目标视觉事件对齐至业务知识图谱中的目标实体节点，根据视觉证据节点与目标实体节点建立至少一条证据指向关联边，根据至少一条证据指向关联边丢弃冗余节点构建业务知识图谱；生成模块，用于在识别到目标视觉事件与业务知识图谱中结构化指标发生冲突时，生成携带识别依据的复核提示反馈至客户端。

9、本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序，以执行如上述实施例的视觉识别证据融入业务知识图谱方法。

10、本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例的视觉识别证据融入业务知识图谱方法。

11、本申请第五方面实施例提供一种计算机程序产品，包括计算机程序或指令，计算机程序或指令被执行时，以实现如上述实施例的视觉识别证据融入业务知识图谱方法。

12、由此，本申请至少具有如下有益效果：

13、本申请实施例可以通过将不同视觉识别模型输出的边界框、置信度、分割掩膜、字段抽取结果等异构结果统一转换为包含事件类型、主体标识、时间戳、置信度、证据载体指针及识别依据的目标视觉事件，利用统一的数据结构消除了不同视觉模型输出格式之间的差异，使任意来源的视觉识别结果均能够以标准化格式接入后续处理流程，解决了相关技术中因数据格式异构而无法直接应用的问题；在此基础上，基于主体标识将目标视觉事件对齐至业务知识图谱中的目标实体节点，并根据视觉证据节点与目标实体节点建立证据指向关联边，同时根据该关联边丢弃冗余节点构建业务知识图谱，通过对齐操作建立了视觉信息与图谱实体之间的对应关系，通过关联边将视觉证据纳入图谱的关联结构，通过丢弃冗余节点保证了图谱的数据稳定性，解决了相关技术中高度依赖人工定位实体、效率低下且易出错的问题，使视觉识别结果能够自动转化为图谱中可参与关联推理的计算要素；当识别到目标视觉事件与业务知识图谱中结构化指标发生冲突时，生成携带识别依据的复核提示反馈至客户端，解决了相关技术中人工处理冲突时缺乏统一消解机制和追溯留痕的问题，使冲突处理过程信息完整透明且可复核。由此，实现了视觉识别结果从异构输入到标准化转换、从标准化转换到图谱对齐、从图谱对齐到稳定入图、从稳定入图到冲突可解释消解的全流程自动化，使视觉识别结果能够及时、准确、完整地转化为可计算证据参与风控推理。

14、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

1.一种视觉识别证据融入业务知识图谱方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的视觉识别证据融入业务知识图谱方法，其特征在于，所述基于所述主体标识将所述目标视觉事件对齐至业务知识图谱中的目标实体节点，包括：

3.根据权利要求2所述的视觉识别证据融入业务知识图谱方法，其特征在于，所述根据相似度生成对齐结果，包括：

4.根据权利要求3所述的视觉识别证据融入业务知识图谱方法，其特征在于，在所述根据视觉证据节点与所述目标实体节点建立至少一条证据指向关联边之前，包括：

5.根据权利要求4所述的视觉识别证据融入业务知识图谱方法，其特征在于，所述以所述匹配键在业务知识图谱中查找对应视觉证据节点，包括：

6.根据权利要求4所述的视觉识别证据融入业务知识图谱方法，其特征在于，根据视觉证据节点与所述目标实体节点建立至少一条证据指向关联边，还包括：

7.一种视觉识别证据融入业务知识图谱装置，其特征在于，包括：

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6任一项所述的视觉识别证据融入业务知识图谱方法。

9.一种计算机可读存储介质，其上存储有计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时，以用于实现如权利要求1-6任一项所述的视觉识别证据融入业务知识图谱方法。

10.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被执行时，以实现如权利要求1-6任一项所述的视觉识别证据融入业务知识图谱方法。