异常物品检测方法、装置、电子设备与存储介质与流程
本技术涉及安检,具体涉及知识图谱、图像处理、图像检索等,更具体地涉及一种异常物品检测方法、装置、电子设备与存储介质。
背景技术:
1、在海关物品查验、快递包裹安检、集装箱安检等对于封闭空间进行物品安检的场景中,可以通过x光扫描设备来进行扫描,以使x光图像作为安检查验数据。由此可以通过对x光图像进行查验来较为准确地找到封闭空间中容纳的违禁物品。而在安检查验过程中对于违禁品等异常物品的查验准确性较低,容易存在漏检情况,且需要耗费较多的人工复核干预操作来进行复核,难以满足实际需求。
技术实现思路
1、鉴于上述问题,本技术的实施例提供了一种异常物品检测方法、装置、电子设备与存储介质。
2、根据本技术的第一方面,提供了一种异常物品检测方法,包括:获取关于参考异常物品的知识图谱,其中,基于参考容器信息确定知识图谱,参考容器信息是对容纳参考异常物品的参考容器进行查验确定的,知识图谱的多个节点的节点信息包括关于参考容器的申报单信息、透视图像特征和视觉描述信息,视觉描述信息描述了参考异常物品在参考容器中的空间位置,多个节点之间的边表示节点信息与参考异常物品之间的关系;从多个待检测容器各自的容器信息中,确定与申报单信息和关于参考容器的全局透视特征相匹配的候选容器信息,透视图像特征包括全局透视特征和关于参考异常物品的局部透视特征;基于视觉描述信息、局部透视特征和边,对候选容器信息中的候选局部透视图像进行检索,得到目标异常容器信息,并从多个待检测容器中确定容纳了异常物品的目标异常容器。
3、根据本技术的实施例,视觉描述信息包括全局视觉描述信息和局部视觉描述信息,全局视觉描述信息描述了参考异常物品在参考容器中的空间位置,局部视觉描述信息描述了参考异常物品的局部部位的物品属性;基于视觉描述信息、局部透视特征和边,对候选容器信息中的候选局部透视图像进行检索,包括:将候选局部透视图像的候选局部透视特征与局部透视特征进行匹配,得到局部特征匹配结果;将全局视觉描述信息与候选容器信息中的候选视觉描述信息进行语义匹配,得到全局语义匹配结果,候选视觉描述信息描述了候选容器中容纳的候选物品的物品属性;将局部视觉描述信息和对于候选局部透视图像的候选局部视觉描述信息进行语义匹配,得到局部语义匹配结果,候选局部视觉描述信息描述了候选物品的至少一个局部部位的物品属性;以及根据局部特征匹配结果、全局语义匹配结果、局部语义匹配结果和与参考异常物品相关的边,确定表征候选物品与参考异常物品相匹配的目标匹配结果,并根据目标匹配结果从候选容器中确定容纳了参考异常物品的目标异常容器。
4、根据本技术的实施例,将候选局部透视图像的候选局部透视特征与局部透视特征进行匹配,得到局部特征匹配结果,包括:将候选局部连通区域特征与局部透视特征中的局部连通区域特征进行匹配,得到局部聚集形态匹配结果,局部聚集形态匹配结果表示候选物品的材料聚集形态与参考异常物品的材料聚集形态的相似度;将候选局部透视图像的透视像素分布特征与局部透视特征中的局部透视像素分布特征进行匹配,得到局部像素分布匹配结果;将候选局部透视图像的候选骨架拓扑特征与局部透视特征中的局部骨架拓扑特征进行匹配,得到局部骨架匹配结果;其中,局部特征匹配结果基于局部聚集形态匹配结果、局部骨架匹配结果和局部像素分布匹配结果确定。
5、根据本技术的实施例,局部视觉描述信息描述了参考异常物品中多个结构部件之间的位置关系;局部语义匹配结果表示候选物品的多个物品部件与多个结构部件相匹配,且候选物品的多个物品部件之间的位置关系与多个结构部件之间的位置关系满足语义相似度条件。
6、根据本技术的实施例,上述方法还包括:从查验结果中确定存在查验异常状态的参考容器信息,参考容器信息包括全局透视图像和申报单信息,全局透视图像包括表征参考异常物品的局部透视图像区域;对全局透视图像进行文本描述,输出全局视觉描述信息,全局视觉描述信息描述了参考异常物品在参考容器中的空间属性,空间属性包括位置与姿态中的至少之一;对局部透视图像区域进行文本描述,得到局部视觉描述信息,局部视觉描述信息描述了参考异常物品的物品结构;将申报单信息、全局视觉描述信息、局部视觉描述信息、全局透视图像的全局透视特征和局部透视图像区域的局部透视特征作为多个节点各自的节点信息,基于节点信息、节点信息与参考异常物品之间的属性关系,构建知识图谱。
7、根据本技术的实施例,对局部透视图像区域进行文本描述,得到局部视觉描述信息,包括:对局部透视图像区域进行部件识别,得到部件对象,部件对象表征参考异常物品中的结构部件;对多个部件对象进行属性信息描述,输出部件属性描述信息,部件属性描述信息描述了多个结构部件之间的位置关系和连接关系中的至少之一。
8、根据本技术的实施例,待检测容器的容器信息包括待检测申报单信息和待检测透视图像,待检测透视图像表征容纳在待检测容器中的物品;其中,从多个待检测容器各自的容器信息中,确定与申报单信息和关于参考容器的全局透视特征相匹配的候选容器信息,包括:根据申报单信息与待检测容器的待检测申报单信息的匹配结果,从多个待检测容器的容器信息中确定多个初始容器信息;以及基于全局透视特征和初始容器信息中的待检测透视图像的匹配结果,从多个初始容器信息中确定候选容器信息。
9、根据本技术的实施例,根据申报单信息与待检测容器的待检测申报单信息的匹配结果,从多个待检测容器的容器信息中确定多个初始容器信息,包括:根据以下至少一项匹配结果,从多个待检测容器的容器信息中确定多个初始容器信息,匹配结果包括:物品名称字段匹配结果、物品价格匹配结果、地址字段匹配结果、申报重量匹配结果。
10、根据本技术的第二方面,提供了一种异常物品检测装置,异常物品检测装置包括:获取模块,用于获取关于参考异常物品的知识图谱,其中,基于参考容器信息确定知识图谱,参考容器信息是对容纳参考异常物品的参考容器进行查验确定的,知识图谱的多个节点的节点信息包括关于参考容器的申报单信息、透视图像特征和视觉描述信息,视觉描述信息描述了参考异常物品在参考容器中的空间位置,多个节点之间的边表示节点信息与参考异常物品之间的关系;候选容器信息确定模块,用于从多个待检测容器各自的容器信息中,确定与申报单信息和关于参考容器的全局透视特征相匹配的候选容器信息,透视图像特征包括全局透视特征和关于参考异常物品的局部透视特征;信息检索模块,用于基于视觉描述信息、局部透视特征和边,对候选容器信息中的候选局部透视图像进行检索,得到目标异常容器信息,并从多个待检测容器中确定容纳了异常物品的目标异常容器。
11、根据本技术的第三方面,提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。
12、根据本技术的第四方面,还提供了一种计算机可读存储介质,其上存储有计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。
13、根据本技术的第五方面,还提供了一种计算机程序产品,包括计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。
14、根据本技术的实施例,通过获取对于执行查验确定容纳了参考异常物品的参考容器,并根据参考容器相关的参考容器信息作为先验信息来构建知识图谱,实现将关于参考容器的视觉描述信息、透视图像特征和申报单信息结构化存储为节点信息,由此可以通过利用申报单信息和全局透视特征进行一阶段检索得到候选容器信息,并基于局部透视特征和视觉描述信息来进行第二阶段检索以确定容纳了与参考异常物品相近的异常物品的目标异常容器,由此可以基于已经查验出异常物品的多个模态先验信息来对待检测容器进行多阶段检索,以较为准确地确定待检测容器中的异常物品,提升对于违禁品等异常物品的查验准确率与查验效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com