实现用于禁限带物品识别的智能分析处理方法、系统、装置、处理器及计算机可读存储介质与流程

1.本发明涉及安全检查设备领域，尤其涉及x射线安检仪领域，具体是指一种实现用于禁限带物品识别的智能分析处理方法、系统、装置、处理器及其计算机可读存储介质。


背景技术：

2.以x射线安检仪为主的安全检查设备多依赖工作人员“人工判图”方式排查有无禁止携带或者限制携带物品(以下简称“禁限带物品”)，在乘客较密集的时段持续工作对安检员承压能力和经验提出了很高的要求，尤其是出现液体状、粉末状或者颗粒物状的物体来说，需要从包裹行李中取出并通过专用检查仪来进行二次检测，该过程耗费大量人力时间并造成现场拥堵，同时进一步增加了安检人员的心理负担，极易导致后续工作的效率低下甚至判断错误。


技术实现要素：

3.本发明的目的是克服了上述现有技术的缺点，提供了一种满足判断准确、效率高、适用范围较为广泛的实现用于禁限带物品识别的智能分析处理方法、系统、装置、处理器及其计算机可读存储介质。
4.为了实现上述目的，本发明的实现用于禁限带物品识别的智能分析处理方法、系统、装置、处理器及其计算机可读存储介质如下：
5.该实现用于禁限带物品识别的智能分析处理方法，其主要特点是，所述的方法包括以下步骤：
6.(1)数据处理模块采集x射线安检设备探测器输出的数据，将数据重建为安检图像，并输入至图像识别模块；
7.(2)图像识别模块匹配图像模型中的图形类别和位置区域，将图形类别和位置区域输入到数据处理模块；
8.(3)数据处理模块判断图形类别是否需要物质识别，并将需要物质识别的数据输入到物质识别模块；
9.(4)物质识别模块匹配物质模型中的物质类别，并将物质类别输出到数据处理模块；
10.(5)数据处理模块比对图形位置区域类别和物质类别是否需要标识，将警示区域标识和重建的安检图像输入到视频处理模块；
11.(6)视频处理模块将安检机显示屏输出的图像和数据处理模块输出的安检图像进行同步匹配，通过映射关系得到禁限带物品标识的视频图像。
12.较佳地，所述的步骤(5)具体包括以下步骤：
13.(5.1)数据处理模块将图形位置区域类别和物质类别输入到禁限带物品数据库并进行比对，确定该区域物体是否需要标识，得到警示区域标识；
14.(5.2)数据处理模块将警示区域标识和重建的安检图像输入到视频处理模块。
15.较佳地，所述的步骤(6)具体包括以下步骤：
16.(6.1)视频处理模块采集安检机显示屏输出的图像；
17.(6.2)视频处理模块将视频流与数据流进行匹配，将安检机显示屏输出的图像和数据处理模块输出的安检图像进行同步匹配，得到两者的映射关系；
18.(6.3)视频处理模块通过映射关系将警示区域标识匹配至安检机显示屏输出的图像，得到禁限带物品标识的视频图像，并输出视频图像。
19.较佳地，所述的步骤(6.2)中视频处理模块将视频流与数据流进行匹配，具体包括以下步骤：
20.(6.2.1)通过专用匹配测试体获取设备预处理参数：
21.(6.2.2)选择用于禁限带物品识别的视频对应区域；
22.(6.2.3)通过预处理参数对重建图像进行几何变换；
23.(6.2.4)监测输入的视频图像，选取特定连续变化的固定帧；
24.(6.2.5)将几何变换的结果与特定连续变化的固定帧的结果进行比对，找到映射关系；
25.(6.2.6)通过预处理参数将映射关系匹配到数据，得到视频图像与数据匹配结果。
26.较佳地，所述的方法还包括以下步骤：
27.(7)根据视频图像判断是否需要复检，如果是，则根据视频图像输出的警示区域标识位置取出可疑物，并放置在专用单独查验托盘上；否则，结束步骤；
28.(8)继续步骤(1)对可疑物进行单独检查，若再次警示，则通知安检人员核查。
29.该用于禁限带物品识别的智能分析处理系统，其主要特点是，所述的系统包括：
30.数据处理模块，接收x射线安检设备镜像数据的数据流，用于数据重建图像，以及比对禁限带物品图像物质数据库；
31.视频处理模块，与所述的数据处理模块相连接，接收x射线安检设备视频图像的视频流，用于进行视频流与数据流匹配，根据匹配结果完成禁限带物品标识，输出禁限带物品标识的视频图像的视频流；
32.图像识别模块，与所述的数据处理模块相连接，用于采集各类物品的x射线图像作为训练数据，通过深度学习模型从中提取数据特征，得到x射线图像的识别模型；
33.物质识别模块，与所述的数据处理模块相连接，用于采集各类包装的的x射线图像和数据作为训练数据，建立包装材料物质属性算法模型，得到去除包装材质影响提取内部物质属性的算法模型。
34.较佳地，所述的视频处理模块根据匹配结果完成禁限带物品标识，具体为：
35.将数据处理模块输出的警示区域标识通过匹配结果完成对原安检设备输出视频图像的禁限带物品标识。
36.该用于实现禁限带物品识别的智能分析处理装置，其主要特点是，所述的装置包括：
37.处理器，被配置成执行计算机可执行指令；
38.存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的实现用于禁限带物品识别的智能分析处理方法的各个步骤。
39.该用于实现禁限带物品识别的智能分析处理的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的实现用于禁限带物品识别的智能分析处理方法的各个步骤。
40.该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述的实现用于禁限带物品识别的智能分析处理方法的各个步骤。
41.采用了本发明的实现用于禁限带物品识别的智能分析处理方法、系统、装置、处理器及其计算机可读存储介质，基于深度学习模型和x射线物质属性分析方法，实现包含易燃液体、爆炸物、管制器具在内的各类禁限带物品的快速检测，以提高现场检查效率，减轻安检人员工作压力。
附图说明
42.图1为本发明的实现禁限带物品识别的智能分析装置的硬件实现形式示意图。
43.图2为本发明的实现用于禁限带物品识别的智能分析处理方法的功能模块与工作流程示意图。
44.图3a为本发明的专用单独查验托盘的正面透视图。
45.图3b为本发明的专用单独查验托盘的侧面的透视图。
46.图4为本发明的视频流与数据流匹配过程中的匹配测试体示意图。
具体实施方式
47.为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
48.本发明的该实现用于禁限带物品识别的智能分析处理方法，其中包括以下步骤：
49.(1)数据处理模块采集x射线安检设备探测器输出的数据，将数据重建为安检图像，并输入至图像识别模块；
50.(2)图像识别模块匹配图像模型中的图形类别和位置区域，将图形类别和位置区域输入到数据处理模块；
51.(3)数据处理模块判断图形类别是否需要物质识别，并将需要物质识别的数据输入到物质识别模块；
52.(4)物质识别模块匹配物质模型中的物质类别，并将物质类别输出到数据处理模块；
53.(5)数据处理模块比对图形位置区域类别和物质类别是否需要标识，将警示区域标识和重建的安检图像输入到视频处理模块；
54.(6)视频处理模块将安检机显示屏输出的图像和数据处理模块输出的安检图像进行同步匹配，通过映射关系得到禁限带物品标识的视频图像。
55.作为本发明的优选实施方式，所述的步骤(5)具体包括以下步骤：
56.(5.1)数据处理模块将图形位置区域类别和物质类别输入到禁限带物品数据库并进行比对，确定该区域物体是否需要标识，得到警示区域标识；
57.(5.2)数据处理模块将警示区域标识和重建的安检图像输入到视频处理模块。
58.作为本发明的优选实施方式，所述的步骤(6)具体包括以下步骤：
59.(6.1)视频处理模块采集安检机显示屏输出的图像；
60.(6.2)视频处理模块将视频流与数据流进行匹配，将安检机显示屏输出的图像和数据处理模块输出的安检图像进行同步匹配，得到两者的映射关系；
61.(6.3)视频处理模块通过映射关系将警示区域标识匹配至安检机显示屏输出的图像，得到禁限带物品标识的视频图像，并输出视频图像。
62.作为本发明的优选实施方式，所述的步骤(6.2)中视频处理模块将视频流与数据流进行匹配，具体包括以下步骤：
63.(6.2.1)通过专用匹配测试体获取设备预处理参数：
64.(6.2.2)选择用于禁限带物品识别的视频对应区域；
65.(6.2.3)通过预处理参数对重建图像进行几何变换；
66.(6.2.4)监测输入的视频图像，选取特定连续变化的固定帧；
67.(6.2.5)将几何变换的结果与特定连续变化的固定帧的结果进行比对，找到映射关系；
68.(6.2.6)通过预处理参数将映射关系匹配到数据，得到视频图像与数据匹配结果。
69.作为本发明的优选实施方式，所述的方法还包括以下步骤：
70.(7)根据视频图像判断是否需要复检，如果是，则根据视频图像输出的警示区域标识位置取出可疑物，并放置在专用单独查验托盘上；否则，结束步骤；
71.(8)继续步骤(1)对可疑物进行单独检查，若再次警示，则通知安检人员核查。
72.该用于禁限带物品识别的智能分析处理系统，其主要特点是，所述的系统包括：
73.数据处理模块，接收x射线安检设备镜像数据的数据流，用于数据重建图像，以及比对禁限带物品图像物质数据库；
74.视频处理模块，与所述的数据处理模块相连接，接收x射线安检设备视频图像的视频流，用于进行视频流与数据流匹配，根据匹配结果完成禁限带物品标识，输出禁限带物品标识的视频图像的视频流；
75.图像识别模块，与所述的数据处理模块相连接，用于采集各类物品的x射线图像作为训练数据，通过深度学习模型从中提取数据特征，得到x射线图像的识别模型；
76.物质识别模块，与所述的数据处理模块相连接，用于采集各类包装的的x射线图像和数据作为训练数据，建立包装材料物质属性算法模型，得到去除包装材质影响提取内部物质属性的算法模型。
77.作为本发明的优选实施方式，所述的视频处理模块根据匹配结果完成禁限带物品标识，具体为：
78.将数据处理模块输出的警示区域标识通过匹配结果完成对原安检设备输出视频图像的禁限带物品标识。
79.本发明的该用于实现禁限带物品识别的智能分析处理装置，其中所述的装置包括：
80.处理器，被配置成执行计算机可执行指令；
81.存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的实现用于禁限带物品识别的智能分析处理方法的各个步骤。
82.本发明的该用于实现禁限带物品识别的智能分析处理的处理器，其中所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的实现用于禁限带物品识别的智能分析处理方法的各个步骤。
83.本发明的该计算机可读存储介质，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述的实现用于禁限带物品识别的智能分析处理方法的各个步骤。
84.本发明的具体实施方式中，提供一种x射线安检仪的智能辅助装置和禁限带物品识别方法，其技术方案为：采集x射线安检设备探测器输出数据和显示屏输出图像(视频流)，融合图像分析和数据分析的方法对禁限带物品区域和类别进行标识，并通过视频流与数据流匹配方法将标识结果映射到安检设备显示屏输出图像上，最终输出图像与原安检设备一致且带有禁限带物品标识，如图1所示，显示了具体的硬件实现形式。
85.如图2所示，该智能辅助装置的功能模块包括视频处理模块、数据处理模块、图像识别模块、物质识别模块，具体的工作流程如下：
86.(1)数据处理模块采集x射线安检设备探测器输出的数据；
87.(2)数据处理模块将数据重建为安检图像；
88.(3)数据处理模块将重建的安检图像输入到图像识别模块；
89.(4)图像识别模块匹配图像模型中的图形类别和位置区域；
90.(5)图像识别模块将图形类别和位置区域输入到数据处理模块；
91.(6)数据处理模块判断图形类别是否需要物质识别；
92.(7)数据处理模块将需要物质识别的数据输入到物质识别模块；
93.(8)物质识别模块匹配物质模型中的物质类别；
94.(9)物质识别模块将物质类别输出到数据处理模块；
95.(10)数据处理模块将图形位置区域类别和物质类别输入到禁限带物品数据库进行比对，确定该区域物体是否需要标识，得到警示区域标识；
96.(11)数据处理模块将警示区域标识和重建的安检图像输入到视频处理模块；
97.(12)视频处理模块采集安检机显示屏输出的图像(视频流)；
98.(13)视频处理模块通过视频/数据匹配方法将安检机显示屏输出的图像和数据处理模块输出的安检图像进行同步匹配，得到两者的映射关系；
99.(14)视频处理模块通过映射关系将警示区域标识匹配到安检机显示屏输出的图像上，得到禁限带物品标识的视频图像；
100.(15)视频处理模块输出视频图像；
101.(16)安检设备工作人员根据视频图像判断是否需要复检；
102.(17)如果需要复检，则根据视频图像输出的警示区域标识位置取出可疑物放置于专用单独查验托盘上，如图3所示，该专用托盘的意义在于：用于提高易燃液体、爆炸物或有毒有害物质成分识别准确率，一方面通过单独检查可以排除干扰物和遮挡物影响，另一方面固定各类罐装物体，防止检查过程中发生滑动或滚动，影响识别精度；
103.(18)再次经过上述步骤(1)～(15)对可疑物进行单独检查；
104.(19)如果再次警示，则通知安检人员核查。
105.图像识别模块技术实现：采集海量的各类物品的x射线图像作为训练数据，通过深度学习模型从中提取数据特征，优化其在复杂场景下的识别能力，得到x射线图像的识别模
型。
106.物质识别模块技术实现：采集各类包装的液体、粉末或颗粒物的x射线图像和数据作为训练数据，包装材质包括：玻璃、瓷器、金属、塑料、纸质等，建立包装材料物质属性算法模型，优化在复杂场景下的去遮挡和干扰能力，得到去除包装材质影响提取内部物质属性的算法模型，包括等效于原子序数和密度等。
107.数据处理模块功能包括数据重建图像、禁限带物品图像物质数据库比对，其中数据重建图像的重要意义在于两个方面：1原安检设备输出的图像与数据相比少了很多信息，而数据处理模块可以选择多种数据处理并重建图像的方式以适应不同场景识别的需要，正如安检工作人员会选择不同衰减系数和对比度的图像来判图是类似的原理，从而抗干扰与遮挡能力更强，有效提高识别禁限带物品的准确率；2智能分析模块输出的图像为原安检设备图像的镜像，因此数据重建图像需要与原安检设备图像进行配对，才能将禁限带物品识别结果标识到输出的图像上。禁限带物品图像物质数据库是将铁路、城市轨道交通、机场等公共场所禁止或限制携带的物品数据经过运算提取特征等处理后形成的标准化数据库，用于图像分析模块与物质分析模块输入结果比对，最终输出需要警示的区域和标识。
108.视频处理模块功能包括视频流与数据流匹配、禁限带物品标识。其中视频流与数据流匹配过程是通过以下方法将原安检设备输出的视频图像对应的数据位置找到并在像素级完成一一匹配；禁限带物品标识是将数据处理模块输出的警示区域标识通过匹配结果完成对原安检设备输出视频图像的禁限带物品标识。
109.视频流与数据流匹配过程：
110.(1.1)通过专用匹配测试体(图4，不同材质和形状组成的测试体在安检图像中更容易获得形状特征)获取设备预处理参数：纵向比、横向比、纵横镜像关系、初始位置；
111.(1.2)选择用于禁限带物品识别的视频对应区域；
112.(1.3)通过预处理参数对重建图像进行几何变换；
113.(1.4)监测输入的视频图像，选取特定连续变化的固定帧；
114.(1.5)将(1.4)结果与(1.3)结果进行比对，找到映射关系；
115.(1.6)通过预处理参数将(1.5)中映射关系匹配到数据，得到视频图像与数据匹配结果。
116.本发明的传输获取的不止图像视频流，而是来自原安检设备的探测器实时数据和图像视频流两部分结合，实时数据包含的信息量远超图像，带来的优势包括：
117.可对物质成分进行更细的判断(如需要可以简单描述细节)，包括区分包装内是否为安全溶液或是易燃易爆液态违禁品，是否含有毒成分(毒品或者精神麻醉药品等)或者爆炸物成分，且可以对包装材料进行分析从而消除对内部物质成分分析的影响(如需要可以简单描述细节)，这是图像视频流所不具备的。
118.建立统一的数据重建图像的标准(如需要可以简单描述细节)，使得最终输入深度学习智能判图模型的安检图像有统一的色彩与纹理清晰度，对不同安检设备智能判图的识别精确度的稳定性能够保证，如果只有图像视频流意味着深度学习智能判图模型需要训练不同安检设备的安检图像，不光数据量庞大，其最终的识别精确度的稳定性更是难以保证；
119.数据能给出以上两点外，还能提供更多细节特征，比如像极限低和极限高衰减下物体的识别(如需要可以简单描述细节)，这也是图像视频流所不具备的。
120.本实施例的具体实现方案可以参见上述实施例中的相关说明，此处不再赘述。
121.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
122.需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
123.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
124.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
125.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
126.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
127.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
128.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
129.采用了本发明的实现用于禁限带物品识别的智能分析处理方法、系统、装置、处理器及其计算机可读存储介质，基于深度学习模型和x射线物质属性分析方法，实现包含易燃液体、爆炸物、管制器具在内的各类禁限带物品的快速检测，以提高现场检查效率，减轻安检人员工作压力。
130.在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。