一种提升包裹关联准确率的方法及装置与流程

1.本发明涉及智慧安检技术领域，具体涉及一种提升包裹关联准确率的方法及装置。


背景技术：

2.在安检场景下，当乘客把包裹放到传送带进入安检机后，会对包裹进行违禁品识别，当包裹中识别出违禁品时，需要马上确定对应的包。所以需要把安检机x光包裹图片和外置摄像头拍摄的包裹图片进行关联，才方便安检员确认。现有技术中，对来自安检点发送的图像信息以时间段的形式存储在数据库中，通过获取来自x光检查机发送的包裹图像信息的拍摄时刻点，查找数据库中与拍摄时刻点对应的旅客图像信息，即“包-包”，用以解决现有的安检人包关联解决方案需要获取旅客及旅客身上的包裹图片与x光检查机拍摄的图像进行图像识别，即“人包-包”，此中方案中拍摄时刻点需根据经验法进行模糊匹配查询，然而在现实场景中，每个包裹在传送带上放置的位置不同，则相应的外置摄像头的拍摄时刻与x光机的扫描时刻之间的间隔也会不同，从而无法以经验法根据提取时刻点信息获取拍摄时刻点信息，进而无法进行安检机x光包裹图片和外置摄像头拍摄的包裹图片的关联，严重影响其安检效率和安检准确性。


技术实现要素：

3.本发明的目的在于提供一种提升包裹关联准确率的方法及装置，根据包裹每次放置位置的不同，计算包裹在进包口铅帘位置处的时刻和/或包裹在外置摄像头拍摄区域内运动的时间段，确定关联时间段，用以解决现有的“包-包”关联准确性低的问题。
4.一种提升包裹关联准确率的方法，在安检机外部的传送带上方设置有外置摄像头，具体包括以下步骤：
5.s1、对外置摄像头拍摄的包裹图片进行图像识别，获得实物包裹图片，并按包裹拍摄时刻将实物包裹图片存入数据库中；
6.s2、对x光安检机拍摄的x光机图片进行图像识别，获得x光包裹图片，并记录提取时刻t1，所述提取时刻t1为完整包裹提取时刻点；
7.s3、根据所述提取时刻t1，传送带的移动速率v以及包裹在传送带上的运动位移，计算包裹在进包口铅帘位置处的时刻和/或包裹在外置摄像头拍摄区域内运动的时间段，将所述时刻确定为关联时间点，将所述时间段确定为关联时间段；
8.s4、从所述数据库中提取关联时间点对应的实物包裹图片和/或关联时间段内的实物包裹图片集。
9.进一步地，所述步骤s4中提取包括精确提取和/或模糊提取。
10.进一步地，所述精确提取，外置摄像头拍摄安检机进包口铅帘处的实物包裹图片，具体包括以下步骤：
11.根据当前安检机型号确定x光扫描点与进包口铅帘的距离s；
12.获得包裹的实物长度s0；
13.获得传送带的移动速率v；
14.根据所述距离s、长度s0以及移动速率v，计算关联时间差t＝(s s0)/v；
15.根据所述关联时间差t、提取时刻t1，获得包裹在进包口铅帘位置处的时刻t0，所述t0＝t1-t；
16.从所述数据库中提取时刻t0对应的实物包裹图片。
17.进一步地，所述模糊提取包括：所述传送带上沿传送带的运动方向布设有外置摄像头拍摄区域、x光扫描区域，所述外置摄像头拍摄区域、x光扫描区域分别布设在安检机铅帘的两侧，所述关联时间段为[ta，tb]，其中ta为包裹进入外置摄像头拍摄区域的时刻，tb为包裹离开外置摄像头拍摄区域的时刻。
[0018]
进一步地，所述提取时刻t1为基于包裹在x光机图片中预设位置的识别提取，所述预设位置与安检机内x光扫描点的物理位置一一对应，所述时刻ta，具体由以下步骤获得：
[0019]
获得传送带的移动速率v；
[0020]
获得包裹从传送带起始位置运动至安检机内对应的物理位置的位移s1以及包裹的实物长度s0；
[0021]
计算包裹从传送带起始位置运动至安检机内对应的物理位置的时间段t1＝(s1 s0)/v；
[0022]
根据所述提取时刻t1、时间段t1计算时刻ta＝t1-t1。
[0023]
进一步地，所述外置摄像头拍摄区域、x光扫描区域相邻设置，以安检机的进包口铅帘为相邻间隔进行划分，所述时刻tb，具体由以下步骤获得：
[0024]
获得传送带的移动速率v；
[0025]
获得包裹在x光扫描区域中运动至对应的物理位置的位移s2以及包裹的实物长度s0；
[0026]
计算包裹在x光扫描区域中运动至对应的物理位置的时间段t2＝(s2 s0)/v；
[0027]
根据所述提取时刻t1、时间段t2计算时刻tb＝t1-t2。
[0028]
进一步地，所述外置摄像头拍摄区域、x光扫描区域相邻设置，所述安检机外部的传送带上设置标定物，所述位移s2的实际值ws，通过实验标定法获得，所述标定法具体包括以下步骤:
[0029]
获得位于预设位置的标定包裹的x光机图片，所述标定包裹沿传送带运动方向的长度为ys；
[0030]
在x光机图片中获得标定包裹沿传送带运动方向的像素值为yx，位移s2的像素值为wx；
[0031]
计算位移s2的实际值ws，所述ws满足ys/yx＝ws/wx。
[0032]
进一步地，所述位移s1的实际值ws’，通过实验标定法获得，所述标定法具体包括以下步骤:
[0033]
获得包含标定物以及包裹的包裹图片，所述标定物沿传送带运动方向的长度为ys’；
[0034]
在包裹图片中获得标定物沿传送带运动方向的像素值为yx’，包裹运动至x光扫描区域的位移s1的像素值为wz’；
[0035]
计算包裹运动至x光扫描区域的位移s1的实际值wb’，所述wb’满足ys’/yx’＝wb’/wz’。
[0036]
进一步地，所述,获得包裹的实物长度s0，具体包括以下步骤:
[0037]
获得预设参照物实物长度a；
[0038]
在x光机图片中获得预设参照物沿传送带运动方向的像素值为a，包裹沿传送带运动方向的像素值为b；
[0039]
根据所述长度a、像素值a以及像素值b，计算包裹的实物长度s0＝a*b/a。
[0040]
一种提升包裹关联准确率的控制装置，包括：
[0041]
一个或多个处理器；
[0042]
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的一种提升包裹关联准确率的方法。
[0043]
本发明具有的有益效果：
[0044]
1、不影响现有安检效率的前提下，识别出已扫描安检机x光包裹图片的物品信息并将安检机x光包裹图片和外置摄像头拍摄的包裹图片的关联绑定关联，并提前将包裹异常的判别结果告知安检人员，提醒安检人员对旅客行包进行开包检查，提高了旅客进站乘车的安检效率，降低了安检管理的人工成本，解决了传统的安检过程中一旦旅客发现危险品被检出，就会放弃包裹离开或者不承认包裹是其所有而导致的追溯困难，当前时间周期内高频出现的违禁品进行重点检测，更加智能化、具有针对性，对切实保障安检过程的实时高效具有重要意义。；
[0045]
2、获得外置摄像头拍摄的包裹图片中所有物品信息的条件下识别出已扫描安检机x光包裹图片中的物品信息并将安检机x光包裹图片和外置摄像头拍摄的包裹图片的关联的绑定，同时判断当x光包裹图片中的物品信息是否为违禁物品，若是，则提前将异常的判别结果告知安检人员，提醒安检人员对旅客行包进行开包检查，提高了旅客进站乘车的安检效率，降低了安检管理的人工成本。
附图说明
[0046]
图1为本发明的提升包裹关联准确率的方法流程示意图；
[0047]
图2为本发明的x光图片示意图；
[0048]
图3为本发明的外置摄像头拍摄区域、x光扫描区域相邻示意图；
[0049]
图4为本发明的人包关联场景情形一示意图；
[0050]
图5为本发明的人包关联场景情形二示意图；
[0051]
图6为本发明的人包关联场景情形三示意图；
[0052]
图7为本发明的精确提取场景示意图；
[0053]
图8为本发明的现有技术示意图；
具体实施方式
[0054]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下
对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
[0056]
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0057]
另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。
[0058]
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
[0059]
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
[0060]
实施例1
[0061]
在现有技术中，一种人包关联的方法，应用于安检系统中的监视终端，包括：
[0062]
s1、不间断接收安检点摄像头发送的安检点区域的图像信息，并按时间段存入数据库；
[0063]
s2、接收来自x光行李检查机的包裹x光图片，并提取所述包裹x光图片拍摄时间，记为时刻点t2；
[0064]
s3、根据时刻点t2与可选时间间隔x进行运算，获得(t
2-x，t2)时间段；
[0065]
s4、调取数据库中与时刻点t2对应的(t1,tn)时间段的图像信息，所述(t1,tn)时间段为包含时刻点t2的时间段；
[0066]
s5、获取(t1,tn)时间段内图像信息的时间轴，截取(t
2-x，t2)时间段内的图像信息，所述图像信息为最终人包关联图像信息；
[0067]
s6、将所述包裹数据与人包关联图像信息进行人包关联绑定。
[0068]
在上述方案中，可选时间间隔x为模糊计算，以成都地铁目前占比最多的中型安检机6550bi型x光检查机为例，安检机履带0.2米/秒速率运行，包裹尺寸按照双肩包0.4米计算，包裹到x光检查机中轴时开始扫描，到包裹全部扫描完成并出图需耗时2秒。x光检查机中轴(x光开始扫描的位置)到安检机出包口履带末端总长1.010米，包裹从x光检查机中轴到出包口履带末端总时长＝1.010米/0.2米/秒＝5.05秒。因此x光检查机发送的包裹信息中的时间标识为拍摄时间，根据包裹在x光检查机中的时间，设定可选时间间隔x取值在2s-3s时，可以判定拍摄时刻点t2前2s-3s的闸机所拍摄的图片为该包裹所述对应的旅客图片信息，从而实现人包关联。此种模糊计算关联忽略了每次包裹放置未知的差异性，将所述差异性抽象为一个统一的选时间间隔x，即无法确定ta与tb之间的时间间隔，ta为包裹进入外置摄像头拍摄区域的时刻，tb为包裹离开外置摄像头拍摄区域的时刻，导致关联准确性降低。
[0069]
一种提升包裹关联准确率的方法，在安检机外部的传送带上方设置有外置摄像头，具体包括以下步骤：
[0070]
s1、对外置摄像头拍摄的包裹图片进行图像识别，获得实物包裹图片，并按包裹拍摄时刻将实物包裹图片存入数据库中；
[0071]
s2、对x光安检机拍摄的x光机图片进行图像识别，获得x光包裹图片，并记录提取时刻t1，所述提取时刻t1为完整包裹提取时刻点；
[0072]
s3、根据所述提取时刻t1，传送带的移动速率v以及包裹在传送带上的运动位移，计算包裹在进包口铅帘位置处的时刻和/或包裹在外置摄像头拍摄区域内运动的时间段，将所述时刻确定为关联时间点，将所述时间段确定为关联时间段；
[0073]
s4、从所述数据库中提取关联时间点对应的实物包裹图片和/或关联时间段内的实物包裹图片集。
[0074]
需要说明的是，通过“包裹在外置摄像头拍摄区域内运动的时间段”对应的可以确定实物包裹图片存入数据库中的时间(忽略图像识别及摄像头传输时间)。
[0075]
具体地，所述步骤s4中提取包括精确提取和/或模糊提取。
[0076]
在一种实施例中，所述精确提取，外置摄像头拍摄安检机进包口铅帘处的实物包裹图片，具体包括以下步骤：
[0077]
根据当前安检机型号确定x光扫描点与进包口铅帘的距离s；
[0078]
获得包裹的实物长度s0；
[0079]
获得传送带的移动速率v；
[0080]
根据所述距离s、长度s0以及移动速率v，计算关联时间差t＝(s s0)/v；
[0081]
根据所述关联时间差t、提取时刻t1，获得包裹在进包口铅帘位置处的时刻t0，所述t0＝t1-t；
[0082]
从所述数据库中提取时刻t0对应的实物包裹图片。
[0083]
需要说明的是，系统内置不同安检机型号以及其对应的x光扫描点与进包口铅帘的距离s，只需要根据安检机型号通过查询法进行匹配。
[0084]
获得包裹的实物长度s0，具体包括以下步骤:
[0085]
获得预设参照物实物长度a；
[0086]
在x光机图片中获得预设参照物沿传送带运动方向的像素值为a，包裹沿传送带运动方向的像素值为b；
[0087]
根据所述长度a、像素值a以及像素值b，计算包裹的实物长度s0＝a*b/a。
[0088]
在一种实施例中，所述模糊提取还包括：将所述x光包裹图片与实物包裹图片集进行相似性匹配，获得关联的x光包裹图片及其对应的包裹图片。通过相似性匹配，精准定位与x光包裹图片关联的包裹图片，所获得的包裹图片应为关联性最高的一张图片。
[0089]
所述传送带上沿传送带的运动方向布设有外置摄像头拍摄区域、x光扫描区域，所述外置摄像头拍摄区域、x光扫描区域分别布设在安检机铅帘的两侧，所述关联时间段为[ta，tb]，其中ta为包裹进入外置摄像头拍摄区域的时刻，tb为包裹离开外置摄像头拍摄区域的时刻。
[0090]
需要说明的是，拍摄区域包含安检机进包口位置。
[0091]
具体地，所述提取时刻t1为基于包裹在x光机图片中预设位置的识别提取，所述预设位置与安检机内x光扫描点的物理位置一一对应，所述时刻ta，具体由以下步骤获得：
[0092]
获得传送带的移动速率v；
[0093]
获得包裹从传送带起始位置运动至安检机内对应的物理位置的位移s1以及包裹的实物长度s0；
[0094]
计算包裹从传送带起始位置运动至安检机内对应的物理位置的时间段t1＝(s1 s0)/v；
[0095]
根据所述提取时刻t1、时间段t1计算时刻ta＝t1-t1。
[0096]
具体地，所述外置摄像头拍摄区域、x光扫描区域相邻设置，以安检机的进包口铅帘为相邻间隔进行划分，所述时刻tb，具体由以下步骤获得：
[0097]
获得传送带的移动速率v；
[0098]
获得包裹在x光扫描区域中运动至对应的物理位置的位移s2以及包裹的实物长度s0；
[0099]
计算包裹在x光扫描区域中运动至对应的物理位置的时间段t2＝(s2 s0)/v；
[0100]
根据所述提取时刻t1、时间段t2计算时刻tb＝t1-t2。
[0101]
需要说明的是，在所述摄像头至所述传送带的视场中，在距离所述摄像头预设距离的位置处设置所述标定窗口，其中所述标定窗口具有预定的物理窗口尺寸；基于所述标定窗口的窗口像素值和所述包裹运动轨迹的像素值以及所述物理窗口尺寸，估计所述包裹运动轨迹相对于所述标定窗口的实际值，其中所述窗口尺寸与所述包裹运动轨迹的像素比和物理尺寸比相等。
[0102]
其中，还可以在预设区域上粘贴有已知尺寸的贴纸等标志作为参考，这里不做限定。并且，该标定窗口可移动地设置于预定区域内，即该标定窗口是可以移动的，在进行标定时可以由工作人员放置在该预定区域内的任意位置。例如，该参照物可以为一个立方体，且尺寸已知并存储在装置中。
[0103]
在一种实施例中，所述外置摄像头拍摄区域、x光扫描区域相邻设置，以安检机的进包口铅帘为相邻间隔进行划分，所述安检机外部的传送带上设置标定物，所述位移s1的实际值ws’，通过实验标定法获得，所述标定法具体包括以下步骤:
[0104]
获得包含标定物以及包裹的包裹图片，所述标定物沿传送带运动方向的长度为ys’；
[0105]
在包裹图片中获得标定物沿传送带运动方向的像素值为yx’，包裹运动至x光扫描区域的位移s1的像素值为wx’；
[0106]
计算包裹运动至x光扫描区域的位移s1的实际值ws’，所述wb’满足ys’/yx’＝ws’/wx’。
[0107]
具体地，所述位移s2的实际值ws，通过实验标定法获得，所述标定法具体包括以下步骤:
[0108]
获得位于预设位置的标定包裹的x光机图片，所述标定包裹沿传送带运动方向的长度为ys；
[0109]
在x光机图片中获得标定包裹沿传送带运动方向的像素值为yx，位移s2的像素值为wx；
[0110]
计算位移s2的实际值ws，所述ws满足ys/yx＝ws/wx。
[0111]
在一种实施例中，所述外置摄像头拍摄区域、x光扫描区域间隔设置，所述外置摄像头拍摄区域与x光扫描区域在传送带上的分布情况，其中包括三种情形：
[0112]
场景情形一：所述x光扫描区域位于安检机进包口铅帘位置处，所述外置摄像头拍摄区域远离安检机进包口铅帘位置处；
[0113]
场景情形二：所述x光扫描区域远离安检机进包口铅帘位置处，所述外置摄像头拍摄区域位于安检机进包口铅帘位置处；
[0114]
场景情形三：所述x光扫描区域远离安检机进包口铅帘位置处，所述外置摄像头拍摄区域远离安检机进包口铅帘位置处；
[0115]
针对以上三种情形，需要说明的是，在进行每一台安检机安装调试时，可以通过测量获得位移s1、位移s2，其中位移s1为包裹在传送带上的起始位置运动至x光扫描点的位置的距离，位移s2为外置摄像头拍摄区域边缘至x光扫描点的位置的距离。在情形二中，位移s2为安检机进包口铅帘至x光扫描点的位置的距离。
[0116]
进一步地，所述相似性匹配，具体计算步骤如下：
[0117]
将图片转换为灰度图片；
[0118]
将灰度图像转换为二值图片；
[0119]
将二值图片的像素按顺序排列，得到比特序列,所述比特序列为图片的感知哈希值；
[0120]
分别计算x光包裹图片的感知哈希值与实物包裹图片集的每个感知哈希值中不同的比特数目，找到最小的不同的比特数目总数，输出对应的关联的x光包裹图片及其对应的包裹图片。
[0121]
示例性的，对于外置摄像头拍摄区域、x光扫描区域相邻的情况：
[0122]
在传送带的正上方安装一个摄像机，用于获取传送带上的包裹的rgb图像。其中s1表示传送带包裹放置到包裹进入安检机x光机扫描点成像的距离，sx表示包裹进入安检机x光机进包口铅帘到x光机扫描点的距离。记传送带的速度为v。
[0123]
1、当包裹放上传送带后，外置摄像机会定时拍摄传送带上的图片，记为图片p。p中可能包含多个包裹，同时把抓拍的时间记为t0.
[0124]
2、对图片p进行包裹识别和提取，分别提取出包裹图片，同时去重，记为b0i，表示在t0时刻拍摄提取出的第i个包裹。然后把b0i存入数据库中。
[0125]
3、当包裹提取算法从x光机图片中提取出包裹后，记为b1i，提取的时间记为t1。
[0126]
4、可以计算到，当包裹完全进入安检机到包裹安检机图像成像完毕的时间t1＝(s1-sx s0)/v，传送带送最左边运动到x光机扫描点的成像位置的时间为t2＝(s1 s0)/v。
[0127]
5、根据4中计算的时间，然后从数据库中找出[t1-t2,t1-t1]智检的包裹实物图集合q。
[0128]
6、然后把t1时刻得到的包裹的x光图片与包裹识图集合q中包裹rgb图片进行相似性适配，相似性适配主要从形状和大小就是适配。然后得到t1时刻包裹x光图片对应的包裹图片。
[0129]
实施例2
[0130]
一种提升包裹关联准确率的控制装置，包括：
[0131]
一个或多个处理器；
[0132]
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据所述的一种提升包裹关联准确率的
方法。
[0133]
实施例3，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现所述的一种提升包裹关联准确率的方法。
[0134]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。