物品关联方法、计算机设备及存储装置与流程

1.本技术涉及图像处理技术领域，特别是涉及一种物品关联方法、计算机设备及存储装置。


背景技术：

2.安检目前广泛应用于各类公共场所，例如地铁站、火车站、机场、汽车站等场所，安检可对对各场所进行安全检查，以避免各场所出现安全问题。
3.在安检的过程中，通常使用安检机对人员的包裹进行安全检测，可以将包裹的伪彩图的形式展示给安检人员，当安检人员在伪彩图上发现危险物品时，不能快速的确定出现危险物品的包裹，在一些情况下，还会出现错认包裹的情况，包裹关联的准确性低，还会影响安检人员正常的安检工作。


技术实现要素：

4.本技术主要解决的技术问题是提供一种物品关联方法、计算机设备及存储装置，能够提高物品关联的准确度。
5.为了解决上述问题，本技术第一方面提供了一种物品关联方法，该方法包括：获取同一时间段利用不同成像方式采集的第一视频和第二视频；确定第一视频中多个第一物品区域各自对应的第一物品轮廓特征；以及确定第二视频中多个第二物品区域各自对应的第二物品轮廓特征；基于确定的各个第一物品轮廓特征和确定的各个第二物品轮廓特征，对多个第一物品区域和多个第二物品区域进行关联。
6.为了解决上述问题，本技术第二方面提供了一种计算机设备，该计算机设备包括相互耦接的存储器和处理器，存储器中存储有程序数据，处理器用于执行程序数据以实现上述方法中的任一步骤。
7.为了解决上述问题，本技术第三方面提供了一种存储装置，该存储装置存储有能够被处理器运行的程序数据，程序数据用于实现上述方法中的任一步骤。
8.上述方案，通过获取同一时间段利用不同成像方式采集的第一视频和第二视频；确定第一视频中多个第一物品区域各自对应的第一物品轮廓特征；以及确定第二视频中多个第二物品区域各自对应的第二物品轮廓特征；基于确定的各个第一物品轮廓特征和确定的各个第二物品轮廓特征，对多个第一物品区域和多个第二物品区域进行关联，由于通过不同成像方式得到的物品的第一视频和第二视频，不同成像方式的第一视频和第二视频中物品的轮廓特征基本一致，通过多个第一物品区域对应的第一物品轮廓特征和多个第二物品区域对应的第二物品轮廓特征，对第一物品区域和第二物品区域进行关联，可以提高物品关联的准确度。
附图说明
9.为了更清楚地说明本技术中的技术方案，下面将对实施例描述中所需要的附图作
简单的介绍，显而易见地，下面描述的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
10.图1是本技术物品关联方法第一实施例的流程示意图；
11.图2是本技术图1中步骤s12第一实施例的流程示意图；
12.图3是本技术射线成像方式的视频图像帧一实施例的实例示意图；
13.图4是本技术图1中步骤s12第二实施例的流程示意图；
14.图5是本技术自然成像方式的视频图像帧一实施例的实例示意图；
15.图6是本技术图1中步骤s13之前步骤一实施例的流程示意图；
16.图7是本技术图1中步骤s13一实施例的流程示意图；
17.图8是本技术第一物品轮廓特征第一实施例的实例示意图；
18.图9是本技术第一物品轮廓特征第二实施例的实例示意图；
19.图10是本技术第二物品轮廓特征一实施例的实例示意图；
20.图11是本技术匹配的特征组一实施例的实例示意图；
21.图12是本技术图1中步骤s13另一实施例的流程示意图；
22.图13是本技术匹配的特征组另一实施例的实例示意图；
23.图14是本技术物品关联装置一实施例的结构示意图；
24.图15是本技术计算机设备一实施例的结构示意图；
25.图16是本技术存储装置一实施例的结构示意图。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.本技术中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
28.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
29.本技术提供以下实施例，下面对各实施例进行具体说明。
30.请参阅图1，图1是本技术物品关联方法第一实施例的流程示意图。该方法可以包括以下步骤：
31.s11：获取同一时间段利用不同成像方式采集的第一视频和第二视频。
32.获取同一时间段利用不同成像方式得到物品的第一视频和第二视频，例如在进行安检的过程中，工作人员可以利用安检机对人员的物品进行安检，在对物品进行安检的时间段内，可以利用不同成像方式得到物品的第一视频和第二视频。其中，物品可以是人员携带的包裹、行李等物品，本技术对此不做限制。
33.在一些实施方式中，第一视频和第二视频的其中一个视频利用自然成像方式拍摄得到的。
34.在另一些实施方式中，第一视频和第二视频的其中一个视频是采用射线成像方式得到的。
35.本技术以第一视频是利用自然成像方式拍摄得到的，第二视频是采用射线成像方式得到的为例进行说明，本技术对此不做限制。
36.在一些实施方式中，对传送装置上放置的物品利用自然成像方式拍摄得到的第一视频。例如在进行安检的过程中，工作人员或行人可以将物品放置在传送装置上，其中，物品可以是包裹、行李等，利用安检机的传送装置放置物品并对物品进行传输，可以在安检机上或附近安装摄像装置，在传送装置对物品传输的过程中，利用摄像装置对传送装置上物品拍摄得到的第一视频，可以将第一视频中的图像帧作为物品的第一图像帧。
37.在一些实施方式中，可以获取检测装置对传送装置传送的物品采用射线成像方式得到的第二视频。当传送装置将物品传送至检测装置时，可以利用检测装置对传送装置传送的物品进行射线成像得到第二视频。例如使用x光检测装置对传送装置上的物品进行x射线检测，通过x射线成像得到物品的第二视频，可以将第二视频的图像帧作为物品的第二图像帧。
38.s12：确定第一视频中多个第一物品区域各自对应的第一物品轮廓特征；以及确定第二视频中多个第二物品区域各自对应的第二物品轮廓特征。
39.分别对第一视频和第二视频进行物品检测，以检测得到第一视频和第二视频中物品所在的区域，从而可以确定第一视频中多个第一物品区域各自对应的第一物品轮廓特征，以及确定第二视频中多个第二物品区域各自对应的第二物品轮廓特征。
40.其中，对第一视频的多个第一物品区域进行检测时，可以对第一视频中的每张第一图像帧进行物品检测，每张第一图像帧可以包括一个第一物品区域，每张第一图像帧也可以包括多个第一物品区域，对第一视频中的每张第一图像帧进行检测，可以得到第一视频中的多个第一物品区域；同理，对第二视频中的每张第二图像帧进行检测，可以得到第二视频中的多个第二物品区域。
41.确定第一视频的多个第一物品区域及第二视频的多个第二视频区域之后，可以对物品区域对应的物品轮廓进行检测，得到多个第一物品区域对应的多个第一物品轮廓特征，以及多个第二物品区域对应的多个第二物品轮廓特征，其中，一个物品区域可以对应一个物品轮廓特征。
42.s13：基于确定的各个第一物品轮廓特征和确定的各个第二物品轮廓特征，对多个第一物品区域和多个第二物品区域进行关联。
43.采用不同成像方式得到物品的第一视频和第二视频，分别对第一视频和第二视频进行物品检测，获取第一视频中多个第一物品区域对应的第一物品轮廓特征，以及第二视频中多个第二物品区域对应的第二物品轮廓特征之后，由于物品的轮廓特征在不同成像方
式下是相似的，利用各第一物品区域对应的第一物品轮廓特征和各第二物品区域对应的第二物品轮廓特征，对第一视频的多个第一物品区域和第二视频的多个第二物品区域进行匹配，也即是对多个第一物品区域和多个第二物品区域进行关联，从而将第一视频的第一物品区域和第二视频中的第二物品区域进行关联。
44.本实施例中通过获取同一时间段利用不同成像方式采集的第一视频和第二视频；确定第一视频中多个第一物品区域各自对应的第一物品轮廓特征；以及确定第二视频中多个第二物品区域各自对应的第二物品轮廓特征；基于确定的各个第一物品轮廓特征和确定的各个第二物品轮廓特征，对多个第一物品区域和多个第二物品区域进行关联，由于通过不同成像方式得到的物品的第一视频和第二视频，不同成像方式的第一视频和第二视频中物品的轮廓特征基本一致，通过多个第一物品区域对应的第一物品轮廓特征和多个第二物品区域对应的第二物品轮廓特征，对第一物品区域和第二物品区域进行关联，可以提高物品关联的准确度。从而在安检过程中，若发现出现危险物品，可以及时的对物品进行关联。另外，由于上述方案不依赖于物品的第一视频和第二视频的在硬件的时间同步，在软件层面解决物品关联的问题，使得该方案更具有普适性。
45.在一些实施方式中，请参阅图2，上述步骤s12中，第一视频和第二视频的其中一个视频的成像方式为射线成像方式；确定第一视频中多个第一物品区域；或者，确定第二视频中多个第二物品区域，可以包括以下步骤：
46.s1211：对采用射线成像方式的视频的每个图像帧的进行预设方向的灰度值投影。
47.对于上述步骤s12，第一视频和第二视频的其中一个视频的成像方式为射线成像方式。若第一视频采用射线成像方式，则上述步骤s12中确定第一视频中多个第一物品区域的具体实施过程可以参考本实施例的步骤具体实施过程。若第二视频采用射线成像方式，则上述步骤s12中确定第二视频中多个第二物品区域的具体实施过程可以参考本实施例的步骤具体实施过程。本技术以第二视频的成像方式为射线成像方式为例进行说明，本技术对此不做限制。
48.对采用射线成像方式的视频的图像帧的进行预设方向的灰度值投影，也即是可以对视频的图像帧进行直方图统计，例如对第二视频的第二图像帧进行预设方向的灰度值投影，其中，预设方向可以包括水平方向和垂直方向。
49.s1212：基于灰度值投影，确定采用射线成像方式的视频中的多个物品区域。
50.对视频的图像帧在水平方向和垂直方向做灰度值投影之后，计算得到每个物品在每个预设方向上所占用的峰值，确定在预设方向的灰度值投影的峰值，其中，预设方向包括水平方向和垂直方向，从而可以确定在水平方向的灰度值投影的最大值、最小值，在垂直方向上的灰度值投影的最大值、最小值。
51.将预设方向上相邻两个峰值之间的位置作为物品区域在预设方向上的位置。具体地，基于在水平方向的灰度值投影的最大值和最小值、在垂直方向上的灰度值投影的最大值和最小值，确定物品区域的坐标位置，也即是确定物品区域的位置，得到视频的图像帧对应的多个第二物品区域。
52.请参阅图3，以第二视频的成像方式为射线成像方式为例进行说明，本技术对此不做限制。第二视频的第二图像帧100中可以包括1个或多个物品101，其中，第二图像帧100的成像方式为射线成像方式，例如x射线成像方式。可以对第二图像帧100进行物品101检测，
得到第二图像帧100中的多个第二物品区域102。具体地，可以对第二图像帧100的进行预设方向的灰度值投影，基于灰度值投影，确定在水平方向的灰度值投影的最大值、最小值，在垂直方向上的灰度值投影的最大值、最小值，从而确定第二图像帧100中多个物品101的第二物品区域102。
53.在一些实施方式中，请参阅图4，上述步骤s12中，第一视频和第二视频的其中一个视频的成像方式为自然成像方式；确定第一视频中多个第一物品区域；或者，确定第二视频中多个第二物品区域，可以包括以下步骤：
54.s1221：对采用自然成像方式的视频的每个图像帧进行校正；其中，校正包括方向校正和/或形状校正。
55.对于上述步骤s12，第一视频和第二视频的其中一个视频的成像方式为自然成像方式，若第一视频采用自然成像方式，则上述步骤s12中确定第一视频中多个第一物品区域的具体实施过程可以参考本实施例的步骤具体实施过程。若第二视频采用自然成像方式，则上述步骤s12中确定第二视频中多个第二物品区域的具体实施过程可以参考本实施例的步骤具体实施过程。本技术以第一视频的成像方式为自然成像方式为例进行说明，本技术对此不做限制。
56.在步骤s12中，为了与采用射线成像方式的图像帧中的物品区域的位置对齐，便于后续更好的对物品区域进行匹配，在对视频进行物品区域检测之前，可以对采用自然成像方式的视频的图像帧进行校正；其中，校正包括方向校正和/或形状校正，使得对自然成像的视频的物品的区域与射线成像的视频的物品区域更匹配。其中，方向校正可以是对视频的图像帧的画面进行预设角度或方向的进行旋转，形状校正可以是对视频的图像帧的画面校正为预设形状等，本技术不限于此。
57.请参阅图5，以第一视频的成像方式为自然成像方式为例进行说明，本技术对此不做限制。例如第一视频的第一图像帧200是传送装置201的摄像装置(未示出)对物品202拍摄得到的，其中，物品202放置在传送装置201上进行传输，第一图像帧200中画面是由近及远的拍摄方向得到的，第一图像帧200的画面中传送装置201画面呈现梯形，传送装置201的画面可以理解为第一图像帧200中的背景图像，为了与第二视频的第二图像帧的物品位置及方向对齐，可以对第一视频的第一图像帧200进行校正，也即是进行方向校正和/或形状校正，例如可以将第一图像帧200的方向旋转90
°
，将第一图像帧200的传送装置201画面进行形状校正，也即将第一图像帧200的传送装置201所在的区域的画面拉伸为矩形，将经过校正后的第一图像帧200进行物品检测。
58.在一些实施方式中，可以对第一图像帧200中包括传送装置201的预设区域203进行校正，例如第一图像帧200中传送装置201包括物品202的预设区域203呈现梯形，可以对预设区域203进行方向校正和/或形状校正，可以将预设区域203的方向旋转90
°
，将预设区域203的形状拉伸调整为矩形，以得到校正后的第一图像帧200。
59.s1222：采用预设目标检测算法对采用自然成像方式的视频的每个图像帧进行物品检测，得到采用自然成像方式的视频中的多个物品区域。
60.可以采用预设目标检测算法对采用自然成像方式的视频的图像帧进行物品检测，得到采用射线成像方式的视频的图像帧中的物品区域。例如采用预设目标检测算法对第一视频进行物品检测，得到第一视频中多个第一物品区域。其中，预设目标检测算法可以是采
用深度神经网络的检测算法，例如预设目标检测算法可以包括faster rcnn(faster region-based convolutional neural networks)、ssd(single shot multibox detector)、yolo(you only look once)、cascade rcnn(cascade region-based convolutional neural networks)等目标检测算法，本技术对此不做限制。
61.本实施例中，通过对采用自然成像方式的视频的图像帧进行方向校正和/或形状校正，使得采用自然成像方式的视频的和采用射线成像方式的视频的中的物品处在同样的场景中，更利于对采用自然成像方式的视频和采用射线成像方式的视频的物品区域进行匹配，提高不同成像方式的视频的物品进行匹配的可行性，提高多个第一物品区域和多个第二物品区域匹配的准确性。
62.在一些实施例中，请参阅图6，在上述步骤s13基于确定的各个第一物品轮廓特征和确定的各个第二物品轮廓特征，对多个第一物品区域和多个第二物品区域进行关联之前，还包括以下步骤：
63.s21：分别对多个第一物品区域和多个第二物品区域进行前景分割，得到多个第一物品区域和多个第二物品区域的前景分割结果。
64.可以分别对第一视频的多个第一物品区域和第二视频的多个第二物品区域进行前景分割。对于第一物品区域，由于是通过采用自然成像方式的第一视频的图像帧得到的第一物品区域，自然光下得到的第一视频的图像帧可以显示物品的外部信息，并且图像帧的背景图像是传送带所在区域的信息，对第一物品区域进行前景分割，可以提取图像中前景的物品信息，得到多个第一物品区域的前景分割结果。对于第二物品区域，由于是通过由采用射线成像方式的第二视频得到的第二物品区域，例如x射线成像方式得到的图像帧，由于x射线的穿透性，物品内部及边缘的信息会全部体现在x射线的成像得到的第二视频的图像帧上，在x射线成像的图像帧的背景可以是传送带所在区域的信息，在对第一物品区域进行前景分割时，可以提取图像帧的前景，也即是得到去除传送带所在区域的背景信息，得到包括物品内部及边缘的信息的图像帧，从而得到多个第一物品区域的前景分割结果。
65.在一些实施方式中，可以采用otsu算法分别对第一物品区域和第二物品区域进行前景分割，以得到第一物品区域和第二物品区域的前景分割结果。其中，otsu算法是按第一物品区域或第二物品区域的图像的灰度特性，将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量，背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此，使背景和前景之间的类间方差最大的分割意味着背景和前景的错分概率最小。
66.s22：基于多个第一物品区域和多个第二物品区域的前景分割结果，对应得到多个第一物品区域的第一物品轮廓特征和多个第二物品区域的第二物品轮廓特征。
67.基于多个第一物品区域和多个第二物品区域的前景分割结果，根据第一物品区域和第二物品区域所在的位置，抑制第一物品区域和第二物品区域的内部区域信息，以获取第一物品区域和第二物品区域的外部轮廓信息，从而得到对应的第一物品区域和第二物品区域的物品轮廓特征，也即是得到第一物品区域对应的第一物品轮廓特征和第二物品区域对应的第二物品轮廓特征。
68.第一视频和第二视频在成像方式上有很大的差异，通过获取第一物品区域和第二物品区域的物品轮廓特征，使得将第一物品区域和第二物品区域转换到具备相同特征的维
度，也即是物品轮廓特征的维度，使得可以通过第一物品区域和第二物品区域的轮廓特征进行匹配。
69.在一些实施例中，请参阅图7，上述步骤s13中，基于确定的各个第一物品轮廓特征和确定的各个第二物品轮廓特征，对多个第一物品区域和多个第二物品区域进行关联，可以包括以下步骤：
70.s1311：基于确定的各个第一物品轮廓特征，获得至少一个第一特征组；其中，第一特征组中包含第一视频中连续出现的n1个第一物品轮廓特征，n1为大于1的整数。
71.基于第一视频确定的各个第一物品轮廓特征，获取至少一个第一特征组，其中，可以将第一视频中连续的n1个第一物品轮廓特征作为第一特征组，也即是第一特征组中包含第一视频中连续出现的n1个第一物品轮廓特征，n1为大于1的整数。连续出现表示在第一视频中是按顺序连续出现的第一物品轮廓特征，也即是在第一视频中出现的顺序是连续的。例如n1为3，可以获取连续3个第一物品轮廓特征作为一个第一特征组，从而按照该方式可以得到多个第一特征组。
72.在一些实施方式中，在步骤s1311之前，可以对各第一物品轮廓特征进行排序。具体如下：
73.基于第一视频中出现第一物品轮廓特征的时间顺序，对各个第一物品轮廓特征进行排序。其中，第一视频中出现第一物品轮廓特征可以表示在第一视频中检测到物品的第一物品区域，检测出第一物品区域对应的第一物品轮廓特征。第一物品轮廓特征的排序是基于物品出现在第一视频中的先后时间顺序确定的。
74.在一些实施方式中，可以基于物品或第一物品轮廓特征完整出现在第一视频中的时间，作为对物品对应的第一物品轮廓特征进行排序的参考信息。或者，可以基于物品或第一物品轮廓特征完整出现在第一视频中的时间顺序，对物品对应的第一物品轮廓特征进行排序。
75.在一些实施方式中，若在第一视频中多个物品或多个第一物品轮廓特征出现的时间相同，则可以按照第一视频或第一视频的图像帧的预设排列方向对相同时间的第一物品轮廓特征进行排序。
76.在一些实施方式中，在对多个第一物品轮廓特征进行排序之后，执行上述步骤s1311，可以从经排序的各个第一物品轮廓特征中，依序选择第一视频中连续的n1个第二物品轮廓特征作为第一特征组。
77.请参阅图8，多个第一物品轮廓特征中，例如在按照时间顺序排序的第一物品轮廓特征1至第一物品轮廓特征6中，以n1为3进行说明，可以依序在第一物品轮廓特征1至第一物品轮廓特征6选择连续的3个第一物品轮廓特征作为第一特征组301，例如可以依照时间顺序排序的第一物品轮廓特征从排序第一个开始依次选择3个第一物品轮廓特征作为第一特征组301。选择第一物品轮廓特征1、第一物品轮廓特征2和第一物品轮廓特征3为第一个第一特征组301，选择第一物品轮廓特征4、第一物品轮廓特征5和第一物品轮廓特征6为第二个第一特征组301。
78.在一些实施方式中，请参阅图9，在按照时间顺序排序的第一物品轮廓特征1至第一物品轮廓特征6中，以n1为3为例进行说明，可以依照时间顺序排序的第一物品轮廓特征，以第一预设步长依序选择连续的3个第一物品轮廓特征作为第一特征组，其中，第一预设步
长小于n1。例如第一预设步长为1，可以选择第一物品轮廓特征1、第一物品轮廓特征2和第一物品轮廓特征3为第一个第一特征组302，选择第一物品轮廓特征2、第一物品轮廓特征3和第一物品轮廓特征4为第二个第一特征组302，选择第一物品轮廓特征3、第一物品轮廓特征4和第一物品轮廓特征5为第三个第一特征组302。
79.本技术中基于确定的各个第一物品轮廓特征，获得至少一个第一特征组，还可以采用其他方式的获取第一特征组，本技术对此不做限制。
80.s1312：基于确定的各个第二物品轮廓特征，获得至少一个第二特征组；其中，第二特征组中包含第二视频中连续出现的n1个第二物品轮廓特征。
81.在一些实施方式中，在步骤s1312之前，可以对各第二物品轮廓特征进行排序。具体如下：
82.同理，该过程可以参考第一物品轮廓特征的排序方式，对第二视频中的第二物品轮廓特征进行排序。
83.基于第二视频中出现第二物品轮廓特征的时间顺序，对各个第二物品轮廓特征进行排序。
84.在一些实施方式中，可以基于物品或第二物品轮廓特征完整出现在第二视频中的时间，作为对物品对应的第二物品轮廓特征进行排序的参考信息。或者，可以基于物品或第二物品轮廓特征完整出现在第二视频中的时间顺序，对物品对应的第二物品轮廓特征进行排序。
85.在一些实施方式中，若在第二视频中多个物品或多个第二物品轮廓特征出现的时间相同，则可以按照第二视频或第二视频的图像帧的预设排列方向对相同时间的第二物品轮廓特征进行排序。本技术对此不做限制。
86.在步骤s1312中，基于确定的各个第二物品轮廓特征，可以依次选择n1个第二物品轮廓特征得到至少一个第二特征组；其中，第二特征组中包含第二视频中连续出现的n1个第二物品轮廓特征。
87.在一些实施方式中，可以从各个第二物品轮廓特征中，以n2个第二物品轮廓特征为步长，依序选择第二视频中连续的n1个第二物品轮廓特征作为第二特征组，其中，n2为大于或等于1的整数。n2小于n1。
88.在一些实施方式中，将多个第二物品轮廓特征进行排序之后，可以从经排序的各个第二物品轮廓特征中，以n2个第二物品轮廓特征为步长，依序选择第二视频中连续的n1个第二物品轮廓特征作为第二特征组，其中，n2为大于或等于1的整数。
89.在一些实施方式中，请参阅图10，在排序后的多个第二物品轮廓特征中，例如在按照时间顺序排序的第二物品轮廓特征1至第二物品轮廓特征6中，以n1为3、n2为1为例进行说明，可以选择第二物品轮廓特征1、第二物品轮廓特征2和第二物品轮廓特征3为第一个第二特征组401，以一个第二轮廓特征为步长，选择第二物品轮廓特征2、第二物品轮廓特征3和第二物品轮廓特征4为第二个第二特征组401，第二物品轮廓特征3、第二物品轮廓特征4和第二物品轮廓特征5为第三个第二特征组401。以此类推，可以得到多个第二特征组401。
90.本技术中基于确定的各个第二物品轮廓特征，获得至少一个第二特征组，还可以采用其他方式的获取第二特征组，本技术对此不做限制。
91.本实施例中，上述步骤s1311和步骤s1312可以并列执行，也可以执行步骤s1311之
后再执行步骤s1312，本技术对上述步骤s1311和步骤s1312的执行顺序不做限制。
92.s1313：将至少一个第一特征组中各个第一特征组分别作为待处理特征组，执行如下操作：从至少一个第二特征组中，选取出与待处理特征组匹配的第二特征组；将待处理特征组中包含的n1个第一物品轮廓特征对应的第一物品区域和选取出的第二特征组包含的n1个第二物品轮廓特征对应的第二物品区域进行关联。
93.可以将各第一特征组与每个第二特征组进行匹配，选出与各第一特征组匹配的第二特征组，将匹配的第一特征组和第二特征组进行关联。
94.具体地，可以将至少一个第一特征组中各个第一特征组依次分别作为待处理特征组，执行如下操作：
95.从至少一个第二特征组中，选取出与待处理特征组匹配的第二特征组，也即是选出与每个第一特征组匹配的第二特征组，将待处理特征组(第一特征组)中包含的n1个第一物品轮廓特征对应的第一物品区域和选取出的第二特征组包含的n1个第二物品轮廓特征对应的第二物品区域进行关联。其中，第一特征组中n1个第一物品区域和匹配的第二特征组中n2个第二物品区域按照物品轮廓特征的排序进行一一关联。
96.在一些实施方式中，可以采用下述方式选取出与待处理特征组匹配的第二特征组：分别获取待处理特征组与各个第二特征组之间的相似度。例如计算第一特征组与第二特征组的相似度，可以采用余弦距离计算第一特征组与第二特征组之间的相似度，也即是计算第一特征组与第二特征组之间的余弦相似度，第一特征值和第二特征值之间的余弦值越接近1，可以表示第一特征值和第二特征值之间的相似度越高。本技术还可以采用其他的相似度计算方式获取第一特征组与各第二特征组之间的相似度，本技术对此不做限制。
97.选择相似度满足相似度要求的第二特征组，作为与待处理特征组(第一特征组)匹配的第二特征组。其中，相似度要求包括在待处理特征组与各第二特征组之间的相似度中的相似度最高，和/或，待处理特征组与第二特征组的相似度超过预设相似度阈值。例如可以将与待处理特征组相似度最高的第二特征组作为匹配的第二特征组，从而将匹配的待处理特征组(第一特征组)和第二特征组进行关联。
98.在一些实施方式中，第一特征组与第二特征组匹配，则可以分别将第一特征组包括的n1个第一物品轮廓特征和第二特征组包括的n1个第二物品轮廓特征分别进行关联，从而分别将n1个第一物品轮廓特征对应的第一物品区域和n1个第二物品轮廓特征对应的第二物品区域依次进行关联，其中，可以按照第一特征组包括的n1个第一物品轮廓特征与第二特征组包括的n1个第二物品轮廓特征的时间顺序的排序依次进行关联。
99.请参阅图11，例如匹配的特征组包括第一特征组500与第二特征组600匹配，第一特征组500包括第一物品轮廓特征501、第一物品轮廓特征502和第一物品轮廓特征503。第二特征组600包括第二物品轮廓特征601、第二物品轮廓特征602和第二物品轮廓特征603。在对第一特征组500和第二特征组600进行关联的过程中，可以将第一物品轮廓特征501与第二物品轮廓特征601进行关联，将第一物品轮廓特征502与第二物品轮廓特征602进行关联，将第一物品轮廓特征503与第二物品轮廓特征603进行关联。在一些实施方式中，在此匹配的特征组的基础上，还可以按照时间顺序的排序将对应的其他的第一物品轮廓特征与第二物品轮廓特征进行关联，本技术对此不做限制。
100.在一些实施方式中，上述步骤s13中，利用预设时间内的各第一物品区域对应的各
第一物品轮廓特征和第二物品区域中对应的各第二物品轮廓特征，对第一物品区域和第二物品区域进行关联。具体地，基于预设时间内的多个第一物品区域对应的多个第一物品轮廓特征，获取至少一个第一特征组，基于预设时间内的多个第二物品区域对应的多个第二物品轮廓特征，获取至少一个第二特征组。从而为预设时间内的各第一特征组选出匹配的第二特征组，以组成匹配的特征组。将匹配的特征组中对应的第一物品区域和第二物品区域进行关联。
101.在一些实施方式中，找出各第一特征组匹配的第二特征组后，各第一特征组与匹配的第二特征组组成多个匹配的特征组，可以从多个匹配的特征组中选出匹配度最高的第一特征组和第二特征组，将匹配的第一特征组与第二特征组进行关联，并可以按照匹配的第一特征组与第二特征组对其他第一物品轮廓特征和第二物品轮廓特征进行关联，其中，可以将第一特征组作为第一轮廓特征的起点，匹配的第二特征组作为第二轮廓特征的起点，按照时间排序的顺序将对应的其他第一物品轮廓特征和第二物品轮廓特征进行关联。
102.本实施例中，通过利用各第一物品区域和各第二物品区域中的物品轮廓特征，对第一物品区域和第二物品区域进行关联，通过物品轮廓特征对物品区域进行关联，使得射线成像和自然光成像的物品在特征上具备相似条件，增加物品相似度的可靠性。
103.另外，通过基于确定的各个第一物品轮廓特征，获得至少一个第一特征组，基于确定的各个第二物品轮廓特征，获得至少一个第二特征组，为各第一特征组选出匹配的第二特征组，将至少一个第一特征组中各个第一特征组分别作为待处理特征组，执行如下操作：从至少一个第二特征组中，选取出与待处理特征组匹配的第二特征组；将待处理特征组中包含的n1个第一物品轮廓特征对应的第一物品区域和选取出的第二特征组包含的n1个第二物品轮廓特征对应的第二物品区域进行关联，通过特征组中n1个物品轮廓特征联合匹配的方式，可以减少算法的计算复杂度，降低算法所耗的时间，并且也增加了物品关联的可信度。
104.在一些实施例中，请参阅图12，上述步骤s13中，基于确定的各个第一物品轮廓特征和确定的各个第二物品轮廓特征，对多个第一物品区域和多个第二物品区域进行关联，还可以包括以下步骤：
105.s1321：基于确定的各个第一物品轮廓特征，获得至少一个第一特征组；其中，第一特征组中包含第一视频中连续出现的n1个第一物品轮廓特征，n1为大于1的整数。
106.s1322：基于确定的各个第二物品轮廓特征，获得至少一个第二特征组；其中，第二特征组中包含第二视频中连续出现的n1个第二物品轮廓特征。
107.本实施例中步骤s1321和步骤s1322可以参考上述实施例中步骤s1311和步骤s1312的具体实施过程，本技术在此不再赘述。
108.s1323：将至少一个第一特征组中各个第一特征组分别作为待处理特征组，执行如下操作：从至少一个第二特征组中，依序选出第二特征组与待处理特征组获取相似度；若相似度大于预设相似度阈值，将待处理特征组中包含的n1个第一物品轮廓特征对应的第一物品区域和选取出的第二特征组包含的n1个第二物品轮廓特征对应的第二物品区域进行关联；以及，将待处理特征组在预设范围包含的n3个第一物品轮廓特征对应的第一物品区域和选取出的第二特征组在预设范围包含的n3个第二物品轮廓特征对应的第二物品区域进行关联。
109.可以将各第一特征组与每个第二特征组进行匹配，选出与各第一特征组匹配的第二特征组，将匹配的第一特征组和第二特征组进行关联。
110.具体地，可以将至少一个第一特征组中各个第一特征组依次分别作为待处理特征组，执行如下操作：
111.从至少一个第二特征组中，依序选出第二特征组与待处理特征组(第一特征组)获取相似度。若相似度大于预设相似度阈值，则将待处理特征组(第一特征组)中包含的n1个第一物品轮廓特征对应的第一物品区域和选取出的第二特征组包含的n1个第二物品轮廓特征对应的第二物品区域进行关联。并且将待处理特征组(第一特征组)在预设范围包含的n3个第一物品轮廓特征对应的第一物品区域和选取出的第二特征组在预设范围包含的n3个第二物品轮廓特征对应的第二物品区域依次进行关联，其中，n3为大于或等于1的整数。
112.请参阅图13，例如第一特征组700与第二特征组800是匹配的特征组，第一特征组700包括第一物品轮廓特征701、第一物品轮廓特征702和第一物品轮廓特征703。第二特征组800包括第二物品轮廓特征801、第二物品轮廓特征802和第二物品轮廓特征803。在对第一特征组700和第二特征组800进行关联的过程中，可以将第一物品轮廓特征701与第二物品轮廓特征801进行关联，将第一物品轮廓特征702与第二物品轮廓特征802进行关联，将第一物品轮廓特征703与第二物品轮廓特征803进行关联。并且可以将第一特征组700在预设范围包含的n3个第一物品轮廓特征对应的第一物品区域和选取出的第二特征组800在预设范围包含的n3个第二物品轮廓特征对应的第二物品区域依次进行关联，也即是可以将第一物品轮廓特征704与第二物品轮廓特征804进行关联，可以将第一物品轮廓特征705与第二物品轮廓特征805进行关联，以此类推，可以将预设时间内或预设范围的所有第一物品轮廓和第二物品轮廓进行全部关联。
113.对于上述实施方式，本技术提供一种物品关联装置。请参阅图14，图14是本技术物品关联装置一实施例的结构示意图。该物品关联装置60包括获取模块61、检测模块62和关联模块63，其中，获取模块61、检测模块62和关联模块63连接。
114.获取模块61用于获取同一时间段利用不同成像方式采集的第一视频和第二视频。
115.检测模块62用于确定第一视频中多个第一物品区域各自对应的第一物品轮廓特征；以及确定第二视频中多个第二物品区域各自对应的第二物品轮廓特征。
116.关联模块63用于基于确定的各个第一物品轮廓特征和确定的各个第二物品轮廓特征，对多个第一物品区域和多个第二物品区域进行关联。
117.在一些实施方式中，其中，第一视频和第二视频的其中一个视频的成像方式为射线成像方式；第一视频和第二视频的其中一个视频的成像方式为自然成像方式。获取模块61还可以用于对传送装置上放置的物品利用自然成像方式拍摄得到的第一视频；以及获取检测装置对传送装置传送的物品采用射线成像方式得到的第二视频。
118.在一些实施方式中，第一视频和第二视频的其中一个视频的成像方式为射线成像方式。检测模块62还可以用于对采用射线成像方式的视频的每个图像帧的进行预设方向的灰度值投影；基于灰度值投影，确定采用射线成像方式的视频中的多个物品区域。
119.其中，基于灰度值投影，确定采用射线成像方式的视频中的多个物品区域，包括：确定在预设方向的灰度值投影的峰值，其中，预设方向包括水平方向和垂直方向；将预设方向上相邻两个峰值之间的位置作为物品区域在预设方向上的位置。
120.在一些实施方式中，第一视频和第二视频的其中一个视频的成像方式为自然成像方式。检测模块62还可以用于采用预设目标检测算法对采用自然成像方式的视频的每个图像帧进行物品检测，得到采用射线成像方式的视频中的多个物品区域。
121.在一些实施方式中，第一视频和第二视频的其中一个视频的成像方式为自然成像方式。检测模块62可以用于对采用自然成像方式的视频的每个图像帧进行校正；其中，校正包括方向校正和/或形状校正。
122.在一些实施方式中，检测模块62还可以用于分别对多个第一物品区域和多个第二物品区域进行前景分割，得到多个第一物品区域和多个第二物品区域的前景分割结果。基于多个第一物品区域和多个第二物品区域的前景分割结果，对应得到多个第一物品区域的第一物品轮廓特征和多个第二物品区域的第二物品轮廓特征。
123.在一些实施方式中，关联模块63还可以用于基于确定的各个第一物品轮廓特征，获得至少一个第一特征组；其中，第一特征组中包含第一视频中连续出现的n1个第一物品轮廓特征，n1为大于1的整数。基于确定的各个第二物品轮廓特征，获得至少一个第二特征组；其中，第二特征组中包含第二视频中连续出现的n1个第二物品轮廓特征。将至少一个第一特征组中各个第一特征组分别作为待处理特征组，执行如下操作：从至少一个第二特征组中，选取出与待处理特征组匹配的第二特征组；将待处理特征组中包含的n1个第一物品轮廓特征对应的第一物品区域和选取出的第二特征组包含的n1个第二物品轮廓特征对应的第二物品区域进行关联。
124.其中，为各第一特征组选出匹配的第二特征组，包括：分别获取第一特征组与各第二特征组之间的相似度；选择相似度满足相似度要求的第二特征组，作为与第一特征组匹配的第二特征组。
125.在一些实施方式中，关联模块63还可以用于基于第一视频中出现第一物品轮廓特征的时间顺序，对各个第一物品轮廓特征进行排序。从经排序的各个第一物品轮廓特征中，依序选择第一视频中连续的n1个第二物品轮廓特征作为第一特征组。以及，基于第二视频中出现第二物品轮廓特征的时间顺序，对各个第二物品轮廓特征进行排序。从经排序的各个第二物品轮廓特征中，以n2个第二物品轮廓特征为步长，依序选择第二视频中连续的n1个第二物品轮廓特征作为第二特征组，其中，n2为大于或等于1的整数。
126.在一些实施方式中，关联模块63用于从至少一个第二特征组中，选取出与待处理特征组匹配的第二特征组，包括：分别获取待处理特征组与各个第二特征组之间的相似度；选择相似度满足相似度要求的第二特征组，作为与待处理特征组匹配的第二特征组。
127.在一些实施方式中，关联模块63用于将至少一个第一特征组中各个第一特征组分别作为待处理特征组，执行如下操作：从至少一个第二特征组中，依序选出第二特征组与待处理特征组获取相似度；若相似度大于预设相似度阈值，将待处理特征组中包含的n1个第一物品轮廓特征对应的第一物品区域和选取出的第二特征组包含的n1个第二物品轮廓特征对应的第二物品区域进行关联；以及，将待处理特征组在预设范围包含的n3个第一物品轮廓特征对应的第一物品区域和选取出的第二特征组在预设范围包含的n3个第二物品轮廓特征对应的第二物品区域进行关联。
128.该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。
129.对于上述实施例，本技术提供一种计算机设备，请参阅图15，图15是本技术计算机
设备一实施例的结构示意图。该计算机设备70包括存储器71和处理器72，其中，存储器71和处理器72相互耦接，存储器71中存储有程序数据，处理器72用于执行程序数据以实现上述物品关联方法任一实施例中的步骤。
130.在本实施例中，处理器72还可以称为cpu(central processing unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器72也可以是任何常规的处理器等。
131.该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。
132.对于上述实施例的方法，其可以采用计算机程序的形式实现，因而本技术提出一种存储装置，请参阅图16，图16是本技术存储装置一实施例的结构示意图。该存储装置80中存储有能够被处理器运行的程序数据81，程序数据可被处理器执行以实现上述物品关联方法中任一实施例的步骤。
133.该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。
134.本实施例存储装置80可以是u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等可以存储程序数据的介质，或者也可以为存储有该程序数据的服务器，该服务器可将存储的程序数据发送给其他设备运行，或者也可以自运行该存储的程序数据。
135.在本技术所提供的几个实施例中，应该理解的，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
136.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
137.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
138.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储装置中，该存储装置是一种计算机可读取存储介质。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。
139.显然，本领域的技术人员应该明白，上述的本技术的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成
的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术不限制于任何特定的硬件和软件结合。
140.以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。