一种快件码识别机的视频融合合成方法及装置与流程

1.本技术属于快递取件证据保存技术领域，尤其涉及一种快件码识别机的视频融合合成方法及装置。


背景技术：

2.随着电子商务的发展，快递物流越来越成为寄送货物的手段，采用快递来寄送的货物也被称为快件。然而快递员在递送快件时，由于收件人没在收件地址等原因，难以直接递交到收件人手上。于是快递柜、快递驿站等临时放置快件的方式应运而生，为居民的快件临时放置和收取提供了很大便利，也节省了快递人力。
3.目前的快递驿站里布置有很多货架，每个货架的每一层都有独立编号。当快递员将快件放到货架上时，快件会被分配独立编号“xx号xxx层xxx编号的快件”，并被登记进快件扫码系统入库。快递公司会将上述信息发送到收件人手机，收件人根据信息到相关快递驿站取件。收件人根据所收到的快件所在位置信息找到快件后，将快件放置到快件码识别机上进行识别并取走。
4.然而，现在的快递驿站，还是会出现误取而导致的快件丢失事件，需要根据时间点调取相关监控录像来查找相关人员信息，但是目前快递驿站的各个摄像机的视频独立保存，查找信息比较繁琐，也有可能存在监控盲区无法准确查找到相关人员信息。


技术实现要素：

5.本技术的目的是提供一种快件码识别机的视频融合合成方法及装置，以准确存留取件人的相关证据。
6.为了实现上述目的，本技术技术方案如下：一种快件码识别机的视频融合合成方法，应用于快件驿站，所述快件驿站设置有全局摄像机，以及至少两台快件码识别机，所述快件码识别机设置有扫码摄像机，所述快件码识别机还设置有取件人摄像机，同一个快件码识别机的扫码摄像机与取件人摄像机的帧率相同，所述快件码识别机在识别快件成功时，将扫码摄像机、取件人摄像机和全局摄像机拍摄的视频合成留存，所述快件码识别机的视频融合合成方法，包括：若所述至少两台快件码识别机调取同一全局摄像机的视频实况时，所述全局摄像机将帧率调整为扫码摄像机帧率的最小公倍数；计算出全局摄像机帧率与每台扫码摄像机帧率的比值，作为编码因子；获取全局摄像机视频流后，从编码组中选择i帧以及编码因子倍数对应的p帧，对于每一个选择出的p帧，获取其与前一个选择出的帧之间的p帧，进行融合，得到对应融合后的p帧，将所选择出的i帧和融合后的p帧生成新的全局摄像机视频流；将扫码摄像机视频、取件人摄像机视频和新的全局摄像机视频合成留存。
7.进一步的，在有快件码识别机退出调取同一全局摄像机的视频实况时，所述全局摄像机将帧率调整为剩余扫码摄像机帧率的最小公倍数。
8.进一步的，所述获取全局摄像机视频流后，从编码组中选择i帧以及编码因子倍数对应的p帧，对于每一个选择出的p帧，获取其与前一个选择出的帧之间的p帧，进行融合，得到对应融合后的p帧，将所选择出的i帧和融合后的p帧生成新的全局摄像机视频流，包括：快件码识别机接收全局摄像机视频流后，根据自身扫码摄像机对应的编码因子，从编码组中选择i帧以及编码因子倍数对应的p帧，对于每一个选择出的p帧，获取其与前一个选择出的帧之间的p帧，进行融合，得到对应融合后的p帧，将所选择出的i帧和融合后的p帧生成新的全局摄像机视频流。
9.进一步的，所述获取全局摄像机视频流后，从编码组中选择i帧以及编码因子倍数对应的p帧，对于每一个选择出的p帧，获取其与前一个选择出的帧之间的p帧，进行融合，得到对应融合后的p帧，将所选择出的i帧和融合后的p帧生成新的全局摄像机视频流，包括：快件码识别机所接入的网络设备获取快件码识别机对应的编码因子，根据编码因子间隔从接收到的全局摄像机视频流编码组中选择i帧以及编码因子倍数对应的p帧，对于每一个选择出的p帧，获取其与前一个选择出的帧之间的p帧，进行融合，得到对应融合后的p帧，将所选择出的i帧和融合后的p帧生成新的全局摄像机视频流，发送给对应的快件码识别机。
10.本技术还提出了一种快件码识别机的视频融合合成装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述快件码识别机的视频融合合成方法的步骤。
11.本技术提出的一种快件码识别机的视频融合合成方法及装置，当至少两个快件码识别机调取同一个全局摄像机的视频实况时，所述全局摄像机将帧率调整为扫码摄像机帧率的最小公倍数，计算出全局摄像机帧率与每台扫码摄像机帧率的比值，作为编码因子，获取到全局摄像机视频流后，从编码组中选择i帧以及编码因子倍数对应的p帧，对于每一个选择出的p帧，获取其与前一个选择出的帧之间的p帧，进行融合，得到对应融合后的p帧；将所选择出的i帧和融合后的p帧生成新的全局摄像机视频流。本技术技术方案能够解决两台不同帧率识别机调取同一个全局摄像机时由于帧率不同而导致视频模糊的问题。本技术技术方案可以得到图像清晰的全局摄像机码流，并进行合成保存，能够全面保存取件证据。
附图说明
12.图1为本技术快件码识别机的视频融合合成方法流程图。
13.图2为本技术实施例p帧融合示意图。
具体实施方式
14.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本技术，并不用于限定本技术。
15.本技术提供的一种快件码识别机的视频融合合成方法及装置，应用于快件驿站，快件驿站目前都配置有快件码识别机，以便取件人在取件后扫码出库。这种方式便于快件驿站的管理，减少了人工成本。为了减少快件误取，并提供取件证据，现在的快件驿站都设置有用于监控整个快件驿站的全局摄像机。全局摄像机通常分布在快件驿站的各个角落，
全面覆盖整个快件驿站。
16.快件码识别机设置一个朝下的扫码摄像机，并网络连接全局摄像机。此外，快件码识别机还设置有取件人摄像机，在取件人扫码出库时抓拍取件人的正面视频图像。当取件人将快件放置在台面上扫码出库时，扫码摄像机会实时将快件画面显示在显示屏上，同时，扫码摄像机会检测包装上的条码，找到后，画面中的条码区域会显示一个长方形的框，并发出一个声音提示识别成功。同时取件人摄像机也在取件人扫码出库时，拍摄取件人正面视频。
17.为了保留取件人取件的视频证据，本技术快件码识别机将扫码摄像机拍摄的视频、取件人摄像机拍摄的视频以及调取的全局摄像机视频保存作为取件证据。
18.具体的，当取件人在快件码识别机前放置快件扫码时，人脸未必正对着快件码识别机，而且朝向可能晃动改变。通过取件人摄像头可以看到取件人的朝向。根据取件人的人脸朝向，快件码识别机需要调取最能拍摄到取件人正面的全局摄像机，获取实时视频，必要时切换全局摄像机并在时间线上拼接视频，并将此视频和取件人摄像机的视频一同合并入扫码摄像机拍摄的视频中，作为视频证据留底。
19.当取件人到达快件码识别机前，快件码识别机的取件人摄像机根据取件人的朝向，根据摄像机之间共享的位置信息选择最合适的全局摄像机，申请实况视频流，获取取件人的远景视频。
20.当快件码识别机通过取件人摄像机发现取件人的朝向发生变更，根据摄像机之间共享的位置信息发现有更合适的全局摄像机，向新的全局摄像机申请实况视频流。得到新的实况流之后，停止点播原全局摄像机的视频流。
21.快件码识别机截取取件人扫码期间的多段全局摄像机的视频，每段视频流截取以i帧开始的视频，将其按照时间先后进行拼接，合成新的全局摄像机总视频流。同时截取取件人扫码期间的取件人摄像机采集的实况视频流。
22.快件码识别机将截取后的全局摄像机总视频流和取件人摄像机实况视频流作为小画面嵌入到扫码摄像机拍摄的台面视频流中，作为视频流证据留底。
23.多个视频合成，通常采用的方法是，将每个视频流的帧提取出来，然后按照统一布局合并。例如，快件码识别机的扫码摄像机和取件人摄像机的帧率为25帧/秒，则将快件放置台面的视频流和取件人摄像机视频流的1秒时间段内的各25帧提取出来，然后将全局摄像机的1秒时间段内的各25帧提取出来，分别按照统一布局（例如将取件人摄像机的帧图像和全局摄像机的帧图像重叠到快件放置台面视频流的帧图像的左下角和右下角）进行图片合并，重新排列生成新的视频。
24.可能存在的问题是，快件码识别机a和快件码识别机b同时向一台全局摄像机申请实况流，由于前者帧率为25帧/秒，后者帧率为30帧/秒，而全局摄像机只能编码一股视频流。为此，需要对全局摄像机的视频编码方式进行改变，以适应这种视频合成方式。
25.在一个实施例中，如图1所示，提供了一种快件码识别机的视频融合合成方法，应用于快件驿站，所述快件驿站设置有全局摄像机，以及至少两台快件码识别机，所述快件码识别机设置有扫码摄像机，所述快件码识别机还设置有取件人摄像机，同一个快件码识别机的扫码摄像机与取件人摄像机的帧率相同，所述快件码识别机在识别快件成功时，将扫码摄像机、取件人摄像机和全局摄像机拍摄的视频合成留存，所述快件码识别机的视频融
合合成方法，包括：步骤s1、若至少两台快件码识别机调取同一全局摄像机的视频实况时，所述全局摄像机将帧率调整为扫码摄像机帧率的最小公倍数。
26.本实施例以一个快件驿站有两台快件码识别机为例进行说明，分别为识别机a和识别机b，每台识别机中扫码摄像机和取件人摄像机为同一设备中配备的摄像机，它们的帧率相同。但是识别机a和识别机b两者摄像机的帧率不同。以识别机a摄像机帧率为25帧/秒，识别机b摄像机帧率为30帧/秒进行说明。
27.当只有一台快件码识别机向全局摄像机申请实况视频流时，快件码识别机在点播实况流的请求消息中内嵌本机帧率的信息，例如扫码机a在请求消息中内嵌25帧/秒的帧率信息；全局摄像机收到消息后，将视频编码的帧率更改为25帧/秒，通过组播发送；扫码机a收到视频流后进行合成。
28.当两台扫码机向同一个全局摄像机申请实况流，全局摄像机收到请求后，发现两台扫码机的各自帧率不同，则取两者帧率的最小公倍数，25和30的最小公倍数为150。全局摄像机将帧率修改为150帧/秒进行组播发送，并将150帧/秒的策略发送给扫码机a和扫码机b。
29.由于视频流中每个p帧体现的是本帧相对于前面一帧的差值，如果每个扫码机从全局摄像机的视频流中间隔的取p帧，必将因为信息的丢失而导致视频流模糊。本技术提出了消除这种模糊的方法，在后续的步骤中进行阐述。
30.步骤s2、计算出全局摄像机帧率与每台扫码摄像机帧率的比值，作为编码因子。
31.本技术先计算出全局摄像机帧率与每台扫码摄像机帧率的比值，作为编码因子，如下：对于识别机a，帧率为25帧/秒，全局摄像机帧率为150帧/秒，则编码因子a等于6；对于识别机b，帧率为30帧/秒，全局摄像机帧率为150帧/秒，则编码因子a等于5。
32.需要说明的是，计算编码因子，可以由快件码识别机计算，或者由全局摄像机计算，无论是哪台设备计算，只需获取全局摄像机帧率与每台扫码摄像机帧率即可，在计算得到编码因子之后，可以通过网络共享给其他设备，从而使得其他设备获取到编码因子，以下不再赘述。
33.步骤s3、获取全局摄像机视频流后，从编码组中选择i帧以及编码因子倍数对应的p帧，对于每一个选择出的p帧，获取其与前一个选择出的帧之间的p帧，进行融合，得到对应融合后的p帧，将所选择出的i帧和融合后的p帧生成新的全局摄像机视频流。
34.本技术全局摄像机采用最小公倍数的帧率编码，编码后，全局摄像机每个编码组gop包括150帧。
35.本实施例，从全局摄像机发出的视频流每个编码组gop包括150帧，为了与快件码识别机扫码摄像机的帧率匹配，需要从中选择出一些帧，组成新的全局摄像机视频流。本步骤可以在快件码识别机中进行，也可以在其他网络设备中进行，以下分别进行说明。
36.在一个具体的实施例中，由快件码识别机进行操作，包括：快件码识别机接收全局摄像机视频流后，根据自身扫码摄像机对应的编码因子，从编码组中选择i帧以及编码因子倍数对应的p帧，对于每一个选择出的p帧，获取其与前一个选择出的帧之间的p帧，进行融合，得到对应融合后的p帧，将所选择出的i帧和融合后的p
帧生成新的全局摄像机视频流。
37.本实施例快件码识别机在接收到全局摄像机视频流后，需要从中选择出对应的帧数，所选择出的帧数与自己扫码摄像机一个编码组中的帧数相同。
38.例如，识别机a帧率是25帧/秒，则需要从150帧中选择出25帧。此时，从全局摄像机编码组中选择i帧以及编码因子倍数对应的p帧。即选择第一个i帧，以及p6、p12
…
p144，这些选择出的p帧编号都是编码因子倍数，编码因子为6。
39.同样，识别机b帧率是30帧/秒，则需要从150帧中选择出30帧。此时，从编码组中选择i帧以及编码因子倍数对应的p帧。即选择第一个i帧，以及p5、p10
…
p145，这些选择出的p帧编号都是编码因子倍数，编码因子为5。
40.然而如果直接以这些所选择出的帧作为全局摄像机的视频码流，则由于p6与i帧之间相差较大、p12与p6相差较大，容易导致最后得到的视频比较模糊。
41.因此，本技术对所选择出的p帧进行了调整：对于识别机a所选择出的25个帧，除了i帧之外，其余的p帧各自融合其前面几个未选择的p帧的信息，生成新的p帧，这个p帧包含的信息就是本帧相对于前一个选择出的p帧的差值。
42.例如，如图2所示，p6融合p1到p5的信息，生成新的p6帧；p12融合p7到p11的信息，生成新的p12帧。新p18、新p24、新p30
…
新p144，依次采用相同策略。
43.显然，新p6帧的信息是本帧图像相对于i帧的差值，而新p12帧的信息是本帧图像相对于新p6帧的差值。
44.对于识别机b所选择出的30个帧，分别为i帧，p5帧、p10帧一直到p145帧，一共30帧。然后，除了i帧之外，其余的p帧各自融合之前面几个未选择的p帧的信息，生成新的p帧，这个p帧包含的信息就是本帧相对于前一个选择出的p帧的差值。
45.例如，p5融合p1到p4的信息，生成新的p5帧，p10融合p6到p9的信息，生成新的p10帧。新p15、新p20、新p25
…
新p145，依次采用相同策略。
46.本实施例中，最后扫码机a收到全局摄像机发送的组播流，选择出的i帧和融合后的p6、p12、p18
…
p144，每个gop取25帧，进行图像合并，生成新的视频流。其中p帧都是融合后的新的p帧。
47.扫码机b收到全局摄像机发送的组播流，选择出的i帧和融合后的p5、p10、p15
…
p145，每个gop取30帧，进行图像合并，生成新的视频流。其中p帧都是融合后的新的p帧。
48.在另一个具体的实施例中，生成新的全局摄像机视频流由快件码识别机所接入的网络设备来执行，包括：快件码识别机所接入的网络设备获取快件码识别机对应的编码因子，根据编码因子间隔从接收到的全局摄像机视频流编码组中选择i帧以及编码因子倍数对应的p帧，对于每一个选择出的p帧，获取其与前一个选择出的帧之间的p帧，进行融合，得到对应融合后的p帧，将所选择出的i帧和融合后的p帧生成新的全局摄像机视频流，发送给对应的快件码识别机。
49.本实施例与前一个实施例不同，是由快件码识别机所接入的网络设备对全局摄像机发来的视频流进行处理，生成新的全局摄像机视频流，所生成的新的视频流的帧率与对应的快件码识别机一致。由于快件码识别机是快件驿站的主要设备，所承担的工作比较多。
而接入快件码识别机的网络设备则仅进行数据的传输，性能相对比较空闲。本实施例利用网络设备来进行视频帧的处理，降低了快件码识别机的负荷，使得快件码识别机无感的获取新的视频流，不需要额外的消耗性能。
50.例如，识别机a连接的网络设备，在接收到全局摄像机的视频流后，所选择出的25个帧，除了i帧之外，其余的p帧各自融合其前面几个未选择的p帧的信息，生成新的p帧。然后，将这25帧生成新的视频流，发送给识别机a。
51.同样的，识别机b连接的网络设备，在接收到全局摄像机的视频流后，所选择出的30个帧，除了i帧之外，其余的p帧各自融合其前面几个未选择的p帧的信息，生成新的p帧。然后，将这30帧生成新的视频流，发送给识别机b。
52.如果识别机a和识别机b共同连接一个网络设备，则该网络设备分别进行选择，并分别生成新的视频流，分别发送给识别机a和识别机b，这里不再赘述。
53.步骤s4、将扫码摄像机视频、取件人摄像机视频和新的全局摄像机视频合成留存。
54.在得到新的全局摄像机视频流后，即可用来合成视频保存为证据。容易理解的是，识别机主要是为了保存取件人在识别机前扫码出库时的影像作为证据，可以是识别机识别前后一段时间的视频，也可以是识别机识别成功后一段时间的视频。从而可以在得到各个摄像机的视频后，可以通过扫码机来合成视频，也可以有扫码摄像机来合成视频。可以将扫码摄像机、取件人摄像机和全局摄像机的视频打包来存储，也可以将取件人摄像机和全局摄像机的视频作为画中画嵌入到扫码机拍摄的视频中保存。
55.在另一个实施例中，本技术还提供了一种快件码识别机的视频融合合成装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述快件码识别机的视频融合合成方法的步骤。
56.关于快件码识别机的视频融合合成装置的具体限定可以参见上文中对于快件码识别机的视频融合合成方法的限定，在此不再赘述。上述快件码识别机的视频融合合成装置可全部或部分通过软件、硬件及其组合来实现。可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上对应的操作。
57.存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
58.其中，所述存储器可以是，但不限于，随机存取存储器（random access memory，ram），只读存储器（read only memory，rom），可编程只读存储器（programmable read-only memory，prom），可擦除只读存储器（erasable programmable read-only memory，eprom），电可擦除只读存储器（electric erasable programmable read-only memory，eeprom）等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
59.所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器 (central processing unit，cpu)、网络处理器 (network processor，np)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
60.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。