基于人工智能的安全智能锁智能施封系统及方法与流程

1.本发明涉及海关闸口管理领域，尤其涉及一种基于人工智能的安全智能锁智能施封系统及方法。


背景技术：

2.在集装箱流转过程中，海关部门需要对集装箱的运输过程进行监督和管理。为了确保集装箱的物流过程符合海关部门的监管要求，海关部门规定需要在集装箱上施加安全智能锁，以确保海关部门可以通过安全智能锁实现对集装箱物流的监管。海关部门还对安全智能锁在集装箱上的施加位置、铅封的真伪、铅封锁杆是否穿过锁孔等都有明确的要求，并且规定针对安全智能锁的施封工作必须由海关部门的工作人员进行人工施封。
3.当运送集装箱的集运车通过闸口通道时，海关部门的工作人员在执行施封工作时，通常需要全天候、全时段地进行施封作业，这将导致施封作业存在费时、费力和效率不高的问题，给海关部门的正常监管以及集装箱的正常按时运输带来不利影响。
4.因此，如何实现针对集运车辆所运送集装箱的全面监管以及海关部门工作人员高效率地完成集装箱上安全智能锁的施封作业，成为目前海关闸口管理领域需要解决的一个重要技术问题。


技术实现要素：

5.本发明所要解决的第一个技术问题是针对上述现有技术提供一种基于人工智能的安全智能锁智能施封系统。该安全智能锁智能施封系统可以实现对集装箱上安全智能锁的自动施封，提高施封效率，进而实现针对集运车辆所运送集装箱的全面监管。
6.本发明所要解决的第二个技术问题是针对上述现有技术提供一种基于人工智能的安全智能锁智能施封方法。
7.本发明解决第一个技术问题所采用的技术方案为：基于人工智能的安全智能锁智能施封系统，其特征在于，包括闸口前端系统和闸口后端系统，闸口前端系统与闸口后端系统通信连接；其中：
8.所述闸口前端系统具有：
9.图像采集子系统，采集经闸口通道通过的目标对象图像信息；其中，目标对象图像信息包括集运车车牌号图像、该集运车的驾驶人员面部图像以及该集运车所运输集装箱的图像，集装箱上安装有在受控情况下执行施封动作的安全智能锁，安全智能锁内置有rfid芯片，rfid芯片内具有安全智能锁识别特征信息；
10.图像识别子系统，与图像采集子系统通信连接，该图像采集子系统根据图像采集子系统采集到的目标对象图像信息识别处理得到目标对象实际信息；其中，该目标对象信息包括集运车车牌号、该集运车驾驶人员身份信息以及该集运车所运输的集装箱信息；
11.阅读器，位于闸口通道处，定向读取经闸口通道通过的集装箱上所安装安全智能锁内rfid芯片的安全智能锁识别特征信息；
12.显示屏，位于闸口通道出口处，显示施封状态信息以及目标对象实际信息；
13.安全智能锁固定式阅读器，位于闸口通道处，向安全智能锁下发施封命令；
14.所述闸口后端系统，与安全智能锁固定式阅读器通信连接，该闸口后端系统根据图像识别子系统的识别结果和阅读器所读取的安全智能锁识别特征信息，形成施封命令，且将该施封命令通过安全智能锁固定式阅读器发送给集装箱上的安全智能锁。
15.其中，在所述基于人工智能的安全智能锁智能施封系统中，所述集装箱信息包括集装箱箱号、集装箱背部特征信息、箱门门杆信息、箱门把手信息、安全智能锁信息以及安全智能锁锁杆完整信息。
16.改进地，在所述基于人工智能的安全智能锁智能施封系统中，所述图像采集子系统包括：
17.第一图像采集装置，采集经闸口通道通过的集运车车牌号图像与集运车驾驶人员面部图像；
18.第二图像采集装置，采集经闸口通道通过的集运车上的集装箱箱号特征；
19.第三图像采集装置，采集经闸口通道通过的集运车所运输的集装箱的背面图像。其中，该集装箱的背面图像包含集装箱箱号、集装箱背部特征、箱门门杆、箱门把手以及安全智能锁。
20.进一步地，在所述基于人工智能的安全智能锁智能施封系统中，所述第三图像采集装置包括：
21.前图像采集模块，位于闸口通道的前方；
22.后图像采集模块，位于闸口通道的后方；
23.左图像采集模块，位于闸口通道的左方；
24.右图像采集模块，位于闸口通道的右方；
25.后球型对焦图像采集模块，位于闸口通道的后方。
26.优选地，在所述基于人工智能的安全智能锁智能施封系统中，所述第三图像采集装置内的各图像采集模块均具有自动对焦功能。
27.再改进，在该发明中，所述基于人工智能的安全智能锁智能施封系统还包括供海关工作人员远程监控用的监管终端设备，监管终端设备与闸口后端系统通信连接。
28.进一步改进，该发明中的所述基于人工智能的安全智能锁智能施封系统，还包括网络传输装置，网络传输装置分别与闸口前端系统和闸口后端系统通信连接。
29.进一步地，在所述基于人工智能的安全智能锁智能施封系统中，所述闸口后端系统具有存储闸口前端系统所发来数据的数据存储子系统。
30.本发明解决第二个技术问题所采用的技术方案为：基于人工智能的安全智能锁智能施封方法，使用所述的安全智能锁智能施封系统，其特征在于，包括如下步骤：
31.步骤1，闸口前端系统的图像采集子系统分别采集经闸口通道通过的目标对象图像信息；其中，目标对象图像信息包括集运车车牌号图像、该集运车驾驶人员面部图像以及该集运车所运输的集装箱图像；
32.步骤2，闸口前端系统的图像识别子系统根据图像采集子系统采集到的目标对象图像信息，识别处理得到目标对象实际信息；其中，该目标对象信息包括集运车车牌号、该集运车驾驶人员身份信息以及该集运车所运输的集装箱信息；
33.步骤3，闸口前端系统的阅读器定向读取经闸口通道通过的集装箱上所安装安全智能锁的rfid芯片的信息，并且将读取到的rfid芯片的信息发送给闸口后端系统；
34.步骤4，集运车在闸口停止后，闸口前端系统的图像采集子系统根据步骤2的识别结果，对安全智能锁挂锁进行对焦放大，采集挂锁点的安全智能锁图像信息；
35.步骤5，闸口前端系统的图像识别子系统识别挂锁点的安全智能锁图像信息、识别安全智能锁锁杆状态信息以及锁杆是否穿过锁孔的信息；
36.步骤6，闸口后端系统根据闸口前端系统的图像识别子系统的识别结果和阅读器所发送来的信息做出融合处理，根据业务规则进行判定，形成施封命令；
37.步骤7，闸口后端系统将形成的施封命令通过安全智能锁固定式阅读器发送给位于闸口前端系统处的集装箱上的安全智能锁，由安全智能锁执行施封命令。
38.其中，在所述基于人工智能的安全智能锁智能施封系统中，所述集装箱信息包括集装箱箱号、集装箱背部特征信息、箱门门杆信息、箱门把手信息、安全智能锁信息以及安全智能锁锁杆完整信息。
39.改进地，在该发明中，所述的基于人工智能的安全智能锁智能施封方法，还包括：
40.根据图像采集子系统所采集的集运车视频帧，判断出该集运车的运动状态：
41.以及，根据所判断集运车的运动状态做出处理：当集运车的运动状态为停止时，针对该集运车所运输集装箱的安全智能锁进行图像采集时执行对焦放大处理；否则，不予处理。
42.再改进地，该发明中的所述基于人工智能的安全智能锁智能施封方法，还包括：
43.对集装箱上的安全智能锁是否判断施封约束条件判断处理：当满足施封约束条件时，闸口后端系统将施封命令通过安全智能锁固定式阅读器发送给安全智能锁；否则，闸口后端系统不予发送施封命令给安全智能锁固定式阅读器；
44.或者，所述基于人工智能的安全智能锁智能施封方法还包括：在完成安全智能锁的施封后，将施封完成的状态信息提供给海关工作人员远程监控用的监管终端设备或/和承运该安全智能锁所对应集装箱的集运车驾驶人员。
45.与现有技术相比，本发明的优点在于：该发明通过闸口前端系统处采用图像识别技术，识别出经过闸口通道的目标对象的实际信息(如集运车信息、集运车的驾驶人员信息和该集运车上的集装箱信息)，再对图像采集子系统采集到的集装箱上的安全智能锁是否满足施封条件做出判断，而后通过闸口后端系统将施封命令通过安全智能锁固定式阅读器发送给集装箱上的安全智能锁，由安全智能锁执行施封命令后，自动完成施封动作，并且还会由闸口后端系统将该集装箱的安全智能锁已完成施封的状态信息、施封过程的视频信息、集装箱图片、司机信息、安全智能锁施挂位置图片以及安全智能锁锁杆信息反馈给海关工作人员远程监控用的监管终端设备，帮助海关工作人员及时掌握每一个集装箱上安全智能锁的施封状态，从而完成针对集装箱上安全智能锁的全自动施封操作，提高海关工作人员的施封效率及集运车通过闸口通道的效率，进而实现针对集运车辆所运送集装箱的全面监管。
附图说明
46.图1为本发明实施例中基于人工智能的安全智能锁智能施封系统示意图；
47.图2为本发明实施例中的闸口前端系统示意图；
48.图3为本发明实施例中的第三图像采集装置示意图；
49.图4为本发明实施例中基于人工智能的安全智能锁智能施封方法流程示意图。
具体实施方式
50.以下结合附图实施例对本发明作进一步详细描述。
51.本实施例提供一种智能施封系统，具体是一种基于人工智能的安全智能锁智能施封系统。具体地，参见图1～3所示，该实施例中基于人工智能的安全智能锁智能施封系统，包括闸口前端系统1、闸口后端系统2、供海关工作人员远程监控用的监管终端设备3和网络传输装置4，网络传输装置4分别与闸口前端系统1和闸口后端系统2通信连接，实现闸口前端系统1与闸口后端系统2的间接通信连接，闸口后端系统2与监管终端设备3采用无线通信连接。其中：
52.闸口前端系统1具有图像采集子系统11、图像识别子系统12、阅读器13、显示屏14以及安全智能锁固定式阅读器15，图像采集子系统11包括第一图像采集装置111、第二图像采集装置112和第三图像采集装置113，这三个图像采集装置既可以采集视频，又可以根据需要采集图像。
53.具体地，第一图像采集装置111采集经闸口通道通过的集运车车牌号图像与集运车驾驶人员面部图像，集运车车牌号图像包含汉字字符、英文字母、阿拉伯数字及号牌颜色。
54.第二图像采集装置112采集经闸口通道通过的集运车上的集装箱箱号特征，第三图像采集装置113采集经闸口通道通过的集运车所运输的集装箱的背面图像。其中，该集装箱的背面图像包含集装箱箱号、集装箱背部特征、箱门门杆、箱门把手以及安全智能锁。集装箱上安装有在受控情况下执行施封命令的安全智能锁，安全智能锁内置有rfid芯片，rfid芯片内具有安全智能锁识别特征信息，比如，此处的安全智能锁识别特征信息是锁号或集装箱箱号码或iso编码。
55.第三图像采集装置113包括位于闸口通道前方的前图像采集模块、位于闸口通道后方的后图像采集模块、位于闸口通道左方的左图像采集模块、位于闸口通道右方的右图像采集模块以及位于闸口通道后方的后球型对焦图像采集模块。第三图像采集装置113内的各图像采集模块均具有自动对焦功能，例如实现针对目标对象的自动对焦放大。前图像采集模块负责识别车牌与人脸，后图像采集模块、左图像采集模块以及右图像采集模块均负责集运车上的集装箱号识别；后球型对焦图像采集模块负责识别集装箱背面特征识别、安全智能锁特征识别和锁杆状态识别。
56.图像识别子系统12，与图像采集子系统11通信连接，以获取到图像采集子系统11内各图像采集装置所采集到的目标对象图像，然后通过分别对这些目标对象图像做识别处理，确定出每一个对象图像所对应的实际信息，目标对象信息包括集运车车牌号、该集运车驾驶人员身份信息以及该集运车所运输的集装箱信息，集装箱信息包括集装箱箱号、集装箱背部特征信息、箱门门杆信息、箱门把手信息、安全智能锁信息以及安全智能锁锁杆完整信息。
57.阅读器13优选作为闸口前端系统1的一部分安装在闸口通道处，并且与闸口后端
系统2通信连接，定向读取经闸口通道通过的集装箱上所安装安全智能锁内rfid芯片的安全智能锁识别特征信息。
58.显示屏14优选采用led显示屏，并且该显示屏14设置在闸口通道处且方便经闸口通道通过的集运车的驾驶人员观察到的位置，实现与司机进行交互；显示屏14接收闸口后端系统施封结果(即施封状态)，将放行信息、集装箱箱号、车牌号、锁号直观地通知集运车的驾驶人员。即，显示屏14显示施封状态信息以及目标对象实际信息。
59.安全智能锁固定式阅读器5，位于闸口通道处，通过无线数据通讯向安全智能锁下发施封命令。
60.闸口后端系统2连接安全智能锁固定式阅读器5，该闸口后端系统2具有存储闸口前端系统所发来数据的数据存储子系统，该闸口后端系统2负责根据图像识别子系统12的识别结果和阅读器13所读取的安全智能锁识别特征信息，对车牌、箱号、安全智能锁三者信息进行绑定，形成施封命令，且由闸口后端系统2将该施封命令通过安全智能锁固定式阅读器5发送给集装箱上的安全智能锁。
61.该实施例还提供了一种基于人工智能的安全智能锁智能施封方法，具体是使用上述的安全智能锁智能施封系统。具体地，参见图1～4所示，该基于人工智能的安全智能锁智能施封方法，包括如下步骤1～7：
62.步骤1，闸口前端系统1的图像采集子系统11内各图像采集装置分别采集经闸口通道通过的目标对象图像信息；其中，目标对象图像信息包括集运车车牌号图像、该集运车驾驶人员面部图像以及该集运车所运输的集装箱图像；
63.第一图像采集装置111采集经闸口通道通过的集运车车牌号图像与集运车驾驶人员面部图像，集运车车牌号图像包含汉字字符、英文字母、阿拉伯数字及号牌颜色。第二图像采集装置112采集经闸口通道通过的集运车上的集装箱箱号特征，第三图像采集装置113采集经闸口通道通过的集运车所运输的集装箱的背面图像。
64.步骤2，闸口前端系统1的图像识别子系统12根据图像采集子系统11采集到的目标对象图像信息，识别处理得到目标对象实际信息；其中，该目标对象信息包括集运车车牌号、该集运车驾驶人员身份信息以及该集运车所运输的集装箱信息；
65.步骤3，闸口前端系统1的阅读器13读取经闸口通道通过的集装箱上所安装安全智能锁的rfid芯片的信息，并且将读取到的rfid芯片的信息发送给闸口后端系统2；
66.步骤4，集运车在闸口停止后，闸口前端系统1的图像采集子系统11根据步骤2的识别结果，对安全智能锁挂锁进行对焦放大，采集挂锁点的安全智能锁图像信息；
67.步骤5，闸口前端系统1的图像识别子系统12识别挂锁点的安全智能锁图像信息、识别安全智能锁锁杆状态信息以及锁杆是否穿过锁孔的信息；
68.步骤6，闸口后端系统2根据闸口前端系统的图像识别子系统的识别结果和阅读器所发送来的信息做出融合处理，根据业务规则进行判定，形成施封命令；
69.步骤7，闸口后端系统2将形成的施封命令通过安全智能锁固定式阅读器15发送给位于闸口前端系统处的集装箱上的安全智能锁，由安全智能锁执行施封命令。
70.其中，在闸口后端系统2将施封命令发送给集装箱上的安全智能锁之前，还可以对集装箱上的安全智能锁是否满足施封约束条件做出判断处理：当满足施封约束条件时，闸口后端系统2将施封命令通过安全智能锁固定式阅读器15发送给安全智能锁；否则，闸口后
端系统不予发送施封命令给安全智能锁固定式阅读器15。当然，在确定完成安全智能锁的施封后，将施封完成的状态信息提供给海关工作人员远程监控用的监管终端设备3。并且，还会通过安装在闸口通道出的显示屏14把安全智能锁已经完成施封的状态信息显示给运该安全智能锁所对应集装箱的集运车驾驶人员。
71.另外，在该实施例的安全智能锁智能施封方法中，闸口后端系统2可以根据图像采集子系统所采集的集运车视频帧，判断出该集运车的运动状态，并且再根据所判断集运车的运动状态做出处理：当集运车的运动状态为停止时，针对该集运车所运输集装箱的安全智能锁进行图像采集时执行对焦放大处理；否则，不予处理。
72.尽管以上详细地描述了本发明的优选实施例，但是应该清楚地理解，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。