一种基于双目摄像机的港机控制系统、方法和存储介质与流程

1.本发明涉及港机控制技术领域，尤其涉及一种基于双目摄像机的港机控制系统、方法和存储介质。


背景技术：

2.港机远控系统是港口自动化、数字化、智慧化发展的重要应用之一，由于其大多情况下处于自动化作业模式，因此对系统的整体安全性要求非常高，尤其是在港机大车自动运行过程中，港机行驶区域经常有作业人员、车辆来往，保障港口作业人员的人身生命安全及车辆等财产的安全是非常重要的，又因港机重量大、惯性大、制动慢，因此需要采用防撞的技术手段来保障作业人员、车辆的生命及财产安全。
3.在港口的大车行驶中目前主要有以下几种方法：一是通过激光传感器的技术，检测前方是否有人员、车辆。此种方式港口往往因成本问题采用单线激光，此类激光仅能检测水平一条水平线上，一旦人员坐下休息或趴下维护设备的时候，就无法检测到，及其容易对人员生命安全造成伤害；另外激光容易受到雨、雾、强光的影响，在恶劣天气下，使用效果不佳。二是通过毫米波传感器的技术，检测前方是否有人员，毫米波虽然经济实惠，但对人员的检测效果差，毫米波容易穿透人体，无法反射波形，经常会造成漏报；三是通过视频分析的方式，此种方式检测人员和车辆，容易造成误报和漏报，由于港口环境的复杂性，且港机处于运动状态，当前用于识别人员和车辆的算法难以达到较高的准确度，且在夜晚光线不足的情况下，难以识别人员，尤其是穿暗色衣服的人员或黑色车辆。
4.因此，亟需提供一种技术方案解决现有技术中存在的问题。


技术实现要素：

5.为解决上述技术问题，本发明提供了一种基于双目摄像机的港机控制系统、方法和存储介质。
6.本发明的一种基于双目摄像机的港机控制系统的技术方案如下：
7.包括：plc、远程监控台、防撞分析仪和用于设置在港机的每个门腿上的双目摄像机；
8.所述防撞分析仪用于：实时获取所述港机在当前行径方向上的每个双目摄像机所采集的双目视频数据，当检测到任一双目视频数据在预设范围内存在至少一个待测目标物时，向所述远程监控台发送报警信息；
9.所述远程监控台用于：接收并根据人工对每个报警信息是否正确的人工判断结果，生成所述港机的目标控制指令，并将所述目标控制指令发送至所述plc；
10.所述plc用于：根据所述目标控制指令控制所述港机的运行状态。
11.本发明的一种基于双目摄像机的港机控制系统的有益效果如下：
12.本发明的系统采用双目视频检测技术，检测港机行驶过程中前方是否有人或车辆，提高了识别人员、车辆的准确性的同时，增加人工参与介入系统工作流程，保证了系统
的安全性，也提高了港机远控系统的运行效率。
13.在上述方案的基础上，本发明的一种基于双目摄像机的港机控制系统还可以做如下改进。
14.进一步，所述预设范围包括：第一预设范围和第二预设范围，所述所有的报警信息包括：至少一个第一报警信息或/和至少一个第二报警信息；其中，所述第一预设范围的上限与所述第二预设范围的下限相同；
15.所述防撞分析仪具体用于：
16.当检测到任一双目视频数据在所述第一预设范围内存在至少一个所述待测目标物时，向所述远程监控台发送用于紧急制动的第一报警信息；
17.当检测到任一双目视频数据在所述第二预设范围内存在至少一个所述目标物时，向所述远程监控台发送用于减速行驶的第二报警信息。
18.进一步，所述防撞分析仪还用于：
19.当检测到任一双目视频数据在所述第二预设范围内存在至少一个所述目标物时，向所述plc发送用于减速行驶的第二报警信息，以使所述plc控制所述港机减速行驶。
20.进一步，所述目标控制指令包括：第一目标控制指令和第二目标控制指令；
21.所述远程监控台具体用于：
22.当所有的报警信息中存在第一报警信息且任一第一报警信息对应的人工判断结果为是时，生成并将控制所述港机紧急制动的第一目标控制指令发送至所述plc；
23.当所有的报警信息均为第二报警信息且任一第二报警信息对应的人工判断结果为是时，生成并将控制所述港机维持减速行驶的第二目标控制指令发送至所述plc。
24.进一步，所述目标控制指令还包括：第三目标控制指令；
25.所述远程监控台具体用于：当每个报警信息对应的人工判断结果均为否时，生成并将控制所述港机正常行驶的第三目标控制指令发送至所述plc。
26.进一步，所述plc还用于：实时接收并将所述防撞分析仪的心跳检测信息转发至所述远程监控台，以使所述远程监控台对所述防撞分析仪的工作状态进行监控。
27.进一步，所述双目视频数据包括：可见光视频数据和热成像视频数据；所述防撞分析仪具体用于：
28.采用ai视频识别技术，对所述任一双目视频数据中的可见光视频数据在所述预设范围内是否存在至少一个待测目标物进行检测，得到第一检测结果，
29.采用热成像测温技术，对所述任一双目视频数据中的热成像视频数据在所述预设范围内是否存在至少一个待测目标物进行检测，得到第二检测结果；
30.当所述任一双目视频数据的第一检测结果和第二检测结果均为是时，向所述远程监控台发送报警信息。
31.进一步，获取每个报警信息对应的人工判断结果的过程为：
32.在任一报警信息对应的可见光视频数据中，当通过人工判断得到在所述预设范围内存在至少一个待测目标物时，则所述任一报警信息对应的人工判断结果为是；当通过人工判断得到在所述预设范围内不存在任一待测目标物时，则所述任一报警信息对应的人工判断结果为否。
33.本发明的一种基于双目摄像机的港机控制方法的技术方案如下：
34.防撞分析仪实时获取所述港机在当前行径方向上的每个双目摄像机所采集的双目视频数据，当检测到任一双目视频数据在预设范围内存在至少一个待测目标物时，向远程监控台发送报警信息；
35.所述远程监控台接收人工对每个报警信息是否正确的人工判断结果，并根据所述人工判断结果，生成并将所述港机的目标控制指令发送至plc；
36.所述plc根据所述目标控制指令控制所述港机的运行状态。
37.本发明的一种基于双目摄像机的港机控制方法的有益效果如下：
38.本发明的方法采用双目视频检测技术，检测港机行驶过程中前方是否有人或车辆，提高了识别人员、车辆的准确性的同时，增加人工参与介入系统工作流程，保证了系统的安全性，也提高了港机远控系统的运行效率。
39.本发明的一种存储介质的技术方案如下：
40.存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的一种基于双目摄像机的港机控制方法的步骤。
附图说明
41.图1为本发明实施例的一种基于双目摄像机的港机控制系统的结构示意图；
42.图2为本发明实施例的一种基于双目摄像机的港机控制系统中的减速行驶报警的原理示意图；
43.图3为本发明实施例的一种基于双目摄像机的港机控制系统中的紧急制动报警的原理示意图；
44.图4为本发明实施例的一种基于双目摄像机的港机控制系统中的防撞分析仪的心跳检测原理示意图；
45.图5为本发明实施例的一种基于双目摄像机的港机控制方法的流程示意图。
具体实施方式
46.如图1所示，本发明实施例的一种基于双目摄像机的港机控制系统，包括：plc110、远程监控台120、防撞分析仪130和用于设置在港机的每个门腿上的双目摄像机140。
47.其中，在港机的每个门腿上分别安装一个双目摄像机140，用于检测区域内的人员和车辆。
48.需要说明的是，双目摄像机的型号为：ds-2td2628t-3/7/10/qa的双目摄像机，也可使用其它型号的双目摄像机，在此不设限制。
49.所述防撞分析仪130用于：实时获取所述港机在当前行径方向上的每个双目摄像机140所采集的双目视频数据，当检测到任一双目视频数据在预设范围内存在至少一个待测目标物时，向所述远程监控台120发送报警信息。
50.其中，防撞分析仪130能够实现对于可见光视频数据的算法分析，以及对热成像的图像分析坐标与可见光坐标的转换，从而判定报警目标。
51.其中，当前行径方向为：向左或向右。双目视频数据为：双目摄像机140所采集的视频数据，包括：可见光视频数据和热成像视频数据。待测目标物为：港机上的人员、车辆或障碍物等。
52.具体地，防撞分析仪130接收plc发送的港机的当前行径方向，采集当前行径方向上的两个双目摄像机所对应的双目视频数据，并对每个双目视频数据在预设范围内是否存在待测目标物进行检测，当检测到待测目标物时，防撞分析仪130向远程监控台120发送报警信息。
53.所述远程监控台120用于：接收并根据人工对每个报警信息是否正确的人工判断结果，生成所述港机的目标控制指令，并将所述目标控制指令发送至所述plc110。
54.其中，远程监控台120为prcs大车监控台，相当于一台电脑，主要用于监控港机运行时双目摄像机所采集的可见光视频数据。
55.其中，人工对远程监控台120所实时接收的双目摄像机所采集的可见光视频数据进行判断，检验防撞分析仪130的检测结果是否正确(报警信息是否正确)。
56.其中，获取每个报警信息对应的人工判断结果的过程为：在任一报警信息对应的可见光视频数据中，当通过人工判断得到在所述预设范围内存在至少一个待测目标物时，则所述任一报警信息对应的人工判断结果为是；当通过人工判断得到在所述预设范围内不存在任一待测目标物时，则所述任一报警信息对应的人工判断结果为否。
57.所述plc110用于：根据所述目标控制指令控制所述港机的运行状态。
58.其中，运行状态包括但不限于：减速行驶、紧急制动、正常行驶等。
59.较优地，所述预设范围包括：第一预设范围和第二预设范围，所述所有的报警信息包括：至少一个第一报警信息或/和至少一个第二报警信息；其中，所述第一预设范围的上限与所述第二预设范围的下限相同。
60.所述防撞分析仪具体用于：
61.当检测到任一双目视频数据在所述第一预设范围内存在至少一个所述待测目标物时，向所述远程监控台发送用于紧急制动的第一报警信息；
62.当检测到任一双目视频数据在所述第二预设范围内存在至少一个所述目标物时，向所述远程监控台发送用于减速行驶的第二报警信息。
63.其中，本实施例中的预设范围为：0-20m，第一预设范围为：0-10m，第二预设范围为：10-20m。第一报警信息为：用于紧急制动的报警信息，第二报警信息为：用于减速行驶的报警信息。
64.需要说明的是，第一预设范围、第二预设范围、预设范围中所涉及的范围值为双目摄像机的摄像头距离目标物的直线距离；此外，第一预设范围、第二预设范围和预设范围均可根据用户需求进行调整，不限于本实施例中的范围。
65.其中，由于港机行径方向上有两个双目摄像机，因此，所有的报警信息包括以下五种情形：
①
一个第一报警信息；
②
一个第二报警信息；
③
一个第一报警信息和一个第二报警信息；
④
两个第一报警信息
⑤
两个第二报警信息。
66.较优地，所述防撞分析仪还用于：
67.当检测到任一双目视频数据在所述第二预设范围内存在至少一个所述目标物时，向所述plc发送用于减速行驶的第二报警信息，以使所述plc控制所述港机减速行驶。
68.较优地，所述目标控制指令包括：第一目标控制指令和第二目标控制指令。
69.所述远程监控台具体用于：
70.当所有的报警信息中存在第一报警信息且任一第一报警信息对应的人工判断结
果为是时，生成并将控制所述港机紧急制动的第一目标控制指令发送至所述plc。
71.其中，远程监控台上显示有每个双目摄像机实时采集的可见光视频数据。
72.具体地，如图2所示，当远程监控台的大车监控视频软件接收到防撞分析仪发送的第一报警信息(上述情形
①
、
③
、
④
)时，每个第一报警信息对应的可见光视频数据的画面会显示红色边框报警，同时驱动网络音响发出紧停提示音(播放“前方有人”、“前方有车”、“下方有人”等报警提示声音)。大车监控人员观察对应的可见光视频数据的视频画面，如确有警情，按紧停按钮，生成并将控制所述港机紧急制动的第一目标控制指令发送至所述plc，控制港机停止运行。
73.当所有的报警信息均为第二报警信息且任一第二报警信息对应的人工判断结果为是时，生成并将控制所述港机维持减速行驶的第二目标控制指令发送至所述plc。
74.具体地，如图3所示，当远程监控台的大车监控视频软件接收到防撞分析仪发送的第二报警信息(上述情形
②
和
⑤
)时，每个第二报警信息对应的可见光视频数据的画面会显示黄色边框报警，并触发报警音响，如“前方有人”、“前方有车”。港机监控人员观察报警信息对应的可见光视频数据的视频画面，进行人工判断，如确有警情，生成并将控制所述港机维持减速行驶的第二目标控制指令发送至plc。
75.较优地，所述目标控制指令还包括：第三目标控制指令；
76.所述远程监控台具体用于：当每个报警信息对应的人工判断结果均为否时，生成并将控制所述港机正常行驶的第三目标控制指令发送至所述plc。
77.此外，对警情进行处理完毕后，远程监控台的工作人员按动消警按钮，此时生成并将控制所述港机正常行驶的第三目标控制指令发送至plc，以控制港机恢复正常行驶状态；如属误报，远程监控台的工作人员按动误报按钮，此时生成并将控制所述港机正常行驶的第三目标控制指令发送至plc，且对当前可见光视频数据的视频画面内误报的待测目标物不再重复进行报警。
78.较优地，所述plc还用于：实时接收并将所述防撞分析仪的心跳检测信息转发至所述远程监控台，以使所述远程监控台对所述防撞分析仪的工作状态进行监控。
79.具体地，如图4所示，plc能够监测防撞分析仪是否在正常工作，并将防撞分析仪的心跳检测信息发送至远程监控台，远程监控台实时显示防撞分析仪的工作状态。如防撞分析仪的心跳不正常，中心会提示防撞分析仪异常，此时，就需要远程控制人员，格外注意安全，甚至停机维护、整改。
80.所述双目视频数据包括：可见光视频数据和热成像视频数据；
81.较优地，所述防撞分析仪具体用于：
82.采用ai视频识别技术对所述任一双目视频数据中的可见光视频数据在所述预设范围内是否存在至少一个待测目标物进行检测，得到第一检测结果。
83.需要说明的是，ai视频识别技术为现有技术，在此不过多赘述。
84.采用热成像测温技术，对所述任一双目视频数据中的热成像视频数据在所述预设范围内是否存在至少一个待测目标物进行检测，得到第二检测结果。
85.需要说明的是，热成像测温技术为现有技术，在此不过多赘述。
86.当所述任一双目视频数据的第一检测结果和第二检测结果均为是时，向所述远程监控台发送报警信息。
87.需要说明的是，利用ai视频识别和热成像测温的双重识别目标检测技术，分析疑似目标物，通过可见光视频分析可信度和热成像的可行度，综合判断人员、车辆的位置，可有效避免水渍、光影形成的误报，提高系统识别的整体准确率。
88.本实施例的技术方案采用双目视频检测技术，检测港机行驶过程中前方是否有人或车辆，提高了识别人员、车辆的准确性的同时，增加人工参与介入系统工作流程，保证了系统的安全性，也提高了港机远控系统的运行效率。
89.如图5所示，本发明实施例的一种基于双目摄像机的港机控制方法，包括如下步骤：
90.s1、防撞分析仪实时获取所述港机在当前行径方向上的每个双目摄像机所采集的双目视频数据，当检测到任一双目视频数据在预设范围内存在至少一个待测目标物时，向远程监控台发送报警信息；
91.s2、所述远程监控台接收人工对每个报警信息是否正确的人工判断结果，并根据所述人工判断结果，生成并将所述港机的目标控制指令发送至plc；
92.s3、所述plc根据所述目标控制指令控制所述港机的运行状态。
93.本实施例的技术方案采用双目视频检测技术，检测港机行驶过程中前方是否有人或车辆，提高了识别人员、车辆的准确性的同时，增加人工参与介入系统工作流程，保证了系统的安全性，也提高了港机远控系统的运行效率。
94.上述关于本实施例的一种基于双目摄像机的港机控制方法中的各参数和步骤实现相应功能的步骤，可参考上文中关于一种基于双目摄像机的港机控制系统的实施例中的各个结构和参数，在此不做赘述。
95.本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如一种基于双目摄像机的港机控制方法步骤，具体可参考上文中关于一种基于双目摄像机的港机控制系统的实施例中的各个结构和参数，在此不做赘述。
96.计算机存储介质例如：优盘、移动硬盘等。
97.所属技术领域的技术人员知道，本发明可以实现为方法、系统和存储介质。
98.因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)，只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本
领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。