船只的异常行为检测方法以及相关装置与流程

1.本发明涉及视频图像处理技术领域，尤其是涉及一种船只的异常行为检测方法以及相关装置。


背景技术：

2.在经济高速发展的时代，人们追求物质利益最大化的欲望愈发强烈，很多人铤而走险在禁止作业的地方非法采砂，牟取暴利。现有的采砂船检测技术大多是依赖于图像对采砂船本身的结构特征进行检测，受黑夜、海浪、水雾等环境因素影响，会降低采砂船检测的准确度，并且现在采砂船多为改装船只，从图像特征中往往无法区分。


技术实现要素：

3.本发明提供一种船只的异常行为检测方法以及相关装置，该方法能够提高检测精度，并且降低漏检率。
4.为解决上述技术问题，本发明提供的第一个技术方案为：提供一种船只的异常行为检测方法，包括：对目标船只进行检测，得到目标船只的特征信息，特征包括目标船只的水平位置特征信息、目标船只的动力装置热成像特征信息、目标船只的行为特征信息中至少一种；基于特征信息判断目标船只是否具有异常行为。
5.其中，特征信息包括水平位置特征信息；对目标船只进行检测，得到目标船只的水平位置特征信息，包括：检测目标船只在水面上的当前水平位置；基于预设水平位置以及当前水平位置确定水平位置特征信息；预设水平位置为目标船只在水面上的初始水平位置；基于特征信息判断目标船只是否具有异常行为，包括：响应于水平位置特征信息大于第一阈值，则目标船只具有异常行为。
6.其中，特征信息包括动力装置热成像特征信息；对目标船只进行检测，得到目标船只的动力装置热成像特征信息，包括：确定目标船只的异常动力装置；基于特征信息判断目标船只是否具有异常行为的步骤，包括：响应于异常动力装置的数量大于预设数量，则目标船只具有异常行为。
7.其中，确定目标船只的异常动力装置的步骤，包括：利用热成像相机对目标船只进行检测，得到目标船只的所有动力装置的第一热度图像；响应于第一热度图像对应的热度数据大于第二阈值，则热度数据对应的动力装置为异常动力装置。
8.其中，响应于第一热度图像对应的热度数据大于第二阈值，则热度数据对应的动力装置为异常动力装置的步骤，还包括：利用船只检测算法对目标船只进行检测，以得到目标船只的图像区域；利用热成像相机基于热度分析算法确定图像区域的第二热度图像；第二热度图像表征目标船只的温度分布；基于第二热度图像确定图像区域的平均温度；基于平均温度确定第二阈值。
9.其中，特征信息包括行为特征信息；对目标船只进行检测，得到目标船只的行为特征信息，包括：利用行为分析算法对目标船只进行检测，确定目标船只中的机械部件的行为
特征信息；基于特征信息判断目标船只是否具有异常行为的步骤，包括：基于机械部件的行为特征信息判断目标船只是否具有异常行为。
10.其中，基于机械部件的行为特征信息判断目标船只是否具有异常行为的步骤，包括：响应于行为特征信息符合预设要求，目标船只具有异常行为。
11.为解决上述技术问题，本发明提供的第二个技术方案为：提供一种船只的异常行为检测装置，船只的异常行为检测装置包括：检测模块，用于对目标船只进行检测，得到目标船只的特征信息，特征包括目标船只的水平位置特征信息、目标船只的动力装置热成像特征信息、目标船只的行为特征信息中至少一种；判断模块，用于基于特征信息判断目标船只是否具有异常行为。
12.为解决上述技术问题，本发明提供的第三个技术方案为：提供一种电子设备，包括：存储器和处理器，其中，存储器存储有程序指令，处理器从存储器调取程序指令以执行上述任一项的方法。
13.为解决上述技术问题，本发明提供的第四个技术方案为：提供一种计算机可读存储介质，存储有程序文件，程序文件能够被执行以实现上述任一项的方法。
14.本发明的有益效果，区别于现有技术的情况，本发明对目标船只进行检测，得到目标船只的特征信息，特征包括目标船只的水平位置特征信息、目标船只的动力装置热成像特征信息、目标船只的行为特征信息中至少一种；基于特征信息判断目标船只是否具有异常行为。本技术基于多维度的特征信息对目标船只进行异常行为的判定，能够提高检测精度，并且降低漏检率。
附图说明
15.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
16.图1为本发明船只的异常行为检测方法的一实施例的流程示意图；
17.图2为图1的第一实施例的流程示意图；
18.图3为图1的第二实施例的流程示意图；
19.图4为图1的第三实施例的流程示意图；
20.图5为本发明船只的异常行为检测装置的一实施例的结构示意图；
21.图6为本发明电子设备的一实施例的结构示意图；
22.图7为本发明计算机可读存储介质的一实施例的结构示意图。
具体实施方式
23.现有技术具有一种基于图像显著性检测的采砂船识别方法，该方法针对部分显著物体(例如采砂船船体)检测模型出现部分图像出现全局语义信息缺失的情况提出了一种新的强监督显著性检测方法。该模型分为两层，第一层主要采用了全卷积神经网络在像素层面上抓取采砂船图像全局语义信息与局部特征信息，并标注采砂船船体。第二层通过我们提出的递归递减的模型，逐层的将第一层得到的显著图去噪音并在全局语义缺失情况下
使用局部信息补充，并加强显著物体的边界特征。该模型在收集的采砂船数据集上表现优良，在现有的6个sod数据集上表现良好。但是，该方案的设计仅仅是针对采砂船图像进行图像的特征值去噪和获取，获取采砂船的静态特征，虽然放大了采砂船的一些局部特征，但是没能获取采砂船的行为特征；其次，对图像处理肯定会受到黑夜、海浪、水雾等环境因素影响，对图像清晰度要求比较高；最后，其设计不能实时的对采砂船的行为特征进行反馈，如：分级报警，帮助用户更好地对采砂船采砂这个行为进行处理。
24.现有技术还提出一种基于视频图像识别技术的长江河道禁采执法工作系统，其设计要点是：基于视频图像识别技术的长江河道禁采执法工作系统，包括采砂船常光识别预警模组、采砂船弱光识别预警模组、通讯模组、系统服务器和远程监控终端，系统服务器上还连接有数据库模块，采砂船常光识别预警模组或采砂船弱光识别预警模组对非法采砂船进行识别并发出预警信号，通讯模组接收预警信号并将报警信息和报警图片传输到系统服务器，系统服务器处理预警信号并推送到远程监控终端上实现自动报警，操作人员在远程监控终端上对报警信号进行接警出警，数据库模块对接警出警进行记录并存入系统日志。其能对监控区域内的非法采砂船只进行自动识别预警，无需执法人员长时间值守，并且对视频传输网络的带宽依赖度较低。该方案的缺点仅仅是对采砂船的常光特征和热光特征与对应的数据库进行比较来进行识别的，仍然着重获取的是采砂船的静态图像特征；虽然使用了热成像摄像机，但是未充分利用热成像摄像机热度分析能力等等。
25.本技术提供一种船只的异常行为检测方法，该方法结合了多个维度的特征信息，基于多个维度的特征信息判断目标船只是否具有异常行为，检测准确，降低漏检率。下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.请参见图1，为本发明船只的异常行为检测方法的第一实施例的流程示意图，具体包括：
27.步骤s11：对目标船只进行检测，得到目标船只的特征信息，特征包括目标船只的水平位置特征信息、目标船只的动力装置热成像特征信息、目标船只的行为特征信息中至少一种。
28.步骤s12：基于特征信息判断目标船只是否具有异常行为。
29.具体的，对目标船只进行检测，以得到目标船只的多个维度的特征信息，例如目标船只的水平位置特征信息、目标船只的动力装置热成像特征信息、目标船只的行为特征信息中至少一种。基于多个维度的特征信息判断目标船只是否具有异常行为。
30.具体的，在一实施例中，特征信息包括水平位置特征信息。也即本实施例中，对目标船只的水平位置特征信息进行检测，得到目标船只的水平位置特征信息，基于目标船只的水平位置特征信息确定目标船只是否具有异常行为。
31.具体的，请结合图2，图2为图1的第一实施例的流程示意图，具体包括：
32.步骤s21：检测目标船只在水面上的当前水平位置。
33.具体的，实时对目标船只进行检测，得到目标船只在水面上的当前水平位置。
34.可以理解的，预先安装能够检测水面的监控设备，例如普通摄像机、热成像相机
等。在安装摄像机时，对不同镜头倍率下的特定船只进行景深标定，以确定出不同镜头倍率下船只的特定水平位置。
35.在安装还摄像机后，摄像机实时对目标船只进行检测，例如，在目标船只刚下水时，摄像机检测得到目标船只的初始水平位置，将初始水平位置作为预设水平位置存储。
36.步骤s22：基于预设水平位置以及当前水平位置确定水平位置特征信息。
37.基于预设水平位置以及实时检测的当前水平位置确定水平位置特征信息。具体的，确定当前水平位置与预设水平位置的变化量，该变化量即为水平位置特征信息。
38.可以理解的，在目标船只发生采砂行为时，目标船只上的砂子会增加目标船只的重量，进而使得目标船只在水面上下沉。本实施例的方法，将当前水平位置与预设水平位置进行比较，确定目标船只的下沉量，基于目标船只的下沉量确定目标船只是否发生了采砂行为。
39.步骤s23：响应于水平位置特征信息大于第一阈值，则目标船只具有异常行为。
40.具体的，若水平位置特征信息大于第一阈值，则目标船只具有异常行为。以采砂为例，若目标船只的当前水平位置与预设水平位置的下沉量大于第一阈值，则说明目标船只的重量增加，也即判定目标船只正在采砂，其具有异常行为。
41.在另一实施例中，还可以实时检测目标船只的速度，在一可行实施例中，目标船只若发生采砂行为，目标船只的重量增加，进而会影像目标船只的速度。也即若检测到目标船只的速度变慢，并且变化量大于一预定值时，则可以判定目标船只具有采砂的异常行为。
42.在另一实施例中，还可以通过检测目标船只的动力装置热成像特征信息，进而确定目标船只是否具有异常行为。具体请参见图3，图3为图1的第二实施例的流程示意图，具体包括：
43.步骤s31：确定目标船只的异常动力装置。
44.具体的，利用热成像相机对目标船只进行检测。得到目标船只的所有动力装置的第一热度图像。将所有动力装置的第一热度图像对应的热度数据与第二阈值进行比较，响应于第一热度图像对应的热度数据大于第二阈值，则热度数据对应的动力装置为异常动力装置。
45.在一具体实施例中，第二阈值可以为目标船只的平均温度。或者第二阈值可以为高于目标船只的平均温度一定温度的温度，例如第二阈值为高于目标船只的平均温度的温度。
46.也即，在本实施例中，需要进一步确定第二阈值，基于第二阈值确定异常动力装置。具体的，利用船只检测算法对目标船只进行检测，以得到目标船只对应的图像区域，目标船只对应的图像区域为目标船只在图像中的矩形框区域。利用热成像相机基于热度分析算法确定图像区域的第二热度图像。具体的，利用热成像相机基于热度分析算法将人眼不能看到的目标表面温度转换为表征目标船只的温度分布的热度图像。基于第二热度图像确定目标船只的图像区域包含的区域的平均温度。基于平均温度确定第二阈值。在一实施例中，第二阈值等于平均温度，在另一实施例中，第二阈值等于平均温度加固定温度，例如平均温度 40摄氏度。
47.步骤s32：响应于异常动力装置的数量大于预设数量，则目标船只具有异常行为。
48.在确定了第二阈值之后，将动力装置对应的第一热度图像对应的热度数据与第二
阈值进行比较，响应于热度数据大于第二阈值，则对应的动力装置为异常动力装置。
49.具体的，在异常动力装置的数量大于预设数量时，则确定目标船只具有异常行为。可以理解的，在目标船只进行采砂时，会有多个动力装置配合工作，例如吸水泵的发动机等等，当有多个动力装置的热量均大于第二阈值时，则说明有多个动力装置在工作，也即一定程度上具有采砂的行为，此时判定目标船只具有异常行为。
50.在再一实施例中，还可以通过检测目标船只的行为特征信息，进而确定目标船只是否具有异常行为。具体请参见图4，图4为图1的第三实施例的流程示意图，具体包括：
51.步骤s41：利用行为分析算法对目标船只进行检测，确定目标船只中的机械部件的行为特征信息。
52.具体的，实时检测目标船只的行为，利用行为分析算法对目标船只进行检测，确定目标船只中的机械部件的行为特征信息。具体的，利用行为分析算法检测目标船只的机械部件是否具有采砂行为，例如，检测确定行为特征信息是否符合预设要求，响应于行为特征信息符合预设要求时，目标船只具有异常行为。
53.步骤s42：基于机械部件的行为特征信息判断目标船只是否具有异常行为。
54.具体的，利用行为分析算法检测目标船只的机械部件是否具有采砂行为，例如，检测确定行为特征信息是否符合预设要求，响应于行为特征信息符合预设要求时，目标船只具有异常行为。
55.具体的，在检测到机械部件的行为特征信息具有挖掘、倾倒等一系列设计采砂行为的动作时，即判定目标船只具有异常行为。
56.本技术中，通过上述图2至图4所示的三个维度的船只的特征信息，确定目标船只是否具有异常行为。在确定目标船只具有异常行为时，进行报警。
57.在一实施例中，可以进行三种类型不同的报警，例如，在目标船只的水平位置信息变化大于第一阈值时，进行位置异常报警；在目标船只的异常动力装置数量大于预设数量时，进行动力装置异常报警；在目标船只的机械部件行为异常时，进行行为异常报警。可以理解的，本技术的报警可以为通过预设的平台协议进行语音报警，或者进行视频报警，语音报警的同时，可以同时附带视频文件，以作证据。
58.在本技术的另一实施例中，上述图2至图4所示的三种不同维度的特征信息可以自由组合应用，例如，在目标船只的水平位置信息变化大于第一阈值时，进一步检测目标船只的异常动力装置，在目标船只的异常动力装置数量大于预设数量时，进行报警。或者，在目标船只的水平位置信息变化大于第一阈值时，进一步检测目标船只的异常动力装置，在目标船只的异常动力装置数量大于预设数量时，进一步检测目标船只的机械部件行，在目标船只的机械部件行为异常时，进行报警。任意组合不限于上述举例方案，还可以为其它组合方案，具体不做限定。
59.本技术的船只的异常行为检测方法，采用热成像摄像机监测，减弱黑夜、海浪、水雾等环境因素影响，并且还能获取图像的热度变化情况，对采砂船多发动机等异常热源情况进行检测。能够对特定的采砂船特征进行特别关注，结合平台，对采砂船的非法采砂行为进行限制。利用热成像相机检测目标船只的水平位置特征信息、目标船只的动力装置热成像特征信息、目标船只的行为特征信息中至少一种，从多个维度的特征出发，判断目标船只是否具有异常行为，判断准确，并且能够降低漏检率。
60.请参见图5，为本发明船只的异常行为检测装置的一实施例的结构示意图，具体包括检测模块51以及判断模块52。
61.其中，检测模块51用于对目标船只进行检测，得到目标船只的特征信息，特征包括目标船只的水平位置特征信息、目标船只的动力装置热成像特征信息、目标船只的行为特征信息中至少一种。判断模块52用于基于特征信息判断目标船只是否具有异常行为。
62.具体的，对目标船只进行检测，以得到目标船只的多个维度的特征信息，例如目标船只的水平位置特征信息、目标船只的动力装置热成像特征信息、目标船只的行为特征信息中至少一种。基于多个维度的特征信息判断目标船只是否具有异常行为。
63.具体的，在一实施例中，特征信息包括水平位置特征信息。也即本实施例中，对目标船只的水平位置特征信息进行检测，得到目标船只的水平位置特征信息，基于目标船只的水平位置特征信息确定目标船只是否具有异常行为。
64.在一实施例中，检测模块51用于检测目标船只在水面上的当前水平位置；基于预设水平位置以及当前水平位置确定水平位置特征信息；预设水平位置为目标船只在水面上的初始水平位置。判断模块52在水平位置特征信息大于第一阈值时，判断目标船只具有异常行为。
65.可以理解的，预先安装能够检测水面的监控设备，例如普通摄像机、热成像相机等。在安装摄像机时，对不同镜头倍率下的特定船只进行景深标定，以确定出不同镜头倍率下船只的特定水平位置。
66.在安装还摄像机后，摄像机实时对目标船只进行检测，例如，在目标船只刚下水时，摄像机检测得到目标船只的初始水平位置，将初始水平位置作为预设水平位置存储。
67.基于预设水平位置以及实时检测的当前水平位置确定水平位置特征信息。具体的，确定当前水平位置与预设水平位置的变化量，该变化量即为水平位置特征信息。
68.可以理解的，在目标船只发生采砂行为时，目标船只上的砂子会增加目标船只的重量，进而使得目标船只在水面上下沉。本实施例的方法，将当前水平位置与预设水平位置进行比较，确定目标船只的下沉量，基于目标船只的下沉量确定目标船只是否发生了采砂行为。
69.具体的，若水平位置特征信息大于第一阈值，则目标船只具有异常行为。以采砂为例，若目标船只的当前水平位置与预设水平位置的下沉量大于第一阈值，则说明目标船只的重量增加，也即判定目标船只正在采砂，其具有异常行为。
70.在另一实施例中，还可以实时检测目标船只的速度，在一可行实施例中，目标船只若发生采砂行为，目标船只的重量增加，进而会影像目标船只的速度。也即若检测到目标船只的速度变慢，并且变化量大于一预定值时，则可以判定目标船只具有采砂的异常行为。
71.在另一实施例中，检测模块51用于确定目标船只的异常动力装置，具体的，检测模块51利用热成像相机对目标船只进行检测，得到目标船只的所有动力装置的第一热度图像；响应于第一热度图像对应的热度数据大于第二阈值，则热度数据对应的动力装置为异常动力装置。判断模块52用于在异常动力装置的数量大于预设数量时，确定目标船只具有异常行为。
72.具体的，利用热成像相机对目标船只进行检测。得到目标船只的所有动力装置的第一热度图像。将所有动力装置的第一热度图像对应的热度数据与第二阈值进行比较，响
应于第一热度图像对应的热度数据大于第二阈值，则热度数据对应的动力装置为异常动力装置。
73.在一具体实施例中，第二阈值可以为目标船只的平均温度。或者第二阈值可以为高于目标船只的平均温度一定温度的温度，例如第二阈值为高于目标船只的平均温度的温度。
74.在一实施例中，检测模块51用于利用船只检测算法对目标船只进行检测，以得到目标船只的图像区域；利用热成像相机基于热度分析算法确定图像区域的第二热度图像；第二热度图像表征目标船只的温度分布；基于第二热度图像确定图像区域的平均温度；基于平均温度确定第二阈值。在确定了第二阈值之后，将动力装置对应的第一热度图像对应的热度数据与第二阈值进行比较，响应于热度数据大于第二阈值，则对应的动力装置为异常动力装置。
75.具体的，在异常动力装置的数量大于预设数量时，则确定目标船只具有异常行为。可以理解的，在目标船只进行采砂时，会有多个动力装置配合工作，例如吸水泵的发动机等等，当有多个动力装置的热量均大于第二阈值时，则说明有多个动力装置在工作，也即一定程度上具有采砂的行为，此时判定目标船只具有异常行为。
76.在再一实施例中，检测模块51用于利用行为分析算法对目标船只进行检测，确定目标船只中的机械部件的行为特征信息。判断模块52用于基于机械部件的行为特征信息判断目标船只是否具有异常行为。具体的，判断模块52在行为特征信息符合预设要求时，确定目标船只具有异常行为。
77.具体的，实时检测目标船只的行为，利用行为分析算法对目标船只进行检测，确定目标船只中的机械部件的行为特征信息。具体的，利用行为分析算法检测目标船只的机械部件是否具有采砂行为，例如，检测确定行为特征信息是否符合预设要求，响应于行为特征信息符合预设要求时，目标船只具有异常行为。
78.利用行为分析算法检测目标船只的机械部件是否具有采砂行为，例如，检测确定行为特征信息是否符合预设要求，响应于行为特征信息符合预设要求时，目标船只具有异常行为。具体的，在检测到机械部件的行为特征信息具有挖掘、倾倒等一系列设计采砂行为的动作时，即判定目标船只具有异常行为。
79.请参见图6，为本发明电子设备的一实施例的结构示意图，电子设备包括相互连接的存储器202和处理器201。
80.存储器202用于存储实现上述任意一项的设备的方法的程序指令。
81.处理器201用于执行存储器202存储的程序指令。
82.其中，处理器201还可以称为cpu(central processing unit，中央处理单元)。处理器201可能是一种集成电路芯片，具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
83.存储器202可以为内存条、tf卡等，可以存储设备的电子设备中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。
电子设备的存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
84.在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
85.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
86.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
87.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。
88.请参阅图7，为本发明计算机可读存储介质的结构示意图。本技术的存储介质存储有能够实现上述所有方法的程序文件203，其中，该程序文件203可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储装置包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
89.以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。