基于场景解耦的偷钓行为检测方法、装置及可读存储介质与流程

1.本技术涉及图像处理领域，更具体地说，是基于场景解耦的偷钓行为检测方法、装置及计算机可读存储介质。


背景技术：

2.生活中，很多公共场所(比如河流、湖泊等等)都是不允许进行垂钓行为的，但是总有一些人员违反这项规定。对于违规偷钓行为，目在现有的偷钓行为检测方法中，最常见的就是通过目标检测的手段来完成，总体上就是通过将人员手握钓竿看成一个整体作为检测目标，从而达到将偷钓人员检测出来的目的。
3.在前述方法中，一般都是将偷钓人员与钓竿所形成的矩形区域作为检测目标，由于钓竿的状态(长度、形状)复杂多变，这个矩形区域一般比较大，会引入非常多的干扰，容易将其它场景的人员误检为偷钓人员，由于将偷钓人员与钓竿作为整体目标，这就导致很难获得大量且多样性的训练数据，例如涉及偷钓人员的姿势和钓竿的形状等训练数据，从而导致检测准确率低。


技术实现要素：

4.针对现有技术，本技术解决的技术问题是提供一种对水域、钓鱼竿和人员目标进行解耦以提高检测准确率的基于场景解耦的偷钓行为检测方法、装置及可读存储介质。
5.为解决上述技术问题，第一方面，本技术提供一种基于场景解耦的偷钓行为检测方法，其包括：
6.获取待检测图像f；
7.对待检测图像f进行关于水域和钓鱼竿的语义分割，判断语义分割结果判断分割结果中是否同时存在水域和钓鱼竿两种对象；
8.若存在水域和钓鱼竿两种对象，记属于钓鱼竿对象的所有像素点组成的坐标集合u1，并对待检测图像f进行人员目标检测，判断目标检测结果中是否存在人员目标；
9.若目标检测检测出人员目标，记属于人员目标的所有像素的坐标集合u2；以及，
10.对坐标集合u1和坐标集合u2的交集运算，若交集不为空，则表示有人员偷钓行为，输出并标记出坐标集合u2对应的人员目标。
11.在一种可能的实现方式中，对待检测图像进行关于水域和钓鱼竿的语义分割的步骤包括：
12.获取第一训练数据集；
13.对第一训练数据集中的每一图像数据进行关于水域和钓鱼竿的数据标注，根据数据标注结果生成单通道掩膜图像；
14.将数据标注后的数据集输入分割网络模型中进行训练获得语义分割模型；
15.利用所述语义分割模型对所述待检测图像f进行关于水域和钓鱼竿的语义分割，获得所述待检测图像f的关于背景、水域和钓鱼竿的数值矩阵；
16.其中，所述数值矩阵中的每一元素的值为0,1和2三个数字中的一个，0代表背景，1代表水域和2代表钓鱼竿。
17.在一种可能的实现方式中，对待检测图像进行人员目标检测的步骤包括：
18.获取第二训练数据集，对第二训练数据集进行预处理获得第三训练数据集；
19.对第三训练数据集进行关于人目标的数据标注；
20.将数据标注后的第三训练数据集输入深度学习模型中进行训练获得人员目标检测模型；
21.利用所述人员目标检测模型对所述待检测图像f进行人员目标检测，输出关于人员目标的矩形检测框；
22.记矩形检测框内的所有像素点的坐标组成坐标集合u2。
23.在一种可能的实现方式中，对第二训练数据集的进行预处理的步骤包括：
24.对第二训练数据集中的每一图像数据进行编号，获得图像数据集p＝{p1,p2,
…
pn}；
25.对所述图像数据集p＝{p1,p2,
…
pn}中的至少一图像数据进行图像平移和/或对所述图像数据集p＝{p1,p2,
…
pn}中任意两个不同编号的图像数据进行图像融合；
26.将图像平移和图像融合的结果图像与所述第二训练数据集合并形成第三训练数据集。
27.在一种可能的实现方式中，对所述图像数据集p＝{p1,p2,
…
pn}中的至少一图像数据进行图像平移为将该图像数据沿图像坐标系的x轴方向，或沿图像坐标系的y轴方向，或者沿图像坐标系的x轴方向及y轴方向平移；
28.对所述图像数据集p＝{p1,p2,
…
pn}中任意两个不同编号的图像数据进行图像融合：将该两个不同编号的图像数据中其中一个图像数据进行缩小操作，将缩小后的图像数据融合至该两个不同编号的图像数据中另外一个图像数据中。
29.在一种可能的实现方式中，所述分割网络模型为bisenet分割网络。
30.在一种可能的实现方式中，所述深度学习模型为yolov3目标检测模型。
31.在基于场景解耦的偷钓行为检测方法中，利于语义分割检测出水域和钓鱼竿，利用人员目标检测检测出人员，在通过对由钓鱼竿对象的像素点的坐标集合u1和由人员目标的像素点的坐标集合u2进行求交集运算，从而实现偷钓人员的检测，该偷钓行为检测方法将检测过程中的水域、钓鱼竿和人三个对象进行单独检测实现场景解耦，不再将人员和钓鱼竿作为整体检测，如此可以避免因检测区域过大带来不利干扰，从而提高检测准确率。同时，该偷钓行为检测方法先判断待检测图像是否水域和钓鱼竿，在同时存在水域和钓鱼竿的时再进行偷钓人员检测，如此避免盲目地进行偷钓人员的检测。
32.第二方面，本技术提供一种偷钓行为检测装置，其包括：
33.图像获取模块：用于获取待检测图像f；
34.语义分割模块：用于对待检测图像f进行关于水域和钓鱼竿的语义分割，且当语义分割模块同时分割出水域和钓鱼竿两种对象时，用于求得属于钓鱼竿对象的所有像素点组成的坐标集合u1；
35.人员目标检测：当所述待检测图像f中同时存在水域和钓鱼竿两种对象时，用于对待检测图像f进行人员目标检测且求得属于人员目标的所有像素的坐标集合u2；以及，
36.交集运算模块：用于对坐标集合u1和坐标集合u2的交集运算，且当交集不为空时标记出偷钓人员。
37.所述偷钓行为检测装置中，将检测过程中的水域、钓鱼竿和人三个对象进行单独检测实现场景解耦，不再将人员和钓鱼竿作为整体检测，如此可以避免因检测区域过大带来不利干扰，从而提高检测准确率。同时，该偷钓行为检测方法先判断待检测图像是否水域和钓鱼竿，在同时存在水域和钓鱼竿的时再进行偷钓人员检测，如此避免盲目地进行偷钓人员的检测。
38.第三方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述基于场景解耦的偷钓行为检测方法。
附图说明
39.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
40.图1为本技术实施例的基于场景解耦的偷钓行为检测方法的流程图；
41.图2为本技术实施例的获取的待检测图像f的示意图；
42.图3为本技术实施例的对待检测图像f进行关于水域和钓鱼竿的语义分割的步骤流程图；
43.图4为本技术实施例的对图2进行关于水域和钓鱼竿的语义分割的结果图；
44.图5为本技术实施例的对待检测图像f进行人员目标检测的步骤流程图；
45.图6为本技术实施例的对图2进行人员目标检测的框选出的人员目标的结果图；
46.图7为本技术实施例的利用基于场景解耦的偷钓行为检测方法检测出的偷钓人员结果图；
47.图8为本技术实施例的偷钓行为检测装置的结构框图。
具体实施方式
48.为了使本技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
49.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
50.需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
51.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性
或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
52.现结合附图对本技术的基于场景解耦的偷钓行为检测方法、装置及计算机可读存储介质进行具体说明。
53.一并参照图1，本技术实施例提供的基于场景解耦的偷钓行为检测方法包括如下步骤：
54.步骤s100：获取待检测图像f，一待检测图像f如图2所示。
55.步骤s200：对待检测图像f进行关于水域和钓鱼竿的语义分割。
56.步骤s300：判断语义分割结果判断分割结果中是否同时存在水域和钓鱼竿两种对象。若同时存在水域和钓鱼竿两种对象，则执行步骤s310：记属于钓鱼竿对象的所有像素点组成的坐标集合u1，并对待检测图像f进行人员目标检测；否者执行步骤s700。
57.步骤s400：判断目标检测结果中是否存在人员目标；
58.如存在人员目标，则执行步骤s410：记属于人员目标的所有像素的坐标集合u2；否者执行步骤s700。
59.步骤s500：对坐标集合u1和坐标集合u2的交集运算；
60.步骤s600：判断交集是否为空。若交集不为空，则执行步骤s610：表示有人员偷钓行为，输出并标记出坐标集合u2对应的人员目标；否者执行步骤s700。
61.步骤s700：未有人员进行偷钓行为。
62.在基于场景解耦的偷钓行为检测方法中，利于语义分割检测出水域和钓鱼竿，利用人员目标检测检测出人员，在通过对由钓鱼竿对象的像素点的坐标集合u1和由人员目标的像素点的坐标集合u2进行求交集运算，从而实现偷钓人员的检测，该偷钓行为检测方法将检测过程中的水域、钓鱼竿和人三个对象进行单独检测实现场景解耦，不再将人员和钓鱼竿作为整体检测，如此可以避免因检测区域过大带来不利干扰，从而提高检测准确率。同时，该偷钓行为检测方法先判断待检测图像是否水域和钓鱼竿，在同时存在水域和钓鱼竿的时再进行偷钓人员检测，如此避免盲目地进行偷钓人员的检测。
63.参照图3，在所述步骤s200中，所述水域包括河流和湖泊，对待检测图像f进行关于水域和钓鱼竿的语义分割的步骤包括：
64.步骤s210：获取第一训练数据集；
65.步骤s220：对第一训练数据集中的每一图像数据进行关于水域和钓鱼竿的数据标注，根据数据标注结果生成单通道的掩膜图像；
66.步骤s230：将数据标注后的数据集输入分割网络模型中进行训练获得语义分割模型；
67.步骤s240：利用所述语义分割模型对所述待检测图像f进行关于水域和钓鱼竿的语义分割，获得所述待检测图像f的关于背景、水域和钓鱼竿的数值矩阵；
68.在上述步骤中，第一训练数据集的每一图像数据进行预处理获得的单通道的掩膜图像与原始图像数据的长宽一样，单通道的掩膜图像的每一像素点的像素值为0,1和2三个数字中的一个，0代表背景，1代表水域和2代表钓鱼竿；单通道的掩膜图像中的0,1和2作为语义分割标签。所述数值矩阵中的每一元素的值为0,1和2三个数字中的一个，0代表背景，1
代表水域和2代表钓鱼竿。
69.在上述步骤中，分割网络模型为bisenet分割网络，图4为对图2进行进行关于水域和钓鱼竿的语义分割的结果。
70.在本实施例中，第一训练数据集包括正负样本，正样本为包含水域或钓鱼竿的图像数据，负样本为不包含水域和钓鱼竿的图像数据。在一实施例中，将第一训练数据集的部分图像数据进行不同角度旋转，并将角度旋转后的图像合并至第一训练数据集中；将第一训练数据集的部分图像数据进行图像属性变换，将亮度变化后的图像合并至第一训练数据集中，图像属性变换包括将图像数据的亮度变为原来的m倍，对比度变为原来的m倍，饱和度变为燕来的m倍,其中m的数值范围为0.6-1.4；如此可以增加训练数据集的多样性，以提高训练出的分割网络模型的精度和稳定性。
71.参照图5，在步骤s310中，对待检测图像进行人员目标检测的步骤包括：
72.步骤s311：获取第二训练数据集，对第二训练数据集进行预处理获得第三训练数据集；
73.步骤s312：对第三训练数据集进行关于人目标的数据标注；
74.步骤s313：将数据标注后的第三训练数据集输入深度学习模型中进行训练获得人员目标检测模型；
75.步骤s314：利用所述员目标检测模型对所述待检测图像f进行人员目标检测，输出关于人员目标的矩形检测框；
76.步骤s315：记矩形检测框内的所有像素点的坐标组成坐标集合u2。
77.在一实施例中，第一训练数据集包括正负样本，正样本为包含人目标的图像数据，负样本为不包含人目标的图像数据。
78.在一实施例中，对第二训练数据集进行预处理获得第三训练数据集的步骤具体为：对第二训练数据集中的每一图像数据进行编号，获得图像数据集p＝{p1,p2,
…
pn}；对所述图像数据集p＝{p1,p2,
…
pn}中的至少一图像数据进行图像平移和/或对所述图像数据集p＝{p1,p2,
…
pn}中任意两个不同编号的图像数据进行图像融合；将图像平移和图像融合的结果图像与所述第二训练数据集合并形成第三训练数据集。如此可以增加训练数据集的多样性，以提高人员目标检测模型的泛化能力。
79.在一实施例中，所述深度学习模型为yolov3目标检测模型。对图2进行步骤s310的人员目标检测结果如图6所示。
80.在上述实施例中，当语义分割结果中存在水域和钓鱼竿对象且人员目标检测是检测出人员目标时，对坐标集合u1和坐标集合u2的交集运算，即判断语义分割出的钓鱼竿对象的像素点是否落入矩形检测框内。
81.在步骤中s610中，当交集运算结果不为空时，表示有人员偷钓行为，输出并标记出坐标集合u2对应的人员目标即为：以矩形框框出与坐标集合u2对应的人员目标，且在矩形框上以“fishing”标记矩形框框出的与坐标集合u2对应的人员目标，故此表示矩形框框出的人员为偷钓人员，如图7所示。
82.参照图8，本技术实施例提供的应用所述基于场景解耦的偷钓行为检测方法的偷钓行为检测装置100包括图像获取模块11、语义分割模块12、人员目标检测13和交集运算模块14。图像获取模块11连接语义分割模块12和人员目标检测13，语义分割模块12和人员目
标检测13相互连接，交集运算模块14连接语义分割模块12和人员目标检测13。
83.具体地，图像获取模块11用于获取待检测图像f。语义分割模块12用于对待检测图像f进行关于水域和钓鱼竿的语义分割，且当语义分割模块12同时分割出水域和钓鱼竿两种对象时用于求得属于钓鱼竿对象的所有像素点组成的坐标集合u1。当所述待检测图像f中同时存在水域和钓鱼竿两种对象时，人员目标检测13用于对待检测图像f进行人员目标检测13且用于求得属于人员目标的所有像素的坐标集合u2；交集运算模块14用于对坐标集合u1和坐标集合u2的交集运算，且当交集不为空时标记出偷钓人员。
84.在所述偷钓行为检测装置100中，将检测过程中的水域、钓鱼竿和人三个对象进行单独检测实现场景解耦，不再将人员和钓鱼竿作为整体检测，如此可以避免因检测区域过大带来不利干扰，从而提高检测准确率。同时，该偷钓行为检测方法先判断待检测图像是否水域和钓鱼竿，在同时存在水域和钓鱼竿的时再进行偷钓人员检测，如此避免盲目地进行偷钓人员的检测。
85.本技术实施例还提供计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述基于场景解耦的偷钓行为检测方法。
86.所述可读存储介质可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述可读存储介质内的计算机程序和/或模块，以及调用存储在可读存储介质内的数据，实现所述计算机装置的各种功能。所述可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
87.所述处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
88.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术的保护范围之内。