基于觅食量视觉监控的鱼群投喂方法

1.本发明涉及图像模式识别和智能控制领域，具体设计一种基于觅食量视觉监控的鱼群投喂方法。


背景技术：

2.目前渔业养殖中，已有的投料系统技术主要是以定时、定量的在鱼池的某个位置进行投喂为主，这样不利于鱼群所有个体的吸收，容易造成个体差异大的现象，由于鱼没有饱腹感撑死的现象也极易发生。而一些可以均匀投料的鱼料投饲装置，因为鱼群个体之间的觅食能力存在差异，个体间觅食量的差异也越来越大。
3.在渔业智能化发展中，越来越多的智能传感技术融入到了实际的生产应用中，而鱼料的投喂系统往往还是以人工为主。现有的机械投料装置存在定点投料、投料范围小和不智能等缺点，造成了饲料的浪费甚至严重的造成鱼群个体被撑死是巨大损失。为了提高鱼饲料的利用率，将视觉识别的方法对鱼群个体进行多目标跟踪的方法对鱼群个体进行觅食能力评价，提高饲料的利用率、减少鱼群个体之间的差异，对鱼池的自动化投喂具有重要发展意义。


技术实现要素：

4.有鉴于此，本发明的目的是提供一种基于觅食量视觉监控的鱼群投喂方法，一套利用视觉对鱼群个体进行多目标跟踪的定点投料方法。
5.本发明采取的具体技术方案是：
6.基于觅食量视觉监控的鱼群投喂方法，包括如下步骤：
7.(1)图像采集和处理：采集鱼群运动的彩色图像并进行识别处理，具体为对彩色图像的rgb分量进行加权平均值计算求取其灰度图像，再采用最大类间方差法选取最佳阈值对灰度图像进行二值化处理；
8.(2)建立改进的连通域分割模型：采用连通域检测算法统计图片中连通域个数，标记每个连通域中心点坐标；设置形态学处理循环，对连通域分割的个数满足目标跟踪与分类的要求时，输出对应的连通域数目与对应坐标，否则不断加形态学处理的模型大小，直到形态学处理模型达到最大值n，输出连通域标记结果，即鱼群连通域图像分割结果；
9.(3)多目标匹配与跟踪方法：根据鱼群连通域图像分割结果将每个连通域中心作为鱼的位置，将连续时间间隔的两张图中的位置点进行匹配实现鱼群多目标跟踪，根据短时间内特征点通过像素距离进行匹配，具体特征点匹配与跟踪流程为：
10.a.在建立改进的连通域分割模型的过程中存在n张图片，第一张、第二张
······
第n张,每张图片中有m个连通域中心点坐标，计算相连两张每个连通域中心匹配结果与其最小距离；
11.b.对m个连通域中心点的n-1个活动距离进行求和比较输出最小值；
12.c.输出最小值在第n张图中对应的连通域中心点坐标，即运动量最小的体的位置
信息；运动量最小的也是觅食量最小的；
13.(4)基于视觉的精准投喂：根据获得的运动量最小的个体的位置信息，将其位置信息输入到核心硬件控制器中，核心硬件控制器将其位置信息坐标转化为世界坐标对位置定位执行机构进行控制，抵达指定位置后控制投饲装置进行投喂饲料。
14.进一步地，个体位置信息与世界坐标的数学关系为：
[0015][0016][0017]
上式中l为图像长度方向上像素点个数；h为图像宽度方向上像素点个数；u，m分别为每个图像坐标与世界坐标对应一阶函数关系的比例；d1，d2分别为每个图像坐标与世界坐标对应一阶函数关系的截距。
[0018]
进一步地所述的核心硬件为以plc为控制核心的自动投料装置，以pc机为图像决策机构，将位置信号传输给plc控制位置电机驱动器控制投料装置抵达指定位置，再控制投料桶进行投料。
[0019]
本发明的有益效果是：
[0020]
本发明的投喂方法以自动化投料为设计基础，融入视觉感知系统对鱼群觅食量小的个体进行精准投喂，实现了渔业自动化投喂的基础上提高了渔业养殖技术水平。针对现有鱼群个体觅食量不均匀的现象，提出了对鱼群个体觅食量特征的多目标识别与跟踪算法，对觅食量较小的个体进行精准投喂。并且本技术建立硬件仿真系统对算法进行了验证，得到该算法可以有效的均匀分配鱼群个体的觅食量，提高了饲料的利用率，对智能渔业的发展具有具有积极的推动作用。
附图说明
[0021]
图1为对采集的鱼群彩色图像的rgb分量进行加权平均值计算求取其灰度图像；
[0022]
图2为对图1进行二值化处理后的图像；
[0023]
图3为未进行处理连通域；
[0024]
图4为形态学处理后连通域；
[0025]
图5为改进的连通域形态学处理模型；
[0026]
图6为特征点匹配与跟踪计算流程图；
[0027]
图7为试验流程与信号流向图；
[0028]
图8为系统硬件装置图；
[0029]
图9为仿真实验在14秒内特征点的移动轨迹图。
具体实施方式
[0030]
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
[0031]
实施例1
[0032]
1.鱼群个体觅食量计算
[0033]
根据已有的研究表明鱼觅食活动中运动量的大小与个体的觅食量成正比，计算觅食过程中运动量最少的个体对应的觅食量也是最少的，需要重点投喂。对鱼群个体觅食过程中运动量的计算分为：a.图像处理；b.改进的连通域分割模型；c.多目标匹配与跟踪，三个步骤。
[0034]
1.1图像处理
[0035]
采集得到的鱼群彩色图像要进行识别处理，首先要简化图像中单个目标的信息量。为保证彩色图像的信息不丢失，对彩色图像的rgb分量进行加权平均值计算求取其灰度图像，再采用最大类间方差法选取最佳阈值对灰度图像进行二值化处理得到如图1，2所示。
[0036]
1.2改进的连通域分割模型
[0037]
由于鱼群个体之间的运动状态都是独立的，在较短的时间间隔内有的个体发生移动，有的个体没有发生移动，采用帧差法等对运动物体的跟踪识别算法容易引起目标的丢失。经过观察发现鱼群个体之间的二值图像，发现发现每个个体都是一个独立的连通区域。采用连通域检测算法不仅可以统计图片中连通域个数，而且可以标记每个连通域中心点坐标，既简化了目标信息，又精准的表示每个连通域的位置。
[0038]
由图3和图4可见多条鱼在距离较远的情况下可以较好的分割出每条鱼，而有的时候会发现相邻的鱼接触在了一起，被识别为同一个连通域，这样会极大的影响识别的精度，减少了识别的目标个数。由此，设置一个形态学处理循环，对连通域分割的个数满足目标跟踪与分类的要求时，输出对应的连通域数目与对应坐标，否则不断加形态学处理的模型大小，直到形态学处理模型达到最大值n，无论满足与否输出连通域标记结果。具体流程如下图5所示。
[0039]
经过实验，发现该算法可以较好的将鱼群的个体进行精准的标记。在原有的连通域处理的基础上可以更精确的获取不同连通域之间的位置信息、像素信息和连通域个数等关键性信息。为了提高我们分割的精度，在此，采用形态学腐蚀膨胀的原理对连接在一起的连通域进行处理，已达到可以增加连通域个数的目的。这样在接下来的多运动物体目标的跟踪中就可以在尽可能多的数据中进行处理跟踪匹配，提高了跟踪算法的精度，降低了跟踪模型的设计难度。
[0040]
1.3多目标匹配与跟踪方法
[0041]
根据鱼群连通域图像分割结果将每个连通域中心作为鱼的位置，将连续时间间隔的两张图中的位置点进行匹配是实现鱼群多目标跟踪的核心问题。该算法依据k均值聚类算法中依据的距离特征，短时间内物体移动，距离下一时刻的位置最近。由此，根据短时间内特征点通过像素距离进行匹配，本文设计了一种特征点匹配的算法。具体的特征点匹配与跟踪流程(图6)如下所示。
[0042]
在特征点匹配与跟踪中发现连续图像在特征点匹配过程中，相邻图像连通域匹配的连通域序号可能不一致，主要是由于鱼群个体是运动的，而连通域多目标的识别算法是根据连通域中心点的横坐标大小依次排序的。而本文的跟踪算法计算最小运行距离时，已经减少了同序号进行距离求和的错误，采用匹配点序号所对应距离进行求和计算，降低了试验误差，提高了算法精度。
[0043]
2.基于视觉的精准投喂
[0044]
根据多位研究人员对鱼群觅食环节的研究表明鱼在觅食过程中觅食量与运动量成正比关系，本技术采用改进的连通域分割算法提高了鱼群个体的识别精度，利用距离因子对短时间内物体移动特点对个体进行跟踪，得到运动量小(觅食量小)的个体位置进行精准投喂。
[0045]
经过觅食量算法的跟踪运算后得到了目标个体在最后时刻的图像坐标z
t (x
t
，y
t
)，根据数学推理可得，图像坐标与世界坐标呈一阶函数关系设世界坐标为z
t
(x
t
，y
t
)，其数学关系式如下所示：
[0046][0047][0048]
上式中l为图像长度方向上像素点个数；h为图像宽度方向上像素点个数； u，m分别为每个图像坐标与世界坐标对应一阶函数关系的比例；d1，d2分别为每个图像坐标与世界坐标对应一阶函数关系的截距。
[0049]
因此，接下来仅简述精准投料步骤如下：
[0050]
step.1利用改进的连通域分割标记与多目标跟踪技术求出觅食量最小的个体的的位置。
[0051]
step.2将投喂目标的位置信息输入到核心硬件控制器。
[0052]
step.3控制器将图像位置坐标转化为世界坐标对位置定位执行机构进行控制。
[0053]
step.4抵达指定位置后控制投饲装置进行投喂饲料。
[0054]
3.仿真实验系统
[0055]
提出的实验研究算法依托于以plc为控制核心的自动投料装置，以pc机为图像决策机构，将位置信号传输给plc控制位置电机驱动器控制投料装置抵达指定位置，再控制投料桶进行投料，实现算法研究的系统装置。具体的试验流程如图7所示：
[0056]
试验开始之前，首先对定位的驱动电机、传感器等进行硬件检测，根据各个传感器模块功能通过测试程序进行独立测试，在各个独立模块功能保证能正常运作后，融合不同传感器和功能模块进行综合测试以确保试验的正常运行。然后，给设备供电，打开图像采集装置运行图像处理程序，系统进行自动定点投料。仿真实验的硬件搭建如下图8所示。
[0057]
仿真研究实验中对鱼群14s的456张连续时间序列的图像提取了每张图的连通域中心点坐标，将每张图的每个连通域坐标绘制到同一张图上达到在 14s内鱼群个体的运动估计图如下图9所示。
[0058]
利用多目标匹配与跟踪方法中的数据跟踪算法对456张图片进行了跟踪，对8个连通域个体进行了运动量的计算，得到如下表1所示结果：
[0059]
表.1连续456张图的特征匹配与最小距离计算
[0060][0061]
结果表明，跟踪匹配的数据如表1所示得出第7个点的觅食量最少，对比第456张图的连通域标记结果，输出序号为7的连通域中心点图像坐标为 zt(584,786)。根据本系统特点，展开了多组连续性试验。四次投饲鱼群个体运动量变化表如表2所示：
[0062]
表.2四次投饲鱼群个体运动量变化表
[0063][0064]
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。