一种户外鱼类池塘养殖投喂监控系统的制作方法

1.本发明属于鱼类养殖技术领域，特别涉及一种户外鱼类池塘养殖投喂监控系统。


背景技术：

2.针对大型户外池塘养殖环境，实现精准投喂对节省饲料资源、减少水体污染、渔民增收具有重要意义。目前，面向户外场景的投喂控制技术大都采用定时、定量投喂，没有考虑鱼类摄食行为特征。此外，已有的基于声学和光学手段的投喂状态判别方法，不能适应户外复杂工况。这些因素导致现有的养殖系统无法实现精准投喂的要求。


技术实现要素：

3.本发明实施例之一，一种基于偏振相机、前置处理模块、zigbee短波传输模块、中央处理以及投喂控制等功能为一体的适用于大型养殖场景的投喂管理系统。该系统包括偏振相机、边缘处理器、鱼类的状态特征数据、zigbee短波传输模块，以及中央处理服务器。
4.所述偏振相机面对池塘水面，用于鱼类状态图像；
5.所述边缘处理器，接收到偏振相机输出的池塘鱼类图像后，对该图像进行计算处理，获得关于鱼类的状态特征数据；
6.所述zigbee短波传输模块连接所述边缘处理器，将所述鱼类的状态特征数据传输至所述中央处理服务器，由中央处理服务器根据获得的鱼类的状态特征数据做出投喂判断，并将投喂指令发送至投喂机。
7.所述投喂机连接所述边缘处理器，边缘处理器接收到投喂指令后，对投喂机进行投喂控制。
8.所述偏振相机被安装在可调整姿态的云台上。
9.所述偏振相机的偏振组件包括0
°
、60
°
、120
°
三个偏振角度的偏振片。
10.所述边缘处理器对于获取的实时鱼类状态图像采用偏振图像选择算法和/或粗粒度差分粒子算法实现鱼类图像特征的提取。
11.本发明实施例的投喂监控系统具备前置处理能力和小数据量传输能力，实现了稳健高效的池塘养殖投喂控制。
附图说明
12.通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
13.图1为根据本发明实施例之一的池塘养殖投喂监控系统示意图。
14.图2为根据本发明实施例之一的池塘养殖投喂监控中对于养殖鱼类识别方法流程图。
具体实施方式
15.对于现有的大型淡水鱼户外池塘养殖场，如果要采用图像监控和识别技术实现对于养殖鱼的精准投喂，会遇到以下问题，包括：
16.1)户外光照条件和设备噪声导致传统的声光采样方法无法在线精准提取摄食状态的有效信息。
17.2)采用现有的集中数据处理手段，直接将原始数据传递到中央处理器的方法，增加了数据处理量，降低了数据处理实时能力，不适用与大型养殖环境。
18.3)如果采用基于4g/5g等手段的数据传输方式，会增加投喂管控系统的建设成本。
19.根据一个或者多个实施例，如图1所示，一种适用于大型鱼类养殖环境的投喂控制系统，该系统包括偏振相机、边缘处理器、投喂机、zigbee短波传输模块，以及中央处理服务器。其中，
20.偏振相机采用具备3偏振角度同步采样的能力的偏振相机，采用云台方式固定偏振相机，因为相机和投喂机安放位置需近似固定，云台根据实际情况调整相机位置。
21.边缘处理器通过网口连接偏振相机，通过usb口连接zigbee发射装置。偏振相机采集的图像信号经过边缘处理器的偏振图像选择算法、粗粒度差分粒子算法实现图像特征提取，然后写入双口ram，最后采用485接口，通过zigbee无线传输到中央处理服务器。
22.边缘处理器采用的偏振图像选择算法包括，
23.1)按照0
°
，60
°
，120
°
三个偏振角度采集rgb格式偏振图像，比较rgb图像中r、g、b三个通道像素的大小，选择最小值表示像素点暗通道值，最大值为该像素点亮通道值；
24.2)随机选择无云、晴天工况，利用偏振相机采集全天视频图像。按照过曝区域面积大小选择高过曝、中过曝、低过曝和无过曝四种图片各100张，并人工标注过曝区域，利用公式1提取整副图像所有像素点亮通道值l
bright
和暗通道值l
dark
，并归一化。
[0025][0026]
其中，sd和ss分别表示图像中漫反射分量和镜面反射分量所占权重，α为漫反射区域色度值，β光源色度值。如果采用户外自然光照条件，光源色度可以设定为白光色度值；漫反射区域色度值可以采用无投喂时图像平均色度值确定。
[0027]
3)利用归一化数据，统计所有过曝区域亮暗通道比值q＝(l
dark
/m
dark
)，计算其最大值作为过饱和阈值。根据图像成像原理，高光区域图像rgb三通道都有很高的强度值，而漫反射区域亮暗通道差异较大，因此将大于阈值的作为无过曝区域，小于阈值的作为过曝区域。
[0028]
4)根据光线偏振原理，当一个偏振方向存在过度曝光现象，肯定存在1个偏振角度可以滤除过度曝光光谱。此外，针对鱼类摄食工况条件，由于鱼类运动的复杂性，导致会产生多个角度过曝图像，因此本实施例采取比较3个偏振角度图像的亮暗通道比值，并选择图像像素亮暗通道比值大于过饱和阈值最多的图像作为实际使用图像。
[0029]
由于水面随机波动特定，不同角度获得的偏振图像可能都存在镜面反射现象，本公开所采用的方法相比于传统的基于亮度和饱和度的偏振角度选择方法，提出的方法能够更准确的获得不同偏振角度的镜面反射信息，降低了由于水面波动带来的选择误差。
[0030]
进一步的，为了降低边缘处理器图像处理复杂度，提升边缘处理器的实时能力，提出一种粗粒度差分粒子算法，用于快速提取图像运动特征。该算法包括：
[0031]
首先，获取两帧连续图像，将图像灰度化，利用图像差分方法计算两帧图像差分图，计算公式为：
[0032]dn
(x，y)＝|fn(x，y)-f
n-1
(x，y)|，
ꢀꢀꢀ
(2)
[0033]
其中dn(x，y)为x，y坐标位置第n帧图像和n-1帧图像像素差值，fn(x，y)为第n帧图像x，y位置像素值。
[0034]
其次，采用先验半监督方法确定不同运动剧烈程度图像灰度变化区间，并按照以下原则对图像进行粗粒度分割：
[0035]
(1)当dn(x，y)≤50时，代表图像运动微小，像素差异不大，因此统计此区间内所有像素数量代表微小运动区域覆盖面积；
[0036]
(2)当50＜dn(x，y)≤100时，代表像素瞬时有较强运动状态，此时运动较为剧烈，对所述运动像素进行水平方向投影和竖直方向投影，得到投影向量，并以3邻域为计算单元，计算两帧图像间像素插值在x，y方向变化的偏导数；
[0037]
(3)当100＜dn(x，y)时，代表像素运动剧烈，此时局部的运动已经不能描述整体运动情况，根据先验分析，大于100区域像素具备分块特性，即存在一个大范围运动区域，因此，利用canny算子计算大于100轮廓区域，膨胀腐蚀后构造连通域轮廓最小外接矩形，利用4层图像金字塔方法计算不同连通域下采样图像像素插值在x，y方向变化的偏导数；
[0038]
(4)利用公式统计步骤(2)，(3)中所有运动像素点平均运动强度，其中l为像素插值大小，为像素在x，y方向的偏导数，n为像素总数。
[0039]
(5)所述像素特征点采样完成后，构造x＝{n
50
，n
100
，ω
100
，ns，ωs}图像特征向量，其中n
50
为dn(x，y)≤50像素数量，n
100
为50＜dn(x，y)≤100像素数量，ω
100
为其平均运动强度，ns为100＜dn(x，y)像素数量，ωs为其平均运动强度。
[0040]
本公开中涉及的粗粒度特征提取算法，可有效降低传输数据数量，构造的图像特征向量大小为5个字节，按照标准1920*1080像素图像计算，平均图像大小10mb，因此每张图像传输数据量降低2个数量级，能够满足工业短波网络数据传输要求。
[0041]
zigbee短波传输模块，用于进行双向信息交互传输，配备1根usb-232转换线，内置2口5a继电器。zigbee模块负责传输图像特征信息至中央处理服务器，并接收中央处理服务器投饲机控制信号实现投喂控制。
[0042]
所述zigbee短波传输模块与中央处理处理器通信。其中，所述zigbee短波传输模块与中央处理器通信之间传输的通信数据包包括：
[0043]
包头，包括边缘处理器类型信息；
[0044]
ip地址，包括边缘处理器的地址；
[0045]
数据长度，包括传送信息的数据长度；
[0046]
指令，包括控制类别；
[0047]
信息内容，用于描述所传送信息的内容；以及
[0048]
校验信息。
[0049]
本公开实施例有益效果包括：
[0050]
1、采用偏振技术获取鱼类摄食图像。
[0051]
2、采用前置图像处理功能，提升了系统实时性，降低了数据传输数据量，可利用短波无线技术进行数据传输，降低了使用和安装成本，可满足大型养殖企业使用要求。
[0052]
3、采用前置数据预处理，降低了对后台中央处理器性能要求，一台普通工业电脑，就能实现大型养殖企业全场的控制要求。
[0053]
4、系统采用集成式设计将图像处理和zigbee传输集成为一个控制终端，有效降低了系统安装、维护难度。
[0054]
5、采用模块化设计，相机、云台、控制终端都可以独立更换。
[0055]
根据一个或者多个实施例，一种大型养殖场景的投喂管理系统，包括一个中央处理服务器端，边缘处理器将图像特征信号发送给中央处理服务器端，信号经过处理后，将控制指令利用zigbee模块发送给指定边缘节点，边缘节点利用zigbee模块配备的内置继电器实现投喂机开关控制。这里的边缘节点包括偏振相机、边缘处理器、投喂机、zigbee短波传输模块。中央处理服务器端可以同时处理多个边缘节点。
[0056]
中央处理器cpu2.4ghz，利用usb接口与zigbee接口连接。中央处理服务器安装了集成控制软件，可实现流数据处理与投喂控制。其中，
[0057]
集成软件使用python编写，利用开源tensflow架构实现birnn算法，算法输入特征为x＝{n
50
,n
100
,ω
100
,ns,ωs}，根据投喂机工作特定，将特征长度时间为10s，由于图像采样帧率为24帧/秒，单个特征向量维度为230。birnn算法隐含层数量设为2,每层rnn隐藏单元数量设为230。采用adam优化器更新梯度变量,并设定丢失率为0.2％,匹尺寸为60。
[0058]
中央控制器或者服务器，按照接收到信号地址进行分类存储，同一地址信号按照时间顺序排列，birnn算法经过训练后仅仅预测是否需要停止投喂机工作，当判断需要停止时，按照数据来源地址信息，通过zigbee输出停止信号。此外，控制软件集成了手自动控制和定时启动功能，用户可以自行设定定时控制逻辑。
[0059]
目前，中央控制器或者服务器在进行投喂控制时，需要了解目标鱼类的种类。针对水下鱼类目标识别技术主要采用特定样本集的识别方法。当识别目标变化超出原始样本集空间时，需新建样本集，重构识别算法，耗时耗力，不利于技术的推广应用。特别当观测鱼类样本较少时，现有的基于特定样本集的识别方法无法实现有效识别。此外，目前学习算法仅仅实现对鱼类个体识别，尚未见到将个体识别和体型方向识别融合为一体的识别方法
[0060]
根据一个或者多个实施例，一种大型鱼类养殖场投喂管理系统中采用的养殖鱼类识别方法，如图2所示，包括以下步骤：
[0061]
s101，选择具有代表意义的典型鱼类构建鱼类样本库，并根据统一标准对图像进行预处理；
[0062]
s102，对预处理数据提取鱼头和鱼尾位置，构造鱼体、鱼头、鱼尾联合特征库；
[0063]
s103，对经过预处理的数据进行分类，得到训练集和测试集；
[0064]
s104，构造用于鱼类迁移学习模型，并利用分类样本库进行预学习；
[0065]
s105，构建待测样本小样本数据集；
[0066]
s106，利用小样本对预学习迁移模型进行再次训练；
[0067]
s107，将鱼类图像输入到训练好的模型中进行识别，首先识别出鱼类个体；
[0068]
s108，构造鱼类个体最小外接矩形，然后将外接矩形横轴和纵轴各外扩10个像素，
构建新识别区域，在其中利用迁移学习算法识别出鱼头和鱼尾位置。
[0069]
s109，以鱼头鱼尾最小外接矩形中心点为方向定位点，鱼尾到鱼头连接线方向为体型方向，实现鱼类个体及体型方向的一体化定位。
[0070]
本发明实施例的有益效果在于，通过基于迁移学习的鱼类识别及体型方向一体式识别方法，提高了现有大型渔业养殖投喂系统中对于鱼类的图像识别效率和精度。
[0071]
根据一个或者多个实施例，大型鱼类养殖场投喂管理系统中采用的养殖鱼类识别方法一种渔业养殖鱼类识别方法，包括以下步骤：
[0072]
s1、针对国内常见的水产养殖品种和保护品种，按照鲤形目和鲇形目等常见花白鲢、鲤鱼、鲫鱼、鲥鱼、黄颡鱼、达氏鲟、长吻鮠等较易获取大量样本的鱼类为基础，按照鲤亚科、鲢亚科、鳅亚科、鲟亚科、鲿科进行初步分类，构造科属鱼类样本库。
[0073]
s2、以鱼身，鱼头，鱼尾三个目标为基础构造训练和测试样本集、并标定好样本集图像按照镜像、-30
°
、-60
°
、30
°
和60
°
分别进行旋转和1：2、1：0.75、1：0.5和1：0.25进行缩放，增加样本数量。
[0074]
s3、以vgg19预训练模型为基础，通过在模型末端增加一个全连接层构建迁移学习模型。
[0075]
s4、选用批量梯度下降优化算法，其中batchsize设置为20，选择随机梯度下降算法，学习率设置为0.0001，选择softmax作为损失函数。
[0076]
s5、冻结全连接层外所有卷积层参数，并按照亚科分类做为全连接层输出分类，利用科属鱼类样本库为基础对构造的模型进行训练，得到鱼类初步分类卷积模型包。
[0077]
s6、采集特定养殖场景或者生物调查场景目标对象数据，按照待识别目标构造精准识别目标小型样本库。
[0078]
s7、以训练好的迁移学习模型为基础，通过开放全连接层和临近的1-3层卷积层参数，对迁移学习模型进行再次训练。
[0079]
s8、选用小批量梯度下降优化算法，其中minibatchsize设置为10，选择随机梯度下降算法，学习率设置为0.0001，选择softmax作为损失函数，每个训练周期打乱一次数据。
[0080]
s9、比较分析实验结果，根据识别精度和识别效率综合比较，按照当选择的临近全连接层卷积层层数较少，且两个选择之间识别精度误差小于1％时，确定网络模型。最终分别构造鱼体识别网络cnnf-1，鱼头识别网络cnnfh-2和鱼尾识别网络cnnft-2。
[0081]
s10、采集实际工况环境种的鱼类图像，采用高斯滤波分别对原始图像rgb通道进行滤波，去除图像噪声。
[0082]
s11、利用训练好的迁移学习模型，对实际采样数据进行识别，首先利用cnnf-1模型识别出数据中鱼类个体所在位置，并确定识别目标最小外接矩形。
[0083]
s12、以矩形中心为定位参考点，将最小外接矩形长宽两个方向各放宽10个像素，合计长度增加20像素，宽度增加20像素，构造新的待识别区域。
[0084]
s13、分别利用cnnfh-2模型和cnnft-2，在新的待识别区域内识别鱼头和鱼尾位置。
[0085]
s14、当能够同时识别出鱼头和鱼尾位置时，保留识别鱼类对象进行下一步运动方向判定；当不能够同时识别时放弃该目标，但将该目标作为备选样本库图像存储，为增量学习储备样本。
[0086]
s15、构造识别出的鱼头和鱼尾位置最小外接矩形，计算矩形中心位置，并用直线连接，以鱼尾到鱼头方向直线方向，并以直线方向作为鱼类目标运动方向。
[0087]
根据一个或者多个实施例，以常见的养殖鱼类和保护中心养殖的保护品种鱼类为目标采集实验样本，其中预学习模型共采集草鱼、鲤鱼、鲥鱼、花莲、白莲、达氏鲟等鱼类图片12330张。从实施基地选择待测鱼类为鲫鱼、鳊鱼和长吻鮠，每条鱼采集200张图像，对预训练模型进行小样本训练，构造最终识别模型。
[0088]
现场实施时，共采集鲫鱼图像280张、鳊鱼图像220张、长吻鮠图像86张。鱼体识别结果为，鲫鱼识别率99％，鳊鱼识别率为100％，长吻鮠识别率98.8％，鱼体总体识别准确率达到99.6％。
[0089]
在识别出的鱼体图像中进行鱼头和鱼尾定位识别，识别准确率分别为鲫鱼(鱼头：99％，鱼尾：98％)，鳊鱼(鱼头：98％，鱼尾：98％)，长吻鮠(鱼头：100％，鱼尾：97％)。构建的鱼类识别迁移学习模型结构如下。
[0090][0091]
值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。