一种鱼苗计数物联设备及鱼苗情况统计方法与流程

1.本发明属物联技术领域，具体地说，涉及一种鱼苗计数物联设备及鱼苗情况统计方法。


背景技术：

2.在中国，大规模模块化养殖是解决市场需求的必然选择。传统鱼苗计数是基于人工统计或者经验称重。近些年，人工智能和深度学习蓬勃发展，智能化在越来越多领域得到应用，新型鱼苗计数器必然代替传统鱼苗计数方法，成为各养殖户在鱼苗统计方面的首选。
3.鱼苗个体非常小，长度大约在2
‑
4.5cm。鱼苗的单价按条计算，并且价格和鱼苗的品种质量有关。传统鱼苗的统计需要手工清点或者按重量估计数量。这样大大加重了鱼苗销售商的时间成本和人工成本。传统计数还可能导致鱼苗的死亡，增加了销售成本。
4.经检索，中国专利，一种基于机器视觉和深度学习的鱼苗便携式计数器(申请公开日：2019年3月22日；申请号：201811197077.7)，该方案的计数器包括控制箱和鱼苗计数箱；控制箱位于鱼苗计数箱上，控制箱内设有控制板、显示操作屏，控制箱底面装有夜视鱼眼广角摄像头，鱼苗计数箱内设有鱼苗计数盘和排水垫座，鱼苗计数盘设于排水垫座上，鱼苗计数盘侧面开有限位排水口，可使所测种类鱼苗无法上下迭置，排水垫座表面设有排水孔，排水垫座将鱼苗计数盘抬高以防水回流至鱼苗计数盘内。在获得鱼苗图像流后对鱼苗图像进行超分辨率重建，再利用深度卷积生成式对抗网络进行快速粗分割，最后进行精准语义分割，提取鱼苗轮廓，统计数量。但是，该专利的计数器设备的控制板没有互联网通信功能，不能和云服务器实时交互，该设备也没有语音播放、语音识别功能。图像识别采用传统图像处理算法，对图像进行区域网格分隔，提取轮廓，无法识别死鱼。
5.基于上述专利的不足，申请人于2021年5月7日公开了一种基于深度学习的鱼苗计数方法，该方法为：采集鱼苗图像，并对鱼苗图像进行标记得到标记图像；然后对标记图像进行缩放处理，使得所有的标记图像尺寸相同，再根据标记图像制作训练数据集；而后利用训练数据集对yolov3神经网络模型进行迭代训练得到优化模型；之后利用优化模型对重新采集的鱼苗图像进行识别并统计鱼苗的数量。但是，在拍摄的鱼苗图片中发现存在死鱼苗的现象，该专利没有识别死鱼；在拍摄鱼苗图片时，存在拍摄不全，图片变形情况，该专利没有对采集图像做预处理操作，存在计数不准确的情况。
6.中国专利，一种基于图像处理的鱼苗计数器(申请公开日：2016年12月7日；申请号：201610595125.2)，该方案包括放置鱼苗的计数箱，所述计数箱的上方设有摄像装置，所述摄像装置连接有计算机，所述计数箱的底板设有若干进水口，所述计数箱的侧壁上设有至少一个溢流口，若干所述进水口在计数箱内形成若干竖直向上的水流。该发明的计数箱内均匀密布着竖直向上的水流，在水流作用下，鱼苗会均匀平铺在水面一层，不会出现鱼苗聚团的现象，少量鱼苗发生重叠时，其重叠部位也只占鱼苗身体的小部分，在此基础上，基于图像处理的鱼苗计数器配以适当的算法补偿就可精确统计出计数箱内的鱼苗数量。但是，该专利没有实现死鱼和活鱼的区分；专利中通过统计鱼苗像素点个数计算鱼苗个数存
在缺陷，因为，鱼苗个头大小区别很大，像素点个数的数量差别很大，甚至是倍数关系，所以不甚准确。
7.中国专利，基于深度学习密度图回归的鱼苗计数系统及计数方法(申请公开日：2021年8月10日；申请号：202110545082.8)，该方案方法包括以下步骤：步骤1，在苗箱中投入鱼苗，通过工控机远程连接并控制嵌入式芯片设备；步骤2，利用摄像头采集鱼苗的静态图像信息并在工控机上进行展示；步骤3，将步骤2得到的图像传入嵌入式芯片设备里的图像处理模块进行清晰化和去噪处理；步骤4，将步骤3处理后的图像传入鱼苗计数模型中；步骤5，在工控机上查看计数图像及计数结果并存入数据库中。该方法将深度学习密度图回归的鱼苗计数模型和嵌入式设备相结合，能很好地解决粘连问题，保证了计数的准确结果。但是，该专利使用工控机处理采集的静态图片，一套设备配备一台工控机，没有实现互联网云技术的共享集中处理；专利使用传统的计数模型，没有采用深度学习，没有实现互联网远程gpu集中处理。
8.因此，为了更精确获得鱼苗信息，亟需开发新型的鱼苗计数物联设备及开发鱼苗情况统计方法。


技术实现要素：

9.1、要解决的问题
10.针对上述现有鱼苗计数器存在的问题，本发明提供一种鱼苗计数物联设备以及基于该设备的鱼苗情况统计方法，通过优化深度学习模型识别鱼苗个体、统计鱼苗数量，从而提高了鱼苗数量的统计效率，并且提高了鱼苗数量统计的准确率。本发明实现了一台设备采集多种鱼苗多个生长周期的图像，同时实现近似实时(秒级)的鱼苗信息识别。
11.2、技术方案
12.本发明专利采用如下的技术方案。
13.一种鱼苗计数物联设备，包括箱体和电源盒，同时，包括远程连接的统计单元；所述电源盒为箱体内安装的需电设备提供电源，所述箱体上设置有采集单元、识别单元和控制单元，所述采集单元设置在箱体内的底部，用于盛放待测鱼苗；所述识别单元设置在箱体内的顶部，用于对采集单元内的鱼苗进行拍摄；所述控制单元连接识别单元，用于控制识别单元工作并获取其拍摄的鱼苗图像，同时输出统计单元的处理结果；所述统计单元为远程服务器，通过互联网络连接控制单元，用于对鱼苗图像进行处理并得到鱼苗活鱼个数、死鱼个数以及鱼苗周期；所述电源盒为识别单元和控制单元提供电源，值得说明的是，统计单元为远程的，有单独的电源，无须电源盒提供电源。
14.进一步地，所述采集单元为置于箱体内底部的托盘，优选托盘为矩形，同时托盘的长度、宽度尺寸短于箱体内底面的长度和宽度。优选托盘的长度短于箱体内底面的长度约5至10cm，同理，托盘的宽度短于箱体内底面的宽度约5至10cm。
15.进一步地，所述箱体呈立式状，整个箱体的高度要求达到平均身高成人的腰部，方便操作员操作；同时为便于托盘的放置或取出，方便多次重复操作的便利性，箱体的侧面下方设有托盘开口，优选箱体的侧面下方开设相对的两个托盘开口。
16.进一步地，所述识别单元包括ccd高清摄像头，ccd高清摄像头安装箱体在内部顶端，以达到全景拍摄托盘内试样的目的。
17.进一步地，所述识别单元还包括led灯，增加电源接口，在箱体的内顶部安装led灯，用以提高托盘亮度，既能方便摄像头拍摄高清图片，又能使托盘内聚集的鱼苗分散开来，提高识别率。
18.进一步地，所述控制单元为树莓派系统，固定安装于箱体顶部；树莓派系统连接识别单元，系统采集图像，要求1秒内采集10帧有效高清图像，进行压缩；采集到图像后，树莓派系统把图片通过4g/5g互联网络传输到统计单元，统计单元利用yolov4算法分别识别并计算每帧图片的数量，取其最大值作为一次采集和识别的鱼苗数量。
19.同时控制单元还包括实体按键和扬声器，所述实体按键包括选择键和开始键，所述选择键用来实现鱼苗种类快速选择，通过扬声器判断，鱼种选定后，按下开始键进行鱼苗的拍摄和识别。所述扬声器和树莓派speaker接口(扬声器口连接)连接，后续还会播放识别结果，即鱼苗个数和鱼苗周期。
20.进一步地，还包括显示屏，实体按键连接显示屏，快速选择鱼苗种类，按下开始键，操控摄像头拍摄图片，显示屏并接收和显示识别结果，同时上传至控制单元。所述显示屏内嵌在箱体外表面。
21.进一步地，所述显示屏为触摸屏，也可以通过触摸屏操控树莓派系统，完成鱼种选择、鱼苗识别和结果显示，即由树莓派自动上传图片，显示屏并接收和显示识别结果。
22.进一步地，所述控制单元还包括移动终端，移动终端无线连接树莓派系统，所述移动终端可以为手机或其他移动设备，通过手机app操控树莓派系统。
23.进一步地，所述控制单元还包括微型话筒，微型话筒与树莓派系统的usb接口连接，实现语音识别，选择鱼苗种类和开始功能。
24.进一步地，所述树莓派系统外套有密闭的防潮盒，防潮盒用来保护树莓派系统，防止潮湿损坏电路。
25.进一步地，所述统计单元为远程gpu服务器，树莓派系统把获取到的图片通过4g/5g传输到远程gpu服务器，远程gpu服务器利用yolov4算法分别识别并计算每帧图片的数量，取其最大值作为一次采集和识别的鱼苗数量。
26.上述鱼苗计数物联设备识别处理流程为：通过实体按键或触摸屏或移动终端或微型话筒语音操控控制单元，即树莓派系统，树莓派系统控制识别单元即ccd高清摄像头拍摄托盘内的图像，同时树莓派系统采集帧图像，经过互联网络传输至统计单元，即gpu服务器，由gpu服务器完成深度学习鱼苗识别、个数统计，同时对原始图片和识别结果数据存储，并将结果回传至树莓派系统播报输出。
27.基于上述鱼苗计数物联设备，一种鱼苗情况统计方法，步骤为：
28.s1、实时采集鱼苗图像：控制单元控制识别单元对鱼苗的拍摄，并采集鱼苗图像、传输至统计单元进行识别，要求1秒内采集n帧高清图像，进行移动互联网压缩传输；
29.s2、边框检测和图片校正：统计单元对拍摄的图像进行预处理，对托盘的边框检测，矫正变形图片；
30.s3、鱼苗的识别和数量的统计：利用深度学习yolov4算法模型对鱼苗图像进行训练，通过训练特征结果识别鱼苗个体，得到鱼苗数量，包括活鱼个数和死鱼个数，并将结果回传至控制单元输出；
31.s4、估算鱼苗周期：通过测量鱼苗长度，即统计拍摄图片中鱼苗长度，根据鱼苗长
度和鱼苗生长周期对照表估算鱼苗生长周期，并将结果回传至控制单元输出。
32.进一步地，步骤s1中，鱼苗拍摄、采集、传输和识别时间总和控制在t秒内(t∈[3,10])。
[0033]
进一步地，步骤s1中，所述移动互联网压缩传输为通过网络传输算法，即tcp和http自适应算法，获得稳定可靠的图片和数据的传输。
[0034]
进一步地，步骤s2中，所述边框检测的目的是通过检测托盘边框是否完整，来判断拍摄是否包含所有鱼苗对象，首先读取图片转换为灰度图，对灰度图进行中值滤波去掉图像中的噪声点；图片二值化后，采用opencv中的canny函数，检测图像边缘。将轮廓尺寸乘以换算比例k和真实尺寸对比，然后判断边框是否完整；具体步骤如下：
[0035]
1)读取拍摄图片并转换为灰度图，对灰度图进行中值滤波去掉图像中的噪声点，然后对图像进行二值化，采用thresh_binary二进制阈值化，thresh为经验阈值，大于thresh置白，否则置黑。如公式(1):
[0036][0037]
2)托盘边缘检测。采用opencv中的canny函数，检测图像托盘边缘。
[0038]
3)检测图像托盘轮廓,根据给出的托盘轮廓四个角点计算图中轮廓的长度、宽度，单位为像素。
[0039]
4)计算托盘图像与真实尺寸的比例，同一高度且同一物距条件下拍摄一个刻度尺，计算刻度尺在图中的坐标距离，算出像素点和真实尺寸的比例k(mm/pixel)。
[0040]
5)根据步骤4)中的比例k换算检测到的托盘轮廓的计算尺寸。
[0041]
6)根据步骤5)计算的轮廓计算尺寸和真实测量尺寸作差值，对差值和允许误差δ(用户设定)比较，判断边框是否完整。
[0042]
进一步地，步骤s2中，所述图片校正为根据长方形的托盘边框，完成图片的矫正；对图片边缘进行检测并提取出轮廓，通过霍夫变换(houghlinesp)检测图中是否包含直线，直到图中可以检测到直线和矩形，且图中框的长度通过比例换算与实际框的长度比较，直至误差不大于0.1cm，即完成边框的矫正；具体包括步骤如下：
[0043]
1)根据边框实际尺寸，按照比例换算到图中的长度和宽度。根据上述检测的轮廓，计算图片中的长度和宽度，比较两者长度和宽度的差值。
[0044]
2)对图像进行腐蚀膨胀，改变图像的弯曲程。
[0045]
3)通过霍夫变换(houghlinesp)检测图中是否包含直线，调用步骤2)直到检测到直线为止。
[0046]
4)根据公式(2)计算直线之间的角度的余弦值，判断检测的直线夹角
ɑ
是否近似等于直角，其中，和分别为托盘两两相交的边框。
[0047][0048]
5)重复步骤3)、4)，直到图中可以检测到直线和矩形，且图中边框的长度和宽度通过比例k换算后，接近实际边框的长度，误差不大于0.1cm，即完成边框的矫正。
[0049]
进一步地，步骤s3中，鱼苗的识别和数量的统计。用标注软件给用来训练的图片中
的鱼苗打上标签，共live，dead两类；yolov4算法模型对训练集进行迭代训练m(m∈[20,40])个周期，直至损失率收敛于10；将图片传入优化后的yolov4算法模型进行识别，程序会给识别出来的鱼苗用识别框框出来并打上对应标签；利用程序统计活鱼标签和死鱼标签的数量就能分别统计出每张图片中活鱼与死鱼数量；具体步骤为：
[0050]
a)采集不同生长周期的鱼苗视频，抽帧共得到n张图片；
[0051]
b)使用标记工具对n张图片的80％进行标记，制作成训练集，图片中鱼苗分活鱼和死鱼，对应live和dead标签；
[0052]
c)将训练集传入深度学习yolov4算法模型中迭代训练m周期得到优化模型，m∈[20,40]，m值为优化周期值范围；
[0053]
d)利用训练后的模型对剩下的20％图片进行识别测试，如果识别率达不到97％，则采集新的鱼苗图像，重复步骤a)～c)，调整算法模型，直至识别率达到97％为止；
[0054]
e)根据标签，自动统计出每张图片中活鱼和死鱼的数量。
[0055]
进一步地，步骤s4中，所述测量鱼苗长度的方法为：通过二值化、鱼苗边缘识别，计算鱼苗边缘图形最大间距即为鱼苗的长度，统计图片中鱼苗的长度的均值，根据鱼苗长度和鱼苗生长周期对照表估算鱼苗生长周期。
[0056]
进一步地，估算鱼苗生长周期：yolov4将托盘中的鱼苗识别并标记出来后，利用轮廓函数提取出所有被识别鱼苗的轮廓，求出轮廓上所有像素点之间的最大距离，即为鱼苗的长度；求出所有鱼苗长度的均值，根据鱼苗长度均值，可以推算出鱼苗生长周期。
[0057]
3、有益效果
[0058]
本发公开的一种基于深度学习的鱼苗计数物联设备及计数方法终端，通过优化yolov4算法模型实现对鱼苗数量的快速统计，不仅提高了鱼苗数量的统计效率，并且提高了鱼苗数量统计的准确率。进一步地，通过物联设备，从而可以避免手工计数带来鱼苗损失的问题；此外，本发明的鱼苗计数器操作简单，提高了鱼苗数量的统计效率，降低了养殖和销售成本；采用超高清摄像头、触摸屏或手机app、gpu深度学习服务器、高速移动互联网4g/5g、扬声器和微型话筒以及双端开口的箱体，应用前沿的yolov4深度学习模型，精准识别鱼苗个体、死鱼和活鱼，及鱼苗的长度，能节省时间，提高鱼苗计数效率和准确率。
附图说明
[0059]
图1为本发明物联设备各单元配合工作的示意图；
[0060]
图2为本发明物联设备的结构示意图；
[0061]
图3为本发明鱼苗情况统计方法流程图；
[0062]
图中：
[0063]
11、托盘；12、托盘开口；21、ccd高清摄像头；22、led灯；31、树莓派系统；32、选择键；33、开始键；34、扬声器；35、显示屏；36、微型话筒；37、防潮盒；4、电源盒。
具体实施方式
[0064]
下面结合具体实施例对本发明专利进一步进行描述。
[0065]
实施例
[0066]
本实施例的一种鱼苗计数物联设备，包括箱体和电源盒4，同时，包括远程连接的
统计单元；所述电源盒4为箱体提供电源，所述箱体上设置有采集单元、识别单元和控制单元：所述采集单元为托盘11，设置在箱体内的底部，用于盛放待测鱼苗；所述识别单元为ccd高清摄像头21和led灯22，设置在箱体内的顶部，其中ccd高清摄像头21安装在箱体内顶部的中间，led灯22围绕ccd高清摄像头21以“回”字形设置，用于对采集单元内的鱼苗进行拍摄，同时led灯22起到分散鱼苗的作用；所述控制单元为树莓派系统31，其连接识别单元，用于控制识别单元工作并获取其拍摄的鱼苗图像，同时输出统计单元的处理结果；所述统计单元为远程gpu服务器，通过互联网络连接控制单元，用于对鱼苗图像进行处理并得到鱼苗活鱼个数、死鱼个数以及鱼苗周期。如图1所示为采集单元、识别单元、控制单元和统计单元相互配合的示意图。
[0067]
制作箱体、组装设备、树莓派系统的安装和配置，如图2所示。
[0068]
对于长宽分别为50*30cm，高度为5cm的托盘11盛放鱼苗，且普遍成年人腰线在110cm高度，所以使用防水的轻便型材料制作长宽高分别为65*40*110cm的箱体。箱体左右两端下部开口，设为托盘开口12，方便托盘11穿箱。箱体内顶部固定超高清可变焦摄像头——ccd高清摄像头21，箱体外部内嵌显示屏35，为触控屏。防止托盘11反光问题对检测的影响，在箱体内顶部安装白色矩形灯带——led灯22。
[0069]
为了避免树莓派系统31受潮，将树莓派系统31置于防潮盒37中；安装树莓派的操作系统，开启ssh端口用于远程会话。连接高清触摸屏hdmi输出接口，显示树莓派操作界面，连接4g/5g信号源，与gpu服务器连接。
[0070]
通过wifi连接手机app，通过手机app控制树莓派的鱼苗采集、识别软件。安装微型话筒36和扬声器34，并与树莓派系统31连接，通过微型话筒36和语音识别程序进行鱼苗采集和识别。安装实体按键，通过按键完成鱼苗采集和识别，包括选择键32和开始键33，选择键32用以选择鱼苗种类，开始键33为拍摄开关。扬声器34播放识别结果，用户通过扬声器34获取鱼苗个数和生长周期。
[0071]
统计单元远程gpu服务器利用yolov4算法分别识别并计算每帧图片的数量，取其最大值作为一次采集和识别鱼苗的活鱼个数、死鱼个数以及鱼苗周期，包括：
[0072]
采集不同生长周期鱼苗的训练集和测试集，通过深度学习算法学习鱼苗特征，达到97％的识别率，和3至10s的识别时间。
[0073]
测试集选取分为实验部分和实际应用部分。
[0074]
1)实验部分数据可由手机拍摄，数据种类包括：手机拍摄的相片和录制的视频。
[0075]
2)实际应用场景部分：鱼苗的拍摄全部在计数箱中专业摄像头完成。拍摄种类包括图片和视频。
[0076]
3)保证测试集的鱼苗密度，鱼苗密度成梯度增加，分别以50条、100条、300条、500条为基准。
[0077]
4)测试图片的数量：单种鱼苗一个生长周期拍摄200张左右，测试集由拍摄图片和录制拍摄视频的抽帧图片组成。
[0078]
训练集的获取：
[0079]
1)训练集图片采集环境同测试集一样。
[0080]
2)训练集图片数量，单种鱼苗一个生长周期拍摄图片数量在800张以上。
[0081]
3)训练集由拍摄图片和录制拍摄视频的抽帧图片组成。
[0082]
同种鱼苗生长周期一般以一周为生长周期，一种鱼苗要分多个生长周期进行拍摄。
[0083]
通过对训练集的迭代训练，得到优化的yolov4模型，预处理后的图片传入深度学习模型，自动识别出鱼苗。模型会给识别出的鱼苗打上标签和检测框。统计活鱼和死鱼的检测框数量，即可对托盘中鱼苗数量进行统计。
[0084]
鱼苗识别前的托盘边框检测和图片矫正。
[0085]
为了保证拍摄图片包含所有鱼苗对象，通过检测托盘边框来判断待识别图片的完整性，是否拍摄完整。读取图片转换为灰度图，使用值滤波去掉图像中的噪声点，然后对图像进行二值化；采用opencv中的canny函数，检测图像边缘；利用findcounters()函数提取出托盘轮廓。将托盘轮廓的长宽乘以比例k与实际托盘的长宽进行对比。若误差在0.1cm以内，认定待识别图片完整。
[0086]
若托盘边框检测长度与实际长度差值大于0.1cm，则进行托盘矫正。调用opencv的erode()函数和dilate()函数对图像进行腐蚀膨胀，改变图像的弯曲程度，直到利用霍夫变换(houghlinesp)检测到图中的直线。计算长宽两条直线的余弦值，如果等于0，即为直角；否则再处理图像，直至差值不大于0.1cm。
[0087]
鱼苗识别和结果反馈：
[0088]
将鱼苗盛放在托盘中，轻轻晃动，将鱼苗晃散开，将托盘从计数器箱体左端放入内底部；打开箱体外顶部内嵌的触控屏，选择鱼苗种类，点击开始按钮；箱体内顶端灯带亮起，超高清摄像头开始采集图片；对采集的图片进行校正，树莓派把校正后的图片打包压缩文件传输到gpu服务器，gpu服务器利用深度学习yolov4模型进行鱼苗个体识别，并将结果返回到树莓派；扬声器将识别数量和鱼苗周期即时播报，如图3所示。
[0089]
以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。