基于语义分割的虾苗计数方法、系统、云服务器及介质

1.本发明涉及一种基于语义分割的虾苗计数方法、系统、云服务器及介质，属于水产品图像处理技术领域。


背景技术：

2.已有学者基于虾苗rgb图像，利用图像处理技术进行分析和计数，具体为：
3.1、(khantuwan and khiripet,2012)将虾苗放置与水槽中，使用相机在同一位置拍摄，对采集到的图像，要先进行裁剪，使得图像中水槽边缘不可见，接着使用中值滤波和自适应阈值分割处理图像，然后将轮廓面积在70分位以上的划分为黏连组，70分位以下的先计算45到50分位的平均面积作为单只平均面积，45分位以下的直接计数，50到70分位的与单只平均面积比较后计数；对于黏连组则采用基于窗口滑动的图像搜索来计算与预先设定的四张图像的相似度，相似度超过设定阈值的才计数。
4.2、(solahudin et al.,2018)在图像采集系统中，将虾苗放于玻璃透明托盘中并置于发出led灯的透明板上，相机垂直拍摄。在图像分割计数系统中，先将rgb图转成灰度图，接着使用阈值70，采用阈值分割算法将虾苗分割出来，然后进行三次形态学腐蚀操作，最终根据轮廓个数来计数。
5.3、(季玉瑶et al.,2018)针对虾苗图像光照不均、图像粘连等问题，对图像复原的tv-l1模型进行了改进，提出了一种新的基于面积的计数法。
6.更有学者利用先进的计算机视觉技术，如目标检测、密度图估计等方法来获取rgb图像中的虾苗个数，具体为：
7.4、(于秋玉,2021)提出了一种基于改进yolov4的虾苗智能识别计数系统，在yolov4模型预测阶段加入了空间注意力机制模块，预设的锚框用k-means聚类算法得到，但是该方法对于中高密度虾苗图像的计数精度较差。
8.5、(王琪and孟娟,2021)提出了一个基于改进的unet的虾苗密度估计方法，unet改进在于将decode后的特征与解码层concat前增加一个改进的空间注意力机制，将传统空间注意力机制中的平均池化和最大池化以及之后的卷积操作统一替换成一个卷积操作。还提出了一个dm-count loss，在他们自己的数据上取得了8.34的mae。
9.所述dm-count loss，如下式：
[0010][0011]
6、(范松伟,2021)提出了一种基于卷积神经网络模型和密度图估计的虾苗自动计数技术，该方法在均匀背光环境下能够对一定密度的虾苗数量进行准确的估计，符合虾苗养殖业的计数要求。该方法首先使用stroller spotter标注工具，采用十字形状标注虾头中心原始数据像素点，在虾苗高度密集的区域可以准确标注，获得其虾苗坐标。接着将点标签数据转化成分布密度图,转化过程如下：
[0012]
设虾苗图中坐标为(xi，yi)虾苗标记点，可表示为：
[0013]
δ(x-xi,y-yi)
[0014]
假设某图中有m个虾苗标记点，可表示为：
[0015][0016]
将(1)式与一个高斯滤波器g做卷积可将标注过的图像转成连续的密度图，如公式(2)所示：
[0017][0018]
其中m为图像中虾苗总数；δ(x-xi,y-yi)为delta函数；f(x,y)为真实密度图在坐标点(x,y)的值；g为高斯滤波器。
[0019]
范松伟以vgg16为基础网络，通过数次改进优化，设计了一个改进型的卷积神经网络算法，通过密度图回归的方式，将虾苗样本制作成数据标签和虾苗真实密度图像输送到训练网络，不断调参后获得最佳网络模型后输入测试样本，使用平均绝对误差和平均均方误差作为评估指标对网络模型，最后生成高质量虾苗密度图从而达到虾苗计数的效果。
[0020]
采集不同密度且长度约为6～15mm的虾苗共312张原图，通过旋转、翻转、平移等增强处理后获得851张图像样本，训练集使用了682张数据，训练时在估计密度图和真实密度图上使用平方损失函数。该方法在高中低密度的169张测试数据上表现良好，取得了97.59％的准确度，12.7的mae。
[0021]
值得注意的是：上述基于计算机视觉技术的虾苗计数方法对虾苗图像中的水质要求严格，因此需要专业的拍摄设备以及处理方法，才能实现虾苗计数，而且在处理过程中容易伤害虾苗，具有较大的局限性。
[0022]
参考论文：
[0023]
khantuwan,w.,&khiripet,n.(2012).live shrimp larvae counting method using co-occurrence color histogram.1-4.
[0024]
solahudin,m.,slamet,w.,&dwi,a.s.(2018).vaname(litopenaeus vannamei)shrimp fry counting based on image processing method.iop conference series.earth and environmental science,147(1),12014.https://10.1088/1755-1315/147/1/012014.
[0025]
范松伟(2021).基于卷积神经网络的虾苗自动计数研究.硕士thesis:浙江理工大学.
[0026]
季玉瑶,魏伟波,赵增芳,&杨振宇(2018).基于改进tv-l1模型的虾苗计数方法.青岛大学学报(自然科学版),31(04),62-68.
[0027]
王琪,&孟娟(2021).一种基于改进unet的虾苗密度估计方法.现代信息科技,5(17),12-16.https://10.19850/j.cnki.2096-4706.2021.17.003.
[0028]
于秋玉(2021).基于改进yolov4的虾苗智能识别算法研究.河南科技,40(06),25-28.。


技术实现要素：

[0029]
有鉴于此，本发明提供了一种基于语义分割的虾苗计数方法、装置、系统、云服务器及存储介质，其通过构建基于语义分割的计数网络模型，可以降低数据要求，因此浑浊水
质、带有背景干扰等情况都能处理，具有高稳定、高可靠、高准确性，以及实时性、通用性和鲁棒性好的特点，更重要的是对虾苗几乎没有伤害性。
[0030]
本发明的第一个目的在于提供一种基于语义分割的虾苗计数方法。
[0031]
本发明的第二个目的在于提供一种基于语义分割的虾苗计数装置。
[0032]
本发明的第三个目的在于提供一种基于语义分割的虾苗计数系统。
[0033]
本发明的第四个目的在于提供一种云服务器。
[0034]
本发明的第五个目的在于提供一种存储介质。
[0035]
本发明的第一个目的可以通过采取如下技术方案达到：
[0036]
一种基于语义分割的虾苗可视化计数方法，所述方法包括：
[0037]
获取第一数据集，并对第一数据集进行数据处理，得到第二数据集，所述第一数据集为虾苗图像数据集，所述第二数据集包括虾苗图像数据集、掩模图标签文件数据集和虾苗总数csv文件数据集；
[0038]
构建基于语义分割的计数网络模型，所述计数网络模型包括骨干网络、分割图分支、只数回归分支和全连接层模块，所述只数回归分支与全连接层模块连接；
[0039]
利用第二数据集对所述计数网络模型进行训练与验证，得到虾苗计数网络模型；
[0040]
对获取到的待计数虾苗图像进行预处理；
[0041]
将预处理后的待计数虾苗图像输入虾苗计数网络模型，得到待计数虾苗的二值分割图；
[0042]
对所述二值分割图进行统计计数，实现虾苗计数。
[0043]
进一步的，所述骨干网络为swin transformer的base版本的骨干网络；
[0044]
所述分割图分支包括第一卷积层和第二卷积层，所述第一卷积层和第二卷积层连接，所述第一卷积层和第二卷积层的卷积核大小均为1；
[0045]
所述只数回归分支包括第一卷积块和第二卷积块，所述第一卷积块包括四个卷积操作，所述第二卷积块包括三个卷积操作；
[0046]
所述全连接层模块包括第一全连接层、第二全连接层和第三全连接层，所述第一全连接层、第二全连接层、第三全连接层依次连接，所述第一全连接层和第三全连接层包括2048个神经元，所述第二全连接层包括4096个神经元。
[0047]
进一步的，所述第一卷积块包括第四卷积层、第五卷积层、第六卷积层和第七卷积层，所述第四卷积层、第五卷积层、第六卷积层、第七卷积层依次连接；
[0048]
所述第一卷积块包括四个卷积操作，具体包括：所述第四卷积层、第五卷积层和第七卷积层以卷积核大小为1的方式进行卷积操作，所述第六卷积层以卷积核大小为3的方式进行卷积操作；
[0049]
所述第二卷积块包括第八卷积层、第九卷积层、第十卷积层和全局平均池化层，所述第八卷积层、第九卷积层、第十卷积层、全局平均池化层依次连接；
[0050]
所述第二卷积块包括三个卷积操作，具体包括：所述第八卷积层和第十卷积层以卷积核大小为1的方式进行卷积操作，所述第九卷积层以卷积核大小为3的方式进行卷积操作。
[0051]
进一步的，在所述利用第二数据集对所述计数网络模型进行训练的过程中，使用第一损失函数对分割图分支进行训练，使用第二损失函数对只数回归分支进行训练，如下
式：
[0052]
l＝λ1lf λ2lc[0053]
lf＝-α
t
(1-p
t
)
λ
log(p
t
)
[0054][0055][0056]
其中，l表示总的损失函数，lf表示第一损失函数，lc表示第二损失函数，p表示预测的虾苗的概率，y表示图像中真实的虾苗总数，表示预测的虾苗总数，λ、α
t
、λ1、λ2表示超参数。
[0057]
进一步的，所述对所述二值分割图进行统计计数，实现虾苗计数，具体包括：
[0058]
基于所述二值分割图，计算每个连通域的面积，并根据每个连通域的面积，进行排序；
[0059]
根据每个连通域的面积，计算连通域的平均面积和连通域面积的标准差；
[0060]
基于排序后的每个连通域，遍历每个连通域，根据每个连通域的面积、连通域的平均面积和连通域面积的标准差，对每个连通域进行计数判断，得到多个计数判断结果；
[0061]
对每个计数判断结果进行加和，实现虾苗计数。
[0062]
进一步的，所述根据每个连通域的面积、连通域的平均面积和连通域面积的标准差，对每个连通域进行计数判断，具体包括：
[0063]
若单个连通域的面积小于所述平均面积减去三个所述标准差的值，则计数判断结果为不计数；
[0064]
若单个连通域的面积大于所述平均面积减去三个所述标准差的值，并且不大于所述平均面积加上一个所述标准差的值，则计数判断结果为1；
[0065]
若单个连通域的面积大于所述平均面积加上一个所述标准差的值，则单个连通域的面积除以所述平均面积，并向下取整数，计数判断结果为所述整数。
[0066]
进一步的，在得到待计数虾苗的二值分割图之后，还包括：基于所述二值分割图，对预处理后的待计数虾苗图像进行可视化标记，得到待计数虾苗的可视化结果图。
[0067]
本发明的第二个目的可以通过采取如下技术方案达到：
[0068]
一种基于语义分割的虾苗可视化计数装置，所述装置包括：
[0069]
获取模块，用于获取第一数据集，并对第一数据集进行数据处理，得到第二数据集，所述第一数据集为虾苗图像数据集，所述第二数据集包括虾苗图像数据集、掩模图标签文件数据集和虾苗总数csv文件数据集；
[0070]
构建模块，用于构建基于语义分割的计数网络模型，所述计数网络模型包括骨干网络、分割图分支、只数回归分支和全连接层模块，所述只数回归分支与全连接层模块连接；
[0071]
训练与验证模块，用于利用第二数据集对所述计数网络模型进行训练与验证，得到虾苗计数网络模型；
[0072]
预处理模块，用于对获取到的待计数虾苗图像进行预处理；
[0073]
二值分割模块，用于将预处理后的待计数虾苗图像输入虾苗计数网络模型，得到
待计数虾苗的二值分割图；
[0074]
计数模块，用于对所述二值分割图进行统计计数，实现虾苗计数。
[0075]
本发明的第三个目的可以通过采取如下技术方案达到：
[0076]
一种基于语义分割的虾苗计数系统，所述系统包括用户终端和云服务端图像处理系统，所述用户终端与云服务端图像处理系统进行交互；所述用户终端包括虾苗rgb图像获取子系统和用户界面，所述云服务端图像处理系统包括图像处理单元、计数单元和可视化后处理单元；所述图像处理单元、计数单元、可视化后处理单元依次连接；
[0077]
所述虾苗rgb图像获取子系统，用于获取虾苗图像；
[0078]
所述用户界面，用于显示虾苗可视化结果图和虾苗计数结果；
[0079]
所述云服务端图像处理系统，用于实现上述的虾苗计数方法。
[0080]
本发明的第四个目的可以通过采取如下技术方案达到：
[0081]
一种云服务器，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的虾苗计数方法。
[0082]
本发明的第五个目的可以通过采取如下技术方案达到：
[0083]
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的虾苗计数方法。
[0084]
本发明相对于现有技术具有如下的有益效果：
[0085]
1、本发明通过增加辅助分支和采用swin transformer的base版本的骨干网络，构造了一个用于虾苗计数的语义分割网络，该网络可以在不干净的图像数据中分割出虾苗，因此，可以直接使用原生水质采集虾苗图像，不需要强光照射，或多次容器倒灌，对虾苗的影响极小；此外，本发明在训练阶段收集多样化的数据进行训练，可以提高泛化能力。
[0086]
2、本发明通过搭建云服务端图像处理系统，降低了客户采集数据的标准，因此不需要额外的专门设计的拍摄设备，也不需要严格地控制拍摄环境，利用正常室内室外光线和普通手机拍摄即可，操作使用简单方便。
附图说明
[0087]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0088]
图1为本发明实施例1的基于语义分割的虾苗计数方法的具体流程图。
[0089]
图2为本发明实施例1的基于语义分割的虾苗计数方法的简要流程图。
[0090]
图3为本发明实施例1的虾苗rgb图像采集的示意图。
[0091]
图4(a)为本发明实施例1的虾苗在水槽中的rgb图像。
[0092]
图4(b)为本发明实施例1的虾苗在水瓢中的rgb图像。
[0093]
图5为本发明实施例1的点标注界面的示意图。
[0094]
图6(a)为本发明实施例1的原始虾苗图像的示意图。
[0095]
图6(b)为本发明实施例1的掩模图标签文件的示意图。
[0096]
图7为本发明实施例1的基于语义分割的计数网络模型的结构图。
[0097]
图8为本发明实施例1的虾苗可视化结果的示意图。
[0098]
图9为本发明实施例2的基于语义分割的虾苗计数装置的结构框图。
[0099]
图10为本发明实施例3的基于语义分割的虾苗计数系统的结构框图。
[0100]
图11为本发明实施例4的云服务器的结构框图。
具体实施方式
[0101]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0102]
实施例1：
[0103]
如图1和图2所示，本实施例提供了一种基于语义分割的虾苗计数方法，该方法包括以下步骤：
[0104]
s101、获取第一数据集，并对第一数据集进行数据处理，得到第二数据集。
[0105]
如图3所示，在本步骤之前，将适量(3000尾以下)带水虾苗放置于白色水槽或瓢中，使用手机在室内或室外正常光线下对上述虾苗进行垂直拍摄；重复多次，得到多张虾苗图像；其中对虾苗进行垂直拍摄可以减少遮挡；部分虾苗图像如图4(a)和图4(b)所示；然后对每张虾苗图像进行预处理，具体为：对每张虾苗图像进行大小调整，即使用双线性差值算法将每张虾苗图像处理成2048x2048的分辨率大小，然后根据rgb三个同道的均值[123.675，116.38，103.53]和标准差[58.395，57.12，57.375]对调整大小后的每张虾苗图像进行归一化处理。
[0106]
值得注意的是，得到的多张虾苗图像均为rgb图像。
[0107]
本步骤将预处理后的每张虾苗图像获取为虾苗图像数据集，即第一数据集。
[0108]
进一步地，对第一数据集进行数据处理，得到第二数据集，具体包括：
[0109]
如图5所示，本步骤使用开源工具cvat对第一数据集的每张图像进行点标注，得到第一数据集的每张图像的点标注数据，并将所述点标注数据以xml的格式进行保存。
[0110]
本步骤中的点标注方式，具体为：使用圆点对第一数据集的图像的每只虾苗的头部中心进行标注。
[0111]
和图6(b)所示，在得到xml文件之后，本步骤通过编写脚本将第一数据集的图像的点标注数据生成掩模图标签文件，重复操作，直至第一数据集的每张图像的点标注数据被生成完毕，从而得到掩模图标签文件数据集；其中掩模图标签文件是一张单通道图像，和原图一样大小，该图像中以每个点标记作为圆心绘制了值为1且半径为10像素的圆；预处理后的虾苗图像，如图6(a)所示。此外，第一数据集的图像的点标注个数即是虾苗总数，为此将第一数据集的每张图像的虾苗总数以csv格式进行保存，从而得到虾苗总数csv文件数据集。
[0112]
本步骤将虾苗图像数据集、掩模图标签文件数据集和虾苗总数csv文件数据集组成为第二数据集。
[0113]
s102、构建基于语义分割的计数网络模型。
[0114]
本步骤以编码-解码的方式构建基于语义分割的计数网络模型，具体为：在编码阶
段采用swin transformer的base版本的骨干网络；在解码阶段设计一个基于卷积的分割图分支和一个基于卷积和全连接的只数回归分支。
[0115]
与普通的语义分割网络模型相比，本步骤通过增加辅助分支(分割图分支和只数回归分支)，使模型所学习到的二值分割图更适用于计数。
[0116]
更具体地，如图7所示，基于语义分割的计数网络模型包括骨干网络、分割图分支、只数回归分支和全连接层模块。
[0117]
值得注意的是，图7中的conv表示卷积操作，括号中的第一个值表示输入通道数，第二个值表示输出通道数，第三个值表示卷积核大小，第四个值表示滑动距离。
[0118]
进一步地，分割图分支包括第一卷积层和第二卷积层，第一卷积层和第二卷积层连接，第一卷积层和第二卷积层的卷积核大小均为1；只数回归分支包括第一卷积块和第二卷积块，第一卷积块包括四个卷积操作，第二卷积块包括三个卷积操作；全连接层模块包括第一全连接层、第二全连接层和第三全连接层，第一全连接层、第二全连接层、第三全连接层依次连接，第一全连接层和第三全连接层包括2048个神经元，第二全连接层包括4096个神经元，全连接层之间使用relu函数激活。
[0119]
进一步地，第一卷积块包括第四卷积层、第五卷积层、第六卷积层和第七卷积层，第四卷积层、第五卷积层、第六卷积层、第七卷积层依次连接，卷积层与卷积层之间使用relu函数激活；第一卷积块包括四个卷积操作，具体包括：第四卷积层、第五卷积层和第七卷积层以卷积核大小为1的方式进行卷积操作，第六卷积层以卷积核大小为3的方式进行卷积操作；第五卷积层移动步幅为4，第四、第六和第七卷积层移动步幅为1。第二卷积块包括第八卷积层、第九卷积层、第十卷积层和一个全局平均池化层，第八卷积层、第九卷积层、第十卷积层、全局平均池化层依次连接，卷积层与卷积层之间使用relu函数激活；第二卷积块包括三个卷积操作，具体包括：第八卷积层和第十卷积层以卷积核大小为1的方式进行卷积操作，第九卷积层以卷积核大小为3的方式进行卷积操作；第八、第九和第十卷积层移动步幅为1。
[0120]
分割图分支最后接sigmoid激活函数；第二卷积块最后使用一个全局平均池化操作得到2048维特征向量，然后将所述2048维特征向量输入全连接层模块拟合回归目标只数；全连接层模块用于输出目标计数值。
[0121]
s103、利用第二数据集对所述计数网络模型进行训练与验证，得到虾苗计数网络模型。
[0122]
本步骤将第二数据集随机打乱，并以4:1的比例划分为第二训练集和第二验证集；其中第二训练集使用1024x1024的随机裁剪、概率为0.5的随机翻转、随机改变亮度、对比度、色度、饱和度进行数据增强。
[0123]
本步骤中的训练参数设置和验证方式，具体如下：优化器使用adamw，初始学习率设置为0.00006，超参数β1为0.9，β2为0.999，权重衰减参数为0.01；学习率调整策略采用基于iteration的poly调整策略，power参数使用1.0；训练20000iteration，每次1000iteration验证一次，推理阶段使用最后一次iteration保存的模型权重。
[0124]
在利用第二训练集对所述计数网络模型进行训练的过程中，所使用的总的损失函数包括两部分，具体为：使用第一损失函数(focal loss)对分割图分支进行训练，使用第二损失函数(l1 loss)对只数回归分支进行训练，如下式：
[0125]
l＝λ1lf λ2lc[0126]
lf＝-α
t
(1-p
t
)
λ
log(p
t
)
[0127][0128][0129]
其中，l表示总的损失函数，lf表示第一损失函数，lc表示第二损失函数，p表示预测的虾苗的概率，y表示图像中真实的虾苗总数，表示预测的虾苗总数，λ、α
t
、λ1、λ2表示超参数。
[0130]
本步骤中的超参数的设置数值为：λ＝2，α
t
＝0.25，λ1＝1，λ2＝0.01。
[0131]
进一步的，在使用第一损失函数(focal loss)对分割图分支进行训练的过程中，给予类别权重背景：前景＝1:8，能让模型更加关注少样本的虾苗前景的分割。
[0132]
基于上述训练参数设置、验证方式和相应的损失函数计算，将第二训练集和第二验证集输入所述计数网络模型进行训练与验证，得到虾苗计数网络模型。
[0133]
s104、对获取到的待计数虾苗图像进行预处理。
[0134]
本步骤对获取到的待计数虾苗图像进行步骤s101的预处理。
[0135]
s105、将预处理后的待计数虾苗图像输入虾苗计数网络模型，得到待计数虾苗的二值分割图。
[0136]
s106、对所述二值分割图进行统计计数，实现虾苗计数。
[0137]
步骤s106，具体包括：
[0138]
s1061、基于所述二值分割图，计算每个连通域的面积，并根据每个连通域的面积，进行排序。
[0139]
本步骤是根据每个连通域的面积大小，从小到大，给每个连通域排序。
[0140]
s1062、根据每个连通域的面积，计算连通域的平均面积和连通域面积的标准差。
[0141]
s1063、基于排序后的每个连通域，遍历每个连通域，根据每个连通域的面积、连通域的平均面积和连通域面积的标准差，对每个连通域进行计数判断，得到多个计数判断结果。
[0142]
本步骤中的根据每个连通域的面积、连通域的平均面积和连通域面积的标准差，对每个连通域进行计数判断，具体为：若单个连通域的面积小于所述平均面积减去三个所述标准差的值，则计数判断结果为不计数；若单个连通域的面积大于所述平均面积减去三个所述标准差的值，并且不大于所述平均面积加上一个所述标准差的值，则计数判断结果为1；若单个连通域的面积大于所述平均面积加上一个所述标准差的值，则单个连通域的面积除以所述平均面积，并向下取整数，计数判断结果为所述整数。
[0143]
s1064、对每个计数判断结果进行加和，实现虾苗计数。
[0144]
上述步骤s1063中的根据每个连通域的面积、连通域的平均面积和连通域面积的标准差，对每个连通域进行计数判断，以及对每个计数判断结果进行加和，实现虾苗计数，可以用公式描述，如下式：
[0145]
if ai＞avg std:
[0146][0147]
elif ai＜avg-3*std:
[0148]
ci＝0
[0149]
else:
[0150]ci
＝1
[0151][0152]
其中，ai表示第i个轮廓的面积，res为最后计数总数。
[0153]
本实施例在步骤s105之后，还包括：基于所述二值分割图，对预处理后的待计数虾苗图像进行可视化标记，得到待计数虾苗的可视化结果图，具体为：基于所述二值分割图，先求得每个连通域的质心，以质心为圆心在预处理后的待计数虾苗图像上绘制半径为5像素的小圆，从而得到待计数虾苗的可视化结果图，如图8所示。
[0154]
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
[0155]
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0156]
实施例2：
[0157]
如图9所示，本实施例提供了一种基于语义分割的虾苗计数装置，该装置包括获取模块901、构建模块902、训练与验证模块903、预处理模块904、二值分割模块905和计数模块906，各个模块的具体功能如下：
[0158]
获取模块901，用于获取第一数据集，并对第一数据集进行数据处理，得到第二数据集，所述第一数据集为虾苗图像数据集，所述第二数据集包括虾苗图像数据集、掩模图标签文件数据集和虾苗总数csv文件数据集；
[0159]
构建模块902，用于构建基于语义分割的计数网络模型，所述计数网络模型包括骨干网络、分割图分支、只数回归分支和全连接层模块，所述只数回归分支与全连接层模块连接；
[0160]
训练与验证模块903，用于利用第二数据集对所述计数网络模型进行训练与验证，得到虾苗计数网络模型；
[0161]
预处理模块904，用于对获取到的待计数虾苗图像进行预处理；
[0162]
二值分割模块905，用于将预处理后的待计数虾苗图像输入虾苗计数网络模型，得到待计数虾苗的二值分割图；
[0163]
计数模块906，用于对所述二值分割图进行统计计数，实现虾苗计数。
[0164]
本实施例还包括可视化标记模块，用于基于所述二值分割图，对预处理后的待计数虾苗图像进行可视化标记，得到待计数虾苗的可视化结果图。
[0165]
实施例3：
[0166]
如图10所示，本实施例提供了一种基于语义分割的虾苗计数系统，系统包括用户
终端101和云服务端图像处理系统102，用户终端101与云服务端图像处理系统102进行交互，用户终端101包括虾苗rgb图像获取子系统和用户界面，云服务端图像处理系统102包括图像处理单元、计数单元和可视化后处理单元，图像处理单元、计数单元、可视化后处理单元依次连接；
[0167]
所述虾苗rgb图像获取子系统，用于获取虾苗图像；
[0168]
所述用户界面，用于显示虾苗可视化结果图和虾苗计数结果；
[0169]
所述云服务端图像处理系统102，用于实现上述实施例1的虾苗计数方法。
[0170]
本实施例中的用户终端101可以通过基于微信平台的小程序客户端上传所获取到的虾苗图像和获得虾苗计数结果、虾苗可视化结果图，以及记录跟踪历次的虾苗计数结果。
[0171]
实施例4：
[0172]
如图11所示，本实施例提供了一种云服务器103，其包括通过系统总线1031连接的处理器1032、第一存储器和网络接口1033；其中，处理器1032用于提供计算和控制能力，存储器包括非易失性存储介质1034和内存储器1035，该非易失性存储介质1034存储有操作系统、计算机程序和数据库，该内存储器1035为非易失性存储介质中的操作系统和计算机程序的运行提供环境，将第一数据集、第二数据集、二值分割图、虾苗可视化结果图和虾苗计算结果等数据存储在数据库中，计算机程序被处理器1032执行时，实现上述实施例1的虾苗计数方法，如下：
[0173]
获取第一数据集，并对第一数据集进行数据处理，得到第二数据集，所述第一数据集为虾苗图像数据集，所述第二数据集包括虾苗图像数据集、掩模图标签文件数据集和虾苗总数csv文件数据集；
[0174]
构建基于语义分割的计数网络模型，所述计数网络模型包括骨干网络、分割图分支、只数回归分支和全连接层模块，所述只数回归分支与全连接层模块连接；
[0175]
利用第二数据集对所述计数网络模型进行训练与验证，得到虾苗计数网络模型；
[0176]
对获取到的待计数虾苗图像进行预处理；
[0177]
将预处理后的待计数虾苗图像输入虾苗计数网络模型，得到待计数虾苗的二值分割图；
[0178]
对所述二值分割图进行统计计数，实现虾苗计数。
[0179]
实施例5：
[0180]
本实施例提供一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的虾苗计数方法，如下：
[0181]
获取第一数据集，并对第一数据集进行数据处理，得到第二数据集，所述第一数据集为虾苗图像数据集，所述第二数据集包括虾苗图像数据集、掩模图标签文件数据集和虾苗总数csv文件数据集；
[0182]
构建基于语义分割的计数网络模型，所述计数网络模型包括骨干网络、分割图分支、只数回归分支和全连接层模块，所述只数回归分支与全连接层模块连接；
[0183]
利用第二数据集对所述计数网络模型进行训练与验证，得到虾苗计数网络模型；
[0184]
对获取到的待计数虾苗图像进行预处理；
[0185]
将预处理后的待计数虾苗图像输入虾苗计数网络模型，得到待计数虾苗的二值分割图；
[0186]
对所述二值分割图进行统计计数，实现虾苗计数。
[0187]
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0188]
在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0189]
上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序，上述程序设计语言包括面向对象的程序设计语言—诸如java、python、c ，还包括常规的过程式程序设计语言—诸如c语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0190]
综上所述，本发明通过增加辅助分支和采用swin transformer的base版本的骨干网络，构造了一个用于虾苗计数的语义分割网络，该网络可以在不干净的图像数据中分割出虾苗，因此，可以直接使用原生水质采集虾苗图像，不需要强光照射，或多次容器倒灌，对虾苗的影响极小；此外，本发明在训练阶段收集多样化的数据进行训练，可以提高泛化能力。
[0191]
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。