一种改进VGG-19的冰鲜鲳鱼新鲜度评估方法与流程

一种改进vgg
‑
19的冰鲜鲳鱼新鲜度评估方法
技术领域
1.本发明涉及食品质量检测领域，尤其涉及一种改进vgg
‑
19的冰 鲜鲳鱼新鲜度评估方法。


背景技术：

2.新鲜度作为鱼最重要的品质指标，直接关系到食品的质量与安 全。国内外的研究者们已经采用不同的方法对水产品品质进行预测， 常见方法包括理化指标、物理方法与感官评价，此类方法在鱼新鲜度 检测方面应用最多，相对准确，但多在实验室环境应用，且为有损检 测、检测效率低、不适合批量检测。随着渔业的发展，消费者对鱼品 质的要求也越来越高，传统的检测方法已无法满足社会的需求，冷链 储运领域也急需一种快速无损、自动化的鱼肉品质检测技术。
3.为此，本发明提出了一种改进vgg
‑
19的冰鲜鲳鱼新鲜度评估方 法。


技术实现要素：

4.为实现本发明之目的，采用以下技术方案予以实现：
5.一种改进vgg
‑
19的冰鲜鲳鱼新鲜度评估方法，包括以下步骤：
6.步骤1.鲳鱼样本处理；
7.步骤2.tvb
‑
n挥发性盐基氮测定；
8.步骤3.鲳鱼图像采集；
9.步骤4.图像预处理；
10.步骤5.鲳鱼新鲜度等级划分；
11.步骤6.划分数据集；
12.步骤7.通过随机初始化网络权重方法训练三种经典cnn分类网 络；
13.步骤8.通过迁移学习方法训练三种经典cnn分类网络；
14.步骤9.将vgg
‑
19*模型进行结构优化；
15.步骤10.保存训练好的模型；
16.步骤11.使用训练好的模型对测试数据集进行测试，对鲳鱼图像 的新鲜度等级分类；
17.步骤12.cam可视化。
18.所述的方法，其中步骤2中挥发性盐基氮tvb
‑
n测定包括：
19.首先，取出六组鲳鱼样品，分割背部去皮，鱼肉使用搅碎机搅碎， 将3.0g绞碎的鱼肉与30ml蒸馏水混合，使用离心管均质20秒。随 后将样品密封，送入水浴式震荡仪中摇震30分钟，震荡结束后将六 组样品取出，加入蒸馏水实现配平操作，将配平好的样品放入离心机 中离心8分钟，使悬浮液中的固体颗粒与液体分开；其次，向接收瓶 内加入10ml硼酸溶液(20g/l)和5滴甲基红
‑
次甲基蓝指示剂，并 将冷凝管下端插入接收瓶底，向消化管中加入离心后上清液和氧化镁 悬浊液各5ml，利用凯氏定氮仪蒸馏5分钟得到吸收液；tvb
‑
n
值计 算如下：
20.tvb
‑
n值＝[(v1‑
v2)
×
c
×
14]/(m
×
v0/v)
×
100
[0021]
其中，v1和v2分别代表对照试验组、空白实验组消耗盐酸的体积；c代表盐酸浓度；m代表样品质量；v0代表吸取的上清液体积；v代表 样液总体积。
[0022]
所述的方法，其中步骤3中鲳鱼图像采集包括：在照明室环境进 行鲳鱼图像采集，鲳鱼样本上方固定一盏144颗灯珠的led光源，以 获得均匀的采光效果，下方放置黑色背景板；将鲳鱼样品水平放置， 相机镜头位于样品上方30cm的垂直固定位置，每日14:00从冷藏箱 中取出固定十条样品放入冰袋中控制温度，所获图像包含样品两侧全 貌以及鱼头部位，每次拍照耗时15～20分钟，拍摄结束后将样品放 入样品袋，重新放回冷藏箱中，鲳鱼图像数据采集耗时30天。
[0023]
所述的方法，其中步骤7中鲳鱼图像采集包括通过随机初始化网 络权重方法，利用预先划分好的训练集训练三种经典cnn分类网络， 直至损失值收敛,其中：
[0024]
1)alexnet：采用alexnet原始网络模型结构，并随机初始化网 络权重。其中，模型迭代次数为100，初始学习率设置为0.01，选择 sgd，得到鲳鱼新鲜度评估模型，记为alexnet；
[0025]
2)vggnet：采用vgg
‑
16和vgg
‑
19原始网络模型结构，并对网 络权重随机初始化，其中，模型迭代次数为100，初始学习率为0.001， 使用指定间隔的学习率动态调整策略加快模型训练，采用adam梯度 下降算法优化训练过程中的模型参数，得到鲳鱼新鲜度评估模型，分 别记为vgg
‑
16和vgg
‑
19；
[0026]
3)resnet：采用resnet
‑
50原始网络模型结构，并对网络权重随 机初始化，网络超参数设置为模型迭代次数为100，权重的初始学习 率设置为0.001，选择sgd作为优化器，得到鲳鱼新鲜度评估模型，记 为resnet
‑
50。
[0027]
所述的方法，其中步骤8中通过迁移学习方法，利用预先划分好的 训练集训练三种经典cnn分类网络，直至损失值收敛,其中：
[0028]
1)alexnet：利用在imagenet预训练完成的alexnet权重对网 络参数初始化，模型迭代次数为30，其余网络训练超参数设置见步 骤7中alexnet，得到鲳鱼新鲜度评估模型记为alexnet*；
[0029]
2)vggnet：利用在imagenet预训练完成的vgg
‑
16和vgg
‑
19权 重对网络参数初始化，模型迭代次数为30，为特征提取模块设置的 初始学习率为0.0001，其余网络训练超参数设置与步骤7中相同， 得到鲳鱼新鲜度评估模型，分别记为vgg
‑
16*和vgg
‑
19*；
[0030]
3)resnet：利用在imagenet预训练完成的resnet
‑
50权重对模 型参数初始化，模型迭代次数为20，其余网络训练超参数设置与步 骤7相同；
[0031]
比较步骤7和步骤8，确定选取vgg
‑
19*模型作为分类模型。
[0032]
所述的方法，其中步骤9中vgg
‑
19*模型结构优化包括：
[0033]
fc2_vgg
‑
19*由16个卷积层、2个全连接层以及softmax分类器 组成，卷积层负责提取图像局部特征，将运算结果处理为新的特征图 像，全连接层起到分类器作用，其中：
[0034]
卷积层工作过程如下：
[0035]
(1)对输入图像进行卷积与激活操作，生成卷积图；
[0036]
y＝f(mat
·
ω b)
[0037]
relu激活函数的数学公式为：
[0038][0039]
其中，y为卷积过后的输出结果，f(x)为relu激活函数，mat为灰 度图矩阵，ω为权重，
·
为卷积运算，b为偏置值；
[0040]
(2)对卷积图进行池化操作，生成特征图；
[0041]
(3)调整上述步骤的参数后进行若干次重复计算；
[0042]
(4)达到预设的计算次数时，输出多组参数下生成的特征图。
[0043]
全连接层工作过程如下：
[0044]
(1)将特征提取后的全部神经元串联在一起，并与全连接层的 每一个神经元连接；
[0045][0046]
其中y
i
代表特征向量输出的第i个特征值，x
j
代表输入的第j个 特征图，ω
ij
代表y
i
对应的第j个权重，b
i
代表y
i
对应的偏置，c
x
代表输 入特征值数目，c
y
代表输出特征值的数目；
[0047]
(2)将最后一个全连接层的c
×
1维向量送入softmax分类器；
[0048]
softmax分类器输出得到c
×
1维向量，每个值表示该样本属于某 类的概率，softmax函数公式表示为：
[0049][0050]
其中，z
i
为第i个节点的输出值，c为分类类别数，f(z
i
)为分类类别 为i的概率，在测试模型时，softmax层会取f(z1)，f(z2),
…
,f(z
c
)中数 值最大的类别作为样本的预测标签。
[0051]
所述的方法，其中步骤12cam可视化包括：
[0052]
给定一幅图片，设置f
k
(x，y)是最后一个卷积层的第k个特征图在空 间坐标(x，y)处的激活值，对第k个特征图做gap，记为f
k
：
[0053][0054][0055]
为类别c与第k个特征图连接的权值，对于给定类别c，softmax 输入值记为s
k
：
[0056]
设m
c
是对应类别c的cam矩阵，则每个空间元素对应公式为： [0057]
于是m
c
(x，y)空间坐标(x，y)的数值在cam矩阵中的重要程度，这些 数值最终组成类别c的热力图，热力图对高亮处即为cnn所认为的对 分类结果最有用的区域信息。
附图说明
[0058]
图1为鲳鱼数据集样例示意图；
[0059]
图2为alexnet*的accuracy和loss值曲线示意图；
[0060]
图3为vgg
‑
16*的accuracy和loss值曲线示意图；
[0061]
图4为vgg
‑
19*的accuracy和loss值曲线示意图；
[0062]
图5为resnet
‑
50*的accuracy和loss值曲线示意图；
[0063]
图6为fc2_vgg
‑
19网络结构示意图；
[0064]
图7为cam可视化热力图结果示意图；
[0065]
图8fc2_vgg
‑
19特征可视化分析示意图。
具体实施方式
[0066]
下面结合附图1
‑
8对本发明的具体实施方式进行详细说明。
[0067]
如图1所示，改进vgg
‑
19的冰鲜鲳鱼新鲜度评估方法包括以下 步骤：
[0068]
步骤1.鲳鱼样本处理。
[0069]
步骤2.tvb
‑
n(挥发性盐基氮)测定。
[0070]
步骤3.鲳鱼图像采集，图像采集环境为照明室环境，鲳鱼图像使 用数码单反相机捕获，将样品水平放置，相机镜头位于样品上方30cm 的垂直固定位置，在每天的特定时间，从冷藏箱中取出样品进行拍摄。
[0071]
步骤4.图像预处理，考虑到将高分辨率图片直接送入深度学习网 络会导致内存溢出，通过编写python脚本实现对鲳鱼图片的统一缩 放，尺寸降低至为2660
×
1260像素。经图像处理后，共获得鲳鱼数据 集2387张。鲳鱼数据集样例如图1所示。
[0072]
步骤5.鲳鱼新鲜度等级划分。
[0073]
步骤6.划分数据集，将3类不同新鲜度等级的鲳鱼图像数据集 分别以4:1的比例划分为训练集和测试集，冰鲜鲳鱼新鲜度分类数据 集划分如表3所示。
[0074]
表1冰鲜鲳鱼新鲜度分类数据集划分表
[0075][0076]
步骤7.通过随机初始化网络权重方法训练三种经典cnn分类网 络。
[0077]
步骤8.通过迁移学习方法训练三种经典cnn分类网络。
[0078]
步骤9.将vgg
‑
19*模型进行结构优化，得到fc2_vgg
‑
19模型；
[0079]
步骤10.保存训练好的模型；
[0080]
步骤11.使用训练好的模型对测试数据集进行测试，对鲳鱼图像 的新鲜度等级分类；
[0081]
步骤12.cam可视化：为了更好的理解fc2_vgg
‑
19模型对鲳鱼新 鲜度分级的特征学习能力以及如何对鲳鱼图像进行新鲜度分级，利用 类激活映射(cam)方法生成可视化热力图，从而增强模型识别分级 的可信度。
[0082]
具体的：
[0083]
步骤1.鲳鱼样本处理包括：
[0084]
本发明采用鲜活金鲳鱼60条，(平均重量为500
±
10克)购于北 京某农贸市场，将鱼体宰杀、去腮盖、去内脏、放入冰袋，将所有样 本在30分钟内运输到北京农业信息技术研究中心实验室，期间严格 监控鱼类运输环境。到达实验室后，快速清洗鲳鱼内脏、血渍，使用 厨房专用纸巾将鱼体表面擦干，然后将每条鱼放入样品袋中。样品竖 立置于0℃的冷藏箱中存放30天。每次随机取样六条，每天特定时 间采集鲳鱼图像，每三天测定一次tvb
‑
n含量直至样品腐败。每日检 查三次实验样品的存储环境。
[0085]
步骤2.tvb
‑
n测定包括：
[0086]
首先，取出六组鲳鱼样品，分割背部去皮，鱼肉使用搅碎机搅碎， 将3.0g绞碎的鱼肉与30ml蒸馏水混合，使用离心管均质20秒。随 后将样品密封，送入水浴式震荡仪中摇震30分钟。震荡结束后将六 组样品取出，加入蒸馏水实现配平操作。将配平好的样品放入离心机 中离心8分钟，使悬浮液中的固体颗粒与液体分开。其次，向接收瓶 内加入10ml硼酸溶液(20g/l)和5滴甲基红
‑
次甲基蓝指示剂，并 将冷凝管下端插入接收瓶底。向消化管中加入离心后上清液和氧化镁 悬浊液各5ml，利用凯氏定氮仪蒸馏5分钟得到吸收液。实验过程需 要空白组与对照组，以5ml蒸馏水代替上清液作为空白实验，共做6 组对照试验与3组空白试验。最后，用盐酸标准溶液(0.0100mol/l) 对吸收液滴定至变色。tvb
‑
n值计算如下：
[0087]
tvb
‑
n值＝[(v1‑
v2)
×
c
×
14]/(m
×
v0/v)
×
100
[0088]
其中，v1和v2分别代表对照试验组、空白实验组消耗盐酸的体积 (ml)；c代表盐酸浓度(mol/l)；m代表样品质量(g)；v0代表吸取 的上清液体积(ml)；v代表样液总体积(ml)，此处为100ml。
[0089]
tvb
‑
n是检测鱼类新鲜度的理化指标，其含量随内源性酶和腐败 细菌活性的增加而增加，tvb
‑
n含量越高，鱼肉品质劣变程度越严重。
[0090]
步骤3.鲳鱼图像采集包括：
[0091]
在照明室环境进行鲳鱼图像采集，鲳鱼样本上方固定一盏144颗 灯珠的led光源，以获得均匀的采光效果，下方放置黑色背景板，使 得鲳鱼主体更突出，成像更清晰。鲳鱼图像使用型号为x
‑
s10的数码 单反相机拍摄。将鲳鱼样品水平放置，相机镜头位于样品上方30cm 的垂直固定位置，每日14:00从冷藏箱中取出固定十条样品放入冰袋 中控制温度，所获图像包含样品两侧全貌以及鱼头部位，每次拍照耗 时15～20分钟，拍摄结束后将样品放入样品袋，重新放回冷藏箱中， 鲳鱼图像数据采集耗时30天，共采集2387张有效鲳鱼图像样本，尺 寸为5184
×
3456像素。
[0092]
步骤5.鲳鱼新鲜度等级划分：
[0093]
根据sc/t 3103
‑
2010《鲜、冻鲳鱼》标准规定，鲳鱼样品 tvb
‑
n≤18mg/100g为一级品，样品质量等级新鲜可食用； 18mg/100g＜tvb
‑
n≤30mg/100g为合格品，样品质量等级较新鲜可食 用；tvb
‑
n＞30mg/100g为不合格品，样品质量等级腐败不可食用。表 1为0℃存储条件下鲳鱼tvb
‑
n的含量变化情况。最初，鲳鱼样品tvb
‑
n 值增长缓慢，在0～14天样品质量
等级为一级品。从15天起，样品 tvb
‑
n值增长速度加剧，在15～23天样品质量等级为合格品。第24 天，样品tvb
‑
n＞30mg/100g，到达贮藏终点，样品质腐败变质不可食 用。
[0094]
表2 0℃存储条件下鲳鱼tvb
‑
n含量变化
[0095][0096][0097]
本发明将采集到的鲳鱼图像依据新鲜度等级评判标准划分为三 类：一级品，合格品，不合格品，如表2所示。
[0098]
表3鲳鱼图像新鲜度等级划分
[0099][0100]
步骤7.通过随机初始化网络权重方法，利用预先划分好的训练集 训练三种经典cnn分类网络，直至损失值收敛。
[0101]
1)alexnet：采用alexnet原始网络模型结构，并随机初始化网 络权重。其中，模型迭代次数为100，初始学习率设置为0.01。为了 提升模型的训练效率及收敛速度，使用指数衰减策略动态调整学习 率，选择sgd(stochastic gradient descent)作为优化器。得到鲳 鱼新鲜度评估模型，记为alexnet。
[0102]
2)vggnet：采用vgg
‑
16和vgg
‑
19原始网络模型结构，并对网 络权重随机初始化。其中，模型迭代次数为100，初始学习率为0.001， 使用指定间隔的学习率动态调整策略加
快模型训练，采用adam梯度 下降算法优化训练过程中的模型参数。得到鲳鱼新鲜度评估模型，分 别记为vgg
‑
16和vgg
‑
19。
[0103]
3)resnet：采用resnet
‑
50原始网络模型结构，并对网络权重随 机初始化。网络超参数设置为模型迭代次数为100，权重的初始学习 率设置为0.001，选择sgd作为优化器。得到鲳鱼新鲜度评估模型记为 resnet
‑
50。
[0104]
随机初始化网络权重方法训练三种经典cnn分类网络的实验结果 如下：
[0105]
如表4所示，随着分类网络结构的加深，网络提取鲳鱼新鲜度等 级特征的能力增强，分类的准确率也逐步提高，但鲳鱼新鲜度分类准 确率仍有一定的提升空间。但是从表格可以看出，训练集与测试集的 准确率相差约10％，存在过拟合现象。这是因为网络的训练需要巨大 的数据量，而本专利自建数据集属于小规模数据集，故网络提取鲳鱼 新鲜度特征的能力有限，泛化能力较差。为此，本发明采用迁移学习 方法，使模型的训练基于一个较好的初始状态，在加速模型收敛速度 的同时提高了网络的鲁棒性。
[0106]
表4预实验建模准确率对比
[0107][0108][0109]
步骤8.通过迁移学习方法，利用预先划分好的训练集训练三种 经典cnn分类网络，直至损失值收敛：
[0110]
1)alexnet：利用在imagenet预训练完成的alexnet权重对网 络参数初始化。模型迭代次数为30，其余网络训练超参数设置见步 骤7中alexnet。得到鲳鱼新鲜度评估模型记为alexnet*。
[0111]
2)vggnet：利用在imagenet预训练完成的vgg
‑
16和vgg
‑
19权 重对网络参数初始化。模型迭代次数为30，为加快模型收敛速度， 论文实验为分类模块设置较大的初始学习率0.001，为特征提取模块 设置的初始学习率为0.0001，其余网络训练超参数设置见步骤7中 vggnet。得到鲳鱼新鲜度评估模型记为vgg
‑
16*和vgg
‑
19*。
[0112]
3)resnet：利用在imagenet预训练完成的resnet
‑
50权重对模 型参数初始化。模型迭代次数为20，其余网络训练超参数设置见步 骤7中resnet，得到鲳鱼新鲜度评估模型，记为resnet
‑
50*。
[0113]
利用迁移学习方法训练三种经典cnn分类网络的实验结果如下：
[0114]
1)图2为alexnet*网络训练过程中的accuracy和loss值曲线。
[0115]
随着迭代次数的增加，alexnet*模型的准确率越来越高，训练集 和测试集准确率最终分别稳定在90.30％和87.89％；模型的loss逐步 下降，训练集loss在0.25附近波动，测试集loss稳定在0.33。
[0116]
2)vgg
‑
16*网络训练过程中的accuracy和loss值曲线如图3所 示。
[0117]
vgg
‑
16*模型的训练集准确率最终稳定在93.83％附近，测试集准 确率稳定在90.06％，未出现过拟合和欠拟合现象；模型的loss逐步 下降，训练集loss最终在0.16附近波动，测试集loss稳定在0.24。 与alexnet*模型相比，训练集和验证集准确率均有3％提升。实验表 明，随着网络深度的增加，模型可以学习到更丰富的特征表达和更深 层次的语义信息，模型的分类、识别能力也随之增强。
[0118]
3)图4展示的是vgg
‑
19*网络随迭代次数变化的accuracy和loss 曲线。
[0119]
vgg
‑
19*模型的训练集准确率最终稳定在98.32％，测试集准确率 稳定在98.74％，模型的loss逐步下降，训练集loss最终在0.16附 近波动，测试集loss稳定在0.24。训练集和测试集准确率、损失值 基本持平。与vgg
‑
16*模型相比，vgg
‑
19*模型准确率提高了近7％， 进一步论证了加深网络深度可以有效增强模型分类与识别效果。
[0120]
4)resnet
‑
50*网络训练过程中accuracy和loss曲线如图5所示。
[0121]
模型训练集准确率在97.82％附近波动，测试集准确率稳定在 95.90％，模型训练集loss最终在0.09附近波动，测试集loss稳定 在0.11。resnet
‑
50*相较于vgg
‑
19*模型网络结构更深，却出现了错 误率上升现象。经分析是由于本文数据集样本量少导致，当网络结构 过于复杂时，优化器的优化过程变得更加困难，导致模型达不到最优 的学习效果。
[0122]
表5展示了使用迁移学习方法前后，不同cnn分类模型的训练集 和测试集准确率情况。
[0123]
表5经典cnn分类模型迁移学习前后准确率对比
[0124][0125]
alexnet*、vgg
‑
16*、vgg
‑
19*、resnet
‑
50*采用了迁移学习方法， 在加速模型收敛速度的同时提高网络的鲁棒性。与alexnet、vgg
‑
16、 vgg
‑
19、resnet
‑
50相比，训练集、测试集准确率均有了较大提高， 验证了将迁移学习方法应用在本文数据集的有效性。
[0126]
分析alexnet*、vgg
‑
16*、vgg
‑
19*、resnet
‑
50*模型实验结果， 随着网络结构一定程度的加深，网络提取特征的能力变强，模型可以 学习到更深层次的语义信息，网络的分类、识别能力有所提高，但将 过于复杂的模型结构应用于样本量少的数据集，反而导致模型分类准 确率下降，不能达到最好的学习效果。综合上述分类模型结果，结合 迁移学习的vgg
‑
19*模型在训练集、验证集均达到最好的分类准确率， 且未出现过拟合和欠拟合现象，vgg
‑
19*方法充分体现了模型复杂度 与分类准确率的平衡。故本发明选取vgg
‑
19*模型进一步优化。
[0127]
步骤9.将vgg
‑
19*模型进行结构优化
[0128]
传统的vgg
‑
19网络softmax层分类的数目为1000，通过3个全 连接层提升网络分类性能，结构为[4096,4096,1000]。第一个全连接 层的输入来自池化层，共25088个神经元，因此第一个全连接层训练 过程需要4096
×
25088 4096＝102764544个参数，占vgg
‑
19网络参数 总量的73.6％。全连接层参数占比大造成了计算成本的浪费，并且容 易使网络发生过拟合现象
[0129]
因此，本发明对vgg
‑
19*全连接层进行改进，在节约时间空间成 本的同时保证网络分类识别的效率和准确率。fc2_vgg
‑
19*由16个卷 积层、2个全连接层以及softmax分类器组成。卷积层负责提取图像 局部特征，将运算结果处理为新的特征图像。
[0130]
其中卷积层工作过程如下：
[0131]
(1)对输入图像进行卷积与激活操作，生成卷积图；
[0132]
y＝f(mat
·
ω b)
[0133]
relu激活函数的数学公式为：
[0134][0135]
其中，y为卷积过后的输出结果，f(x)为relu激活函数，mat为灰 度图矩阵，ω为权重，
·
为卷积运算，b为偏置值；
[0136]
(2)对卷积图进行池化操作，生成特征图；
[0137]
(3)调整上述步骤的参数后进行若干次重复计算；
[0138]
(4)达到预设的计算次数时，输出多组参数下生成的特征图。
[0139]
全连接层起到分类器作用，其工作过程如下：
[0140]
(1)它将特征提取后的全部神经元串联在一起，并与全连接层 的每一个神经元连接。
[0141][0142]
其中y
i
代表特征向量输出的第i个特征值，x
j
代表输入的第j个 特征图，ω
ij
代表y
i
对应的第j个权重，b
i
代表y
i
对应的偏置，c
x
代表输 入特征值数目，c
y
代表输出特征值的数目。
[0143]
(2)将最后一个全连接层的c
×
1维向量送入softmax层得到c
×
1 维向量，每个值表示该样本属于某类的概率，softmax函数公式表示 为：
[0144]
[0145]
其中，z
i
为第i个节点的输出值，c为分类类别数，f(z
i
)为分类类别 为i的概率，在测试模型时，softmax层会取f(z1)，f(z2),
…
,f(z
c
)中数 值最大的类别作为样本的预测标签。
[0146]
本发明中冰鲜鲳鱼新鲜度分类数据集为3分类任务，传统vgg
‑
19 的3层全连接层参数量过多，并不能提高模型分类准确率。因此，本 发明对vgg
‑
19全连接层进行改进，在节约时间空间成本的同时保证 网络分类识别的效率和准确率，将vgg
‑
19网络中[4096,4096,1000] 的三层全连接层结构改进为[t，3]的两层全连接结构，其中t代表全 连接层神经元最优个数。表6展示了t值的选取过程。
[0147]
表6 t值选取过程
[0148][0149]
注：t代表第一个全连接层神经元个数
[0150]
由表6可知，随着全连接层神经元个数的增加，网络分类性能的 准确率逐步提升，神经元个数为128时得到模型最高准确率。此后， 随着神经元个数的增加，网络分类准确率趋于稳定，全连接层参数的 增加并不能再提高模型准确率。因此，改进后的vgg
‑
19全连接层结 构为[128,3]，改进后的fc2_vgg
‑
19网络结构如图6所示，记为 fc2_vgg
‑
19。
[0151]
vgg
‑
19全连接层改进前后结构对比如表7所示。
[0152]
表7 vgg
‑
19全连接层改进前后结构表
[0153][0154]
表7可以直观的看到，fc2_vgg
‑
19的全连接层参数量为3211779， 相较于vgg
‑
19的全连接层参数量123642856，降低了97％。
[0155]
步骤12.cam可视化包括：
[0156]
为了更好的理解fc2_vgg
‑
19模型对鲳鱼新鲜度分级的特征学习 能力以及如何对鲳鱼图像进行新鲜度分级，利用类激活映射(cam) 方法生成可视化热力图，从而增强模型识别分级的可信度。cam可视 化计算公式如下：
[0157]
给定一幅图片，设置f
k
(x，y)是最后一个卷积层的第k个特征图在空 间坐标(x，y)处的激活值，对第k个特征图做gap，记为f
k
：
[0158][0159]
为类别c与第k个特征图连接的权值，对于给定类别c，softmax 输入值记为s
k
：
[0160][0161]
设m
c
是对应类别c的cam矩阵，则每个空间元素对应公式为：
[0162][0163]
其中，m
c
(x，y)反映了空间坐标(x，y)的数值对分类结果的重要程度， 这些数值最终组成类别c的热力图，热力图对高亮处即为cnn所认为 的对分类结果最有用的区域信息。
[0164]
为了验证fc2_vgg
‑
19模型对鲳鱼新鲜度分级的特征学习能力，本 发明挑选了18张不同新鲜度分级类别、不同区域、不同方位的鲳鱼 图片，利用cam方法生成可视化热力图进行实验分析，如图7所示。 图中每一列分别代表一级品、合格品和不合格品的热力图，颜色越高 亮说明该部位对鲳鱼新鲜度分级任务的贡献度越高。对于完整鲳鱼图 像而言，无论鲳鱼的分类等级或是摆放位置如何，图像的高亮区域总 是准确地定位在鲳鱼腹部，说明fc2_vgg
‑
19模型学习到的新鲜度分 类最强的特征是鲳鱼腹部，并且模型准确预测了新鲜度分级结果。对 于局部的鲳鱼图像而言，图像的高亮区域定位在鲳鱼的胸鳍和鳃处， 说明当图像丢失鱼腹部信息时，鳃和胸鳍部特征是对分类结果最有用 的信息。对于肉眼难以判定新鲜度等级的鲳鱼样本，cnn模型可以准 确预测新鲜度等级并给出判断依据。
[0165]
图8是对fc2_vgg
‑
19模型进行的特征可视化分析。左侧一、二行 分别是鲳鱼样本原始图像和cam可视化热力图，右侧第一行的4张图 是第1个卷积层提取的特征，可以看到浅层卷积层主要提取鲳鱼样本 的边缘、轮廓和纹理信息。中层卷积层提取的图像信息如图右侧第二 行所示，随着卷积层深度的加深，提取的特征变得复杂抽象、难以理 解。右侧第三行是最后第一个卷积层提取的特征图，高层特征将分散 的细节特征逐渐转化为整体的轮廓，同时学习到了更丰富的语义信 息，因此cam利用最后一个卷积层提取的特征图的信息构建模型分 类的热力图。对比高层特征图与热力图可知，特征图的高亮区域与分 类区分性最强的部位对应。同时，fc2_vgg
‑
19在自主学习过程中， 会舍弃无用的浅层特征(例如边缘、轮廓和纹理信息)，起到特征提 纯的作用，以提高模型的分类精度。
[0166]
通过本发明，可实现鲳鱼品质无损实时检测。通过批量上传鲳鱼 图像数据，结合上述鲳鱼新鲜度分级预测模型，即可对鲳鱼品质进行 实时无损检测。为保障冰鲜水产品货架期安全及品质无损预测提供理 论依据。