一种增强成像辅助的南极磷虾TVB-N无损检测方法

本发明属于食品检测领域，涉及一种增强成像辅助的南极磷虾tvb-n无损检测方法。

背景技术：

1、南极磷虾（euphausia superba）是南大洋生态系统的关键物种，富含优质蛋白质、多不饱和脂肪酸及虾青素，在食品、饲料与保健品行业中具有重要价值。在其捕捞、加工、贮藏与流通过程中，尤其是在远洋捕捞船上作业环境下，受制于作业空间有限、冷链条件波动以及频繁装卸转运等因素影响，南极磷虾极易经历多次冻结—解冻循环，导致蛋白质结构破坏与微生物快速增殖，从而产生大量挥发性盐基氮（tvb-n），直接影响产品品质与食用安全。与此同时，船上检测条件通常较为有限，缺乏专业实验室环境与复杂仪器设备，难以开展精细化理化检测，品质评估多依赖经验判断或事后岸基检测，存在时效性差、无法实时反馈品质状态等问题。目前，tvb-n的检测主要依赖国家标准（如 gb 5009.228-2016）规定的半微量定氮法等化学方法，该类方法操作流程复杂、检测周期长、需要消耗样品且对人员专业性要求高，难以适应远洋捕捞及船上现场环境下对快速、无损、实时品质监测的实际需求。

2、近年来，基于光学成像的无损检测技术逐步应用于食品新鲜度评价。例如专利文献cn116067931a公开了一种基于紫外荧光响应图像的冻条罗非鱼tvb-n无损检测方法，通过构建紫外荧光成像系统并结合多颜色空间特征与深度学习模型实现了鱼类新鲜度预测。然而，该技术主要面向体型较大、外形规则、单体成像条件下的罗非鱼对象设计，其成像对象通常为单条鱼体，目标轮廓清晰、结构连续，模型可直接对整鱼图像进行整体特征提取与回归建模。而南极磷虾个体尺寸小、形态细长且结构复杂，多虾同框成像时易出现个体遮挡、轮廓粘连及荧光响应叠加等问题，导致不同个体特征混叠，难以准确提取单虾层面的腐败信息。同时其内脏组织主要集中于头部区域，头部与躯体在腐败进程上具有明显空间差异，传统整鱼整体建模方法难以刻画不同部位对tvb-n变化的贡献关系。同时，在实际检测中磷虾tvb-n通常只能获得批次级平均值，缺乏单只个体真实标签，若直接采用单实例监督回归模型，容易退化为简单拟合批次均值，缺乏对群体内部结构差异的建模能力，因此现有面向单鱼整体建模与传统回归结构的无损检测方法难以直接适用于南极磷虾tvb-n的无损检测场景；专利cn115876734b公开了“基于荧光传感阵列的肉类新鲜度智能检测方法”，通过制备对生物胺类气体敏感的荧光传感阵列标签，结合迁移学习与卷积神经网络，实现肉类新鲜度分类与tvb-n预测。该方法灵敏度高、响应速度快，但需制备专用传感标签并使其与肉类挥发性气体反应，系统复杂、成本较高，且难以直接适用于表面结构致密、挥发性气体释放模式不同的南极磷虾。

3、因此，开发一种基于紫外荧光成像技术，通过优化成像系统与构建专用预测模型，实现对南极磷虾tvb-n值快速、准确、无损在线检测的方法，对于提升磷虾产品品质控制与智能监测水平具有重要意义。本发明以南极磷虾为具体研究对象，旨在建立一套从成像采集、图像分割、深度特征融合到回归预测的完整方法体系，为水产品新鲜度无损检测提供可靠的技术方案与关键技术支撑。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种增强成像辅助的南极磷虾tvb-n无损检测系统与方法。该发明通过构建专用的紫外荧光成像系统实现成像增强，采集磷虾样本图像，并设计一种融合实例分割、深度特征学习与群体关系的深度学习预测模型，实现对南极磷虾tvb-n值的快速、无损、准确预测。

2、本发明的技术方案：

3、一种增强成像辅助的南极磷虾tvb-n无损检测方法，步骤如下：

4、步骤1：构建图像增强辅助的图像采集系统；

5、针对南极磷虾个体尺寸小、形态细长、多虾同框成像易发生遮挡及结构细节难以充分显现等特点，在现有专利cn116067931a紫外荧光成像系统的基础上，对紫外荧光成像系统的结构与光源布置方式进行改进设计，构建一套专门适用于南极磷虾多目标精细成像的改进型紫外荧光成像系统。

6、对紫外荧光成像系统的结构与光源布置方式进行改进设计，构建适用于南极磷虾多目标精细成像的改进型紫外荧光成像系统；改进型紫外荧光成像系统包括暗箱、输送装置、紫外荧光光源组、紫外长通滤光片、工业相机、光敏传感器及遮光状态指示灯；暗箱置于输送装置上，其外部采用不透明材料，内壁表面涂覆消光黑涂层，暗箱的进口和出口处分别设置柔性遮光帘；

7、暗箱内部设置紫外荧光光源组，紫外荧光光源组包括环形紫外激发光源与定向紫外激发光源，环形紫外激发光源安装于工业相机的镜头外围，并与工业相机成像轴线同轴设置；定向紫外激发光源安装于暗箱内部两侧，单侧从上到下由8组条形紫外激发光源阵列构成，条形紫外激发光源阵列通过角度定位支架固定；各组条形紫外激发光源阵列的布置方向与暗箱内壁面之间形成不同的倾角，单侧的倾角依次为65°、60°、55°、50°、45°、40°、35°、30°；环形紫外激发光源与定向紫外激发光源的激发波段均设置为360-370 nm，在紫外激发光源出光端分别设置与激发波段相匹配的紫外长通滤光片；

8、暗箱的进口和出口处均设置光敏传感器，用于检测柔性遮光帘的闭合状态，并与遮光状态指示灯电连接；当检测到暗箱完全闭合且内部环境光强低于预设阈值时，遮光状态指示灯显示成像允许状态；暗箱的顶部设置工业相机，其摄像头对准暗箱内部，用于采集南极磷虾样本的紫外荧光响应原始特征图像。

9、步骤2：制备样本集并测定tvb-n参考值；

10、制备涵盖不同新鲜度状态的南极磷虾样本集：将同一批次的新鲜南极磷虾随机分组并分装于无菌密封袋中，以第1组作为对照组不作冻融处理，其余各组分别以-20℃下冷冻12小时、4℃环境下解冻12小时作为一个不可逆的冻融周期进行冻融处理，冻融周期涵盖0-13次，获得南极磷虾样本集；在每个冻融周期结束后，将对应的南极磷虾样本置于输送装置上送入暗箱，在改进型紫外荧光成像系统的紫外荧光光源组光照条件下，通过工业相机采集南极磷虾样本的俯视紫外荧光响应图像；图像采集完成后，将同组南极磷虾样本打碎并制备成均匀混合的虾肉糜；参照国家标准gb5009.228-2016，4g虾肉糜作为一组，设置多组平行样本进行定氮法重复测定，取测定平均值作为该组南极磷虾样本在对应采集时刻的批次级tvb-n参考值；最终，将每组南极磷虾样本的俯视紫外荧光响应图像对应所测tvb-n，构建用于模型训练和测试的数据集；

11、步骤3：进行图像预处理；

12、在图像采集阶段采用多只南极磷虾同框成像的方式获取紫外荧光响应图像；利用yolov8网络，首先对紫外荧光响应图像进行单虾分割，接着继续对单虾进行头部区域与躯体区域的分割，获得头部区域图像与躯体区域图像；

13、步骤4：设计resnet34-eca-transformer mil南极磷虾tvb-n预测模型；

14、设计一种融合多模态数据感知、注意力增强深度特征学习的复合预测模型架构，为resnet34-eca-transformer mil南极磷虾tvb-n预测模型；其中，通过对头部区域与躯体区域分别进行rgb、荧光颜色比值、表面高光损伤三分支的输入数据重构和深度特征提取，并在后续结构化特征融合模块中引入模态加权融合与头身门控融合机制，实现对不同部位腐败特征的差异化建模与整体表征；resnet34-eca-transformer mil南极磷虾tvb-n预测模型包括依次串联的数据输入重构模块、注意力增强深度特征提取模块、结构化特征融合模块以及回归预测模块；

15、步骤4-1：构建数据输入重构模块；

16、数据输入重构模块采用并联方式构成三分支输入结构，用于对头部区域图像与躯体区域图像进行数据输入重构；数据输入重构模块包括三个相互独立、并行工作的rgb子模块、荧光颜色比值子模块、表面高光损伤子模块；其中，rgb子模块以头部区域图像与躯体区域图像的原始紫外荧光图像作为输入，用于提取南极磷虾样本在紫外荧光光源组光照条件下的像素级颜色响应信息；荧光颜色比值子模块以头部区域图像与躯体区域图像的原始紫外荧光图像转换后的荧光颜色比值图像作为输入，用于提取南极磷虾样本的由tvb-n积累带来的变质信号的荧光颜色比值特征；表面高光损伤子模块以头部区域图像与躯体区域图像的原始紫外荧光图像转换后的表面高光损伤图像作为输入，用于提取由冻融处理引起的南极磷虾样本的外部物理损伤与自溶劣变信号的表面高光损伤特征；

17、步骤4-2：构建注意力增强深度特征提取模块；

18、注意力增强深度特征提取模块为基于resnet34-eca的深度特征学习结构，以resnet34网络作为主干网络，通过多层残差模块对rgb子模块、荧光颜色比值子模块、表面高光损伤子模块的进行逐级卷积特征提取，在模型训练过程中，首先冻结resnet34网络的conv1、layer1、layer2关闭其梯度计算状态，使其反向传播梯度值强制保持为零，在resnet34网络的layer3与layer4嵌入pb-eca通道注意力模块，用于在通道维度上对特征的重要性进行自适应调节；pb-eca通道注意力模块，用双通道的空间矩池化层代替eca模块的全局平均池化层：引入步骤4-1重构出的荧光颜色比值特征与表面高光损伤特征作为重点关注的空间特征，对rgb子模块、荧光颜色比值子模块、表面高光损伤子模块输入pb-eca通道注意力模块的特征图进行双通道的空间矩池化处理，其通道表述过程表示为：

19、

20、

21、其中，c表示通道数，h和w分别表示rgb、荧光颜色比值、表面高光损伤三分支输入pb-eca通道注意力模块的特征图的高度和宽度，和分别表示rgb、荧光颜色比值、表面高光损伤三分支输入pb-eca通道注意力模块的特征图通过通道空间矩池化得到的第c个通道统计向量，表示第c个通道在空间位置处的特征响应值；和分别表示荧光颜色比值特征和表面高光损伤特征在空间位置处的物理分量值，为防止分母为零的预设微小正数；

22、随后，将得到的两组通道统计向量和分别输入到一维卷积单元中进行学习；将学习后的多尺度通道特征进行融合，其通道自适应权重的计算过程表示为：

23、

24、其中，表示通道自适应权重，和分别表示沿通道维度进行的核大小为3和5的一维卷积运算，()为sigmoid激活函数，表示由全局平均池化与全局最大池化结果拼接形成的融合通道描述向量；

25、接着，根据计算得到的通道自适应权重对输入pb-eca通道注意力模块的图像进行重新标定，并通过残差融合方式将重新标定后的特征与输入pb-eca通道注意力模块的图像进行组合；

26、最后，将注意力增强深度特征提取模块输出的高维特征经全局平均池化层压缩，最终输出具有高判别力的南极磷虾样本的头部与躯体的rgb、荧光颜色比值、表面高光损伤三分支的深层特征；

27、步骤4-3：构建结构化特征融合模块；

28、针对步骤4-2输出的头部深层特征与躯体深层特征，设计结构化特征融合模块实现部位到整体深层特征的逐级融合；首先，分别对头部和躯体的rgb、荧光颜色比值、表面高光损伤三分支的深层特征执行加权融合，得到头部融合特征与躯体融合特征：通过引入可学习权重参数对不同特征进行自适应加权组合，其模态权重和对应的部位融合特征表示为：

29、

30、

31、其中，表示第x个模态对应的可学习权重参数，其由resnet34-eca-transformer mil网络在训练过程中根据头部和躯体的rgb、荧光颜色比值、表面高光损伤三分支的深层特征的响应强度与预测误差反向传播进行自动更新；表示经softmax归一化得到的第z个模态融合权重，表示同一部位区域下第z个模态对应的深层特征向量，f表示该部位区域经模态加权融合后的特征表示；

32、其次，在不同部位之间引入头身门控融合机制，对头部融合特征与躯体融合特征进行结构化加权组合，其门控权重表示为：

33、

34、其中，和表示对应的可学习权重参数，以动态调节不同腐败阶段下头部区域与躯体区域在最终表征中的占比，b表示偏置项，表示头部特征在最终融合中的门控权重；

35、通过上述融合处理，得到表征单只南极磷虾样本腐败状态的统一特征向量，并作为回归预测模块的输入；

36、步骤4-4：构建回归预测模块；

37、tvb-n回归预测模块，在自注意力权重计算过程中引入头部区域与躯体区域比例信息作为先验约束项，对自注意力权重分布进行调制，使resnet34-eca-transformer mil网络能感知不同部位区域对腐败表征的贡献差异；基于门控权重来构建部位结构先验矩阵并将其作为调制项引入自注意力权重计算过程，其具体公式为：

38、

39、

40、其中，表示第 b只和第 c只南极磷虾在头部与躯体腐败状态上的先验相似性权重，表示第b只南极磷虾头部特征在其腐败表征中的占比权重；a表示自注意力权重矩阵，q、k分别表示查询向量与键向量，d为特征维度，p为部位结构先验矩阵，λ为可学习调制系数；

41、同时，在总损失函数中引入弱监督一致性约束和物理信息单调性约束，其具体公式如下：

42、

43、其中，l为总损失函数；为批次级tvb-n回归损失；表示弱监督一致性约束损失；表示物理信息单调性约束损失；和分别为弱监督一致性约束权重系数与物理信息单调性约束权重系数；

44、弱监督一致性约束是在保持批次级tvb-n回归损失作为主监督信号的同时，对回归预测模块输出的单虾隐式预测值施加一致性正则约束，使同一批次内单虾预测均值与批次级预测结果保持一致，其一致性约束项表示为：

45、

46、其中，表示批次级tvb-n预测值，表示第u只南极磷虾的隐式预测值，n表示同一批次内南极磷虾样本的数量；

47、在模型训练的每个迭代步中，随机抽取代表不同劣变梯度的任意两个输入批次k与m，设其真实的批次级tvb-n理化参考值分别为与，且满足<，批次m的劣化程度严格高于批次k；利用两个批次中单虾的隐式预测值的统计均值与构建物理信息单调性约束损失，对违反物理不可逆性的特征映射进行显式拓扑惩罚，其具体公式如下：

48、

49、

50、其中，表示批次中第o只南极磷虾的隐式预测值；为该批次内的个体数量；为预设的单调性动力学安全间距边界参数，用于强制保证高劣变批次的隐式预测均值以至少的趋向间距高于低劣变批次。

51、本发明的有益效果：

52、（1）本发明针对南极磷虾个体小、形态不规则、多虾同框成像易发生遮挡与轮廓粘连和由于其内脏等组织多集中于头部区域，其腐败进程与躯体肌肉组织存在显著差异的问题，引入两级实例分割与部位结构分割的图像预处理流程，实现由群体图像向单虾个体再向部位结构的自动转换，在深度学习建模之前显式引入南极磷虾的生物结构先验信息，有效降低了多虾场景下特征混叠对回归精度的影响。

53、（2）本发明设计并联的数据输入重构结构，分别从rgb、荧光颜色比值、表面高光损伤三个维度对紫外荧光响应图像进行输入构建，使模型能够从全色度、生化变质、表面物理损伤对紫外荧光响应图像进行联合感知，实现多维特征互补，避免了传统颜色空间堆叠带来的信息冗余与机理缺失。

54、（3）本发明在深度特征提取阶段构建基于 resnet34-eca 的注意力增强网络结构，并通过冻结主干网络低层参数、仅对高层语义特征进行微调，增强模型在小样本条件下的训练稳定性与泛化能力。在此基础上，于高层语义阶段嵌入改进型多尺度残差高效通道注意力模块（pb-eca），通过引入荧光颜色比值特征与表面高光损伤特征作为特征引导信标，实现对变质核心区域的精准聚焦与高光噪声的智能隔离。配合多尺度通道交互与残差式特征调制策略，不仅增强了关键特征通道的表达能力，还提高了模型在小样本条件下的训练稳定性与泛化性能。

55、（4）本发明提出结构化特征融合机制，在部位内部通过模态加权融合自适应分配不同模态特征对腐败表征的贡献权重，在部位之间通过头身门控融合动态调节头部区域与躯体区域在最终腐败特征中的占比关系，从而避免简单特征拼接所导致的信息冗余问题，使融合特征在保持多源信息完整性的同时具备更强的生物合理性与表达效率。

56、（5）本发明在回归预测阶段引入部位结构先验调制自注意力机制，通过在注意力计算中显式引入头身结构比例矩阵，使模型能够精准感知不同部位对腐败表征的贡献差异；同时构建融合弱监督一致性约束与物理信息单调性约束的联合优化目标函数，在缺乏单虾真实理化标签的条件下，不仅保证了微观个体输出与宏观批次理化结果的一致性，更通过跨批次成对排序惩罚，强制模型学习符合不可逆冻融劣化动力学的流形演化轨迹，一定程度解决了传统纯数据驱动模型容易产生违反物理常识预测的问题，实现了对南极磷虾tvb-n值的稳健、高精度定量预测。