一种基于时序变温过程中热成像和视觉成像融合的肉类品质定量检测方法与流程

1.本发明属于肉类品质快速检测技术领域，尤其涉及一种时序变温过程中热成像和视觉成像融合的肉类品质定量检测方法，该检测方法可用于肉类不同品质指标的含量检测。


背景技术：

2.随着生活水平的提高和膳食结构的改变，人们对肉类品质与安全提出了更高的要求。近年来，世界各地的肉类产量和消费量也在逐步增加。但与此同时，高额的利润也导致了肉类供应链中品质问题频频发生。不同指标能够评价肉类的不同品质，其中检测掺假肉类中的掺假含量可以维护消费者的经济利益，tvb-n含量是判断肉品新鲜度的主要化学信息，营养物质含量（蛋白质、脂肪、无机物、维生素等）是肉类食用价值的参考依据。因此，需要对肉类不同品质指标进行检测，确定其含量。现有的肉类品质检测的技术手段中，dna技术对于样品dna纯度要求高、制备复杂，并且所需仪器价格高昂；光谱技术灵敏度较差、样品建模难度较大；电子舌技术实验结果重复性不高、鉴别准确率低；热成像和ccd技术虽然操作简单且适应性较强，但作为单一的检测手段所提供的信息往往只能描述肉类品质的某一方面，不能全面地描述肉类品质的整体信息；热成像和视觉成像融合虽然可以反映肉类的温度信息和颜色信息，但研究多侧重于恒温条件下，所反映的肉类特性较少，具有一定的局限性。


技术实现要素：

3.本发明目的在于提供一种基于时序变温过程中热成像和视觉成像融合的肉类品质定量检测方法，基于不同品质肉类时序变温过程中表面温度分布差异和颜色变化特征，通过采集系统采集时序变温过程中不同样品的红外热像视频和ccd图像，同时，基于热像图和ccd图像的融合数据结合卷积神经网络建立肉类品质定量模型，对肉类品质指标进行检测，旨在解决现有肉类品质检测技术操作复杂、仪器昂贵、传统识别模型准确率较低以及获取信息单一等问题。
4.本发明采用的技术方案如下：一种基于时序变温过程中热成像和视觉成像融合的肉类品质定量检测方法，其特征在于，制备建模样品，采集并融合时序变温过程中热成像和视觉成像数据，然后建立肉类品质定量检测模型，再利用该模型对肉类样品品质进行定量检测，包括以下步骤：步骤一：制备高度及质量一致，密度均匀的具有不同品质指标的代表性肉质样品；步骤二：将样品置入温度变化装置进行时序加热或冷却，通过红外热像采集系统和视觉成像采集系统，同时采集样品在时序变温过程中的热像视频和视觉图像；步骤三：对时序变温过程中的热像视频提取样品热像图，其中每个样品提取单张或多张热像图及对应时序的ccd图像；
步骤四：分别去除热像图及ccd图像的样品图像背景，提取样品图像的形心，并以此为中心选取感兴趣区域；将感兴趣区域下热像图及ccd图像调整为统一尺寸并进行融合；步骤五：将样品融合后的图像数据作为输入数据分别划分为训练集和测试集；利用划分后的样品数据集对模型进行训练和测试，优选最佳模型，并确定模型的各个参数；步骤六：若所建定量模型效果满足要求则代表模型可行；否则，通过扩充样品集和重复步骤一至五，直至满足要求;所述的利用定量检测模型进行肉类品质检测的具体步骤如下：步骤a、制备高度、质量一致，密度均匀的具有不同品质指标的代表性肉质样品；步骤b、将样品置入温度变化装置进行时序加热或冷却，通过红外热像采集系统和视觉成像采集系统，同时采集样品在时序变温过程中的热像视频和视觉图像；步骤c、对时序变温过程中的热像视频提取样品热像图，其中每个样品提取单张或多张热像图及对应时序的ccd图像；步骤d、分别去除热像图及ccd图像的样品图像背景，提取样品图像的形心，并以此为中心选取感兴趣区域；将感兴趣区域下热像图及ccd图像调整为统一尺寸并进行融合；步骤e、将融合后的图像数据输入建立的定量检测模型，通过对样品单张直接判别或多张综合判别确定并输出样品的定量检测结果。上述肉类不同品质指标定量检测中，肉类包括羊肉、牛肉、猪肉、鸭肉及其他食用肉类；品质指标检测内容为：掺假肉类掺假含量检测、营养物质含量检测、tvb-n含量检测、水分含量检测以及微生物检测。
5.上述步骤一和步骤a中，样品制备时，制备高度、质量一致，密度均匀的具有肉类不同品质的代表性肉质样品。
6.上述步骤二和步骤b中，将样品置入温度变化装置进行时序加热或冷却，可采用多种方式对样品进行恒温加热或冷却，样品初始温度保持一致。
7.上述步骤三和步骤c中，从热像视频中提取样品热像图时，有多种可选提取方法，例如：等时间间隔、等温度间隔、某一温度范围等时间间隔和某一时间段等温度间隔，本发明优选第一种方法，连续采集某一固定时间段内的热像图，此阶段较少的数据包含了较大范围温度下的样品热像图； ccd相机采集时序变温过程中样品的视觉图像时，采用连续拍摄的模式，图像采集间隔与热成像保持一致。
8.上述步骤五和步骤e中，对热像图与ccd图像进行融合时，可采用不同的融合方法，例如：图像拼接、数据相加和通道叠加。
9.上述步骤五中，涉及的模型包括前馈型神经网络、卷积神经网络、循环神经网络，优选卷积神经网络建立模型；本发明中涉及的定量模型分类器包括regression、svr、plsr，优选regression检测肉类不同品质指标的含量。
10.上述步骤二和步骤b中，本发明所述方法所应用的检测系统包括变温单元、照明单元、热像采集单元、视觉成像采集单元、暗箱、样品室和数据显示和分析单元；所述的变温单元为温度可调的加热或冷却装置，位于暗箱内部，用于给样品提供稳定的温度来源；所述的照明单元为光照强度可调的环形光源，用于给样品采集时提供稳定的光照；所述的热像采集单元包括热像采集装置、支架和通讯模块；所述的视觉成像采集单元包括图像采集装置、支架和通讯模块；所述暗箱由支架以及覆盖黑色密织厚布组成，为封闭式不透光箱体，防止
外界光线干扰；所述样品室为黑色不透光容器，去除光线反射干扰；所述数据显示和分析单元包括pc机和软件界面，其中软件界面可以实现热像视频及ccd图像的实时显示、保存以及判别分析等功能。
11.本发明与现有技术相比优势在于：第一、本发明所述检测方法具有操作简便、经济实惠、易于推广等优点。
12.第二、本发明所述方法中采用时序变温装置处理肉类品质代表性的肉质样品，能够快速获取样品在不同温度下的热像图和ccd图像，反映较多的肉类特性。
13.第三、本发明所述方法中融合热像图和ccd图像特征信息能够准确的对肉类品质定量检测，从而更全面获取信息，提高检测精度。
附图说明
14.图1为发明实施例1和实施例2涉及的装置结构示意图图2为本发明实施例2涉及的本发明方法具体流程图图3为本发明实施例2涉及的样品热像图和ccd图像融合过程图图4为本发明实施例2涉及的卷积神经网络检测模型架构图图5为本发明实施例2涉及的融合图像定量检测模型验证集的预测值分布图附图中各标记说明如下：1：暗箱；2：视觉成像采集单元；3：热像采集单元；4：光照单元；5：样品室；6：变温单元；7：数据显示与分析单元。
具体实施方式
15.为了使本发明目的、优点更加清楚明了，下面结合具体实施例对本发明内容做进一步阐述。
16.实施例1：一种基于热成像和视觉成像融合的掺假羊肉中掺假含量定量检测方法的热像视频和ccd图像采集系统结构及其使用a部分：一种基于热成像和视觉成像融合的掺假羊肉中掺假含量定量检测方法的热像视频和ccd图像采集系统结构检测系统包括变温单元、照明单元、热像采集单元、视觉成像采集单元、暗箱、样品室和数据显示和分析单元，如图1所示；所述的变温单元为温度可调的加热或冷却装置，位于暗箱内部，用于给样品提供稳定的温度来源；所述的照明单元为光照强度可调的环形光源，用于给样品采集时提供稳定的光照；所述的热像采集单元包括热像采集装置、支架和通讯模块；所述的视觉成像采集单元包括图像采集装置、支架和通讯模块；所述暗箱由支架以及覆盖黑色密织厚布组成，为封闭式不透光箱体，防止外界光线干扰；所述样品室为黑色不透光容器，去除光线反射干扰；所述数据显示和分析单元包括pc机和软件界面，其中软件界面可以实现热像视频及ccd图像的实时显示、保存以及判别分析等功能。
17.b部分：一种基于热成像和视觉成像融合的掺假羊肉中掺假含量定量检测方法的热像视频和ccd图像在线采集系统使用方法。
18.b1、首先向预先准备好的恒温水浴锅注满水，放入暗箱中，然后打开恒温加热水浴锅，并将其加热温度设置为70
ꢀ°
c。
19.b2、通过螺栓将红外辐射探测镜头固定在支架顶部的连接件上，并将镜头调节至
与地面垂直。
20.b3、将支架连同红外探测和ccd图像镜头一同放入暗箱，并移动支架，使镜头垂直悬空于水浴锅上的样品检测区。
21.b4、打开计算机，分别将热像视频和ccd图像在线采集软件打开，连接红外辐射探测镜头与ccd图像镜头，通过软件界面识别镜头与计算机是否连接成功。
22.b5、通过调节支架高度使红外辐射探测镜头与样品培养皿上表面的高度为50 cm；调节ccd图像镜头高度使之与样品培养皿上表面的高度为60 cm。
23.b6、待恒温水浴锅的温度达到70
ꢀ°
c，并保持稳定时，将待测样品放置在水浴锅的样品检测区中心。
24.b7、取下镜头盖，微调镜头，使样品能够清晰完整的显示在软件界面的实时采集窗口。
25.b8、点击开始采集按钮，软件界面能够分别实时显示采集样品的热像视频和ccd图像，并进行保存。
26.实施例2：一种基于热成像和视觉成像融合的掺假羊肉中掺假含量定量检测方法本实施例具体流程图如图2所示c部分：建立掺假羊肉中猪肉和鸭肉掺假含量定量检测模型c1、样品制备实验材料为羊肉、猪肉和鸭肉，去除脂肪、筋膜和表皮，首先制备纯羊肉、纯猪肉和纯鸭肉样品，根据不同的掺假比例（10%、20%、30%、40%、50%），使用电子秤称取相应重量的羊肉、猪肉和鸭肉分别混合后放入绞肉机搅拌30 s，绞成颗粒均匀的肉糜，然后将净重约30 g肉糜放入直径为6 cm、表面平整的圆形培养皿中压实，制成密度均匀的掺假样品。每种掺假样品的每个掺假比例各制备了13个样品，另外分别制备纯羊肉、纯猪肉和纯鸭肉样品各13个，共计169个样品。
27.c2、样品的热像视频和ccd图像采集检测系统由恒温加热水浴装置、支架、红外辐射探测镜头、ccd图像采集镜头、暗箱、计算机和数据显示和分析软件等组成。
28.数据采集前提前将恒温水浴锅打开，并将其温度设置为70
ꢀ°
c。采集掺假羊肉样品时，所采用的热像仪（yoseen，中国）光谱范围为7.5~14μm，精度为
±2ꢀ°
c，数据采集频率为50 hz，图像分辨率为384*288，温度配色板格式为ironbow，材料发射率设为 0.97；所采用的ccd相机为mv em200m（维视图像），其光学尺寸为1/1.8，分辨率为 1600*1200，其帧率为40 fps，所采用的光源为aft-rl150105（维视图像），其额定功率为17.5 w。
29.将样品连同培养皿放置在水浴锅上连续加热10 min，同时使用热像仪和ccd相机采集加热过程中样品的热像视频和可见光图像，并在pc端软件界面进行实时显示和保存。
30.c3、样品热像图和ccd图像感兴趣区域的获取单个样品的样品数据为一段10min带有温度数据的热成像视频及其ccd图像。首先对时序加热过程中的热像视频按等时间提取单张或多张热像图。采用大津阈值法分割、去除样品背景，提取去除背景后样品的边缘轮廓，并提取轮廓形心，并以样品中心选取大小为85*85的区域作为样品热像图及其对应时序的ccd图像的感兴趣区域。对样品图像的roi区域进行像素调整，采用双三次插值法对图像进行尺寸调整，将两种roi图像调整为统一尺
寸。
31.c4、样品热像图和ccd图像感兴趣区域的融合将插值后的样品热像图和ccd图像感兴趣区域图像数据采用图像拼接的形式进行数据层融合，获取融合图像。样品热像图和ccd图像感兴趣区域的提取及融合过程如图3所示。
32.c5、定量模型建立样品集为样品插值后的热像图和ccd图像的融合图像101400张。首先，按照不同掺假比例将掺入猪肉的掺假羊肉样品和掺入鸭肉的掺假羊肉样品按比例（0%、10%、20%、30%、40%、50%、100%）分别划分七类，然后将样品数据集以3：1的比例划分为训练集和测试集，用于定量模型的训练和测试。
33.优选resnet-18卷积神经网络，通过比较该模型的学习率和mini-batch，确定最佳学习率为0.001、mini-batch为256。采用regression作为映射函数，将全连接层尺寸调整为1*1*1，建立样品特征向量和样品掺假比例之间不同的回归函数，然后选取损失函数值最小的回归预测值作为模型最终预测值，损失函数的计算公式如(1)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，为模型的回归预测值，为样品实际值。
34.基于regression函数结合优选的神经网络及最佳参数分别建立猪肉含量和鸭肉含量融合图像的掺假羊肉定量模型，如图4所示。通过计算模型的相关系数()和均方根误差(rmse)来评估模型效果。相关系数()和均方根误差(rmse)的计算公式如(2)和(3)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，代表预测值，代表实际值，代表实际值的均值，代表实际值的离散值。为模型的预测值与实际值之间的相关性，越大表明两者的相关性越强。rmse代表模型的预测值与实际值之间的偏差，rmse越小则表明模型的预测误差越小。
35.结果表明，融合图像所建立掺假羊肉中掺入猪肉含量检测模型的测试集为0.9841，rmse为0.0187；掺假羊肉中掺入鸭肉含量检测模型的测试集为0.9867，rmse为0.0172。满足掺假羊肉定量检测要求。
36.d、检测掺假羊肉中猪肉含量及鸭肉含量d1、检测主要流程利用建立的定量模型对掺假羊肉含量进行检测。首先制备纯羊肉、纯猪肉和纯鸭肉样品，根据不同的掺假比例（10%、20%、30%、40%、50%），制成密度均匀的掺假样品。每种掺假样品的每个掺假比例各制备了7个样品，另外分别制备纯羊肉、纯猪肉和纯鸭肉样品各7个，共计91个样品；然后，将样品置入温度变化装置进行时序加热或冷却，通过红外热像采集系统和视觉成像采集系统，同时采集样品在时序变温过程中的热像视频和视觉图像，提取每个样品单张或多张热像图及对应时序的ccd图像；分别提取热像图及ccd图像的样品图像感兴趣区域并进行融合；最后，将融合后的图像数据输入建立的定量检测模型，通过对样
品单张直接判别或多张综合判别确定并输出样品的定量检测结果。
37.d2、检测结果分析利用建立的定量检测模型对掺入猪肉的掺假羊肉样品中猪肉含量和掺入鸭肉的掺假羊肉样品中鸭肉含量分别进行定量检测，其猪肉含量检测模型和rmse分别为0.9717和0.0238，其鸭肉含量检测模型和rmse分别为0.9616和0.0277。其预测值分布图如图5所示。
38.基于热像图、ccd图像和融合图像分别建立的检测模型，其相关系数()和均方根误差(rmse)如表1所示。
39.表 1 基于样品不同数据集的定量检测模型结果表明，单一图像数据和融合图像数据建立的模型检测效果相比，后者的检测效果均有所提升。
40.本发明通过两个实施例，分别从图像采集系统的结构和使用方法、热像图和ccd图像感兴趣区域的获取和融合、定量模型建立和掺假羊肉检测等角度阐述了一种基于热成像和ccd图像融合的检测掺假羊肉中掺假含量检测方法的操作流程。本发明利用常见的热像仪和ccd相机搭建羊肉品质定量检测平台，可同时获取样品在时序变温过程中的温度和颜色信息，操作简便、经济实惠、易于推广；本发明采用时序变温装置处理羊肉品质代表性的肉质样品，能够快速获取样品在不同温度下的热像图和ccd图像，反映较多的肉类特性；本发明融合热像图和ccd图像特征信息能够准确的对羊肉品质定量检测，从而更全面获取信息，提高检测精度。
41.基于时序变温过程中的热成像与视觉成像的融合技术对其他食品品质指标的检测，可参考本发明所提出的检测方法和检测流程进行操作。
42.以上实施方式仅用于说明本发明，并不用以限制本发明，凡是本发明的精神和原则之内，在本发明技术实质基础上所做的任何修改、等同替换、改进，均应包含在本发明的范围之内，本发明的专利保护范围由权利要求限定。