一种基于VIS-NIR光谱分析的无损苹果糖度测试方法

一种基于vis-nir光谱分析的无损苹果糖度测试方法
技术领域
1.本发明涉及一种苹果糖度测试方法，尤其涉及一种基于vis-nir光谱分析的无损苹果糖度测试方法。


背景技术：

2.我国是一个农业生产大国，农业生产总值占我国的gdp比重大约有10％左右，是我国的重要经济来源之一。其中，水果的种植面积以及其产量均为世界第一，苹果、柑橘以及梨子分别为我国产量最大的三种水果，且其产量仍在逐年上升中。
3.但是，我国对外出口的水果销售额却并没有取得与产量增速匹配的增量，2018年的水果出口总额为8050.43百万美元，而2019年的水果出口总额却为7837.28百万美元，出口总额不仅没有增加，反而下降了，这是一个值得关注的现象。
4.在国际市场上，我国的水果商品并没有占到很高的份额，这些作为商品销往国外的水果，不仅外在品质，而且内在品质也都与一些发达国家的产品有着较大的差距。这样的结果并不是因为某一特定的短板所造成的，而是由很多因素一同导致的，其中，对水果品质的管控不足则是最需要引起我国农业生产人员重视的问题之一。
5.在我国，大部分水果在采摘之后，不会经过加工或者仅仅粗加工之后就会销往市场，没有精美的包装，也没有严格的水果品质检查，降低了产品的附加价值，这一情况使得水果的销售价格处于一个比较低的水平，我国果农赚取国外利润的能力也就随之降低了。反观一些发达国家，例如日本、美国、新西兰等，对水果的品质管控及其附加价值的提升十分重视。以苹果为例，这些国家的水果出口商在苹果出厂之前不仅会对苹果的外观进行检查，也会对其进行包括但不限于糖度、脆度、酸度等内在品质的检测。这使得这些国家的水果优质率、竞争力、利润率以及远远大于我国的出口产品。
6.目前，我国的水果优质商品化能力水平较低，从生产到销售整个流程中，水果的质量管控较差。因此虽然我国出口到国外的水果数量大、种类多，但是由于品质分级不明确等原因，被出口地拒收、扣留、终止合同等等事件屡见不鲜。另一方面，不仅是国外，国内市场的消费者由于消费水平的提高，对水果产品的要求也越来越高了，不仅要求外观精美无农药残留，对于内在的品质比如口感等也有较高的要求。这使得高品质的水果销路越来越好，经济效益越来越高，所以，水果内部品质的检测是否完善是水果商品化能否取得较大成果的核心环节之一。
7.传统的水果内部品质检测一般是使用化学分析的手段来测定水果的糖度等指标，取样时间长，步骤也十分繁琐，其最大的缺点则是在取样时会破坏样品，造成不必要的经济损失，且这种检测一般是抽样检测，并不能覆盖到每一个水果，所以总是会有疏漏。


技术实现要素：

8.针对目前存在的问题，本发明提供一种基于vis-nir光谱分析的无损苹果糖度测试方法。基于vis-nir光谱分析的无损苹果糖度测试方法，能够在不破坏样品的同时，快速
准确的对苹果进行检测，克服了上述的缺点，给果农、水果销售商为苹果的品质分级以及生产管理提供了可靠的依据。
9.具体技术方案如下：
10.本发明提供了一种基于vis-nir光谱分析的无损苹果糖度测试方法，包括：
11.准备一些样本，并使用常规的化学分析等方法测定参考数据。这些样本需要具有一定的代表性，比如使用的苹果样本就需要挑选品种统一、大小适中的苹果。另外，样本的数量也应该满足能够建立模型的需求。
12.进一步的，对这些样本进行光谱采集，获取它们的光谱图。
13.vis-nir光谱分析技术的分析对象是待测样本的透射光谱或者反射光谱。获取透射光谱的方式是将光源和检测仪器(一般是光谱仪的检测探头)分别置于待测样品的两侧，当光源的光与被测样本发生相互作用后，透射出来的光被检测仪器接收，即可得到其透射光谱；获取反射光谱的方式则是将光源与检测仪器置于待测样本的同侧，光源发出的光照射到待测样本，与其发生相互作用，之后反射回来的光被检测仪器接收，即可得到其反射光谱。
14.进一步的，将获得的光谱进行预处理，排除各种各样的干扰，为之后的模型建立创造良好的条件。
15.一般的，所采用的光谱预处理方式有平均、平滑、多元散射校正(msc)、求导；
16.一般的，在检测样品光谱时，保持采样状态不变、采样区域不变，多次测量，获取多条光谱，利用平滑处理方法将这些光谱数据作平滑处理，将平滑后得到的结果作为该样品该区域的检测结果；
17.进一步的，若光谱数据中的噪声都是白噪声，也就是噪声的平均值为0时，利用平滑方法来消除白噪声的影响；
18.进一步的，在漫反射光谱中较多应用多元散射校正方法，用来消除由于待测样品颗粒大小均衡所造成的散射影响；
19.进一步的，为消除基线以及其他背景噪声的影响，采用对光谱进行一阶或二阶求导的方式对反射光谱进行预处理。
20.进一步的，建立数学模型，通过多元统计技术(化学计量学)的手段，将使用常规方式测得的参考数据与样本的光谱进行一定的关联，探索光谱与常规方式测得的参考数据之间的联系与规律；
21.进一步的，为保证建立出来的数学模型的精度以及实用程度，需要对模型进行验证；
22.一般的，将样本分为校正集和验证集，校正集用来建立数学模型，验证集用来验证这个模型是否可用；
23.一般的，评价一个模型的指标包括：相关系数(r)、交叉验证均方根误差(rmsecv)、预测均方根误差(rmsep)；
24.进一步的，在数学模型建立完成之后，即可使用该数学模型对未知样本中的物质的组分进行定性与定量的预测，步骤包括：
25.获取未知样本的vis-nir光谱数据；
26.进一步的，判断该样本是否和之前所建立的数学模型相匹配；
27.进一步的，若匹配，则将光谱数据输入到模型中，即可得到未知样本中的待测物质的定性或定量的结果；若不匹配，则只能提供用于参考的结果。
28.与现有技术相比，本发明的有益效果是：
29.本发明基于vis-nir光谱分析的无损苹果糖度测试方法，能够在不破坏样品的同时，快速准确的对苹果进行检测，克服了上述的缺点，给果农、水果销售商为苹果的品质分级以及生产管理提供了可靠的依据。
30.建立模型时选用的方法为偏最小二乘回归plsr，克服了多元线性回归需要样本数极多的缺点，能够在样本数较小的情况下，通过主成分分析对数据进行降维，最后再进行多元线性回归，给出所有输入变量的系数和偏置。
附图说明
31.图1是本发明实施例提供的一种基于vis-nir光谱分析的无损苹果糖度测试方法流程图；
32.图2是本发明实施例所需要的一种数字折光仪；
33.图3是本发明实施例样本光谱采集的暗场光谱与参比光谱图；
34.图4是本发明实施例提供的样本原始光谱图；
35.图5是本发明实施例提供的样本的透过率谱；
36.图6是本发明实施例提供的第30号样本的透射光谱；
37.图7是本发明实施例提供的样本的吸光度光谱；
38.图8是本发明实施例提供的糖度标定取样后的样本图；
39.图9是本发明实施例提供的所测量样本糖度数据的分布情况；
40.图10是本发明实施例提供的原始光谱与经过sg平滑和snv处理后的样本吸光度光谱对比图；
41.图11是本发明实施例提供的校正集均方根误差曲线；
42.图12是本发明实施例提供的plsr模型预测值与真实值的关系；
43.图13是本发明实施例提供的模型文件中的部分内容；
44.图14是本发明实施例提供的苹果糖度检测结果；
45.图15是本发明实施例提供的数字折光仪验证结果。
具体实施方式
46.在下文中，将参考附图对本发明的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本发明，并能够实施本发明。在不违背本发明原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。
47.本发明实施例提供了一种基于vis-nir光谱分析的无损苹果糖度测试方法，图1为方法的总体流程图。如图1所示，该方法包括以下步骤：
48.步骤101：获取所需的样本材料，并对所得到的材料进行预处理；
49.步骤102：得到样本材料后，利用光谱采集装置对所选取的样本进行光谱采集，得到待测样本的原始光谱图；
50.步骤103：采取样本中的部分区域，利用数字折光仪分别对样本的进行糖度的标定，确定每个样本的真实糖度；
51.步骤104：使用sg卷积平滑对光谱进行预处理，对采集好的光谱进行预处理，减少光谱噪声的影响，得到平滑后的光谱；
52.步骤105：结合所得样本的光谱与糖度标定数据，采用偏最小二乘回归法(plsr)建立糖度预测模型；
53.步骤106：结合模型对任意苹果糖度进行检测，并根据检测结果进行整体调式；
54.具体的，本发明实施例包括以下内容：
55.一、材料的预处理
56.为了使建立的糖度预测模型更为准确，本发明所检测的目标样本为单一品种，选择同一产地的苹果作为研究对象，且样本都经过人工挑选，表面无损伤、形状规则、大小适中。
57.挑选完样本后首先需要对样品进行预处理。将样品表面的灰尘和其他脏污擦除干净，以避免样品表皮上的杂物对光谱的影响；每一个实验用的苹果选取3个测试点，平均分布在苹果的赤道上，并按顺序依次对苹果样本的测试点进行编号。
58.为了建立预测模型，将采集这些测试点的光谱信息，并使用糖度标定装置来进行糖度的标定。本发明中采用的糖度标定装置为图2所示的日本atago公司的pal-1型数字折光仪，测量单位为白利度brix，表示100克溶液中可溶性固形物的克数，其检测范围为brix0.0～53.0％，检测分辨率为brix0.1％，准确度为brix
±
0.2％，在目前的各类水果可溶性固形物研究中，若需要较为精确的检测，一般都使用类似的数字折光仪来检测。
59.在获取待测样品的光谱之前，需要对光谱仪进行校准，即测量暗场光谱与参比光谱。在测量暗场光谱时，关闭光源，并使用黑色挡板掩盖逐检测探头，对其进行测量；而在测量参比光谱时，本发明使用了直径为50mm的聚四氟乙烯材料所制成的白色球体作为参比材料，获取参比光谱，选择球体的原因是可以更好地贴合检测平台，防止外界的杂光的干扰。
60.二、样本光谱采集
61.本系统采用搭建好的硬件平台进行样本光谱的采集，并采用透射式漫反射的方式获取光谱。在采集光谱前，先将光源预热10-15分钟，使光源光谱稳定才可进行测量，光谱仪的积分时间设置为100ms，并在检测样本光谱之前，先检测暗场光谱与参比光谱。暗场光谱与参比光谱如图3所示。
62.校准仪器完成后，开始测量样本的光谱，将待测样本放置在检测平台上，对每一个检测点进行光谱的采集，在检测程序中，每一个样本点的光谱将测量5次并最后取平均值以减小误差，图4所示的即为492组待测样本的原始光谱图。
63.得到样本的原始光谱后，可以根据暗场光谱与参比光谱的得到透射率谱线，计算公式如式(1)所示：
[0064][0065]
其中t
λ
为波长λ处的透过率，s
λ
为波长λ处的样本原始光谱强度，d
λ
为波λ长处的暗场光谱强度，r
λ
为波长λ处的暗场光谱强度。图5所示为计算出的透过率谱。
[0066]
采集到样本光谱在形状上没有太大差异，只是在强度上有些不同，以第30号样本
为例，图6所示为第30号样品的透射率光谱。
[0067]
图6中650nm左右处的变化反应的是苹果表皮颜色的差异，苹果的表皮颜色在一定程度上与水果是否成熟有关，720～750nm处的吸收峰主要与碳氢键伸缩振动五倍频有关，与碳水化合物的含量直接相关。
[0068]
得到透过率谱后，需要转换为吸光度谱，吸光度a的定义为透射率的导数的以10为底的对数，其计算公式如式(2)所示。
[0069][0070]
转换好的吸光度光谱如图7所示。
[0071]
样本的糖度的标定后，将使用样品的吸光度谱进行糖度预测模型的建立。
[0072]
三、样本糖度标定
[0073]
国际标准《iso 2173-2003水果和蔬菜制品.可溶性固态物质含量的测定.折射计法》中描述了对果蔬样品中可溶性固形物(ssc)的测量原理和方法，ssc的含量基本可以指代糖度值。
[0074]
根据该标准，本发明使用折射率法对样本糖度进行标定，其测量原理是光折射现象，不同浓度的溶液的折射率是不一样的，样品进行取样榨汁，将取得液体进行测量，其折射率与可溶性固形物浓度成正比，如此，即可得到取样区域的可溶性固形物含量，进而近似为糖度值。在糖度样本进行标定时，温度保持恒定为25℃，防止由于温度的原因照常样本溶液折射率变化，导致糖度的标定精度出现问题。
[0075]
使用pal-1数字折光仪可以直接测量样本溶液的可溶性固形物浓度，在实验时，从样品待测区域取直径为30mm，厚度为5mm的果块，使用手动榨汁工具进行溶液的提取，并将取到的溶液2-3ml至于折光仪的检测区域上，等待溶液稳定后，进行检测，即可得出溶液可溶性固形物的浓度。在每次检测完毕后，都需要使用蒸馏水对数字折光仪的测定区域以及手动榨汁工具进行冲洗并擦干，防止溶液污染造成误差。图8所示为测量的部分样本照片。
[0076]
图9所示的是所测量的样本糖度数据的分布情况。可以看出，本发明中使用的样品糖度主要分布在brix10％～16％之间，最大值为brix17.8％，最小值为brix9.1％，均值为brix12.75％，标准差为1.78，所涵盖的糖度范围较广，建立的预测模型精度将比小范围的数据集要高。综上所述，选择的实验样本能够满足建立模型的要求。
[0077]
四、样本光谱预处理
[0078]
从之前得到的样本吸光度谱中可以得知，所有样本光谱的前端几乎一致，而样本的糖度值则有着很大的差异，所以这显然是无用信息，故本发明构建模型使用的光谱为470nm波长以后的吸光度光谱，以减少无用信息的输入造成模型的过拟合，使精度下降。
[0079]
由图6第30号样本的光谱可知，在光谱上存在噪声，为了减少噪声的影响，使用sg卷积平滑对光谱进行预处理，能得到平滑后的光谱。
[0080]
为了减小固体颗粒大小、表面散射以及光程变化对光谱的影响，使用了snv(标准正态变换)来处理光谱数据，一般的标准化算法会对一组光谱数据进行处理，而snv则会对一条光谱数据进行处理，计算方法如式(3)所示
[72]
。
[0081][0082]
其中，x为原始光谱，xi为一条光谱数据中第i个数据点，为一条光谱数据的平均值，n为波长点数，在本发明中为2048。
[0083]
图10所示的是原始光谱与经过sg平滑和snv处理后的样本吸光度光谱的对比图。
[0084]
建立预测模型前需要将样本划分为两部分，分别是用于建立模型的校正集与检验模型效果的预测集，常用的方法有随机法、kennard-stone(ks)算法等。为了使样本集的划分有代表性，采用ks算法进行样本集划分，该方法会将所有的样本都视为校正集的候选者，并从中挑选样本进入校正集，首先会选择欧氏距离最远的两个样本进入，然后计算其他样本到已进入校正集样本的欧式距离，找到最大与最小的样本置入校正集，循环往复，直到校正集样本数量满足要求。欧式距离的计算公式如式(4)所示。
[0085][0086]
在本发明中共有492组光谱数据，利用matlab运行ks算法脚本，将光谱数据进行划分，校正集大小为344组，验证集大小为148组。
[0087]
五、糖度预测模型建立
[0088]
建立模型时选用的方法为偏最小二乘回归(plsr)，这种方法克服了多元线性回归需要样本数极多的缺点，能够在样本数较小的情况下，通过主成分分析对数据进行降维，最后再进行多元线性回归，并给出所有输入变量的系数和偏置，是目前最常用的线性校正建模方法。
[0089]
使用经过snv预处理与原始透射光谱分别进行plsr模型建立，表1所示为plsr模型的性能展示。
[0090]
表1主成分个数为7时plsr建模结果
[0091][0092]
结果表明，是否对透射光谱进行snv正态标准变换对模型的精度影响并不大，在不进行snv变换时，模型也能够正常工作，为了减小设备的运算量与糖度检测软件的复杂度，在软件中将使用原始透射光谱进行糖度预测。
[0093]
此外，plsr的主成分个数是在模型建立中一个非常重要的变量，一般第一主成分中包含着最大的样品有效信息，排名越靠后的主成分中包含的信息量越少，甚至会包含无用信息入内，若主成分过少，将光谱中的信息丢失太多，建立的模型精度将不佳，然而当主成分过多时，反而会引入大量无用信息来干扰模型，使得模型精度下降，这种现象被称为过拟合。经过多次试验，选取不同的主成分个数，得到的校正集均方根误差曲线如图11所示，
根据结果，本发明选择的主成分个数为7个。
[0094]
图12所示为最终plsr模型预测值与真实值的关系。建立模型所用的光谱为原始吸光度光谱，模型指标如下：rc＝0.88045，r
p
＝0.87563，rmsec＝0.9298，rmsep＝1.0402，能够较好的将苹果的糖度与其光谱数据关联起来。
[0095]
六、系统调试
[0096]
将模型的回归系数保存为csv格式的文件，可导入到本系统的内置存储器中。并命名为“model.csv”，开启糖度检测软件后将自动读入该文件中所保存的模型，并开始检测。如图13所示为模型文件部分内容。
[0097]
开启本发明检测系统，并尝试对苹果样品进行检测。如图14所示，软件能够正常工作，并成功的检测到了苹果的原始光谱。点击糖度计算按钮，能够结合导入的模型计算出糖度值。
[0098]
使用pal-1型数字折光仪对样品进行破坏性检测，检测结果如图15所示。数字折光仪测量出的可溶性固形物含量为brix11.2％，本发明系统检测出的糖度含量为brix11.5％。综合这些表现来看，模型已经成功地植入到了本发明系统中，并能够发挥作用。
[0099]
为了验证本发明系统的稳定性，使用10个苹果对其进行测试，测试结果如表2所示。
[0100]
表2系统稳定性测试结果(单位：brix％)
[0101][0102]
测试结果最大绝对误差为brix0.821295％，在误差允许范围之内，整个苹果糖度检测系统的运行状况良好。
[0103]
本发明也可以这样表述：
[0104]
本发明提供了一种基于vis-nir光谱分析的无损苹果糖度测试系统，该系统的检测方法包括：
[0105]
准备一些样本，并使用常规的化学分析等方法测定参考数据。这些样本需要具有一定的代表性，比如在本系统中使用的苹果样本就需要挑选品种统一、大小适中的苹果。另外，样本的数量也应该满足能够建立模型的需求。
[0106]
进一步的，对这些样本进行光谱采集，获取它们的光谱图。
[0107]
vis-nir光谱分析技术的分析对象是待测样本的透射光谱或者反射光谱。获取透射光谱的方式是将光源和检测仪器(一般是光谱仪的检测探头)分别置于待测样品的两侧，当光源的光与被测样本发生相互作用后，透射出来的光被检测仪器接收，即可得到其透射光谱；获取反射光谱的方式则是将光源与检测仪器置于待测样本的同侧，光源发出的光照射到待测样本，与其发生相互作用，之后反射回来的光被检测仪器接收，即可得到其反射光
谱。
[0108]
进一步的，将获得的光谱进行预处理，排除各种各样的干扰，为之后的模型建立创造良好的条件。
[0109]
一般的，所采用的光谱预处理方式有平均、平滑、多元散射校正(msc)、求导；
[0110]
一般的，在检测样品光谱时，保持采样状态不变、采样区域不变，多次测量，获取多条光谱，利用平滑处理方法将这些光谱数据作平滑处理，将平滑后得到的结果作为该样品该区域的检测结果；
[0111]
进一步的，若光谱数据中的噪声都是白噪声，也就是噪声的平均值为0时，利用平滑方法来消除白噪声的影响；
[0112]
进一步的，在漫反射光谱中较多应用多元散射校正方法，用来消除由于待测样品颗粒大小均衡所造成的散射影响；
[0113]
进一步的，为消除基线以及其他背景噪声的影响，采用对光谱进行一阶或二阶求导的方式对反射光谱进行预处理。
[0114]
进一步的，建立数学模型，通过多元统计技术(化学计量学)的手段，将使用常规方式测得的参考数据与样本的光谱进行一定的关联，探索光谱与常规方式测得的参考数据之间的联系与规律；
[0115]
进一步的，为保证建立出来的数学模型的精度以及实用程度，需要对模型进行验证；
[0116]
一般的，将样本分为校正集和验证集，校正集用来建立数学模型，验证集用来验证这个模型是否可用；
[0117]
一般的，评价一个模型的指标包括：相关系数(r)、交叉验证均方根误差(rmsecv)、预测均方根误差(rmsep)；
[0118]
进一步的，在数学模型建立完成之后，即可使用该数学模型对未知样本中的物质的组分进行定性与定量的预测，步骤包括：
[0119]
获取未知样本的vis-nir光谱数据；
[0120]
进一步的，判断该样本是否和之前所建立的数学模型相匹配；
[0121]
进一步的，若匹配，则将光谱数据输入到模型中，即可得到未知样本中的待测物质的定性或定量的结果；若不匹配，则只能提供用于参考的结果。
[0122]
在获取所需的样本材料后，首先将样品表面的灰尘和其他脏污擦除干净，避免样品表皮上的杂物对光谱的影响；每一个实验用的苹果选取3个测试点，保证测试点平均分布在苹果的赤道上，并按顺序依次对苹果样本的测试点进行编号。
[0123]
在测量样本的光谱时，对待测样本的每一个检测点均进行5次光谱采集，最后取平均值以减小测量中存在的误差。
[0124]
在样本糖度标定时，温度保持恒定为25℃，防止由于温度的原因照常样本溶液折射率变化，导致糖度的标定精度出现问题；每次利用数字折光仪对检测点糖度检测完毕后，都使用蒸馏水对数字折光仪的测定区域以及手动榨汁工具进行冲洗并擦干，防止溶液污染造成误差。
[0125]
使用的光谱为470nm波长以后的吸光度光谱，以减少无用信息的输入造成模型的过拟合导致的精度下降。
[0126]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。