一种基于机器学习的苹果糖度无损检测方法

1.本发明涉及苹果糖度检测领域，具体涉及一种利用高光谱图像结合机器学习进行苹果糖度无损检测方法。


背景技术：

2.水果糖度含量是决定水果品质的一个重要指标，往往品质好的水果含糖量越高，同时也越受到消费者的喜欢。但随着人们生活水平日益增长，对水果的需求也更加的丰富。部分人钟爱口味偏酸的水果，另一部分人则钟情于甜甜的口感。于是，为了满足人们多样化的需求，同时也为果农筛选分类水果提供方便，设计一种高效准确便携的无损检测方法和装置势在必行。
3.传统的水果品质检测多采用人工检测和化学方法分析。人工检测方式不仅受到工人熟练度、经验等主观感受的影响，而且其判断依据多根据水果的表面特征，存在误差大，效率低，不适用大规模筛选分级。化学方法分析虽然结果准确，但是过程复杂，且需要抽样检测，不能做到全覆盖，同时存在浪费果样，导致一定程度的经济损失。近年来可见/近红外光谱技术作为一种无损的检测手段，已被很多研究人员尝试应用。中国专利文献cn103487396b公开了一种光照参数可调的近红外水果糖度无损检测设备，中国专利文献cn111220568a公开了一种基于近红外光谱分析技术的苹果糖度测检测装置等。这些检测技术需要使用到光谱仪，总体体积大，且成本昂贵，对于快速低成本高效检测来说具有局限性。


技术实现要素：

4.本发明的目的在于研究一种基于高光谱图像结合机器学习的技术，用于对苹果的糖度进行无损检测。
5.本发明的技术方案是这样实现的：
6.一种基于机器学习的苹果糖度无损检测方法，通过采集6个特定波长的高光谱图像，与利用糖度计采集得到的苹果糖度数据建立模型；通过灰度处理和双边滤波得到优化后的图像数据；利用光斑中心定位算法精准确定最亮值坐标，以及确定每个散射图像圆环的平均光强值；通过洛伦兹拟合光强和距离信息，得到洛伦兹函数系数；根据所得到的系数，作为岭回归机器学习的数据，划分为校正即和验证集，用于校正得到一个稳定和准确测量的检测模型，得到所述待测苹果的糖度值。
7.对所述测量光谱图像进行灰度化处理，简化数据量，得到待测灰度图像；其内部的原理遵从如下的权重分配。
8.gray＝0.299
×
r 0.587
×
g 0.114
×b9.切割图像得到物理尺寸为20mm
×
20mm的苹果光谱图像，并对光谱图像滤波处理。
10.整个双边滤波是由两个函数构成：一个函数是由空间距离决定的滤波器系数，另外一个是由像素差值决定的滤波器系数。整个双边滤波的公式如下：
[0011][0012]
其中权重系数w(i,j,k,l)，取决于定义域核和值域核
[0013]
的乘积。
[0014]
利用光斑中心点定位算法可确定最亮点坐标：
[0015]
将灰度化后的苹果光谱图像二值化，进行闭操作。首先对像素值为1的部分(即白色部分)，并对其求均值得到坐标(x0,y0)，即
[0016][0017]
如此得到的是光斑圆心的粗略位置，之后需要对图像中像素值为0的一系列点(x,y)，进行接下来的循环：
[0018]
(1)求出距离圆心(xm,ym)(m＝0,1,2,...)最近的点(xi,yi)，距离为rm[0019][0020]
(2)移动圆心(xm,ym)使之与点(xi,yi)的距离在直线方向上增加1，即
[0021][0022]
此时，圆心位置进行了更新。
[0023]
(3)不断地重复(1)(2)步骤，每一循环需要判断计算出的距离是否小于上一循环的距离，直到计算出的距离r
m 1
＜rm，退出循环。
[0024]
(4)求出距离点(x
m 1
,y
m 1
)最近的黑点,距离即为所求的半径r
m 1
，圆心为(x
m 1
,y
m 1
)。
[0025]
散射图像像素点选取并进行洛伦兹拟合：
[0026]
确定中心亮点之后，以此建立坐标轴，分别沿着x轴和y轴的正半轴和负半轴方向取对应4点处的光强值求平均作为该圆环状光谱图像上的平均光强值，依次选择往外延伸至100像素点。对各个波段的光谱图像散射分布进行洛伦兹拟合，洛伦兹公式如下：
[0027][0028]
利用机器学习岭回归进行模型构建：
[0029]
岭回归的极值求解函数为：
[0030][0031]
其中为惩罚函数，保证了β值不会变的很大；λ为非负数，λ越大，为使代价函数最小，回归系数β就越小。
[0032]
本发明的优点在于：
[0033]
(1)高光谱信息量丰富，包含对各种含氢基团的响应，可对有机物质可以进行定性和定量分析。加上在该管光谱区域自身的频谱重叠、吸收强度较低等的特点，利用该技术可得到更准确高效的苹果内部糖类含量，可用于苹果品质的检测。
[0034]
(2)根据所测苹果糖度的历史数据进行建模，预测果农采摘苹果的糖度，随着系统的运行，可不断丢弃偏离正常值的数据，而新的数据不断加入，应用新的数据建立能够反映系统当前状况的新模型，能够确保模型的准确性。
[0035]
(3)岭回归针对小样本进行训练可以很好的解决神经网络训练速度慢，容易陷入局部极值等缺点，并且求解优化问题最终转为求解线性方程，计算过程得到了极大的简化，确保了实现快速检测。
附图说明
[0036]
图1为本发明检测方法中苹果糖度检测流程图；
[0037]
图2为本发明检测方法中设计的检测装置结构示意图；
[0038]
图3为本发明检测方法中图像处理部分原理图；
[0039]
图4为本发明检测方法中使用滤波片波长分别为635nm、650nm、670nm、780nm、850nm和905nm拍摄的光谱图像灰度化及滤波处理后的图像；
[0040]
图5为本发明检测方法中一个苹果光斑最亮点选取及散射图像光强选取示意图；
[0041]
图6为本发明检测方法中一个苹果的对应6个被波段的洛伦兹参数拟合效果；
[0042]
图7为本发明检测方法中构建的苹果糖度岭回归检测模型进行检测的展示。
具体实施方式
[0043]
下面对本发明具体技术方案作进一步说明。结合附图和实施实例对技术细节和创新点，详细解释相关发明。
[0044]
本发明提供了一种基于高光谱图像利用机器学习岭回归对苹果进行无损检测的方法，每个待测苹果采集两个不同位置果肉的图像，基本原则是相对距离较远，且果肉饱满、果皮光滑平整无疤痕，目的是获取足够多的实验样本同时保证苹果阳面和阴面的数据都能纳入数据集中去，测量更具准确性和普遍性。采集方法如图2所示，实验平台距离底部支架距离20.5cm，光源高度约为15cm，距离测量中心13.5cm。光源光线经透镜和光纤聚成点状光，以90度垂直于苹果切平面入射，在苹果表面形成一个明亮的圆形光斑，中心亮度最大，随着半径增大，光强逐渐变弱。光子进入苹果组织内部后经过散射会从表面逸出，以及直接从苹果表面漫反射回来的光线，两者汇合后进入摄像头。实验台上依次更换6块滤波片，635nm、650nm、670nm、780nm、850nm和905nm，利用手机iphone xs的正方形拍摄模式，经
过滤波片透射后以固定焦距和物距进行拍摄和标记，得到光谱图像共计400
×
6＝2400张。
[0045]
采用atago(爱拓)水果糖度计测定标记的苹果糖度。利用小刀以边长3cm
×
3cm的正方形，在每个苹果对应的光束入射点作为测量位置挖取深度为1cm的苹果果肉；使用手持榨汁器挤出苹果汁，滴入适量于水果糖度计中，分别连续间隔10秒测定3次，取平均值作为该样品的糖度值。考虑到苹果汁糖度值会随着时间有变化(水分蒸发和空气氧化都会产生影响)，因此必须在1分钟内测完并记录。共计测量200个苹果，400组光谱图像和糖度数据并将其分为训练集320个(占比80％)和验证集80个(占比20％)。
[0046]
光谱图像处理流程如图1所示。
[0047]
step 1，首先，采集到的2400张光谱图像进行灰度处理，利用opencv中库函数进行转换，其内部的原理遵从如下的权重分配。
[0048]
gray＝0.299
×
r 0.587
×
g 0.114
×b[0049]
这样得到的gray值就可以作为该像素点的亮度值，以此处理后的光谱图像可以极大的减少后续需要处理的数据量。
[0050]
step 2，为了切割图像得到物理尺寸为20mm
×
20mm的苹果光谱图像，根据像素与实际尺寸的关系，物理尺寸＝像素数/dpi分辨率，再换算成毫米。所拍照片像素分辨率为96dpi，又1英寸＝25.4毫米，计算得96*20/25.4＝75.59像素可满足要求，理论上只需要分析边长大于75.59像素的图像即可提取到图像特征。
[0051]
step 3，考虑到会有环境光的影响以及拍摄中的其他可能存在问题，需要对光谱图像滤波处理。滤波可将信号中特定波段频率信号进行滤除，是有效抑制和防止干扰的必要操作。在数字图像处理过程中，多采用双边滤波法，该方法是一种非线性滤波算法，结合了图像的邻近度和像素值相似度的一种折中，在滤除噪声的同时可以保留原图的边缘信息。整个双边滤波是由两个函数构成：一个函数是由空间距离决定的滤波器系数，另外一个是由像素差值决定的滤波器系数。整个双边滤波的公式如下：
[0052][0053]
其中权重系数w(i,j,k,l)，取决于定义域核和值域核的乘积。其中定义域核影响的是空间位置，如果把图像看成一个二维函数，那么定义域就是图像的坐标，值域就是该坐标处对应的像素值。定义域核就是普通的高斯核，全局使用一个就可以。但值域核是需要对每个像素点进行计算的。高斯滤波的滤波核的意义是，滤波后的像素值等于窗口内的像素值的加权平均值，权值系数是符合高斯分布，距离该点越近，权值越大。但是没有考虑像素值与当前点的差距。现在加上值域核，意义就在，滤波后当前点的像素值还会受到领域内像素值与自身的像素值差异的影响，不仅仅是距离来决定。这样，在平缓的区域里，由于像素值差异非常小，则值域的权重趋向于1，所以双边滤波就近似为高斯滤波。而在边缘区域中，由于像素值的差异比较大，则值域核趋向于0，权重下降，即当前像素受到领域内像素影响比较小，从而保
留了边缘信息。
[0054]
step 4，苹果光谱图像预处理后，可以有效减少数据运算量，同时对图像特征进行了增强，为此步的特征提取提供了便利。利用光斑中心点定位算法可确定最亮点坐标。如此操作，采用迭代逐步逼近的方法得到的最亮点精度高，稳定性也最高，相较于传统中心定位算法具有明显优势。
[0055]
step 5，散射图像像素点选取。由step4确定中心亮点之后，以此建立坐标轴，分别沿着x轴和y轴的正半轴和负半轴方向取100个像素点，如图4所示，分别取得对应4点处的光强值求平均作为圆环状光谱图像上的平均光强值，减少运算量提高速度的同时对精准度影响有限。编写程序对各个波段的光谱图像散射分布进行洛伦兹拟合，洛伦兹公式如下：
[0056][0057]
由图6可以发现，当距离中心距离x较近的时候拟合曲线极具下降，随着距离的增大，下降趋势逐渐缓和，通过大量的图像可以发现洛伦兹分布能够较好的拟合整个散射光区域。通过比较分析，洛伦兹分布曲线对波长为635nm、650nm、670nm、780nm、850nm和905nm的图像光散射分布拟合效果最好。
[0058]
step 6，苹果糖度预测模型的建立。通过洛伦兹拟合函数结果的分析，利用苹果糖度的测量值分别与每个波长的洛伦兹参数进行建模分析，最后使用机器学习经典算法岭回归分析进行训练数据，并保留一个均值误差较小且相关系数大的模型用于预测。
[0059]
本发明还可以包括：
[0060]
1.光斑中心位算法
[0061]
将灰度化后的苹果光谱图像二值化，选择合适的结构元素对二值图进行闭操作，闭操作通常能够消除狭窄的间断和细长的鸿沟，消除小的空洞，并填补轮廓线中的断裂。由于二值图的像素值只有0和1，首先对像素值为1的部分(即白色部分)，并对其求均值得到坐标(x0,y0)，即
[0062][0063]
如此得到的是光斑圆心的粗略位置，之后需要对图像中像素值为0的一系列点(x,y)，进行接下来的循环：
[0064]
(5)求出距离圆心(xm,ym)(m＝0,1,2,...)最近的点(xi,yi)，距离为rm[0065][0066]
(6)移动圆心(xm,ym)使之与点(xi,yi)的距离在直线方向上增加1，即
[0067][0068]
此时，圆心位置进行了更新。
[0069]
(7)不断地重复(1)(2)步骤，每一循环需要判断计算出的距离是否小于上一循环
的距离，直到计算出的距离r
m 1
＜rm，退出循环。
[0070]
(8)求出距离点(x
m 1
,y
m 1
)最近的黑点,距离即为所求的半径r
m 1
，圆心为(x
m 1
,y
m 1
)。
[0071]
2.岭回归算法
[0072]
岭回归的极值求解函数为：
[0073][0074]
其中为惩罚函数，保证了β值不会变的很大；λ为非负数，λ越大，为使代价函数最小，回归系数β就越小。
[0075]
λ的选择是岭回归的关键。随着模型复杂度的提升，在训练集上的效果就越好，即模型的偏差就越小，但是同时模型的方差就越大。对于岭回归的λ而言，随着λ的增大，|x
t
x λi|就越大，(x
t
x λi)-1
就越小，模型的方差就越小；λ越大使得β的估计值更加偏离真实值，模型的偏差就越大。因此选择一个合适的λ来平衡方差和偏差。
[0076]
3.苹果糖度预测模型
[0077]
对于苹果光谱数据，6个波段的光谱图像只需要其中一部分即可。这样既可以减少处理的数据，使得运算量减小，效率更高，同时检测模型总体的准确率也不会变差很多，实现总体上性能的提升。
[0078]
在岭回归检测模型中，使用单波长模型相关系数最高的是635nm的滤波片，约为0.61；双波长模型相关系数最高的是635nm和670nm组合，相关系数为0.73；使用三波长，组合635nm和650nm和780nm的时候效果最好，相关系数可达0.8，其余波段的使用均有一定的效果，但没有三波段组合的时候可靠性高，因此，采用三波段组合使用，用于无损检测模型的构建并进行检测。
[0079]
实施例：
[0080]
说明书附图中的附图标记包括：光源1、光纤2、聚光透镜3、上壁孔4、滤波片5、手机6、载物台7、待测苹果8、遮光箱9、左壁孔10。
[0081]
本实施例的流程图如图所示，获得苹果光谱图像，一个苹果在不同位置各拍摄两次记录并标记位置信息和图像信息，200个苹果可获得2400组。利用80％的数据为训练数据，后20％组作为测试数据，同糖度数据结合构建无损检测模型。图2是本发明中操作平台示意图，包括以下步骤：
[0082]
(1)购买一批200个新鲜山东红富士苹果，保证大小形状外观接近，所有实验用苹果表皮使用湿润毛巾擦净，待水分自然风干后，依次标记编号。每个苹果选择两个果肉饱满、色泽的位置，这样总样本数量可以扩充至2倍。放置在温度25-26℃和湿度在40％-49％的环境下备用。光源1通电预热5分钟后达到稳定状态，接入光纤2并调整其角度，以固定角度和高度通过聚光透镜3输出光线，达到实验所需的强度。遮光箱9的侧壁上开有一孔10，使得光源能够进入箱体的同时其余光线尽可能少的进入。
[0083]
(2)使用iphone xs手机作为拍摄工具，采集苹果高光谱图像，所用滤波片波段依次为635nm、650nm、670nm、780nm、850nm和905nm。光源为ocean optics hl-2000-hp，输出功
率为20w，波长范围为360nm-2500nm，稳定性0.5％，色温3000k。手机6通过上壁孔4以及滤波片5对待测苹果8进行拍摄，更换不同波段滤波片得到全部完整数据。如图4所示为6个波段的苹果光谱数据，为对应的图像进行图3框图内步骤之后得到的灰度图。
[0084]
(3)采集所有苹果样本点在6个波段下的图像，之后利用atago(爱拓)水果糖度计进行有损取样和化学方法分析，得到每个对应点的化学糖度值。把所有苹果样本点的图像，分别经过图像分割、灰度处理、滤波降噪后与其相应的糖度一一对应，以拍摄得到的圆形图像最亮点为中心，以1个像素点为步长往外延展100个像素点依次取圆环光斑，得到图像中半径上光散射强度分布值，用半径上的光散射强度分布值进行曲线拟合。编写相应的程序用于拟合6个波段的光谱图像光散射分布分别进行洛伦兹分布的函数拟合。利用拟合得到多元线性回归系数以及洛伦兹函数系数，构建苹果糖度预测模型。
[0085]
将采集的160个苹果糖度用于确立校正模型，剩余的40个苹果用于验证预测模型，构造岭回归的一组训练数据，随着系统的运行，训练数据不断地更新，模型也相应的随着时间推移而进行更新，利用构造的训练数据，训练苹果糖度检测模型。
[0086]
图5为散射图像中像素点选取光强的方法示意图。通过洛伦兹拟合光强和距离信息得到同一个苹果同一位置对应不同6个波段的拟合图像，计算出所有光谱图像洛伦兹拟合系数。
[0087]
(4)利用步骤中的拟合系数以及利用糖度计测得的对应苹果糖度值构建基于机器学习岭回归的苹果糖度无损检测模型，并在调试中校正模型，得到如图7所示的结果。可见苹果真实糖度和预测糖度呈线性关系，显著性水平r2可达到0.8237，相关系数为0.8170，符合一个实际生产需要的效果。能够较好检测苹果糖度并进行品质分级。
[0088]
本发明提供了一种基于机器学习的苹果糖度无损检测方法，建立以洛伦兹拟合光谱图像散射分布为基础，利用机器学习中岭回归方法进行预测的模型。采用双边滤波方法对手机拍摄得到的光谱图像进行处理，从而得到干扰较少且特征信息更为显著的光谱。利用光斑中心点定位算法，不断迭代以确定光谱图像最亮点坐标，之后进行数据拟合。拟合得到洛伦兹系数，用于岭回归模型构建，并利用部分苹果数据对模型进行校正，并验证。最终得到的模型更为稳定和准确，可用于苹果糖度无损检测。本发明不但能够使用最为常用的设备—手机进行检测，而且对苹果的外部以及内部都可进行无损检测，同时能够进行校正，提高了检测的准确性和效率。
[0089]
以上所述的仅是本发明的实施例，方案中公知的具体技术方案和/或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明技术方案的前提下，还可以做出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。