一种融合产地和目标含量信息的食品近红外光谱生成方法
本发明涉及食品检测与光谱分析技术的,尤其涉及一种融合产地和目标含量信息的食品近红外光谱生成方法。
背景技术:
1、近年来,随着食品品质安全检测需求的不断提升,近红外光谱(near infraredspectroscopy,nir)技术因具有无损、快速、绿色和操作简便等优点,被广泛应用于农产品及食品品质检测领域,可实现食品产地溯源、品种鉴别以及水分、蛋白质、糖分等理化指标的快速预测。结合机器学习和深度学习算法建立近红外光谱分析模型,能够进一步提高食品品质检测的自动化和智能化水平,因此已成为食品智能检测领域的重要研究方向。
2、然而,高性能近红外光谱分析模型通常依赖大量具有代表性的标注样本进行训练,而食品近红外数据获取成本较高。一方面,食品样品采集、光谱采集及理化指标测定过程耗时长、成本高,其中目标成分含量通常需要通过化学实验进行标定,导致标注数据获取困难;另一方面,不同食品产地、品种、生长环境及加工条件存在较大差异,使得样本分布复杂,部分产地或特定含量区间样本数量不足,容易形成类别不平衡和分布不均衡问题。在小样本条件下训练得到的模型容易出现过拟合,泛化能力较差,限制了近红外智能检测技术的推广应用。
3、为缓解小样本问题,现有技术通常采用数据增强方法扩充训练数据,包括随机扰动、加噪声、光谱平移、缩放等传统增强方法,以及基于变分自编码器(vae)、生成对抗网络(gan)等深度生成模型的光谱生成方法。传统数据增强方法仅对已有光谱进行简单变换,难以真实反映食品近红外光谱的分布特征,生成样本多样性有限;vae生成结果容易出现光谱细节模糊,gan虽然能够生成较为逼真的光谱,但训练过程容易发生模式崩溃、训练不稳定等问题,并且难以准确控制生成光谱对应的属性信息。
4、近年来,扩散模型(diffusion model)因具有训练稳定、生成质量高和概率建模能力强等优势,逐渐应用于数据生成领域,但现有扩散模型大多仅利用类别标签或单一条件作为生成约束,对于食品近红外光谱而言,生成样本不仅需要保持真实光谱分布,还需要同时满足食品产地和目标理化指标等多种属性约束。现有技术缺乏一种能够融合食品产地信息和目标含量信息进行联合条件控制的近红外光谱生成方法,导致生成光谱与目标属性之间的一致性不足,难以生成指定产地和指定品质指标对应的高质量光谱样本,进而影响数据增强效果及后续食品品质检测模型的预测性能。
5、因此,亟需提出一种融合食品产地信息和目标含量信息的近红外光谱生成方法,在保证生成光谱真实性的同时,实现对生成光谱属性的精确控制,提高小样本条件下食品近红外数据增强质量,为食品品质检测模型提供更加丰富且高质量的训练样本,从而提升食品品质检测模型的准确性和泛化能力。
技术实现思路
1、针对现有食品近红外光谱数据获取成本高、小样本条件下模型训练困难、现有光谱生成方法难以同时兼顾生成光谱真实性和目标属性一致性的技术问题,本发明提出一种融合产地和目标含量信息的食品近红外光谱生成方法。该方法利用食品产地信息和目标含量信息作为联合条件,对近红外光谱生成过程进行约束,实现指定产地、指定目标含量条件下食品近红外光谱的高质量生成。
2、本发明生成的光谱样本能够更加准确地保持真实食品近红外光谱的分布特征,同时保证生成光谱与目标产地及目标含量之间具有良好的一致性,可有效扩充食品近红外小样本数据集,提高数据增强质量,为食品品质分类、成分含量预测等下游建模任务提供高质量训练数据,进一步提升食品品质检测模型的准确性、稳定性及泛化能力。
3、为了达到上述目的,本发明的技术方案是这样实现的:一种融合产地和目标含量信息的食品近红外光谱生成方法,步骤包括:
4、步骤一:准备食品样本,并记录各食品样本的产地信息;
5、步骤二:对食品样本进行质量指标检测,获得各食品样本的目标含量数据,作为目标含量信息;
6、步骤三:利用近红外光谱仪采集食品样本的近红外光谱数据,将食品样本的产地信息、目标含量信息和近红外光谱数据构成食品近红外光谱数据集;
7、步骤四:以产地信息和目标含量信息作为条件约束,构建食品近红外光谱条件扩散模型;
8、步骤五:利用食品近红外光谱数据集对食品近红外光谱条件扩散模型进行训练;
9、步骤六:输入指定的产地信息和目标含量信息,加载训练完成的食品近红外光谱条件扩散模型,生成符合指定产地信息和目标含量信息的食品近红外光谱。
10、所述食品近红外光谱条件扩散模型通过前向扩散过程向近红外光谱加入噪声,并通过反向扩散过程从噪声恢复近红外光谱;
11、食品近红外光谱条件扩散模型包括依次连接的条件编码模块、条件融合模块和噪声预测网络;
12、条件编码模块的输入端接收产地信息、目标含量信息和扩散时间步,分别编码为产地条件特征、目标含量条件特征和时间条件特征,输出至条件融合模块;
13、条件融合模块将产地条件特征、目标含量条件特征和时间条件特征融合为联合条件特征f,输出至噪声预测网络的条件输入端;
14、噪声预测网络的数据输入端接收带噪近红外光谱,条件输入端接收联合条件特征f,输出端输出预测噪声。
15、所述噪声预测网络包括编码器、解码器和跳跃连接;
16、编码器包括依次连接的初始卷积层、第一残差块、第一下采样层、第二残差块、第二下采样层、第三残差块和第三下采样层;
17、将带噪近红外光谱输入初始卷积层进行特征映射后,输出初始光谱特征;初始光谱特征输入第一残差块,经第一残差块处理后输出第一编码特征;将第一编码特征与联合条件特征f进行逐元素相加,输出第一条件编码特征;第一条件编码特征输入第一下采样层进行下采样,输出第一下采样特征;
18、第一下采样特征输入第二残差块,经第二残差块处理后输出第二编码特征;将第二编码特征与联合条件特征f进行逐元素相加,输出第二条件编码特征;第二条件编码特征输入第二下采样层进行下采样,输出第二下采样特征;
19、第二下采样特征输入第三残差块,经第三残差块处理后输出第三编码特征;将第三编码特征与联合条件特征f进行逐元素相加,输出第三条件编码特征;第三条件编码特征输入第三下采样层进行下采样,输出低尺度编码特征。
20、解码器包括依次连接的第一上采样层、第四残差块、第二上采样层、第五残差块、第三上采样层、第六残差块和输出卷积层;
21、低尺度编码特征输入第一上采样层进行上采样,输出第一上采样特征;将第一上采样特征与第三编码特征进行跳跃连接融合,输出第一融合特征;第一融合特征输入第四残差块,经第四残差块处理后输出第一解码特征;将第一解码特征与联合条件特征f进行逐元素相加,输出第一条件解码特征;
22、第一条件解码特征输入第二上采样层进行上采样,输出第二上采样特征;将第二上采样特征与第二编码特征进行跳跃连接融合,输出第二融合特征;第二融合特征输入第五残差块,经第五残差块处理后输出第二解码特征;将第二解码特征与联合条件特征f进行逐元素相加,输出第二条件解码特征;
23、第二条件解码特征输入第三上采样层进行上采样,输出第三上采样特征;将第三上采样特征与第一编码特征进行跳跃连接融合,输出第三融合特征;第三融合特征输入第六残差块,经第六残差块处理后输出第三解码特征;将第三解码特征与联合条件特征f进行逐元素相加,输出最终解码特征;
24、最终解码特征输入输出卷积层进行特征映射,输出预测噪声。
25、所述第一残差块、第二残差块、第三残差块、第四残差块、第五残差块和第六残差块均包括并行设置的主干特征提取路径和残差连接路径;
26、主干特征提取路径包括依次连接的第一一维卷积层、第一归一化层、第一silu激活函数层、第二一维卷积层、第二归一化层和第二silu激活函数层;
27、主干特征提取路径的输出特征与残差连接路径的输出特征逐元素相加之和为各残差块的输出特征。
28、当各残差块的输入特征通道数与输出特征通道数一致时,残差连接路径的输出特征为输入特征;
29、当各残差块的输入特征通道数与输出特征通道数不一致时,残差连接路径包括依次连接的第三一维卷积层和第三归一化层,残差连接路径的输出特征为输入特征经第三一维卷积层和第三归一化层通道变换后的特征。
30、前向扩散过程为:在每个扩散时间步向真实近红外光谱逐步加入高斯噪声:
31、;
32、其中,为第步光谱,为第步带噪光谱,为噪声调度参数,为前向扩散条件概率,为高斯分布,为单位矩阵。
33、任意扩散时间步的带噪光谱由计算得到,其中,为真实近红外光谱,为服从标准高斯分布的随机噪声,为累计噪声系数。
34、反向扩散过程为:将当前扩散时间步的带噪光谱、扩散时间步及联合条件特征f共同输入噪声预测网络,预测当前带噪光谱中的噪声成分,逐步去噪还原,直至恢复为无噪光谱;反向扩散条件概率为:。
35、损失函数为:
36、;
37、其中,为预测噪声,表示数学期望;
38、通过反向传播计算损失函数关于网络参数的梯度;利用adam优化算法根据梯度方向调整网络权重参数,使预测噪声逐渐逼近真实噪声。
39、与现有食品近红外光谱数据增强方法相比,本发明提出了一种融合产地和目标含量信息的食品近红外光谱生成方法,利用条件扩散模型实现了食品近红外光谱的可控生成,具有以下有益效果:
40、(1)实现了食品近红外光谱的双条件可控生成。
41、本发明同时引入食品产地信息和目标含量信息作为条件约束,通过联合条件编码机制,将扩散时间信息、产地信息和目标含量信息进行融合,引导扩散模型生成满足指定产地和目标品质指标要求的近红外光谱。相比传统无条件生成模型以及仅采用单一条件约束的生成方法,本发明生成的光谱具有更好的可控性和针对性。
42、(2)提高了生成光谱与真实光谱之间的分布一致性。
43、本发明采用条件扩散模型学习真实食品近红外光谱的数据分布,通过逐步去噪的方式完成光谱生成,有效保持了真实光谱的整体趋势、局部特征及统计分布,使生成光谱具有较高的真实性,为后续食品近红外智能检测提供高质量的训练样本。
44、(3)有效解决了食品近红外检测中的小样本问题。
45、针对食品近红外检测领域训练样本获取困难、样本数量有限的问题,本发明能够生成大量满足指定条件的近红外光谱数据,与真实样本共同构建扩充后的训练数据集,在不增加样品采集成本及理化检测成本的情况下,实现训练样本数量的有效扩充,提高了数据利用率。
46、(4)提升了食品品质检测模型的预测性能。
47、本发明将生成的近红外光谱应用于食品产地分类和品质指标预测模型训练,能够提高模型对不同食品产地及不同品质指标样本的学习能力,增强模型的稳定性和泛化能力,从而提高食品产地分类准确率以及食品品质指标预测精度。
48、(5)具有良好的通用性和推广应用价值。
49、本发明不仅适用于大豆和小麦粉等食品近红外光谱数据生成,还可推广应用于其他食品及农产品近红外光谱的小样本建模、数据增强及智能检测任务,为食品品质检测、产地溯源及品质指标预测提供可靠的数据支撑,具有较好的工程应用前景和推广价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com