基于多任务自监督学习的中药材有效成分含量预测方法及系统

本发明涉及中药材质量评价，特别涉及一种基于多任务自监督学习的中药材有效成分含量预测方法及系统。

背景技术：

1、‌中药材有效成分含量是评价中药材质量稳定性和药效一致性的重要指标。现有有效成分检测方法多采用色谱、质谱等理化分析方法，虽然检测结果较为准确，但存在检测过程复杂、耗时长、成本高、对操作人员要求高以及难以实现快速在线检测等不足。近红外光谱技术因具有快速、无损、无需复杂样品前处理和适合在线检测等优点，已成为中药材质量评价的重要技术手段之一。

2、现有基于近红外光谱的中药材有效成分含量预测方法主要包括化学计量学建模、传统机器学习建模以及深度学习建模等。化学计量学方法通常依赖光谱预处理、波段筛选和回归模型建立；传统机器学习方法可在一定程度上提高非线性建模能力；深度学习方法能够自动提取光谱特征，并在复杂数据条件下提升预测性能。近年来，也出现了将深度学习与化学计量学预处理、特征选择或波段筛选相结合的建模方法。但是上述现有技术仍存在以下问题：（1）近红外光谱信号具有波段冗余、峰形重叠和吸收峰不明显等特点，现有方法多依赖人工预处理或人工特征选择，难以充分挖掘光谱序列中的局部连续性、波段依赖关系和谱形结构信息。（2）现有深度学习方法多采用直接监督学习方式，依赖大量有效成分标注数据，而中药材有效成分标注成本高、样本规模有限，导致模型容易过拟合。（3）实际光谱采集过程易受噪声、基线漂移、强度变化、波长偏移和仪器差异影响，现有方法对上述扰动的鲁棒性不足。（4）不同产地或不同批次中药材样本的光谱分布存在差异，现有方法缺少对域分布差异的显式建模能力，跨产地泛化性能有限。（5）已有多任务或辅助学习方法通常采用固定权重或人工经验设定权重，无法根据下游有效成分预测性能自适应调整各任务的重要性。

3、造成上述问题的原因在于，现有方法大多将近红外光谱建模视为单一的监督回归问题，主要关注输入光谱与目标含量之间的直接映射，而未充分利用原始光谱中固有的波长连续性、扰动响应特性、谱形结构特征和产地域分布差异。同时，不同辅助任务对最终预测性能的贡献具有数据依赖性，单纯依靠人工经验难以获得最优任务权重配置。

4、因此，如何在有限标注样本条件下，充分利用原始近红外光谱自身结构信息，学习鲁棒、可迁移且具有解释性的光谱表征，并根据下游预测性能自适应协调不同辅助任务的贡献，是中药材有效成分含量快速无损检测领域亟待解决的技术问题。

技术实现思路

1、为解决现有方法无法充分挖掘原始近红外光谱内在结构信息，及多任务学习权重依赖人工设定，导致模型预测准确性与泛化能力差的问题；本发明提出一种基于多任务自监督学习的中药材有效成分含量预测方法及系统，通过多任务光谱前置学习模块挖掘光谱多维结构特征，并结合双层优化机制自适应确定各前置任务权重，提升中药材有效成分含量预测的准确性与泛化能力。

2、为实现上述目的，所采取的技术方案是：

3、本发明提供一种基于多任务自监督学习的中药材有效成分含量预测方法，包括以下步骤：

4、采集中药材样本的近红外光谱数据及对应的产地信息；

5、对近红外光谱数据进行预处理，并将预处理后的数据划分为训练集、验证集和测试集；

6、构建多任务光谱前置学习模块，所述模块包括光谱掩码重构子任务、光谱扰动识别子任务、形态学引导光谱结构建模子任务和产地感知辅助学习子任务，四个子任务共享同一光谱编码器；通过各子任务损失加权组合的多任务联合损失函数引导共享光谱编码器学习潜在光谱表征，并采用双层优化机制自适应学习各前置子任务权重；

7、将训练完成的共享光谱编码器与回归预测模块连接，形成有效成分含量预测模型，输入待测中药材样本的近红外光谱，输出有效成分含量预测值。

8、根据本发明基于多任务自监督学习的中药材有效成分含量预测方法，进一步地，所述预处理包括对采集得到的原始近红外光谱数据依次进行savitzky-golay平滑及微分处理、标准正态变量变换、z-score标准化和数据增强处理。

9、根据本发明基于多任务自监督学习的中药材有效成分含量预测方法，进一步地，所述共享光谱编码器采用多层感知机、卷积神经网络、循环神经网络、transformer网络或其组合结构实现。

10、根据本发明基于多任务自监督学习的中药材有效成分含量预测方法，进一步地，所述光谱掩码重构子任务包括：对输入的近红外光谱随机遮挡部分连续波长片段得到掩码光谱，将掩码光谱输入共享光谱编码器提取潜在光谱表征，再通过重构解码器恢复原始光谱，仅在被遮挡波段区域计算重构损失，以引导共享光谱编码器学习波长连续性与波段上下文依赖关系。

11、根据本发明基于多任务自监督学习的中药材有效成分含量预测方法，进一步地，所述光谱扰动识别子任务包括：对输入近红外光谱施加不同类型的光谱扰动，将扰动光谱输入共享光谱编码器，通过扰动分类模块预测扰动类型，以引导共享光谱编码器区分样本固有光谱结构与外部测量扰动。

12、根据本发明基于多任务自监督学习的中药材有效成分含量预测方法，进一步地，所述形态学引导光谱结构建模子任务包括：从近红外光谱中提取光谱形态学描述子，对连续型形态学描述子进行离散化处理，生成形态学伪标签；将近红外光谱输入共享光谱编码器，并通过形态分类模块预测对应的形态学伪标签，以引导共享光谱编码器学习光谱峰形变化、整体吸收趋势和局部谱形结构。

13、根据本发明基于多任务自监督学习的中药材有效成分含量预测方法，进一步地，所述产地感知辅助学习子任务包括：对于具有来源信息的样本，将其来源信息作为辅助标签，训练域分类模块预测样本所属来源域类别，以引导共享光谱编码器学习不同来源样本之间的光谱分布差异。

14、根据本发明基于多任务自监督学习的中药材有效成分含量预测方法，进一步地，所述多任务联合损失函数为：，其中，表示掩码光谱重构损失，表示扰动识别损失，表示形态学伪标签分类损失，表示产地感知辅助分类损失；、、、分别表示对应任务的权重，通过双层优化机制自适应学习获得。

15、根据本发明基于多任务自监督学习的中药材有效成分含量预测方法，进一步地，所述双层优化机制包括内层优化和外层优化，内层优化中，在当前任务权重条件下，计算多任务联合损失函数关于编码器参数的梯度，然后用该梯度更新：，其中，表示共享光谱编码器的参数，表示在当前任务权重下更新后的共享光谱编码器参数，表示内层学习率，表示多任务联合损失函数关于编码器参数的梯度；

16、外层优化将内层优化得到的共享光谱编码器接入回归预测模块，并在验证集上计算回归损失：，其中，表示第j个验证样本的预测有效成分含量，表示第j个验证样本的真实有效成分含量，n表示验证样本数量；根据验证集回归损失更新各前置子任务权重：，其中，表示第i个子任务的权重，表示外层学习率，表示更新后的第i个子任务的权重，表示验证集回归损失关于子任务权重的梯度，表示前置子任务的总数。

17、进一步地，本发明还提供一种基于多任务自监督学习的中药材有效成分含量预测系统，包括：

18、数据采集模块，用于采集中药材样本的近红外光谱数据及对应的产地信息；

19、数据预处理模块，用于对近红外光谱数据进行预处理，并将预处理后的数据划分为训练集、验证集和测试集；

20、多任务光谱前置学习模块，包括光谱掩码重构子任务、光谱扰动识别子任务、形态学引导光谱结构建模子任务和产地感知辅助学习子任务，四个子任务共享同一光谱编码器；通过各子任务损失加权组合的多任务联合损失函数引导共享光谱编码器学习潜在光谱表征；

21、双层优化模块，用于采用双层优化机制自适应学习各前置子任务权重；

22、回归预测模块，用于将训练完成的共享光谱编码器与回归预测模块连接，形成有效成分含量预测模型，输入待测中药材样本的近红外光谱，输出有效成分含量预测值。

23、采用上述技术方案，所取得的有益效果是：

24、（1）降低对大量标注样本的依赖

25、现有中药材近红外光谱有效成分预测方法多采用直接监督学习方式，需要依赖大量具有有效成分含量标签的样本。而中药材有效成分标签通常需要通过理化检测方法获得，检测过程复杂、成本较高、周期较长。

26、本发明通过构建多任务光谱前置学习模块，在回归预测之前利用近红外光谱自身的波长连续性、扰动响应特性、谱形结构信息和产地域分布差异进行表征学习，使模型能够在有限标注样本条件下获得更有效的潜在光谱表征，从而降低模型对大量人工标注样本的依赖。

27、（2）提高光谱结构信息的利用能力

28、近红外光谱通常存在波段冗余、峰形重叠和局部吸收特征不明显等问题。传统方法往往依赖人工选波段或固定预处理流程，难以充分挖掘光谱序列中的连续性和上下文依赖关系。

29、本发明通过光谱掩码重构子任务，对部分连续波段进行遮挡，并利用未遮挡波段恢复被遮挡光谱信息，能够引导共享光谱编码器学习相邻波长之间的连续关系和不同波段之间的依赖关系，从而提高模型对近红外光谱结构信息的利用能力。

30、（3）增强模型对测量扰动的鲁棒性

31、实际近红外光谱采集过程中容易受到噪声、基线漂移、强度变化、波长偏移、局部波段缺失和局部平滑等因素影响，导致模型在不同采集条件下预测稳定性下降。

32、本发明通过光谱扰动识别子任务，将多种典型扰动引入前置学习过程，使模型在训练阶段学习区分样本固有光谱结构与外部测量扰动，有助于增强潜在光谱表征的稳定性，提高模型在复杂采集条件下的鲁棒性。

33、（4）提高光谱特征的结构性和可解释性

34、现有深度学习模型虽然具有较强的非线性建模能力，但往往缺少对光谱曲线形态结构的显式约束，模型表征容易呈现黑箱化特征。

35、本发明通过形态学引导光谱结构建模子任务，从原始光谱中提取曲线下面积、峰峰值、斜率标准差、曲率变化和区域响应等光谱形态学描述子，并构建形态学伪标签，引导模型学习光谱吸收强度、峰谷变化、局部变化趋势和区域响应特征。由此能够增强潜在光谱表征的结构性和可解释性，为后续关键波段分析和有效成分预测解释提供支撑。

36、（5）提高跨产地、跨批次样本的泛化能力

37、不同产地、不同批次的中药材样本可能受到土壤、气候、栽培方式、采收时间和加工方式等因素影响，导致近红外光谱分布存在差异。现有方法若直接将所有样本作为同一分布进行建模，容易导致模型在跨产地或跨批次样本上的预测性能下降。

38、本发明通过产地感知辅助学习子任务，将样本来源信息引入前置学习过程，使共享光谱编码器能够学习不同来源样本之间的域分布差异，从而提高模型对产地域偏移的适应能力和跨产地泛化能力。

39、（6）提高光谱表征的结构性和可解释性

40、现有多任务学习方法通常需要人工设定不同任务的损失权重，而不同任务对最终有效成分含量预测的贡献并不相同。固定权重或经验权重可能导致部分辅助任务贡献不足，甚至干扰主预测任务。

41、本发明采用双层优化机制，根据验证集上的有效成分含量预测误差自适应调整各前置子任务权重，使多任务前置学习过程与下游回归预测目标保持一致。该方式能够减少人工经验设定权重带来的不稳定性，提高模型训练过程的自适应能力。

42、（7）提高中药材有效成分含量预测的准确性和稳定性

43、本发明将多任务光谱前置学习、共享光谱编码器、双层优化任务权重学习和下游回归预测模块相结合，使模型能够同时学习光谱连续性、扰动鲁棒性、谱形结构和产地域分布差异。因此，本发明能够提高中药材有效成分含量预测的准确性、鲁棒性和泛化能力，适用于中药材质量评价、有效成分含量快速预测等应用场景。