面向外销眉茶的多模态融合品质数字化表征方法及系统

本发明涉及农产品智能检测与品质评价，具体涉及一种面向外销眉茶的多模态融合品质数字化表征方法及系统。

背景技术：

1、眉茶是我国传统大宗外销绿茶的重要品类，出口规模大、应用场景广，对原料品质稳定性和批次一致性要求较高。外销眉茶原料通常来源于不同季节、不同产地及不同加工批次，其外观形态、化学成分、香气和滋味差异明显，直接影响后续拼配与成品品质控制。

2、然而，现有外销眉茶品质检测方式主要依赖人工感官审评或单一仪器检测，主观性较强，可重复性和标准化程度有限，单一仪器检测只能反映茶叶品质的局部特征，难以全面表征样品综合品质；并且，即便同时采集多源检测数据，不同模态在量纲、维度、噪声特性及信息贡献上存在显著差异，现有技术通常采用简单的线性加权或直接特征拼接方式进行融合，不仅容易发生“强噪声模态掩盖弱信号模态”的现象，且对来自不同传感器的采集质量差异缺乏自适应调节能力，在实际工业环境中鲁棒性较差；此外，现有针对茶叶视觉特征的提取方法大多采用通用图像分类网络，缺乏对外销眉茶“条索紧结弯曲、白毫显露”等特有形态的针对性建模，难以精准量化其嫩度等核心品质属性。

3、因此，亟需提供一种能够面向外销眉茶实现多模态协同检测、异构特征有效融合以及跨批次统一数字表征的方法及系统。

技术实现思路

1、针对上述现有技术存在的问题，本发明提供了一种面向外销眉茶的多模态融合品质数字化表征方法及系统，技术方案如下：

2、第一方面，本发明提供了一种面向外销眉茶的多模态融合品质数字化表征方法，包括如下步骤：

3、对待检测眉茶样品进行预处理，并提取眉茶样品的多模态特征；所述多模态特征至少包括外观形态特征、化学成分特征、香气特征和滋味特征；

4、基于构建的双分支判别模型确定外观形态特征的嫩度分级指数；所述双分支判别模型包括形态判别分支和纹理判别分支；

5、通过两级动态加权融合机制对多模态特征进行加权融合，并映射为固定维度的品质数字指纹；所述两级动态加权融合机制包括带置信度门控的抗噪映射机制和跨模态注意力机制；所述品质数字指纹为表征眉茶样品综合品质状态的预先设定的、不随样品批次变化的固定维度向量；

6、基于所述品质数字指纹输出眉茶样品的综合品质评分和品质等级。

7、在一些实施方式中，所述对待检测眉茶样品进行预处理，并提取眉茶样品的多模态特征，包括：

8、对眉茶样品进行分样，并基于预设温度、预设湿度和预设时间下静置，得到静置预处理后的眉茶样品；

9、针对所述静置预处理后的眉茶样品，分别采集视觉图像数据、近红外光谱数据、电子鼻香气响应数据和电子舌滋味响应数据；

10、对采集的各模态数据分别进行数据预处理，得到眉茶样品的外观形态特征、化学成分特征、香气特征和滋味特征。

11、在一些实施方式中，所述基于构建的双分支判别模型确定所述外观形态特征中的嫩度分级指数，包括：

12、对眉茶视觉图像进行实例分割，提取单根茶条区域；

13、将所述单根茶条区域输入构建的双分支判别模型，利用形变卷积自适应提取条索弯曲轮廓特征，利用gabor滤波器组提取茶条表面的白毫高频纹理特征；

14、将双分支的输出特征在通道维度拼接后输入全连接分类器，输出茶条的嫩度等级和概率分布；

15、基于各嫩度等级茶条数量进行加权平均计算，得到眉茶样品的嫩度分级指数。

16、在一些实施方式中，所述通过两级动态加权融合机制对多模态特征进行加权融合，并映射为固定维度的品质数字指纹，包括：

17、通过带置信度门控的抗噪映射机制将各模态特征映射到统一特征空间，得到各模态编码特征；

18、基于跨模态注意力机制确定各模态编码特征对应的动态权重，并对各模态编码特征进行加权融合，得到综合品质语义特征；

19、将所述综合品质语义特征映射为固定维度的品质数字指纹。

20、在一些实施方式中，所述通过带置信度门控的抗噪映射机制将各模态特征映射到统一特征空间，得到各模态编码特征，包括：

21、通过包括门控线性单元的多层感知机，对各模态初始特征进行非线性变换，得到中间特征；

22、采用置信度评估网络对所述中间特征进行自适应滤波，获取对应的置信度门控权重；

23、将所述中间特征与所述置信度门控权重进行逐元素相乘，得到映射至统一特征空间的各模态编码特征。

24、在一些实施方式中，所述基于跨模态注意力机制确定各模态编码特征对应的动态权重，并对各模态编码特征进行加权融合，得到综合品质语义特征，包括：

25、对各模态编码特征进行有效性检测，生成对应的模态编码特征有效性标记；

26、当任一模态编码特征有效性标记为0时，基于未缺失模态编码特征对缺失模态编码特征进行特征重建，并将重建后的模态编码特征有效性标记赋值为1；

27、基于跨模态注意力机制确定各模态编码特征对应的动态权重，并将所述模态特征的有效性标记与所述动态权重进行融合处理，得到联合动态权重；

28、基于所述联合动态权重对各模态编码特征进行逐元素加权融合，得到综合品质语义特征。

29、在一些实施方式中，所述基于未缺失模态编码特征对缺失模态编码特征进行特征重建，包括：

30、基于眉茶样品的历史特征库中的若干多模态特征进行非线性映射编码，得到对应的历史多模态编码特征向量；

31、将所述历史多模态编码特征向量输入到神经网络中提取历史模态耦合特征，所述模态耦合特征用以表征各模态编码特征间的潜在关联关系；

32、采用自注意力网络对当前样本的未缺失模态编码特征进行自适应特征学习，提取对应的独立特征；所述独立特征表征当前模态编码特征的特有属性信息；

33、将历史模态耦合特征和当前样本的未缺失模态编码特征对应的独立特征输入模态特征重建模块，生成缺失模态的编码特征。

34、在一些实施方式中，所述模态特征重建模块，包括：

35、将历史模态耦合特征和未缺失模态编码特征对应的独立特征分别输入两路一维卷积进行特征增强，得到两路卷积特征表示；

36、将所述两路卷积特征表示输入transformer编码器进行融合，得到融合特征；

37、将所述融合特征输入全连接层进行非线性映射，并基于mmd距离约束生成缺失模态的初始编码特征。

38、在一些实施方式中，所述方法的损失函数，包括：

39、；

40、；

41、其中，、和为损失权重系数，为均方误差回归损失，为三元组对比损失，为模态特征重建损失，、和分别为锚样品、同品质等级样品和不同品质等级样品的品质数字指纹，为距离函数，为间隔超参数。

42、第二方面，本发明提供了一种面向外销眉茶的多模态融合品质数字化表征系统，包括：

43、多模态特征提取模块，用于对待检测眉茶样品进行预处理，并分别提取眉茶样品的外观形态特征、化学成分特征、香气特征和滋味特征；

44、嫩度分级指数获取模块，用于基于构建的双分支判别模型确定外观形态特征的嫩度分级指数；所述双分支判别模型包括形态判别分支和纹理判别分支；

45、品质数字指纹获取模块，用于通过两级动态加权融合机制对各模态特征进行加权融合，并映射为固定维度的品质数字指纹；所述两级动态加权融合机制包括带置信度门控的抗噪映射机制和跨模态注意力机制；所述品质数字指纹为表征眉茶样品综合品质状态的预先设定的、不随样品批次变化的固定维度向量；

46、品质评分和品质等级输出模块，用于基于所述品质数字指纹输出眉茶样品的综合品质评分和品质等级。

47、本发明的一种面向外销眉茶的多模态融合品质数字化表征方法及系统，具备如下有益效果：

48、通过引入形变卷积与gabor高频滤波双分支网络结构实现眉茶样品的“条索紧结弯曲、白毫显露”精细化外观感知，显著提高了嫩度分级指数等核心外观品质指标的量化准确率；通过提出带置信度门控的抗噪映射机制，在多模态特征映射阶段创造性地引入置信度评估网络，提供了“模态内自适应滤波”，从底层网络结构上对因设备老化或环境干扰产生的异常模态进行抑制，避免了简单线性拼接或映射导致的”污染放大”现象，有效提升了融合特征的整体质量；将“模态内置信度门控”与”跨模态注意力权重”有机结合，形成两级动态加权结构，能够在样品状态复杂、传感器质量参差不齐的实际场景下更为准确地分配模态贡献，提升了综合品质表征的鲁棒性与精度；利用模态特征有效性标记和剩余有效模态进行缺失模态特征重建，保证输出品质评价结果的稳定性，降低工业现场停机风险；最后，将多模态品质信息映射至固定维度标准化空间，形成可用于不同批次样品横向比较的品质数字指纹，为外销眉茶原料分级和智能拼配提供统一基准。