一种红茶发酵进程实时检测系统

1.本发明属于红茶检测装备技术领域，具体涉及一种红茶发酵进程实时检测系统。


背景技术：

2.红茶加工初制工艺主要为萎凋、揉捻、发酵、干燥。红茶发酵主要是以多酚类物质的酶促氧化为主体形成茶黄素、茶红素、茶褐素的过程，茶叶颜色呈绿-黄-红的变化趋势，是形成红茶红汤红叶品质特征的关键，发酵程度不足或过度，严重影响红茶的品质。目前，发酵程度的把握取决于人的经验，或基于温湿度、时间等简单工艺参数的进程人工控制。但是，由于红茶发酵达到一定程度后的一段进程内，色泽、气味等指标变化小，加上叶片色泽非均匀性变化，尤其是在发酵后期叶片的缓变特点，使得人工判断具有较大的随意性，导致茶叶品质不稳定。
3.目前，红茶加工已实现连续化，但是由于缺乏过程精准监控与调控，无法获取在制品的实时品质信息，导致产品质量的不稳定、品质风味不统一，也是茶叶加工向标准化、自动化、智能化升级的瓶颈。
4.近年来，国内外开展了基于茶叶在制品品质、理化成分调控上的适判研究，由于茶叶中品质成分种类庞杂、含量差异大，品质成分的形成是一个复杂的过程，内在底物或外在条件的差异会带来完全不同的衍变途径和程度，厘清其对品质的影响规律和作用机理难度很大，因此，利用茶叶品质成分对茶叶生产的品质决策和调控，短期内难以实现。
5.随着机器视觉技术的发展，在食品、饮料、医药的质量控制、缺陷检测、分等定级等领域广泛应用，为食品安全提供了无与伦比的质量、精度和效率，可以确保高水平的食品检验和符合食品安全标准，也为提高茶叶生产标准化水平与产品品质提供了一个良好且可行的机会。
6.公布号为cn104155299a的中国发明专利公开了一种基于色相直方图的红茶发酵适度判别方法及装置，其通过计算机图像采集及分析模块提取在制品色相直方图特征，其主峰随发酵进行由右向左迁移,主峰对应色相角达最小时,为最佳轻发酵适度点。当主峰到达最左端后0.5～1.5h；或主峰反向右移亦趋于稳定,且与最小色相角主峰高度差值
△
h大于等于0.3％时，为最佳发酵适度点。
7.公告号为cn104297160b的中国发明专利公开了一种工夫红茶发酵适度判别方法和装置，其通过计算机设定发酵适度的标准图像与阈值t，并实时采集分析红茶发酵过程中在制品图像的r\g\b三个颜色分量直方图，计算其与标准图像的manhattan距离，当manhattan距离d的均值小于设定阈值t时，则判别为发酵适度。
8.公布号为cn104155299a和公告号为cn104297160b的发明中，需要将红茶发酵样品均匀地平摊在样品池和图像采集箱，才能进行图像采集和分析，无法在高湿度高雾的发酵环境下，自动实时采集图像信息，应用于生产线中的在线快速无损检测的仍有局限。
9.公布号为cn109002855a的中国发明专利公开了一种基于卷积神经网络的红茶发酵程度的鉴定方法，其通过将红茶生产线中的数据采集与监控系统(scada)采集到的红茶
发酵图片，选取样本图作为cnn的训练集；其次，进行cnn训练过程；再次，在cnn的输出层对红茶发酵程度的识别与鉴定。该发明未提及如何获得发酵叶图片。
10.以上红茶发酵程度鉴定判别方法，为红茶生产的在线品质监控、全面提升茶叶加工装备的自动化程度提供了较好的应用潜力。然而，在以上发明专利中，均并未充分说明如何在生产中的高湿高雾的发酵场景下，自动实时获取高质量的发酵叶图像；同时，根据发酵时间对图像分类而建立的红茶发酵程度判别模型，其判别效率、稳定性及准确性仍有待验证，亟待解决。


技术实现要素：

11.本发明的目的是克服上述现有技术的不足，提供一种红茶发酵进程实时检测系统，其提高了发酵叶图像特征与发酵程度间的匹配度和模型的准确程度，最准确保了红茶发酵适度阶段的判别效率性及判别准确率。
12.为此，本发明采用以下技术方案：
13.一种红茶发酵进程实时检测系统，其特征在于包括发酵程度数字化分类标签的建立以及发酵程度判别模型的建立，步骤如下：
14.1)、发酵程度数字化分类标签的建立
15.a)利用指定数目的茶树品种的进行批次的红茶加工试验，采集不同发酵进程的茶叶样品，采集样品的同时记录人工感官经验信息，包括发酵叶色泽、发酵时间与发酵程度；
16.b)对所述不同发酵进程的茶叶样品进行感官审评，通过滋味、香气和叶底评估发酵进程中茶叶品质变化经历的关键阶段，以便将发酵进程分为轻、偏轻、接近适度、适度、接近过度、过度六个阶段；
17.c)对步骤b)的结果进行验证：对不同发酵进程的茶叶样品进行儿茶素组分含量检测，发现每阶段变化曲线的斜率分为三段式变化，也即儿茶素含量随发酵进程的进行而可以分为三个下降阶段：快速下降阶段、下降趋势减缓阶段及缓慢下降阶段；儿茶素含量为12％～15％时茶叶感官品质最佳，此时找出儿茶素缓慢下降阶段的发酵程度发生变化的两个节点，该两个节点包括发酵不足至发酵适度时以及发酵适度至发酵过度时，对比发现，与步骤b)中的感官评审结果相同；
18.d)将上述信息由统计学分析融合，建立发酵程度数字化分类标签，将发酵进程赋值，值越大表示发酵程度越重，发酵起始于揉捻，揉捻结束发酵程度为起始值，分别赋值并建立轻区间、偏轻区间、接近适度区间、适度区间、接近过度区间及过度区间；
19.2)、发酵程度判别模型的建立
20.a)根据步骤1)所建立的发酵程度数字化分类标签，将采集的发酵进程中发酵叶的原始图像，按照训练集：测试集：验证集＝7:2:1的比列，分别划分为发酵程度较轻、偏轻、适度、适度、接近过度、过度六个数据集；
21.b)对各数据集的图像进行直方图均衡、几何数据增强、色彩空间转换，以提高图像的对比度和亮度、模型的精度，将转换后的图片数据作为最终输入深度学习模型的数据之一；
22.c)搭建基于pytorch的mobilenetv3模型
23.起始部分：1个卷积层，通过3x3的卷积，即卷积层、bn层、h-switch激活层，在large
和small中均相同，提取特征；
24.中间部分：包括含有卷积层的块的网络结构；
25.最后部分：将squeeze操作省略，将avg pooling提前，直接使用1x1的卷积代替全连接，输出类别；其中，添加deptwise convolution层和inverted residuals结构，高维信息通过relu激活函数后丢失的信息更少，在结构中同时使用h-swish激活函数代替swish函数；
26.通过将图像信息输入到mobilenetv3，提取中间层特征图以及深层特征图叠加作为vision transformer模型中的图像patch，在图像patch的嵌入中加入位置嵌入，通过不同的策略在全局范围内保留空间/位置信息；
27.模型建立后，将步骤b)中数据作为初始模型的输入，对模型进行训练，最终根据训练出的权重用来做最终的结果推理；
28.d)采集到各个发酵阶段图片的hsv特征值与经过芽叶形态学处理后保留的连通域特征面积，对两种方式采集到的数据进行分析，通过高斯滤波处理得到最终的颜色以及形态学特征；根据该特征进行数据建模，可根据该模型对结果进行预测。
29.e)通过深度学习模型以及d)中所建立的传统模型，进行封装，获得发酵程度判别模型；
30.3)通过发酵程度判别模型对发酵叶进行形态学识别，从而判断出当前发酵叶的发酵程度处于哪一阶段。
31.优选的，所述步骤3)中，通过发酵程度判别模型对发酵叶进行形态学识别，可同步输出所判断的当前发酵叶的发酵程度的可信度。
32.优选的，所述发酵进程中发酵叶的原始图像通过发酵叶图像实时采集装置获得；所述发酵叶图像实时采集装置包括用于形成密封空间的机壳，机壳内布置用于实现图像采集功能的相机，位于相机的镜头端的机壳底面布置除雾窗口，除雾窗口的内侧设置除雾组件；除雾窗口的正下方设置用于盛放发酵叶的样品盘，所述样品盘放置于底座上；底座上还轴线铅垂的安装有直套筒状的遮光罩，所述遮光罩的筒腔构成用于容纳样品盘以及可供机壳底端伸入的安装腔，遮光罩内布置可调亮度光源；所述底座、遮光罩、样品盘及机壳均位于作为密封腔的外罩体内；其中：
33.所述样品盘材质为蜂窝陶瓷，并采用以下制备方法：
34.a)制备粘结剂
35.使用琼脂粉与水按照0.25：100的重量比混合并加热溶解，获得溶液；冷却后每1kg该溶液加入重量份数为0.25％的玉米粉、0.25％的蔗糖、0.1％的酵母粉，在35～37℃放置4～5小时，中间搅拌2～3次，过60目筛待用；
36.b)将重量份数为45％的祁门瓷土粉、25％的天然板岩歙砚石粉、15％的活性炭粉末、15％的硅藻土粉充分混匀，之后加入粘结剂搅拌成泥浆，并制胚；待制胚成型后在35～37℃静置6～7小时，移入窑内，80～130℃烧制2小时，并2小时内由130℃逐步升温至450℃，烧制10小时，随后自然降温，获得成型产品。
37.优选的，所述步骤b)中，所述祁门瓷土粉过80目筛，天然板岩歙砚石粉过100目筛，活性炭粉末过100目筛，硅藻土粉过80目筛。
38.优选的，所述遮光罩材质与样品盘材质相同。
39.优选的，所述可调亮度光源为防潮防雾面光光源，尺寸为32cm
×
32cm，中间开孔尺寸7.5cm
×
7.5cm。
40.优选的，样品盘外部尺寸为直径30cm
×
高7.5cm，内部尺寸为直径29.5
×
高7cm。
41.优选的，所述遮光罩外部尺寸为直径35cm
×
高28cm，内部尺寸为直径34.5
×
28cm。
42.优选的，所述除雾窗口采用长55mm
×
宽50mm
×
厚1.1mm的单面ito镀膜玻璃，该除雾窗口内侧面安装电阻为9～10ω的电极,且电极整条涂覆导电银浆；电极与机壳外部的电源之间电连接；该电极构成所述除雾组件。
43.优选的，机壳安装在位于外罩体内的升降支架上。
44.本发明的有益效果在于：
45.(1)本发明基于不同茶树品种、不同加工时期的大样本的图像信息，模型准确度和精度更高。
46.(2)不同茶树品种、不同嫩度的鲜叶原料其发酵适度所需时间差异较大，在相同发酵条件下，有的品种120～150min即可发酵适度，有的品种需要180～240min才能发酵完成，仅通过发酵时间将发酵进程分类，模型判别误差大。本发明将发酵程度判断的人工感官经验信息、茶叶感官审评信息、儿茶素残留量数据、统计学分析融合，将发酵进程赋值，建立发酵程度数字化分类标签，提高了发酵叶图像特征与发酵程度间的匹配度和模型的准确性。
47.(3)鲜叶的芽、叶片、嫩茎在揉捻过程中受压力不同，细胞破碎程度顺序由高到低为嫩茎、芽、叶片，因此，其发酵进程顺序由快到慢为嫩茎、芽、叶片，其中嫩茎发酵适度约占发酵进程时间的50～60％，芽发酵适度约占发酵进程时间的85～95％，而叶片的部分区域在整个发酵进程中始终呈现绿或黄绿的状态，因此，为提高发酵程度判别模型的准确性，本发明从嫩茎、芽、叶片的整体色泽与个体差异两个角度构建发酵叶特征，重要提取叶部、茎部饱和度、亮度等细节特征，通过大样本特征统计分析，形成微观形态特征群，并据此建立发酵程度判别模型。
48.(4)红茶发酵主要是以多酚类物质的酶促氧化为主体形成茶黄素、茶红素、茶褐素的过程，茶叶颜色呈绿-黄-红的非均匀性变化趋势，红茶发酵达到一定程度后的一段进程内，尤其是在发酵适度阶段的缓变特点，颜色指标变化小，但是其亮度和饱和度指标变化较大。本发明根据色泽、亮度和饱和度建立的发酵程度判别模型，提高了发酵适度阶段的判别准确率。
49.(5)在上述方案的基础上，本发明还提供了一种发酵叶图像实时采集装置。该图像采集装置一方面采用了密封式的外罩体，保证了内部检测环境的对外密闭性，保证了高湿高雾的场景的形成，有助于实现稳定的发酵叶的观察环境，为图像信息获取的准确性提供基础保证；另一方面，通过采用除雾组件搭配密封式的机壳，实现了相机与外罩体内其他区域的隔离性，解决了高湿高雾的场景下的雾气造成的相机的干扰成像质量问题，保证相机实时连续图像采集。同时，本发明的样品盘采用了蜂窝陶瓷材质，使得成品后的样品盘表面粗糙有微孔，发酵环境中的水汽可以透入，并持续提供发酵所需的水分，且本发明采用祁门瓷土粉配合天然板岩歙砚石粉形成样品盘，不会形成凝聚的水滴，造成区域发酵叶颜色变化失真，最终进一步的保证了图像信息的全面性和稳定性，一举多得。
50.(6)、防潮防雾面光光源，可在潮湿的发酵工况下良好使用，拍摄视野范围内可均匀打光，提供有效高质量的图像。
51.(7)、对于上述蜂窝陶瓷而言，既可以形成样品盘，也可以作为遮光罩的原料来使用。常规蜂窝陶瓷为保证较高机械强度、化学稳定性，耐热冲击性能，一般需添加金属氧化物，并采用高温烧制(高于1500℃)，煅烧过程中原料颗粒边界部分发生融化而粘结，其孔壁与表面光滑，尽管透气性能良好，但是容易造成反光和水汽凝聚。实践表明，本发明的蜂窝陶瓷材质的遮光罩表面粗糙哑光，对光源的光线不会反光，且可以有效遮蔽外界日光、灯光，保证拍摄视野范围内光线均匀；又可避免木制材料长期使用带来的霉变，金属材质带来的水滴凝聚和反光问题，成效显著。
附图说明
52.图1为发酵叶图像实时采集装置的结构示意简图。
53.本发明各标号与部件名称的实际对应关系如下：
54.10-机壳11-除雾窗口20-相机30-除雾组件
55.40-样品盘50-底座60-遮光罩70-可调亮度光源
56.80-外罩体81-升降支架
具体实施方式
57.为便于理解，此处结合图1，对本发明的具体结构及工作方式作以下进一步描述：
58.一种红茶发酵进程实时检测系统，包括硬件系统与软件系统，其中：
59.硬件系统为发酵叶图像实时采集装置，其具体结构如图1所示，包括可调升降支架81与底座50，带有镜头的相机20固定在机壳10内部，而除雾组件30安装在机壳10底端的除雾窗口11处，以便于相机20镜头在工作时能获得无雾气的视野。可调亮度光源70安装在可调升降支架81下端，样品盘40放置在底座50上，样品盘40和可调亮度光源70均放置在遮光罩60内，具体参照图1所示。
60.对于可调升降支架81，可选用如铅垂电轨道或铅垂气缸或齿轮齿条机构等相应的直行程机构，以能带动机壳10产生铅垂动作，并驱使机壳10产生相对样品盘40的相近及相离动作。同理，传输相应电力及信息的线路均自然的穿过机壳10或外罩体80，以便连接外部设备；如相机20电源、数据传输线和连接除雾组件30的电压可调的电源适配器等均可经连接固定后穿过机壳10甚至延长至外罩体80外。
61.实际工作时，除雾窗口11对于无雾视野的形成非常重要，因此，本发明的除雾窗口11采用长55mm
×
宽50mm
×
厚1.1mm的单面ito镀膜玻璃，且该单面ito镀膜玻璃的内侧面安装电阻为9～10ω电极,电极整条涂覆cb～813导电银浆，以避免在极端发酵的高湿高雾的场景下的雾气造成的相机20的干扰成像质量问题。而对于可调亮度光源70，可选用防潮防雾面光光源，尺寸为32cm
×
32cm，中间开孔尺寸7.5cm
×
7.5cm。同理，样品盘40外部尺寸为直径30cm
×
高7.5cm，内部尺寸为直径29.5
×
高7cm；遮光罩60外部尺寸为直径35cm
×
高28cm，内部尺寸为直径34.5
×
28cm。
62.在上述结构的基础上，本发明还提供了一种蜂窝陶瓷的制备方法，从而用于制备样品盘40及遮光罩60。具体的制备方法为：
63.a)粘结剂制备：使用琼脂粉与水按照0.25：100的重量比混合并加热溶解，冷却后每1kg溶液加入重量份数0.25％玉米粉、0.25％蔗糖、0.1％酵母粉，在35～37℃放置4～5小
时，中间搅拌2～3次，过60目筛待用。
64.b)将重量份数为45％的祁门瓷土粉(过80目)、25％的天然板岩歙砚石粉(过100目)、15％活性炭粉末(过100目)、15％的硅藻土粉(过80目)充分混匀，加入粘结剂搅拌成泥浆，制胚成型后在35～37℃静置6～7小时，移入窑内，80～130℃烧制2小时，2小时内由130℃逐步升温至450℃，烧制10小时，自然降温获得成型产品。
65.软件系统包括发酵程度数字化分类标签的建立以及发酵程度判别模型的建立，具体为基于发酵进程中不同芽叶部位的原始图像数据、发酵程度与茶叶品质的人工感官经验数据、品质成分数据等建立的发酵程度数字化分类标签，基于pytorch的mobilenetv3 vision transformer开发的发酵程度判别模型，及发酵程度判别可视化软件等。
66.以实施例举例，其中：
67.发酵程度数字化分类标签开发流程具体如下：
68.(1)利用10个茶树品种进行60批次的红茶加工试验，采集450份不同发酵进程的茶叶样品，采集样品的同时记录发酵叶色泽、发酵时间与发酵程度等人工感官经验信息。
69.(2)对450份不同发酵进程的茶叶样品进行感官审评，通过滋味、香气和叶底评估发酵进程中茶叶品质变化经历的关键阶段，将发酵进程分为轻、偏轻、接近适度、适度、接近过度、过度6个阶段。
70.(3)对450份不同发酵进程的茶叶样品进行儿茶素组分含量检测，发现儿茶素含量随发酵进程的进行而下降，可以分为3个阶段，每阶段变化曲线的斜率分别为0.024、0.017、0.006，快速下降阶段时间约占发酵进程的55％，儿茶素残留量约22％；随后进入下降趋势减缓阶段，约占发酵进程时间的22％，儿茶素残留量约15％；缓慢下降阶段约占发酵进程时间的23％，儿茶素残留量约12％。由于在儿茶素残留量为12％～15％区间时，茶叶感官品质较好，因此在儿茶素缓慢下降阶段(发酵适度阶段)的前后，发现发酵程度(不足-适度、适度-过度)迅速变化的2个节点，与感官审评结果吻合。
71.(4)将判断发酵程度的人工感官经验信息、茶叶感官审评信息、儿茶素残留量数据、统计学分析融合，建立发酵程度数字化分类标签，将发酵进程赋值45～100，值越大表示发酵程度越重，发酵起始于揉捻，揉捻结束发酵程度约为45，发酵程度较轻区间赋值45～65，偏轻区间赋值65～75，接近适度区间赋值75～80，适度区间赋值80～85，接近过度区间赋值85～90，过度区间赋值90～100。
72.发酵程度判别模型与可视化软件开发流程如下：
73.(5)根据开发的发酵程度数字化分类标签，将采集的68000张发酵进程中发酵叶的原始图像，按照训练集：测试集：验证集＝7:2:1的比列，分别划分为发酵程度较轻、偏轻、适度、适度、接近过度、过度6个数据集。
74.(6)对各数据集的图像进行直方图均衡、几何数据增强、色彩空间转换，以提高图像的对比度和亮度、模型的精度，将转换后的图片数据作为最终输入深度学习模型的数据之一。
75.(7)搭建基于pytorch的mobilenetv3模型。
76.起始部分：1个卷积层，通过3x3的卷积，即卷积层、bn层、h-switch激活层，在large和small中均相同，提取特征；
77.中间部分：多个卷积层，是多个含有卷积层的块(mobileblock)的网络结构，不同
large和small版本，层数和参数不同；
78.最后部分：将squeeze操作省略，将avg pooling提前，直接使用1x1的卷积，代替全连接，输出类别，减少计算量，其中添加了可大大减少运算量和参数数量的deptwise convolution层，倒残差结构的inverted residuals结构，高维信息通过relu激活函数后丢失的信息更少，在结构中使用了h-swish激活函数代替swish函数，减少运算量，提高性能，在不增加网络复杂度的情况下提高了模型效率。通过将图像信息输入到mobilenetv3，提取中间层特征图以及深层特征图叠加作为vision transformer模型中的图像patch，在图像patch的嵌入中加入位置嵌入，通过不同的策略在全局范围内保留空间/位置信息。
79.模型建立后，将步骤(6)中数据作为初始模型的输入，对模型进行训练，最终根据训练出的权重用来做最终的结果推理。
80.(8)采集到各个发酵阶段图片的hsv特征值与经过芽叶形态学处理后保留的连通域特征面积，对两种方式采集到的数据进行分析，通过高斯滤波处理得到最终的颜色以及形态学特征。根据该特征进行数据建模，可根据该模型对结果进行预测。
81.(9)通过深度学习模型以及步骤(8)中所建立的传统模型，通过软件进行封装。
82.(10)软件对发酵叶进行形态学识别，对单芽、一芽一叶初展、一芽一叶等嫩度较好的发酵叶，及一芽二叶初展、一芽二叶等嫩度略低的发酵也，分别采用不同模型进行发酵程度的预测，并根据综合结果判断出当前发酵程度处于哪一阶段，及输出发酵程度的可信度。
83.当然，对于本领域技术人员而言，本发明不限于上述示范性实施例的细节，而还包括在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现的相同或类似结构。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
84.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
85.本发明未详细描述的技术、形状、构造部分均为公知技术。