一种基于多模态协同的白酒酿造智能监控方法及系统与流程
本发明涉及白酒酿造工艺监控,具体涉及一种基于多模态协同的白酒酿造智能监控方法及系统。
背景技术:
1、白酒固态发酵酿造过程涉及原料配比、环境温湿度、操作手法等多种因素的动态耦合,长期以来主要依赖技术人员的感官经验进行工艺判断和决策。这种传统模式导致工艺标准化程度较低,同一批次内或不同批次之间的酒质一致性难以保证。同时,关键工序中的操作动作缺乏统一的量化标准,新工人的培训周期较长,不规范操作会直接影响发酵效率和最终产品质量。此外,酿造车间通常处于高温高湿环境,传统人工巡检方式无法实时获取设备运行状态和环境安全参数,难以及时发现火灾、设备过热等潜在风险。现有监控系统大多单独采集视频图像或传感器数据,不同类型的数据之间缺乏有效的关联分析,无法为工艺优化提供全面的决策依据。
2、申请公开号cn115829321a公开了一种食品企业加工过程风险智能化处置系统,该系统通过在生产线上部署摄像头采集视频图像,利用图像识别技术对加工过程中的异常行为进行检测和预警。该方案能够在一定程度上提高食品加工过程的安全性,但其仅依赖单一的视觉信息采集与分析,无法全面表征加工过程的复杂状态。例如,酒糟的物理状态需要视觉感知,而温度、酒精浓度等关键参数必须通过传感器获得,工人操作的规范性又需要视频行为分析,仅依赖单一模态数据无法完整反映酿造过程的真实工况。
3、申请公开号cn112215567a公开了一种生产流程合规检查方法及系统、存储介质及终端,其通过采集生产现场的视频图像,利用深度学习模型对工人操作进行合规性判断。然而,该方案仍然局限于视觉模态,且其算法模型未针对酿造车间高温高湿、多粉尘的特殊环境进行适配,在实际应用中存在鲁棒性不足的问题。此外,该方案仅针对操作合规性检测这一单一任务,无法同时实现工艺参数推荐和异常状态预警等功能。
4、另外,现有的工业物联网平台虽然能够实现多源数据的采集与远程监控,但普遍缺乏针对白酒酿造工艺的知识图谱支撑,无法将原料信息、环境状态、酒糟状态与工艺参数之间的复杂关联关系进行结构化表达和利用,因此难以实现工艺参数的智能推荐与闭环优化。
技术实现思路
1、本发明旨在解决现有白酒酿造监控方式依赖人工经验、多源数据割裂以及功能单一的问题,提出一种基于多模态协同的白酒酿造智能监控方法及系统。
2、本发明解决上述技术问题所采用的技术方案是:
3、第一方面,本发明提供一种基于多模态协同的白酒酿造智能监控方法,所述方法包括:
4、步骤s1、在白酒酿造生产线的关键工序点,同步实时采集酒糟的视觉图像数据、环境传感器时序数据以及工人操作视频流数据;
5、步骤s2、对所述视觉图像数据分别提取物理状态特征与表观特征,并通过注意力机制进行加权融合,得到视觉状态特征向量;对所述工人操作视频流数据提取时序动作特征;对所述环境传感器时序数据提取环境时序特征;将所述视觉状态特征向量、时序动作特征和环境时序特征进行特征拼接,再通过注意力机制进行加权融合,得到多模态融合特征向量;
6、步骤s3、基于历史生产数据与行业专家经验,构建以原料、工艺参数、环境状态、酒糟状态、操作规范、酒质输出为核心的酿造工艺知识图谱,并通过图神经网络学习酿造工艺知识图谱的节点间关联映射,输出节点嵌入矩阵;根据当前工况从所述节点嵌入矩阵中查询对应的多个节点嵌入向量并进行拼接,得到知识图谱嵌入向量;
7、步骤s4、预先利用多任务联合损失函数对多任务协同优化网络进行端到端协同训练及分支微调的两阶段优化;所述多任务协同优化网络由共享特征编码器、工艺参数推荐分支、操作合规性检测分支和异常状态预警分支构成;
8、步骤s5、将所述多模态融合特征向量与知识图谱嵌入向量拼接为增强特征向量;将所述增强特征向量输入共享特征编码器,得到共享上下文特征;基于所述共享上下文特征,通过工艺参数推荐分支输出针对下一工序的推荐工艺参数向量,通过操作合规性检测分支输出操作合规性类别标签及对应置信度,通过异常状态预警分支输出环境风险等级与设备健康度评分;
9、步骤s6、将所述推荐工艺参数下发至生产线控制终端执行自动调整,将所述操作合规性类别标签及对应置信度推送至工人终端,将所述环境风险等级与设备健康度评分推送至管理终端,形成生产闭环控制。
10、进一步地,步骤s2中,对所述视觉图像数据的处理步骤包括:
11、采用双目视觉相机对酒糟图像进行高精度三维重建,结合预先在酒糟图像上微调后的mask r-cnn算法实现酒糟区域语义分割,提取酒糟的物理状态特征;基于rgb颜色直方图与局部二值模式lbp纹理分析算法,提取酒糟的表观特征;通过注意力机制对所述物理状态特征和表观特征进行加权融合,构成视觉状态特征向量,其中,为通过训练自适应学习的注意力权重,且;并对所述视觉状态特征向量进行l2归一化处理。
12、进一步地,步骤s2中,对所述工人操作视频流数据的处理步骤包括:
13、基于openpose算法提取连续视频帧中工人的骨骼关键点,通过时空图卷积网络st-gcn将关键点序列建模为动态图结构;采用图注意力网络从所述动态图结构中提取时序动作特征;
14、在通过操作合规性检测分支输出操作合规性类别标签及对应置信度时,将所述时序动作特征与预定义的标准操作模板特征进行余弦相似度比对,计算操作合规性得分,公式为:
15、;
16、其中,;当大于等于第一阈值时判定为合规操作,当小于第一阈值且大于等于第二阈值时判定为轻度不合规,当小于第二阈值时判定为严重不合规;
17、所述操作合规性得分作为所述置信度,对应的阈值判定结果作为所述操作合规性类别标签。
18、进一步地,步骤s2中,对所述环境传感器时序数据的处理步骤包括:
19、采用3σ准则剔除传感器异常数据,公式为:
20、;
21、其中,为环境传感器时序数据中的原始传感器数据,为清洗后的传感器数据,为滑动窗口内数据均值,为窗口内数据标准差;
22、对清洗后的传感器数据进行min-max归一化,公式为:
23、;
24、其中,为归一化后的传感器数据,、分别为历史数据统计的最小值与最大值;
25、以所述归一化后的传感器数据作为输入,采用长短期记忆网络lstm提取时序特征。
26、进一步地,步骤s2中,得到多模态融合特征向量的具体方式为:
27、将已统一到向量空间的视觉状态特征向量、时序动作特征和环境时序特征进行特征拼接,通过多头注意力机制对拼接得到的特征向量进行加权,再通过全连接层映射为多模态融合特征向量。
28、进一步地,步骤s3中,得到知识图谱嵌入向量的具体方式为:
29、根据当前批次的原料标识查询对应的嵌入向量,根据实时环境状态分类查询对应的嵌入向量,根据视觉识别的酒糟状态分类查询对应的嵌入向量,根据动作识别的工人操作类别查询对应的嵌入向量,并将嵌入向量、、、进行向量拼接,得到知识图谱嵌入向量。
30、进一步地,步骤s4中,所述共享特征编码器为基于卷积神经网络与transformer的混合架构,其中卷积部分包含多层卷积层及池化层,transformer部分包含多层编码器,每层编码器包含多头自注意力机制与前馈神经网络;所述工艺参数推荐分支为多层感知机,所述操作合规性检测分支为多层感知机与softmax分类器,所述异常状态预警分支为多层感知机与sigmoid激活函数;所述工艺参数推荐分支、操作合规性检测分支和异常状态预警分支共享所述共享特征编码器,利用多任务协同学习实现归纳迁移和联合正则化。
31、进一步地,步骤s4中,所述多任务联合损失函数为:
32、;
33、其中,、、、为权重系数且满足;
34、为工艺参数推荐的均方误差损失:
35、;
36、其中,为工艺参数总数,为第个工艺参数的预测值,为第个工艺参数的真实值;
37、为操作合规性检测的交叉熵损失:
38、;
39、其中,为第个类别的真实标签,为模型预测的第个类别的概率;
40、为异常状态预警的焦点损失:
41、;
42、其中,为类别平衡因子,为模型对正确类别的预测概率,为聚焦参数且;
43、为对网络权重的l2正则化项:
44、。
45、其中,为多任务协同优化网络的网络权重参数。
46、进一步地,步骤s4中,所述两阶段优化包括:
47、第一阶段协同训练:采用adamw优化器,以预设初始学习率、预设权重衰减系数、预设批量大小,利用所述多任务联合损失函数对多任务协同优化网络的全部参数进行端到端联合训练,训练至预设迭代次数或验证集损失不再下降;
48、第二阶段分支微调:固定所述共享特征编码器的全部参数,依次对所述工艺参数推荐分支、操作合规性检测分支和异常状态预警分支进行独立微调,各分支采用各自预设的微调学习率进行训练,各分支微调过程中均采用早停策略,当验证集损失在预设迭代次数内无下降时停止该分支的训练。
49、第二方面,本发明提供一种基于多模态协同的白酒酿造智能监控系统,用于实现如第一方面所述的基于多模态协同的白酒酿造智能监控方法,所述系统包括:
50、多模态数据采集模块,用于在白酒酿造生产线的关键工序点,同步实时采集酒糟的视觉图像数据、环境传感器时序数据以及工人操作视频流数据;
51、数据预处理与特征融合模块,用于对所述视觉图像数据分别提取物理状态特征与表观特征,并通过注意力机制进行加权融合,得到视觉状态特征向量;对所述工人操作视频流数据提取时序动作特征;对所述环境传感器时序数据提取环境时序特征;将所述视觉状态特征向量、时序动作特征和环境时序特征进行特征拼接,再通过注意力机制进行加权融合,得到多模态融合特征向量;
52、工艺知识图谱构建与节点嵌入查询模块,用于基于历史生产数据与行业专家经验,构建以原料、工艺参数、环境状态、酒糟状态、操作规范、酒质输出为核心的酿造工艺知识图谱,并通过图神经网络学习酿造工艺知识图谱的节点间关联映射,输出节点嵌入矩阵;根据当前工况从所述节点嵌入矩阵中查询对应的多个节点嵌入向量并进行拼接,得到知识图谱嵌入向量;
53、模型训练与优化模块,用于预先利用多任务联合损失函数对多任务协同优化网络进行端到端协同训练及分支微调的两阶段优化;所述多任务协同优化网络由共享特征编码器、工艺参数推荐分支、操作合规性检测分支和异常状态预警分支构成;
54、多任务协同优化推理模块,用于将所述多模态融合特征向量与知识图谱嵌入向量拼接为增强特征向量;将所述增强特征向量输入共享特征编码器,得到共享上下文特征;基于所述共享上下文特征,通过工艺参数推荐分支输出针对下一工序的推荐工艺参数向量,通过操作合规性检测分支输出操作合规性类别标签及对应置信度,通过异常状态预警分支输出环境风险等级与设备健康度评分;
55、实时决策与交互模块,用于将所述推荐工艺参数下发至生产线控制终端执行自动调整,将所述操作合规性类别标签及对应置信度推送至工人终端,将所述环境风险等级与设备健康度评分推送至管理终端,形成生产闭环控制。
56、本发明的有益效果是:本发明提供的基于多模态协同的白酒酿造智能监控方法及系统,通过同步采集视觉图像数据、环境传感器时序数据和工人操作视频流数据并进行多模态融合,解决了单一模态感知不全面的问题,通过构建包含原料、工艺参数、环境状态、酒糟状态、操作规范和酒质输出之间关联关系的酿造工艺知识图谱,为工艺决策提供了结构化知识支撑,通过多任务协同优化网络同步输出推荐工艺参数向量、操作合规性类别标签及对应置信度、以及环境风险等级与设备健康度评分,实现了工艺参数自动推荐、操作合规性实时检测与异常状态及时预警的协同优化,通过将推荐工艺参数下发至生产线控制终端执行自动调整、将操作合规性类别标签及对应置信度推送至工人终端、将环境风险等级与设备健康度评分推送至管理终端,形成了完整的生产闭环控制,从而有效提升了白酒酿造过程的工艺标准化水平、质量一致性和生产安全性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com