一种基于AI视觉检测和边缘计算的烟草产品质检方法与流程
本发明涉及烟草产品质检，尤其涉及一种基于ai视觉检测和边缘计算的烟草产品质检方法。
背景技术：
1、随着烟草产品生产线自动化程度不断提高，产品外观、包装状态、标识信息和成品一致性等质检环节对检测速度和检测稳定性的要求越来越高。传统人工抽检方式容易受到人员经验、疲劳程度和抽检比例的影响，难以适应连续化、高节拍的生产环境。为减少人工判断差异，现有技术中逐渐采用机器视觉方式采集烟草产品图像，并通过图像处理或智能识别模型对产品质量进行判断。
2、现有烟草产品视觉质检方法通常以单张图像或单次拍摄结果作为判断依据，通过阈值分割、模板匹配、特征识别或分类模型识别污渍、破损、错位、标识不清等异常情况。部分系统还将检测模型部署在靠近采集端的计算设备上，以减少图像传输时间，提高质检响应速度。这类方式在规则明显、成像条件稳定的情况下具有一定效果。
3、但是，在实际质检过程中，烟草产品图像容易受到输送抖动、瞬时遮挡、光照变化、图像模糊和批次差异的影响。若仅依靠单帧图像进行判断，容易出现前后结果不一致、短时误判和异常漏检等问题。同时，现有方法对连续图像之间的变化关系利用不足，难以根据前后检测结果对当前判断进行修正，导致质检结果的稳定性不足。
4、另外，边缘侧设备虽然可以缩短检测响应时间，但其计算资源通常有限。现有方法在连续图像检测时，往往对相邻图像片段重复进行完整处理，增加了边缘侧计算负担。对于人工复核或二次检测后得到的确认结果，现有系统也多停留在记录和追溯层面，缺少将复核结果持续用于模型更新的机制，使检测模型面对新批次产品、新成像条件或新型缺陷时适应能力较弱。
5、因此，如何提供一种基于ai视觉检测和边缘计算的烟草产品质检方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种基于ai视觉检测和边缘计算的烟草产品质检方法，本发明充分利用了ai视觉识别、边缘侧实时处理、遮蔽重建、对比学习和时序状态递推技术，详细描述了烟草产品图像采集、异常样本构建、视觉质检模型训练、边缘侧连续检测、质量状态路径判定以及复核反馈更新的实现过程，具备检测响应快、判别准确性高、质检结果稳定性好和对不同批次产品适应能力强的优点。
2、根据本发明实施例的一种基于ai视觉检测和边缘计算的烟草产品质检方法，包括如下步骤：
3、s1、在边缘节点采集烟草产品质检的视觉采集数据，并进行预处理，形成标准视觉序列；
4、s2、对标准视觉序列进行连续帧重叠取样，并对得到的连续图像片段执行局部遮蔽重建，根据重建差异对连续图像片段进行异常排序，构建质检样本集合；
5、s3、采用对比学习编码网络，建立连续图像片段与质量状态标签之间的判别映射关系，并基于质检样本集合，通过监督对比损失和缺陷响应损失联合训练对比学习编码网络，构建视觉质检模型；
6、s4、将视觉质检模型部署于边缘节点侧，对待检测视觉序列执行连续窗口编码，通过视觉质检模型计算窗口级质量状态概率，并采用隐马尔可夫前向递推方法，对质量状态概率进行递推修正；
7、s5、基于递推修正后的质量状态概率构建质量状态路径，按照窗口时序计算相邻质量状态之间的转移代价，并采用维特比算法对质量状态路径进行回溯寻优，确定烟草产品质检结果；
8、s6、获取烟草产品质检结果对应的复核数据，并采用小批量梯度下降方法对视觉质检模型进行增量训练。
9、可选的，所述预处理具体包括：
10、对边缘节点采集的视觉采集数据按照采集时序进行帧编号，并对重复帧、模糊帧和曝光异常帧进行剔除，其中：
11、所述边缘节点为，用于执行视觉数据接入、预处理、模型推理和结果缓存的边缘计算单元，所述视觉采集数据为，在烟草产品质检过程中形成的连续帧图像数据，所述连续帧图像数据携带采集时间戳、采集通道标识和质检批次标识；
12、根据相邻帧之间的亮度变化量估计光照漂移参数，并依据光照漂移参数对视觉采集数据进行亮度补偿；
13、对亮度补偿后的视觉采集数据进行背景响应估计，并将背景响应从对应帧图像中扣除，得到前景响应图像；
14、对前景响应图像进行边界配准和尺度调整，将不同帧图像处于统一的空间尺寸和坐标基准下；
15、按照帧编号对配准后的前景响应图像进行时序排列，形成标准视觉序列。
16、可选的，所述s2具体包括：
17、s21、按照标准视觉序列中的帧编号建立重叠取样窗口，将当前取样窗口末端的连续帧并入下一取样窗口前端，并采用动态时间规整方法，对相邻取样窗口中的重叠帧进行时间轴配准，截取得到连续图像片段；
18、s22、对连续图像片段进行块划分，选取沿帧序出现灰度响应突变的图像块作为遮蔽块，并采用未遮蔽图像块的上下文信息对遮蔽块进行重建，得到重建图像片段；
19、s23、提取连续图像片段与重建图像片段中对应图像块的重建误差向量，并基于正常质量状态下的重建误差分布计算马氏距离，依据马氏距离对连续图像片段进行异常排序；
20、s24、按照异常排序结果关联对应的复核结果，将复核结果转换为质量状态标记，并依据质量状态标记对连续图像片段进行正样本配对和负样本配对，构建质检样本集合。
21、可选的，所述s23具体包括：
22、s231、按照帧编号和图像块位置，对连续图像片段与重建图像片段进行块级配准，以8×8像素至32×32像素的图像块为处理单位，对配准后的原始图像块和重建图像块分别执行2层至4层卷积编码，并通过1×1卷积将两组块级卷积编码映射至64维至256维的统一编码空间，形成重建差异编码；
23、s232、基于已标记为正常质量状态的连续图像片段，统计重建差异编码的均值向量和协方差矩阵，并采用至的正则化参数，对协方差矩阵进行正则化求逆，根据正常质量状态下马氏距离的95%至99%分位数设定正常距离阈值；
24、s233、对当前连续图像片段的重建差异编码执行中心化处理，并结合正则化求逆后的协方差矩阵计算各图像块的马氏距离，沿帧编号方向扫描马氏距离，将连续2帧至5帧超过正常距离阈值的图像块标记为异常块段；
25、s234、根据异常块段的持续帧数、块段数量和马氏距离峰值计算片段异常评分，并按照片段异常评分对连续图像片段进行异常排序，选取排序位于前5%至20%的连续图像片段作为优先复核片段。
26、可选的，所述s3具体包括：
27、s31、根据质检样本集合中的质量状态标签，对连续图像片段进行样本配对，得到同标签样本对和异标签样本对，并采用共享编码参数的对比学习编码网络，对样本对中的连续图像片段进行编码映射，得到片段编码向量；
28、s32、分别计算同标签样本对和异标签样本对的编码相似度，将同标签样本对的编码相似度作为正向相似项，将异标签样本对的编码相似度作为反向相似项，并采用监督对比学习函数计算监督对比损失；
29、s33、根据片段编码向量进行质量状态判别，并按照连续图像片段在异常排序中的先后位置，设置缺陷响应参考值，依据质量状态判别偏差和缺陷响应偏差计算缺陷响应损失；
30、s34、将监督对比损失和缺陷响应损失组合为联合损失函数，依据联合损失函数对对比学习编码网络执行反向传播训练，并将训练后的对比学习编码网络构建为视觉质检模型。
31、可选的，所述s33具体包括：
32、s331、基于片段编码向量执行质量状态映射，采用调节因子为1至3的焦点交叉熵判别函数，处理质量状态标签对应的判别误差，降低高置信度连续图像片段的损失权重，并保留低置信度连续图像片段的损失权重；
33、s332、按照连续图像片段在异常排序中的先后位置，构造3级至5级缺陷响应等级，将排序靠前的连续图像片段划入高响应等级，将排序靠后的连续图像片段划入低响应等级，并建立缺陷响应等级与片段编码向量之间的回归关系；
34、s333、采用排序感知huber损失，处理缺陷响应等级与回归结果之间的偏差，对小于响应阈值的偏差执行二次惩罚，对不小于响应阈值的偏差执行线性惩罚，所述响应阈值为相邻缺陷响应等级间隔的0.5倍至1.5倍；
35、s334、将焦点交叉熵判别函数对应的损失项作为质量判别项，将排序感知huber损失对应的损失项作为响应回归项，并由质量判别项和响应回归项构成缺陷响应损失。
36、可选的，所述s4具体包括：
37、s41、将训练后的视觉质检模型部署在边缘节点的推理进程，保留前向推理所需的网络权重和质量状态标签顺序，并停止训练阶段的梯度更新流程；
38、s42、按照预设窗口长度和窗口步长，对边缘节点实时形成的待检测视觉序列进行滑动截取，并采用增量窗口编码方法，复用相邻窗口重叠帧的已有编码，对新进入当前窗口的帧执行编码更新，形成当前窗口编码向量；
39、s43、当前窗口编码向量经视觉质检模型进行质量状态判别，按质量状态标签顺序排列各质量状态的判别值，并采用softmax函数对判别值进行概率化处理，形成窗口级质量状态概率；
40、s44、根据相邻质量状态标签的出现频次计算质量状态转移概率，并采用隐马尔可夫前向递推方法，对前一窗口修正概率和当前窗口级质量状态概率进行递推修正，形成当前窗口递推修正概率。
41、可选的，所述s42具体包括：
42、s421、按照待检测视觉序列的帧率和边缘节点单帧推理耗时，设定连续窗口长度和窗口步长，其中：
43、所述单帧推理耗时为，边缘节点采用视觉质检模型对单帧图像完成编码处理所需的平均处理时长，所述窗口步长小于连续窗口长度，相邻待检测连续窗口之间具有重叠帧，并以窗口步长沿帧序滑动截取待检测连续窗口；
44、s422、对首个待检测连续窗口按帧序执行帧编码，以首帧编码作为递推起点，采用指数滑动平均递推方法，将后一帧编码与前一递推编码进行递推聚合，生成每帧对应的递推编码，并取末帧递推编码形成首个窗口编码向量；
45、s423、后一待检测连续窗口到达时，按照帧编号识别与前一待检测连续窗口相同的重叠帧，保留重叠帧对应的帧编码和递推编码，并对新进入当前窗口的帧执行帧编码；
46、s424、以重叠帧末端的递推编码作为当前窗口的递推起点，按照帧序将新进入帧的帧编码进行指数滑动平均递推，形成当前窗口编码向量。
47、可选的，所述s5具体包括：
48、s51、按照窗口时序排列递推修正后的质量状态概率，将每个窗口下的质量状态标签作为候选状态，并按相邻窗口之间的候选状态连接关系，构建质量状态路径；
49、s52、对候选状态对应的递推修正概率进行负对数代价处理，形成状态代价，并按照相邻窗口中质量状态保持和质量状态跳转的连接关系，设置相邻质量状态之间的转移代价；
50、s53、采用维特比算法沿窗口时序执行动态规划递推，对状态代价和转移代价进行累计筛选，保留当前候选状态的最小累计路径代价和前置状态位置；
51、s54、从末端窗口中最小累计路径代价对应的质量状态开始，按照前置状态位置进行反向回溯，形成总代价最小的质量状态路径，并根据质量状态路径中连续出现的质量状态确定烟草产品质检结果。
52、可选的，所述s6具体包括：
53、s61、获取烟草产品质检结果对应的复核数据，将复核数据与对应的待检测视觉序列、窗口级质量状态概率和烟草产品质检结果进行关联，形成复核样本，其中：
54、所述复核数据为，对烟草产品质检结果进行人工复核或二次检测后形成的确认数据，包括复核质量状态、复核缺陷位置和复核时间标识；
55、s62、按照复核数据中的质量状态标记，对复核样本进行分层小批量抽取，并将复核结果与烟草产品质检结果不一致的复核样本，加入当前小批量训练样本；
56、s63、采用视觉质检模型对当前小批量训练样本进行编码判别，并沿用监督对比损失和缺陷响应损失构成的联合损失函数，计算当前小批量训练样本的增量训练损失；
57、s64、采用小批量梯度下降方法，根据增量训练损失对视觉质检模型的网络参数进行增量更新，并将更新后的视觉质检模型用于下一轮边缘节点质检。
58、本发明的有益效果是：
59、首先，本发明通过预处理、连续帧取样和局部遮蔽重建，筛选具有异常表征价值的图像片段，减少抖动、光照变化和局部模糊造成的单帧误判，提高烟草产品异常识别的准确性。
60、其次，本发明采用对比学习编码网络学习连续图像片段与质量状态之间的关系，并在边缘节点侧进行连续窗口编码和质量状态概率计算，减少重复处理，提高连续质检的响应速度和处理效率。
61、最后，本发明通过隐马尔可夫前向递推和维特比回溯寻优，对质量状态进行时序修正和路径判定，降低结果跳变；同时结合复核数据进行增量训练，提高模型对不同批次和新型缺陷的适应能力。