卷烟厂制丝车间工况监测方法、装置、设备及存储介质与流程

1.本发明涉及自动检测领域，尤其涉及一种卷烟厂制丝车间工况监测方法、装置、设备及存储介质。


背景技术：

2.为降低人工成本，实现智慧工厂建设，卷烟厂通过机器视觉等人工智能技术手段进一步提高制丝车间生产的智能自动化水平，提升生产、管理的效率。在机器自动化生产的过程中需对工况进行实时监测，以处理一些异常状况。
3.在现有的技术中，通常完全依靠人工在岗检测，检测成本高、效率低下且存在有漏检问题。


技术实现要素：

4.本发明的主要目的在于提供一种卷烟厂制丝车间工况监测方法、装置、设备及存储介质，旨在解决现有技术中工况监测成本高且效率低的技术问题。
5.本发明第一方面提供了一种卷烟厂制丝车间工况监测方法，包括：若获取的视频图像为烟箱图像，则通过文本识别算法对所述烟箱图像进行文本识别，得到所述烟箱图像中烟箱的编号；若获取的视频图像为所述烟箱进行解包后的片烟包图像，则对所述片烟包图像进行杂物残留检测，以判断所述片烟包是否解包完成；若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像，则对所述切片面图像进行包芯霉变检测，并输出包芯霉变检测结果；若获取到的视频图像为装载所述片烟包的小车图像，则对所述小车图像进行漏油检测，以判断所述小车是否漏油；若获取到的视频图像为装载过烟丝的烟丝桶图像，则对所述烟丝桶图像进行烟丝残留物检测，以判断所述烟丝桶是否清扫干净。
6.可选的，在本发明第一方面的第一种实现方式中，所述若获取的视频图像为烟箱图像，则通过文本识别算法对所述烟箱图像进行文本识别，得到所述烟箱图像中烟箱的编号包括：若获取的视频图像为烟箱图像，则采用基于微分二值化的实时场景文本检测算法对所述烟箱图像进行文本检测，得到文本区域图像；采用卷积神经网络对所述文本区域图像进行特征提取，得到特征序列，并将所述特征序列输入循环神经网络进行预测，得到预测序列；采用ctc算法对所述预测序列进行校正，得到文字识别结果，得到所述烟箱图像中烟箱的编号。
7.可选的，在本发明第一方面的第二种实现方式中，所述若获取的视频图像为所述烟箱进行解包后的片烟包图像，则对所述片烟包图像进行杂物残留检测，以判断所述片烟
包是否解包完成包括：若获取的视频图像为所述烟箱进行解包后的片烟包图像，则通过第一预置centernet模型对所述片烟包图像进行片烟包检测，得到检测结果；基于所述检测结果，采用预置目标检测模型检测所述片烟包的表面是否存在遮挡，若所述片烟包表面不存在遮挡，则确定所述片烟包解包完成。
8.可选的，在本发明第一方面的第三种实现方式中，在所述若获取的视频图像为所述烟箱进行解包后的片烟包图像，则对所述片烟包图像进行杂物残留检测，以判断所述片烟包是否解包完成之前，还包括：将预置训练数据集中的图像输入centernet，提取所述图像的特征图，其中，所述预置训练数据集采用cutmix的方法进行数据增强；通过预置卷积网络对所述特征图进行卷积，得到片烟包的预测热力图；通过预置损失函数优化所述卷积网络的参数，得到所述第一预置centernet模型。
9.可选的，在本发明第一方面的第四种实现方式中，所述若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像，则对所述切片面图像进行包芯霉变检测，并输出包芯霉变检测结果包括：若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像，则通过第二预置centernet模型对所述切片面图像进行烟草检测，得到切片面图像的烟草区域并截图；通过预置shufflenetv2模型对截取的烟草切片面进行分类，判断所述片烟包的包芯是否霉变。
10.可选的，在本发明第一方面的第五种实现方式中，所述若获取到的视频图像为装载所述片烟包的小车图像，则对所述小车图像进行漏油检测，以判断所述小车是否漏油包括：若获取到的视频图像为装载所述片烟包的小车图像，则通过带色彩恢复的多尺度视网膜增强算法对所述图像进行增强处理，得到增强图像；对所述增强图像进行接油盘检测，并根据检测结果进行截图处理，得到接油盘图像；通过对比度受限的自适应直方图均衡化算法对所述接油盘图像进行直方图均衡化处理，得到接油盘均衡图像；将所述接油盘均衡图像的rgb色彩空间转换为hsv色彩空间，并根据预置颜色阈值定位所述接油盘均衡图像的接油盘区域图像；将所述接油盘区域图像转换为接油盘灰度图，并基于所述接油盘灰度图计算接油盘区域方差，根据计算结果判断所述小车是否漏油。
11.可选的，在本发明第一方面的第六种实现方式中，所述若获取到的视频图像为装载过烟丝的烟丝桶图像，则对所述烟丝桶图像进行烟丝残留物检测，以判断所述烟丝桶是否清扫干净包括：若获取到的视频图像为装载过烟丝的烟丝桶图像，则通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；
将所述桶底图像的rgb色彩空间转换为hsv色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物的区域，并进行色彩提取，得到桶底hsv图像；将所述桶底hsv图像的hsv色彩空间转换为hls色彩空间进行去反光处理，得到剔除部分反光干扰的桶底hls图像，将所述桶底hls图像从hls色彩空间转换为yuv色彩空间并再次进行去反光处理，得到无反光的桶底yuv图像；将所述桶底yuv图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比。
12.本发明第二方面提供了一种卷烟厂制丝车间工况监测装置，包括：图像获取模块，用于实时获取卷烟厂制丝车间进行工况监测的视频图像并进行识别；编号识别模块，用于若获取的视频图像为烟箱图像，则通过文本识别算法对所述烟箱图像进行文本识别，得到所述烟箱图像中烟箱的编号；解包检测模块，用于若获取的视频图像为所述烟箱进行解包后的片烟包图像，则对所述片烟包图像进行杂物残留检测，以判断所述片烟包是否解包完成；霉变检测模块，用于若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像，则对所述切片面图像进行包芯霉变检测，并输出包芯霉变检测结果；漏油检测模块，用于若获取到的视频图像为装载所述片烟包的小车图像，则对所述小车图像进行漏油检测，以判断所述小车是否漏油；残留检测模块，用于若获取到的视频图像为装载过烟丝的烟丝桶图像，则对所述烟丝桶图像进行烟丝残留物检测，以判断所述烟丝桶是否清扫干净。
13.可选的，在本发明第二方面的第一种实现方式中，所述编号识别模块具体用于：若获取的视频图像为烟箱图像，则采用基于微分二值化的实时场景文本检测算法对所述烟箱图像进行文本检测，得到文本区域图像；采用卷积神经网络对所述文本区域图像进行特征提取，得到特征序列，并将所述特征序列输入循环神经网络进行预测，得到预测序列；采用ctc算法对所述预测序列进行校正，得到文字识别结果，得到所述烟箱图像中烟箱的编号。
14.可选的，在本发明第二方面的第二种实现方式中，所述解包检测模块具体用于：若获取的视频图像为所述烟箱进行解包后的片烟包图像，则通过第一预置centernet模型对所述片烟包图像进行片烟包检测，得到检测结果；基于所述检测结果，采用预置目标检测模型检测所述片烟包的表面是否存在遮挡，若所述片烟包表面不存在遮挡，则确定所述片烟包解包完成。
15.可选的，在本发明第二方面的第三种实现方式中，所述卷烟厂制丝车间工况监测装置还包括：特征提取模块，用于将预置训练数据集中的图像输入centernet，提取所述图像的特征图，其中，所述预置训练数据集采用cutmix的方法进行数据增强；卷积预测模块，用于通过预置卷积网络对所述特征图进行卷积，得到片烟包的预测热力图；参数优化模块，用于通过预置损失函数优化所述卷积网络的参数，得到所述第一
预置centernet模型。
16.可选的，在本发明第二方面的第四种实现方式中，所述霉变检测模块具体用于：若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像，则通过第二预置centernet模型对所述切片面图像进行烟草检测，得到切片面图像的烟草区域并截图；通过预置shufflenetv2模型对截取的烟草切片面进行分类，判断所述片烟包的包芯是否霉变。
17.可选的，在本发明第二方面的第五种实现方式中，所述漏油检测模块具体用于：若获取到的视频图像为装载所述片烟包的小车图像，则通过带色彩恢复的多尺度视网膜增强算法对所述图像进行增强处理，得到增强图像；对所述增强图像进行接油盘检测，并根据检测结果进行截图处理，得到接油盘图像；通过对比度受限的自适应直方图均衡化算法对所述接油盘图像进行直方图均衡化处理，得到接油盘均衡图像；将所述接油盘均衡图像的rgb色彩空间转换为hsv色彩空间，并根据预置颜色阈值定位所述接油盘均衡图像的接油盘区域图像；将所述接油盘区域图像转换为接油盘灰度图，并基于所述接油盘灰度图计算接油盘区域方差，根据计算结果判断所述小车是否漏油。
18.可选的，在本发明第二方面的第六种实现方式中，所述残留检测模块具体用于：若获取到的视频图像为装载过烟丝的烟丝桶图像，则通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；将所述桶底图像的rgb色彩空间转换为hsv色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物的区域，并进行色彩提取，得到桶底hsv图像；将所述桶底hsv图像的hsv色彩空间转换为hls色彩空间进行去反光处理，得到剔除部分反光干扰的桶底hls图像，将所述桶底hls图像从hls色彩空间转换为yuv色彩空间并再次进行去反光处理，得到无反光的桶底yuv图像；将所述桶底yuv图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比。
19.本发明第三方面提供了一种电子设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述电子设备执行上述的卷烟厂制丝车间工况监测方法。
20.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的卷烟厂制丝车间工况监测方法。
21.本发明提供的技术方案中，获取片烟包图像，并通过文本识别算法对片烟包图像进行识别，得到片烟包图像中片烟包的片烟包编号；在对片烟包进行解包后检测片烟包的杂物残留，判断片烟包是否解包完成；若片烟包解包完成，则在对片烟包进行切片后基于切片面对片烟包进行包芯霉变检测；对装载片烟包的小车进行漏油检测，判断小车是否漏油；
detection with differentiable binarization）对图像进行分割以及二值化处理，其中二值化处理插入到分割处理中以进行联合优化，得到二进制图像后将像素分组聚类，得到文本框。该算法操作更为简便、速度较快、准确性较高。
29.本实施例中，基于微分二值化的实时场景文本检测算法检测得到的文本框即包含文字信息的文本区域框，基于文本框进行截图得到文本区域图像。
30.本实施例中，ctc算法通过梯度调整循环神经网络中的参数以进行校正。
31.103、若获取的视频图像为所述烟箱进行解包后的片烟包图像，则对所述片烟包图像进行杂物残留检测，以判断所述片烟包是否解包完成；本实施例中，烟箱解包后得到片烟包，解包的杂物残留可能包含有纸板、编织袋、透明塑料薄膜，若检测到片烟包上没有杂无残留，则确定片烟包解包完成。
32.104、若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像，则对所述切片面图像进行包芯霉变检测，并输出包芯霉变检测结果；可选的，在一实施例中，上述步骤104包括：若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像，则通过第二预置centernet模型对所述切片面图像进行烟草检测，得到切片面图像的烟草区域并截图；通过预置shufflenetv2模型对截取的烟草切片面进行分类，判断所述片烟包的包芯是否霉变。
33.本实施例中，第二预置centernet模型用于进行烟草检测，第二预置centernet模型的训练方法如下：将预置训练数据集中的烟草切片面图像输入centernet，提取所述烟草切片面图像的特征图；通过预置卷积网络对所述特征图进行卷积，得到烟草切片面的预测热力图；通过预置损失函数优化所述卷积网络的参数，得到所述第二预置centernet模型。
34.本实施例中，shufflenetv2是一个轻量级的深度卷积神经网络，延迟低的同时准确度较高。
35.本实施例中，由于包芯霉变数据较少，shufflenetv2的训练过程中进行数据增强，加入focal loss损失函数缓解数据严重不均衡的问题。
36.105、若获取到的视频图像为装载所述片烟包的小车图像，则对所述小车图像进行漏油检测，以判断所述小车是否漏油；可选的，在一实施例中，上述步骤105包括：若获取到的视频图像为装载所述片烟包的小车图像，则通过带色彩恢复的多尺度视网膜增强算法对所述图像进行增强处理，得到增强图像；对所述增强图像进行接油盘检测，并根据检测结果进行截图处理，得到接油盘图像；通过对比度受限的自适应直方图均衡化算法对所述接油盘图像进行直方图均衡化处理，得到接油盘均衡图像；将所述接油盘均衡图像的rgb色彩空间转换为hsv色彩空间，并根据预置颜色阈值定位所述接油盘均衡图像的接油盘区域图像；
将所述接油盘区域图像转换为接油盘灰度图，并基于所述接油盘灰度图计算接油盘区域方差，根据计算结果判断所述小车是否漏油。
37.本实施例中，带色彩恢复的多尺度视网膜增强算法（multi-scale retinex with color restoration，msrcr）是一种图像增强算法，用于对图像进行增强处理，能够较好地完成动态范围的压缩，对于较暗区域的细节进行增强，保持色感的一致性，消除色偏。
38.本实施例中，通过目标检测的方法检测增强图像中的接油盘，目标检测的方法不限。
39.本实施例中，检测结果是接油盘或其它漏油收集装置的邻接坐标框，基于坐标框进行截图得到接油盘或其它漏油收集装置的图像。
40.本实施例中，对比度受限的自适应直方图均衡化算法（contrast limited adaptive histogram equalization，clahe）通过计算图像的局部直方图，重新分布亮度来改变图像对比度，限制对比度幅度，抑制相同区域噪音，实现直方图均衡化，增强图像对比度和图像边缘，保留重要的细节。
41.本实施例中，rgb色彩空间由红色（red，r）、绿色（green，g）和蓝色（blue，b）组成，hsv色彩空间由色相（hue，h）、饱和度（saturation，s）和明度（value，v）组成。hsv更接近人们对色彩的感知经验，能够直观地表达颜色的色调、鲜艳程度和明暗程度，便于进行色彩比对。
42.本实施例中，预置颜色阈值包括色相的上限与下限、饱和度的上限与下限、明度的上限与下限，将同时满足色相、饱和度、明度的上下限的区域视作接油盘区域。
43.106、若获取到的视频图像为装载过烟丝的烟丝桶图像，则对所述烟丝桶图像进行烟丝残留物检测，以判断所述烟丝桶是否清扫干净。
44.可选的，在一实施例中，上述步骤106包括：若获取到的视频图像为装载过烟丝的烟丝桶图像，则通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；将所述桶底图像的rgb色彩空间转换为hsv色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物的区域，并进行色彩提取，得到桶底hsv图像；将所述桶底hsv图像的hsv色彩空间转换为hls色彩空间进行去反光处理，得到剔除部分反光干扰的桶底hls图像，将所述桶底hls图像从hls色彩空间转换为yuv色彩空间并再次进行去反光处理，得到无反光的桶底yuv图像；将所述桶底yuv图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比。
45.本实施例中，烟丝桶图像是可以看到待测烟丝桶桶底的图像，烟丝桶图像的获取方法不限。
46.本实施例中，采用的目标检测算法不限，目标检测即检测烟丝桶的桶底，目标检测结果即桶底的图像范围。
47.本实施例中，hls色彩空间由色调(h)、饱和度(s)、亮度(l)三个颜色通道组成，yuv色彩空间的“y”表示明亮度（luminance或luma），也就是灰阶值，“u”和“v”表示的则是色度（chrominance或chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。
48.本实施例中，灰度图，又称灰阶图，把白色与黑色之间按对数关系分为若干等级，称为灰度，灰度共分为256阶，用灰度表示的图像称作灰度图。
49.本实施例中，灰度图是桶底yuv图像转换为灰度表示的图像。
50.本发明实施例中，获取片烟包图像，并通过文本识别算法对片烟包图像进行识别，得到片烟包图像中片烟包的片烟包编号；在对片烟包进行解包后检测片烟包的杂物残留，判断片烟包是否解包完成；若片烟包解包完成，则在对片烟包进行切片后基于切片面对片烟包进行包芯霉变检测；对装载片烟包的小车进行漏油检测，判断小车是否漏油；对装载过烟丝的烟丝桶进行烟丝残留物检测，判断烟丝桶是否清扫干净。本发明实现了自动化实时在线的工况监测，解决了现有的完全依靠人工在岗检测方法存在的漏检及高成本的问题，显著提高生产效率与自动化程度，质量稳定的同时降低了生产成本。
51.请参阅图2，本发明实施例中卷烟厂制丝车间工况监测方法的另一个实施例包括：201、将预置训练数据集中的图像输入centernet，提取所述图像的特征图，其中，所述预置训练数据集采用cutmix的方法进行数据增强；本实施例中，centernet是一种不需要手动设定锚框(anchor box)的目标检测网络，在速度和精度上都比较有优势，其通过目标中心点来呈现目标，然后在中心点位置回归出目标的一些属性，例如：尺寸、方向、姿态，将目标检测问题变成了一个标准的关键点估计问题，其将图像传入全卷积网络，得到一个热力图，热力图峰值点即中心点，每个特征图的峰值点位置预测了目标的宽高信息。
52.本实施例中，特征图的提取方法不限，包括但不限于resnet-18， dla-34，hourglass-104。
53.本实施例中，由于实际场景中若机械手解包不成功，一般是存在透明塑料薄膜的遮挡，纸板与编织袋遮挡很少，从而造成数据不均衡，因此通过数据增强的方式缓解数据不均衡的问题，提高centernet的准确性。
54.本实施例中，采用cutmix的方法进行数据增强，即截取纸板或编织袋块随机覆盖到烟草表面上进行遮挡，纸板或编织袋的占比介于1/6与1/2之间。
55.202、通过预置卷积网络对所述特征图进行卷积，得到片烟包的预测热力图；本实施例中，centernet将目标当成一个点来检测，即用目标锚框的中心点来表示这个目标，预测目标的中心点偏移量（offset），宽高（size）来得到物体实际锚框，而热力图则是表示分类信息，每一个类别都有一张热力图，每一张热力图上，若某个坐标处有物体目标的中心点，即在该坐标处产生一个关键点（keypoint），用高斯圆进行表示。
56.本实施例中，预测热力图即预测的热力图。
57.203、通过预置损失函数优化所述卷积网络的参数，得到第一预置centernet模型；本实施例中，损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越小，模型的性能越好。
58.本实施例中，损失函数的设计方式不限。
59.本实施例中，centernet提出了更好的两种检测中心点和角点机制，中心点池化（center pooling）用于预测中心点，通过相加特征图水平和垂直方向上最大值获得，通过中心点关键点可以获取更多的全局信息；级联角点池化（cascade corner pooling），同时获取内部和边沿信息以增加稳定性。
60.204、实时获取卷烟厂制丝车间进行工况监测的视频图像并进行识别；205、若获取的视频图像为烟箱图像，则通过文本识别算法对所述烟箱图像进行文本识别，得到所述烟箱图像中烟箱的编号；206、若获取的视频图像为所述烟箱进行解包后的片烟包图像，则对所述片烟包图像进行杂物残留检测，以判断所述片烟包是否解包完成；可选的，在一实施例中，上述步骤205包括：若获取的视频图像为所述烟箱进行解包后的片烟包图像，则通过第一预置centernet模型对所述片烟包图像进行片烟包检测，得到检测结果；基于所述检测结果，采用预置目标检测模型检测所述片烟包的表面是否存在遮挡，若所述片烟包表面不存在遮挡，则确定所述片烟包解包完成。
61.本实施例中，第一预置centernet模型用于进行片烟包检测，检测结果即片烟包的区域，基于此检测结果进行截图，得到片烟包区域的图像，采用预置目标检测模型对截图图像进行检测，判断片烟包表面是否存在遮挡。
62.本实施例中，目标检测模型的实现方法不限。
63.可选的，在一实施例中，若解包未完成，则触发解包异常告警。
64.207、若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像，则对所述切片面图像进行包芯霉变检测，并输出包芯霉变检测结果；可选的，在一实施例中，若包芯发生霉变，则触发包芯霉变异常告警。
65.208、若获取到的视频图像为装载所述片烟包的小车图像，则对所述小车图像进行漏油检测，以判断所述小车是否漏油；可选的，在一实施例中，若小车产生漏油，则触发小车漏油异常告警。
66.209、若获取到的视频图像为装载过烟丝的烟丝桶图像，则对所述烟丝桶图像进行烟丝残留物检测，以判断所述烟丝桶是否清扫干净。
67.可选的，在一实施例中，若烟丝桶中杂物残留占比超过预置阈值，则触发清扫异常告警。
68.本发明实施例中，获取片烟包图像，并通过文本识别算法对片烟包图像进行识别，得到片烟包图像中片烟包的片烟包编号；通过cutmix的方法进行数据，并在对片烟包进行解包后采用centernet模型检测片烟包的杂物残留，判断片烟包是否解包完成；若片烟包解包完成，则在对片烟包进行切片后基于切片面对片烟包进行包芯霉变检测；对装载片烟包的小车进行漏油检测，判断小车是否漏油；对装载过烟丝的烟丝桶进行烟丝残留物检测，判断烟丝桶是否清扫干净。本发明实现了自动化实时在线的工况监测，解决了现有的完全依靠人工在岗检测方法存在的漏检及高成本的问题，显著提高生产效率与自动化程度，质量稳定的同时降低了生产成本，通过cutmix进行数据增强，解决了数据不均衡产生的识别结果错误的问题，采用centernet进行目标检测，精度较高的同时速度更快，满足实时在线监测的需求。
69.上面对本发明实施例中卷烟厂制丝车间工况监测方法进行了描述，下面对本发明实施例中卷烟厂制丝车间工况监测装置进行描述，请参阅图3，本发明实施例中卷烟厂制丝车间工况监测装置一个实施例包括：图像获取模块301，用于实时获取卷烟厂制丝车间进行工况监测的视频图像并进
行识别；编号识别模块302，用于若获取的视频图像为烟箱图像，则通过文本识别算法对所述烟箱图像进行文本识别，得到所述烟箱图像中烟箱的编号；解包检测模块303，用于若获取的视频图像为所述烟箱进行解包后的片烟包图像，则对所述片烟包图像进行杂物残留检测，以判断所述片烟包是否解包完成；霉变检测模块304，用于若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像，则对所述切片面图像进行包芯霉变检测，并输出包芯霉变检测结果；漏油检测模块305，用于若获取到的视频图像为装载所述片烟包的小车图像，则对所述小车图像进行漏油检测，以判断所述小车是否漏油；残留检测模块306，用于若获取到的视频图像为装载过烟丝的烟丝桶图像，则对所述烟丝桶图像进行烟丝残留物检测，以判断所述烟丝桶是否清扫干净。
70.可选的，编号识别模块302具体用于：若获取的视频图像为烟箱图像，则采用基于微分二值化的实时场景文本检测算法对所述烟箱图像进行文本检测，得到文本区域图像；采用卷积神经网络对所述文本区域图像进行特征提取，得到特征序列，并将所述特征序列输入循环神经网络进行预测，得到预测序列；采用ctc算法对所述预测序列进行校正，得到文字识别结果，得到所述烟箱图像中烟箱的编号。
71.可选的，霉变检测模块304具体用于：若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像，则通过第二预置centernet模型对所述切片面图像进行烟草检测，得到切片面图像的烟草区域并截图；通过预置shufflenetv2模型对截取的烟草切片面进行分类，判断所述片烟包的包芯是否霉变。
72.可选的，漏油检测模块305具体用于：若获取到的视频图像为装载所述片烟包的小车图像，则通过带色彩恢复的多尺度视网膜增强算法对所述图像进行增强处理，得到增强图像；对所述增强图像进行接油盘检测，并根据检测结果进行截图处理，得到接油盘图像；通过对比度受限的自适应直方图均衡化算法对所述接油盘图像进行直方图均衡化处理，得到接油盘均衡图像；将所述接油盘均衡图像的rgb色彩空间转换为hsv色彩空间，并根据预置颜色阈值定位所述接油盘均衡图像的接油盘区域图像；将所述接油盘区域图像转换为接油盘灰度图，并基于所述接油盘灰度图计算接油盘区域方差，根据计算结果判断所述小车是否漏油。
73.可选的，残留检测模块306具体用于：若获取到的视频图像为装载过烟丝的烟丝桶图像，则通过预置目标检测算法对所述烟丝桶图像进行目标检测，得到目标检测结果；基于所述目标检测结果对所述烟丝桶图像进行截图，得到烟丝桶的桶底图像；
将所述桶底图像的rgb色彩空间转换为hsv色彩空间，根据预置颜色阈值定位烟丝桶桶底的烟丝残留物的区域，并进行色彩提取，得到桶底hsv图像；将所述桶底hsv图像的hsv色彩空间转换为hls色彩空间进行去反光处理，得到剔除部分反光干扰的桶底hls图像，将所述桶底hls图像从hls色彩空间转换为yuv色彩空间并再次进行去反光处理，得到无反光的桶底yuv图像；将所述桶底yuv图像转换为灰度图，并基于所述灰度图进行残留物占比计算，得到所述烟丝残留物的面积占比。
74.本发明实施例中，获取片烟包图像，并通过文本识别算法对片烟包图像进行识别，得到片烟包图像中片烟包的片烟包编号；在对片烟包进行解包后检测片烟包的杂物残留，判断片烟包是否解包完成；若片烟包解包完成，则在对片烟包进行切片后基于切片面对片烟包进行包芯霉变检测；对装载片烟包的小车进行漏油检测，判断小车是否漏油；对装载过烟丝的烟丝桶进行烟丝残留物检测，判断烟丝桶是否清扫干净。本发明实现了自动化实时在线的工况监测，解决了现有的完全依靠人工在岗检测方法存在的漏检及高成本的问题，显著提高生产效率与自动化程度，质量稳定的同时降低了生产成本。
75.请参阅图4，本发明实施例中卷烟厂制丝车间工况监测装置的另一个实施例包括：图像获取模块301，用于实时获取卷烟厂制丝车间进行工况监测的视频图像并进行识别；编号识别模块302，用于若获取的视频图像为烟箱图像，则通过文本识别算法对所述烟箱图像进行文本识别，得到所述烟箱图像中烟箱的编号；解包检测模块303，用于若获取的视频图像为所述烟箱进行解包后的片烟包图像，则对所述片烟包图像进行杂物残留检测，以判断所述片烟包是否解包完成；霉变检测模块304，用于若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像，则对所述切片面图像进行包芯霉变检测，并输出包芯霉变检测结果；漏油检测模块305，用于若获取到的视频图像为装载所述片烟包的小车图像，则对所述小车图像进行漏油检测，以判断所述小车是否漏油；残留检测模块306，用于若获取到的视频图像为装载过烟丝的烟丝桶图像，则对所述烟丝桶图像进行烟丝残留物检测，以判断所述烟丝桶是否清扫干净；特征提取模块307，用于将预置训练数据集中的图像输入centernet，提取所述图像的特征图，其中，所述预置训练数据集采用cutmix的方法进行数据增强；卷积预测模块308，用于通过预置卷积网络对所述特征图进行卷积，得到片烟包的预测热力图；参数优化模块309，用于通过预置损失函数优化所述卷积网络的参数，得到第一预置centernet模型。
76.可选的，解包检测模块303还可以具体用于：通过所述第一预置centernet模型对所述表面图像进行片烟包检测，得到检测结果；基于所述检测结果，采用预置目标检测模型检测所述片烟包的表面是否存在遮挡，若所述片烟包表面不存在遮挡，则确定所述片烟包解包完成。
77.本发明实施例中，获取片烟包图像，并通过文本识别算法对片烟包图像进行识别，
得到片烟包图像中片烟包的片烟包编号；通过cutmix的方法进行数据，并在对片烟包进行解包后采用centernet模型检测片烟包的杂物残留，判断片烟包是否解包完成；若片烟包解包完成，则在对片烟包进行切片后基于切片面对片烟包进行包芯霉变检测；对装载片烟包的小车进行漏油检测，判断小车是否漏油；对装载过烟丝的烟丝桶进行烟丝残留物检测，判断烟丝桶是否清扫干净。本发明实现了自动化实时在线的工况监测，解决了现有的完全依靠人工在岗检测方法存在的漏检及高成本的问题，显著提高生产效率与自动化程度，质量稳定的同时降低了生产成本，通过cutmix进行数据增强，解决了数据不均衡产生的识别结果错误的问题，采用centernet进行目标检测，精度较高的同时速度更快，满足实时在线监测的需求。
78.上面图3和图4从模块化功能实体的角度对本发明实施例中的卷烟厂制丝车间工况监测装置进行详细描述，下面从硬件处理的角度对本发明实施例中电子设备进行详细描述。
79.图5是本发明实施例提供的一种电子设备的结构示意图，该电子设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，cpu）510（例如，一个或一个以上处理器）和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530（例如一个或一个以上海量存储设备）。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对电子设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在电子设备500上执行存储介质530中的一系列指令操作。
80.电子设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图5示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
81.本发明还提供一种电子设备，所述电子设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述卷烟厂制丝车间工况监测方法的步骤。
82.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述卷烟厂制丝车间工况监测方法的步骤。
83.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
84.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全
部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory， rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
85.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。