基于塔克分解的回转窑状态识别方法及其相关设备与流程

1.本技术涉及工业化互联网技术领域，尤其涉及基于塔克分解的回转窑状态识别方法及其相关设备。


背景技术：

2.新型干法水泥生产线回转窑的控制与操作是最终实现设计意图、挖掘设备能力、提高企业效益最为重要的环节。水泥回转窑是目前我国水泥工业中应用比较广泛的一种窑型,其生产过程是一个典型的热工过程。水泥烧成过程具有非线性、多变量、强耦合、大时滞及时变等特性。这使得回转窑系统的窑况十分复杂。目前国内水泥回转窑大部分仍处于人工或半自动控制状态，即靠人工观察火焰，结合相关测量仪表，综合判断回转窑运行状态，手动调节各控制量。显然，这种控制方式，受人为因素影响大、控制不及时，即使有经验的操作工，也很难做到使回转窑长时间保持在最佳工作状态。
3.神经网络控制从微观上模拟人脑的结构和功能，即从研究和模拟人的神经元网络结构、功能以及传递、处理和控制信息的机理出发而设计的控制系统。神经网络不善于显示表达知识，但是它具有很强的逼近非线性函数的能力，目前有很多研究利用神经网络的非线性映射、特征抽取和容错能力来解决水泥窑优化控制建模问题，例如：bp、rbf。在工业的实际生产应用中，工况更为复杂粗放，这些神经网络的表现力会大大降低。还有利用烧成带视频图像中蕴含的温度场信息和熟料烧结信息来判断回转窑熟料烧结的工况的方式。但由于窑体的旋转和窑内粉尘烟雾的干扰，烧成带图像质量不高，边界不清，显著区域耦合性较强，现有的基于静态图像的方法难以提取具有区分性和鲁棒性的特征，导致对回转窑状态识别的精度较低、准确性较低。


技术实现要素：

4.本技术实施例的目的在于提出一种基于塔克分解的回转窑状态识别方法、装置、计算机设备及存储介质，提高对回转窑状态识别准确性。
5.为了解决上述技术问题，本技术实施例提供一种基于塔克分解的回转窑状态识别方法，采用了如下所述的技术方案：
6.一种基于塔克分解的回转窑状态识别方法，包括下述步骤：
7.根据预设的时间窗口获取对应的工艺参数和窑况视频，基于所述工艺参数构建对应各时间窗口的工艺组合数据，基于各时间窗口对应的所述窑况视频构建对应的烧成带拼接图像，并通过所有所述工艺组合数据和所有所述烧成带拼接图像分别训练预设的初始全卷积模型和初始残差神经模型，获得全卷积模型和残差神经模型；
8.基于所述全卷积模型对所述工艺组合数据进行特征提取操作，获得工艺特征数据，并基于所述残差神经模型对所述烧成带拼接图像进行特征提取操作，获得图像特征数据；
9.获取预设的基于塔克分解的初始特征融合模型和预设的初始长短期记忆模型，基
于所述工艺特征数据和所述图像特征数据训练所述初始特征融合模型和所述初始长短期记忆模型，获得特征融合模型和长短期记忆模型；
10.实时获取目标工艺参数和目标烧成带图像，根据所述全卷积模型和所述残差神经模型分别对所述目标工艺参数和所述目标烧成带图像进行特征提取操作，分别获得目标工艺特征数据和目标图像特征数据，并将所述目标工艺特征数据和所述目标图像特征数据依次输入至所述特征融合模型和长短期记忆模型中，获得目标窑况类别。
11.进一步的，所述基于所述工艺参数构建对应各时间窗口的工艺组合数据的步骤包括：
12.分别将各所述时间窗口对应的所述工艺参数转换为初始工艺矩阵；
13.基于时序拼接所述初始工艺矩阵，获得工艺拼接矩阵，并对所述工艺拼接矩阵进行矩阵转置操作，获得工艺转置矩阵；
14.根据所述工艺参数的维度对所述工艺转置矩阵进行切分操作，获得所述工艺组合数据。
15.进一步的，所述分别将各所述时间窗口对应的所述工艺参数转换为初始工艺矩阵的步骤包括：
16.检查所述工艺参数是否存在空值或异常值；
17.在存在所述空值或所述异常值时，调取上一时刻的工艺参数的值填充所述空值或替换所述异常值，获得第一工艺参数；
18.归一化所述第一工艺参数，获得第二工艺参数，将所述第二工艺参数转换为所述初始工艺矩阵。
19.进一步的，所述基于各时间窗口对应的所述窑况视频构建对应的烧成带拼接图像的步骤包括：
20.根据预设抽帧间隔，对所述窑况视频进行抽帧操作，获得烧成带帧数据；
21.将所述烧成带帧数据依据时序进行拼接，生成所述烧成带拼接图像。
22.进一步的，所述将所述烧成带帧数据依据时序进行拼接，生成所述烧成带拼接图像的步骤包括：
23.将烧成带帧数据依据时序进行无缝拼接，获得指定大小的初始烧成带拼接图像；
24.确定初始烧成带拼接图像中是否存在缺失部分，若存在，则通过预设颜色进行填充操作，获得所述烧成带拼接图像。
25.进一步的，所述基于所述全卷积模型对所述工艺组合数据进行特征提取操作，获得工艺特征数据，并基于所述残差神经模型对所述烧成带拼接图像进行特征提取操作，获得图像特征数据的步骤包括：
26.去除所述全卷积模型的全连接层，获得参数特征提取模型，将所述工艺组合数据输入至所述参数特征提取模型中，获得所述工艺特征数据；
27.去除所述残差神经模型的全连接层，获得图像特征提取模型，将所述烧成带拼接图像输入至所述图像特征提取模型中，获得所述图像特征数据。
28.进一步的，所述初始全卷积模型包括多个全卷积层，所述全卷积层包括卷积层和非线性激活层，所述通过所有所述工艺组合数据和所有所述烧成带拼接图像分别训练预设的初始全卷积模型和初始残差神经模型，获得全卷积模型和残差神经模型的步骤包括：
29.将所述工艺组合数据经过各所述全卷积层，通过所述卷积层对所述工艺组合数据进行下采样操作，通过所述非线性激活层的leaky_relu函数对所述工艺组合数据进行激活操作，获得第一分类数据；
30.基于第一分类数据迭代训练所述初始全卷积模型，获得所述全卷积模型；
31.将所述烧成带拼接图像输入至所述初始残差神经模型，获得第二分类数据，并基于所述第二分类数据迭代训练所述初始残差神经模型，获得所述残差神经模型。
32.进一步的，所述基于所述工艺特征数据和所述图像特征数据训练所述初始特征融合模型和所述初始长短期记忆模型，获得特征融合模型和长短期记忆模型的步骤包括：
33.将所述工艺特征数据和所述图像特征数据输入至所述初始特征融合模型中，所述初始特征融合模型对所述工艺特征数据和所述图像特征数据进行塔克分解和特征融合，获得融合特征；
34.将所述融合特征输入至所述初始长短期记忆模型中，获得预估窑况类别；
35.基于所述预估窑况类别迭代训练所述初始特征融合模型和所述初始长短期记忆模型，获得所述特征融合模型和所述长短期记忆模型。
36.进一步的，所述初始特征融合模型对所述工艺特征数据和所述图像特征数据进行塔克分解和特征融合，获得融合特征的步骤包括：
37.初始特征融合模型通过如下公式对所述工艺特征数据和所述图像特征数据进行塔克分解和特征融合，获得融合特征：
38.y＝(tc×qt
wq)
×
(v
t
wv))
×
wo，其中，y表示所述融合特征，q
t
表示所述工艺特征数据，v
t
表示所述图像特征数据，wq，wv表示预设的特征映射矩阵，tc表示预设的融合矩阵，wo表示预设的结果映射矩阵。
39.为了解决上述技术问题，本技术实施例还提供一种基于塔克分解的回转窑状态识别装置，采用了如下所述的技术方案：
40.一种基于塔克分解的回转窑状态识别装置，包括：
41.训练模块，用于根据预设的时间窗口获取对应的工艺参数和窑况视频，基于所述工艺参数构建对应各时间窗口的工艺组合数据，基于各时间窗口对应的所述窑况视频构建对应的烧成带拼接图像，并通过所有所述工艺组合数据和所有所述烧成带拼接图像分别训练预设的初始全卷积模型和初始残差神经模型，获得全卷积模型和残差神经模型；
42.转化模块，用于基于所述全卷积模型对所述工艺组合数据进行特征提取操作，获得工艺特征数据，并基于所述残差神经模型对所述烧成带拼接图像进行特征提取操作，获得图像特征数据；
43.融合模块，用于获取预设的基于塔克分解的初始特征融合模型和预设的初始长短期记忆模型，基于所述工艺特征数据和所述图像特征数据训练所述初始特征融合模型和所述初始长短期记忆模型，获得特征融合模型和长短期记忆模型；
44.输入模块，用于实时获取目标工艺参数和目标烧成带图像，根据所述全卷积模型和所述残差神经模型分别对所述目标工艺参数和所述目标烧成带图像进行特征提取操作，分别获得目标工艺特征数据和目标图像特征数据，并将所述目标工艺特征数据和所述目标图像特征数据依次输入至所述特征融合模型和长短期记忆模型中，获得目标窑况类别。
45.为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述
的技术方案：
46.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的基于塔克分解的回转窑状态识别方法的步骤。
47.为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
48.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述的基于塔克分解的回转窑状态识别方法的步骤。
49.与现有技术相比，本技术实施例主要有以下有益效果：
50.本技术通过预设的时间窗口获取对应的工艺参数和窑况视频，从而构建对应不同时间窗口的工艺组合数据和烧成带拼接图像，训练对应的初始全卷积模型和初始残差神经模型，获得全卷积模型和残差神经模型。并基于全卷积模型和残差神经模型对工艺组合数据和烧成带拼接图像进行特征提取，获得工艺特征数据和图像特征数据，能够提取出工艺参数和窑况视频的有效特征。将提取出来的工艺特征数据和图像特征数据基于塔克分解进行模态融合，能够有效地建立工艺参数和窑况视频的之间的复杂关系，最后通过训练初始长短期记忆模型，进而获得长短期记忆模型，通过长短期记忆模型进行窑况状态时序特征的提取，获得目标窑况类别，提高了窑况状态类别的判断准确率。
附图说明
51.为了更清楚地说明本技术中的方案，下面将对本技术实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1是本技术可以应用于其中的示例性系统架构图；
53.图2是根据本技术的基于塔克分解的回转窑状态识别方法的一个实施例的流程图；
54.图3是根据本技术的基于塔克分解的回转窑状态识别装置的一个实施例的结构示意图；
55.图4是根据本技术的计算机设备的一个实施例的结构示意图。
56.附图标记：200、计算机设备；201、存储器；202、处理器；203、网络接口；300、基于塔克分解的回转窑状态识别装置；301、训练模块；302、转化模块；303、融合模块；304、输入模块。
具体实施方式
57.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用
于描述特定顺序。
58.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
59.为了使本技术领域的人员更好地理解本技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
60.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
61.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
62.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
63.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
64.需要说明的是，本技术实施例所提供的基于塔克分解的回转窑状态识别方法一般由服务器/终端设备执行，相应地，基于塔克分解的回转窑状态识别装置一般设置于服务器/终端设备中。
65.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
66.继续参考图2，示出了根据本技术的基于塔克分解的回转窑状态识别方法的一个实施例的流程图。所述的基于塔克分解的回转窑状态识别方法，包括以下步骤：
67.s1：根据预设的时间窗口获取对应的工艺参数和窑况视频，基于所述工艺参数构建对应各时间窗口的工艺组合数据，基于各时间窗口对应的所述窑况视频构建对应的烧成带拼接图像，并通过所有所述工艺组合数据和所有所述烧成带拼接图像分别训练预设的初始全卷积模型和初始残差神经模型，获得全卷积模型和残差神经模型。
68.在本实施例中，通过部署的传感器进行工艺参数和窑况视频的采集、存储和转换。计算机获取传感器中的工艺参数和窑况视频。窑况参数包括工艺参数和窑况视频。工艺参数具有n个维度，即对应有n个相关工艺参数，例如：二次风温、窑电流、kh值等。本技术设定有采集数据总时长，时间窗口t分钟以及抽帧间隔k秒钟。每个时间窗口都对应有窑况状态类别，例如低、正常、高等。这些窑况状态类别作为对应的工艺组合数据和烧成带拼接图像的标签，用于训练初始全卷积模型和初始残差神经模型。对应同一时间窗口的工艺参数和窑况视频对应的窑况状态类别相同。基于所有的所述工艺组合数据构建工艺参数数据集，基于所有的烧成带拼接图像构建窑内烧成带图像集。通过工艺参数数据集和窑内烧成带图
像集分别训练初始全卷积模型和初始残差神经模型。
69.需要说明的是：在通过工艺参数数据集(即所有工艺组合数据构)和窑内烧成带图像集(即所有烧成带拼接图像)分别训练初始全卷积模型和初始残差神经模型，在工艺参数数据集中随机选取80％的样本作为工艺训练样本，剩余20％的样本作为工艺测试样本。通过工艺训练样本训练初始卷积模型，通过工艺测试样本测试训练过程中的初始全卷积模型。其中，具体过程为，将工艺训练样本依次经过该初始卷积模型中的各全卷积层，该全卷积层中包括卷积层和非线性激活层，所述卷积层对所述工艺训练样本进行下采样操作，通过所述非线性激活层的leaky_relu函数对所述工艺训练样本进行激活操作。并将最后一个非线性激活层输出的数据输入至该模型的全连接层中，获得输出的第一分类数据，直到经过所有工艺训练样本训练后，获得待验证全卷积模型，通过工艺测试样本测试该待验证全卷积模型，若准确率超过准确率阈值，则确定验证通过，将该待验证全卷积模型作为训练后的所述全卷积模型。若验证不通过，则重新迭代训练该初始全卷积模型，直至验证通过，获得所述全卷积模型。在窑内烧成带图像集中随机选取80％的样本作为图像训练样本，剩余20％的样本作为图像测试样本。通过图像训练样本训练初始残差神经模型，通过图像测试样本测试训练过程中的初始残差神经模型。
70.在本实施例中，基于塔克分解的回转窑状态识别方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式获取对应的工艺参数和窑况视频。需要指出的是，上述无线连接方式可以包括但不限于3g/4g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
71.具体的，所述基于所述工艺参数构建对应各时间窗口的工艺组合数据的步骤包括：
72.分别将各所述时间窗口对应的所述工艺参数转换为初始工艺矩阵；
73.基于时序拼接所述初始工艺矩阵，获得工艺拼接矩阵，并对所述工艺拼接矩阵进行矩阵转置操作，获得工艺转置矩阵；
74.根据所述工艺参数的维度对所述工艺转置矩阵进行切分操作，获得所述工艺组合数据。
75.在本实施例中，工艺参数的维度为n，即包括n个相关工艺参数，例如：二次风温、窑电流、kh值等。将t分钟的时间窗口内的工艺参数转换为初始工艺矩阵，则该初始工艺矩阵的大小为n
×
t，例如：
[0076][0077]
则n
×
t的初始工艺矩阵表达为:其中，n个相关工艺参数就是n行，时间窗t就是t列，每一分钟的数值是一列，n个相关工艺参数按照时序排列。然后，基于时序拼接所述初始工艺矩阵，获得工艺拼接矩阵，即将所有的初始工艺矩阵按列拼接，组合成(s
÷
t
×
n)
×
t的工艺拼接矩阵，对该工艺拼接矩阵进行矩阵转置操作，获得工艺转置矩阵。根据所述工艺参数的维度对所述工艺转置矩阵进行切分操作，获得所述工艺组合数据。即对工艺转置矩阵以n行为一组进行切分，表示n个相关工艺参数在时间窗内的数据，其中，每一行是某相关工艺参数在时间窗口内的分钟级数据。最终获得大小为n
×
t的工艺组合数据，每一个工艺组合数据对应一个时间窗口，对应一个窑况状态类别。
[0078]
其中，所述分别将各所述时间窗口对应的所述工艺参数转换为初始工艺矩阵的步骤包括：
[0079]
检查所述工艺参数是否存在空值或异常值；
[0080]
在存在所述空值或所述异常值时，调取上一时刻的工艺参数的值填充所述空值或替换所述异常值，获得第一工艺参数；
[0081]
归一化所述第一工艺参数，获得第二工艺参数，将所述第二工艺参数转换为所述初始工艺矩阵。
[0082]
在本实施例中，检查所述工艺参数是否存在空值或异常值。在存在所述空值或所述异常值时，采用上一时刻的值进行填充或替换。对于异常值的判断，计算所有工艺参数的方差，将该方差的预设倍数，例如方差的3倍，作为异常阈值，在工艺参数的值超过该异常阈值时，确定该值为异常值。将工艺参数的维度为n，将工艺参数各维度的相关工艺参数进行零均值归一化处理，消除量纲影响。
[0083]
此外，所述基于各时间窗口对应的所述窑况视频构建对应的烧成带拼接图像的步骤包括：
[0084]
根据预设抽帧间隔，对所述窑况视频进行抽帧操作，获得烧成带帧数据；
[0085]
将所述烧成带帧数据依据时序进行拼接，生成所述烧成带拼接图像。
[0086]
在本实施例中，本技术设置有抽帧间隔k秒钟，其中，t(min)
×
60＝抽取图像数量(张)
×
抽帧间隔k(s)，即在每个时间窗口中间隔k秒，抽取一张图像。其中，60t＞k。
[0087]
其中，所述将所述烧成带帧数据依据时序进行拼接，生成所述烧成带拼接图像的步骤包括：
[0088]
将烧成带帧数据依据时序进行无缝拼接，获得指定大小的初始烧成带拼接图像；
[0089]
确定初始烧成带拼接图像中是否存在缺失部分，若存在，则通过预设颜色进行填充操作，获得所述烧成带拼接图像。
[0090]
在本实施例中，对所述窑况视频进行抽帧操作和裁切操作，获得m
×
m大小的烧成带帧数据。将烧成带帧数据依据时序进行无缝拼接，获得指定大小的初始烧成带拼接图像，确定初始烧成带拼接图像中是否存在缺失部分，若存在，则用预设颜色，如黑色或白色进行填充，获得烧成带拼接图像，即每个时间窗t内抽帧出来的图像构成一张m
×
m(指定大小)的烧成带拼接图像。具体的拼接过程为：按时序拼接，先横着拼一行，拼到该行的指定数量，换下一行继续拼接，其中，m
÷
m＝整数。比如m＝3，m＝1,则要构成3
×
3的大图需要9个1
×
1的小图，当通过时间窗抽帧得到了7张小图，那么按顺序拼完剩余的部分用黑或者白填充。若不存在缺失部分，则无需进行该填充操作，直接将初始烧成带拼接图像作为所述烧成带拼接图像。其中，一张烧成带拼接图像对应一个时间窗口，对应一个窑况状态类别。
[0091]
另外，所述初始全卷积模型包括多个全卷积层，所述全卷积层包括卷积层和非线性激活层，所述通过所有所述工艺组合数据和所有所述烧成带拼接图像分别训练预设的初始全卷积模型和初始残差神经模型，获得全卷积模型和残差神经模型的步骤包括：
[0092]
将所述工艺组合数据经过各所述全卷积层，通过所述卷积层对所述工艺组合数据进行下采样操作，通过所述非线性激活层的leaky_relu函数对所述工艺组合数据进行激活操作，获得第一分类数据；
[0093]
基于第一分类数据迭代训练所述初始全卷积模型，获得所述全卷积模型；
[0094]
将所述烧成带拼接图像输入至所述初始残差神经模型，获得第二分类数据，并基于所述第二分类数据迭代训练所述初始残差神经模型，获得所述残差神经模型。
[0095]
在本实施例中，由上述可知，工艺组合数据的为n
×
t的矩阵，窑况不仅与每个时间窗口对应的工艺组合数据相关，在各工艺组合数据之间同样具有一定的相关性存在。因此采用初始全卷积模型(即一维卷积神经网络)进行下采样特征提取，提取出上下文关系特征。初始全卷积模型为全卷积网络，网络组成如下表所示：
[0096][0097][0098]
，其中，leaky_relu层为非线性激活层。非线性激活函数(leaky relu)是relu激活函数的变体，该函数输出对负值输入有很小的坡度。由于导数总是不为零，这能减少静默神经元的出现，允许基于梯度的学习(虽然会很慢)，解决了relu函数进入负区间后，导致神经元不学习的问题。初始全卷积模型包括上表中的多个卷积层和多个非线性激活层(leaky_
relu层)，以及一个全连接层。将工艺组合数据(n
×
t大小)输入至第一个卷积层中，第一个卷积层中卷积核为2，通道数为8，获得输出的(n-1,8)。将(n-1,8)输入至第一个leaky_relu层中，第一个leaky_relu层中通道数为8，获得输出的(n-1,8)。将第一个leaky_relu层输出的(n-1,8)输入至第二个卷积层中，第二个卷积层的卷积核为2，通道数为16，获得输出的(n-2,16)。将(n-2,16)输入至第二个leaky_relu层中，第二个leaky_relu层通道数为16，获得输出的(n-2,16)。以此类推，其中，卷积层中的卷积核数量不变，通道数依次倍增。leaky_relu层中的通道数依次倍增。最后获得最后一个leaky_relu层输出的(1,c)，将该(1,c)输入至全连接层中，即输出第一分类数据。
[0099]
烧成带拼接图像大小为m
×
m，该烧成带拼接图像包括了对应时间窗口内的窑内烧成带一系列的变化。使用初始残差神经模型进行图像特征提取，实现使用时间窗口内一系列图像进行提取及窑况判断，减小了单张图像中窑体的旋转和窑内粉尘烟雾对分类的干扰。初始残差神经模采用迁移学习的方法，去掉目前的resnet(残差网络)原有的全连接层，添加自行设计的符合场景需要的全连接层，其中，该自行涉及的全连接层设定最终输入其中，并经过归一化的数据，其不同的值所对应的本场景的分类类别，如0.5对应窑况状态为低，0.7对应窑况状态为高等。搭建好残差神经模型后，将烧成带拼接图像和对应的窑况状态类别的标签投入初始残差神经模型进行训练，并保存训练获得的模型。
[0100]
s2：基于所述全卷积模型对所述工艺组合数据进行特征提取操作，获得工艺特征数据，并基于所述残差神经模型对所述烧成带拼接图像进行特征提取操作，获得图像特征数据。
[0101]
在本实施例中，通过全卷积模型和残差神经模型分别将工艺组合数据和烧成带拼接图像两种模态数据转化为高维特征表达，即工艺特征数据和图像特征数据。用于后续对初始特征融合模型和预设的初始长短期记忆模型的训练。
[0102]
其中，所述基于所述全卷积模型对所述工艺组合数据进行特征提取操作，获得工艺特征数据，并基于所述残差神经模型对所述烧成带拼接图像进行特征提取操作，获得图像特征数据的步骤包括：
[0103]
去除所述全卷积模型的全连接层，获得参数特征提取模型，将所述工艺组合数据输入至所述参数特征提取模型中，获得所述工艺特征数据；
[0104]
去除所述残差神经模型的全连接层，获得图像特征提取模型，将所述烧成带拼接图像输入至所述图像特征提取模型中，获得所述图像特征数据。
[0105]
在本实施例中，后续将工艺特征数据和图像特征数据作为初始特征融合模型和初始长短期记忆模型的训练样本。其标签依然为对应时间窗口的窑况状态类别。工艺参数的特征提取：去除全卷积模型的全连接层，即分类层，获得参数特征提取模型。将工艺组合数据投入该参数特征提取模型进行计算，得到对应的1
×
c的工艺特征数据，即1
×
c的特征向量。代表了对应时间窗口内的n个相关工艺参数的特征。窑内烧成带图像特征提取：去除所述残差神经模型的全连接层，获得图像特征提取模型。将烧成带拼接图像投入该图像特征提取模型进行计算，得到对应的7
×
7大小图像特征数据，即7
×
7的特征图。其中，图像特征数据的大小是基于对初始残差神经模型的设定而获得的，在初始残差模型改变时，该图像特征数据的大小也可能随之改变。
[0106]
s3：获取预设的基于塔克分解的初始特征融合模型和预设的初始长短期记忆模
型，基于所述工艺特征数据和所述图像特征数据训练所述初始特征融合模型和所述初始长短期记忆模型，获得特征融合模型和长短期记忆模型。
[0107]
在本实施例中，由于采用了基于塔克分解的初始特征融合模型，同时考虑到训练样本在时间窗口之间的时域联系，采用长短期时间序列预测方法，即长短期记忆模型(lstm)来进行时域特征提取。采用基于softmax激活函数的全连接层进行最终的分类识别。基于所述工艺特征数据和所述图像特征数据对训练初始特征融合模型和初始长短期记忆模型进行训练，并保存训练后的模型。
[0108]
其中，所述基于所述工艺特征数据和所述图像特征数据训练所述初始特征融合模型和所述初始长短期记忆模型，获得特征融合模型和长短期记忆模型的步骤包括：
[0109]
将所述工艺特征数据和所述图像特征数据输入至所述初始特征融合模型中，所述初始特征融合模型对所述工艺特征数据和所述图像特征数据进行塔克分解和特征融合，获得融合特征；
[0110]
将所述融合特征输入至所述初始长短期记忆模型中，获得预估窑况类别；
[0111]
基于所述预估窑况类别迭代训练所述初始特征融合模型和所述初始长短期记忆模型，获得所述特征融合模型和所述长短期记忆模型。
[0112]
在本实施例中，通过初始特征融合模型对所述工艺特征数据和所述图像特征数据进行塔克分解和特征融合，获得融合特征，实现将同一时间窗口的两种模态特征进行基于塔克分解的特征融合。再输入分类模型，即初始长短期记忆模型中，获得预估窑况类别。
[0113]
进一步的，所述初始特征融合模型对所述工艺特征数据和所述图像特征数据进行塔克分解和特征融合，获得融合特征的步骤包括：
[0114]
初始特征融合模型通过如下公式对所述工艺特征数据和所述图像特征数据进行塔克分解和特征融合，获得融合特征：
[0115]
y＝(tc×qt
wq)
×
(v
t
wv))
×
wo，其中，y表示所述融合特征，q
t
表示所述工艺特征数据，v
t
表示所述图像特征数据，wq，wv表示预设的特征映射矩阵，tc表示预设的融合矩阵，wo表示预设的结果映射矩阵。
[0116]
在本实施例中，基于塔克分解的特征融合：将提取出来的工艺特征数据和图像特征数据进行塔克分解和特征融合。分解后每个矩阵是可解释的，wq，wv表示预设的特征映射矩阵，tc是图像特征数据的融合矩阵，经过计算tc之后包含了任意图像特征数据和工艺特征数据的关系信息，最后wo把这些关系映射到融合特征y中。每个时间窗样本都有其对应的融合特征。将初始特征融合模型和初始长短期记忆模型一起训练，通过优化迭代得到训练之后的wq,wv,tc,wo，初始的值是随机或者自定义的。
[0117]
s4：实时获取目标工艺参数和目标烧成带图像，根据所述全卷积模型和所述残差神经模型分别对所述目标工艺参数和所述目标烧成带图像进行特征提取操作，分别获得目标工艺特征数据和目标图像特征数据，并将所述目标工艺特征数据和所述目标图像特征数据依次输入至所述特征融合模型和长短期记忆模型中，获得目标窑况类别。
[0118]
在本实施例中，本技术的应用过程，通过全卷积模型和所述残差神经模型分别对所述目标工艺参数和所述目标烧成带图像进行特征提取操作，分别获得目标工艺特征数据和目标图像特征数据。实际是通过参数特征提取模型和图像特征提取模型分别对所述目标工艺参数和所述目标烧成带图像进行特征提取操作，分别获得目标工艺特征数据和目标图
像特征数据。
[0119]
本技术通过预设的时间窗口获取对应的工艺参数和窑况视频，从而构建对应不同时间窗口的工艺组合数据和烧成带拼接图像，训练对应的初始全卷积模型和初始残差神经模型，获得全卷积模型和残差神经模型。并基于全卷积模型和残差神经模型对工艺组合数据和烧成带拼接图像进行特征提取，获得工艺特征数据和图像特征数据，能够提取出工艺参数和窑况视频的有效特征。将提取出来的工艺特征数据和图像特征数据基于塔克分解进行模态融合，能够有效地建立工艺参数和窑况视频的之间的复杂关系，最后通过训练初始长短期记忆模型，进而获得长短期记忆模型，通过长短期记忆模型进行窑况状态时序特征的提取，获得目标窑况类别，提高了窑况状态类别的判断准确率。本技术能有效地识别回转窑的状态类别，为进一步实现回转窑的优化控制奠定了基础，可提高水泥生产的自动化水平，降低能耗节约能源。
[0120]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
[0121]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0122]
进一步参考图3，作为对上述图2所示方法的实现，本技术提供了一种基于塔克分解的回转窑状态识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0123]
如图3所示，本实施例所述的基于塔克分解的回转窑状态识别装置300包括：训练模块301、转化模块302、融合模块303以及输入模块304。其中：训练模块301，用于根据预设的时间窗口获取对应的工艺参数和窑况视频，基于所述工艺参数构建对应各时间窗口的工艺组合数据，基于各时间窗口对应的所述窑况视频构建对应的烧成带拼接图像，并通过所有所述工艺组合数据和所有所述烧成带拼接图像分别训练预设的初始全卷积模型和初始残差神经模型，获得全卷积模型和残差神经模型；转化模块302，用于基于所述全卷积模型对所述工艺组合数据进行特征提取操作，获得工艺特征数据，并基于所述残差神经模型对所述烧成带拼接图像进行特征提取操作，获得图像特征数据；融合模块303，用于获取预设的基于塔克分解的初始特征融合模型和预设的初始长短期记忆模型，基于所述工艺特征数据和所述图像特征数据训练所述初始特征融合模型和所述初始长短期记忆模型，获得特征融合模型和长短期记忆模型；输入模块304，用于实时获取目标工艺参数和目标烧成带图像，根据所述全卷积模型和所述残差神经模型分别对所述目标工艺参数和所述目标烧成带图像进行特征提取操作，分别获得目标工艺特征数据和目标图像特征数据，并将所述目标工艺特征数据和所述目标图像特征数据依次输入至所述特征融合模型和长短期记忆模型
中，获得目标窑况类别。
[0124]
在本实施例中，本技术通过预设的时间窗口获取对应的工艺参数和窑况视频，从而构建对应不同时间窗口的工艺组合数据和烧成带拼接图像，训练对应的初始全卷积模型和初始残差神经模型，获得全卷积模型和残差神经模型。并基于全卷积模型和残差神经模型对工艺组合数据和烧成带拼接图像进行特征提取，获得工艺特征数据和图像特征数据，能够提取出工艺参数和窑况视频的有效特征。将提取出来的工艺特征数据和图像特征数据基于塔克分解进行模态融合，能够有效地建立工艺参数和窑况视频的之间的复杂关系，最后通过训练初始长短期记忆模型，进而获得长短期记忆模型，通过长短期记忆模型进行窑况状态时序特征的提取，获得目标窑况类别，提高了窑况状态类别的判断准确率。
[0125]
所述训练模块301包括转换子模块、拼接子模块和切分子模块，其中，转换子模块用于分别将各所述时间窗口对应的所述工艺参数转换为初始工艺矩阵；拼接子模块用于基于时序拼接所述初始工艺矩阵，获得工艺拼接矩阵，并对所述工艺拼接矩阵进行矩阵转置操作，获得工艺转置矩阵；切分子模块用于根据所述工艺参数的维度对所述工艺转置矩阵进行切分操作，获得所述工艺组合数据。
[0126]
转换子模块包括检查单元、调取单元和归一化单元，检查单元用于检查所述工艺参数是否存在空值或异常值；调取单元用于在存在所述空值或所述异常值时，调取上一时刻的工艺参数的值填充所述空值或替换所述异常值，获得第一工艺参数；归一化单元用于归一化所述第一工艺参数，获得第二工艺参数，将所述第二工艺参数转换为所述初始工艺矩阵。
[0127]
训练模块301还包括抽帧子模块和图像拼接子模块，抽帧子模块用于根据预设抽帧间隔，对所述窑况视频进行抽帧操作，获得烧成带帧数据；图像拼接子模块用于将所述烧成带帧数据依据时序进行拼接，生成所述烧成带拼接图像。
[0128]
图像拼接子模块包括拼接单元和填充单元，其中，拼接单元用于将烧成带帧数据依据时序进行无缝拼接，获得指定大小的初始烧成带拼接图像。填充单元用于确定初始烧成带拼接图像中是否存在缺失部分，若存在，则通过预设颜色进行填充操作，获得所述烧成带拼接图像。
[0129]
所述初始全卷积模型包括多个全卷积层，所述全卷积层包括卷积层和非线性激活层，所述训练模块301还包括激活子模块、迭代子模块和训练子模块，激活子模块用于将所述工艺组合数据经过各所述全卷积层，通过所述卷积层对所述工艺组合数据进行下采样操作，通过所述非线性激活层的leaky_relu函数对所述工艺组合数据进行激活操作，获得第一分类数据；迭代子模块用于基于第一分类数据迭代训练所述初始全卷积模型，获得所述全卷积模型；训练子模块用于将所述烧成带拼接图像输入至所述初始残差神经模型，获得第二分类数据，并基于所述第二分类数据迭代训练所述初始残差神经模型，获得所述残差神经模型。
[0130]
转化模块302包括第一提取子模块和第二提取子模块，其中，第一提取子模块用于去除所述全卷积模型的全连接层，获得参数特征提取模型，将所述工艺组合数据输入至所述参数特征提取模型中，获得所述工艺特征数据；第二提取子模块用于去除所述残差神经模型的全连接层，获得图像特征提取模型，将所述烧成带拼接图像输入至所述图像特征提取模型中，获得所述图像特征数据。
[0131]
融合模块303包括融合子模块、预估子模块和获得子模块，其中，融合子模块用于将所述工艺特征数据和所述图像特征数据输入至所述初始特征融合模型中，所述初始特征融合模型对所述工艺特征数据和所述图像特征数据进行塔克分解和特征融合，获得融合特征；预估子模块用于将所述融合特征输入至所述初始长短期记忆模型中，获得预估窑况类别；获得子模块用于基于所述预估窑况类别迭代训练所述初始特征融合模型和所述初始长短期记忆模型，获得所述特征融合模型和所述长短期记忆模型。
[0132]
本技术通过预设的时间窗口获取对应的工艺参数和窑况视频，从而构建对应不同时间窗口的工艺组合数据和烧成带拼接图像，训练对应的初始全卷积模型和初始残差神经模型，获得全卷积模型和残差神经模型。并基于全卷积模型和残差神经模型对工艺组合数据和烧成带拼接图像进行特征提取，获得工艺特征数据和图像特征数据，能够提取出工艺参数和窑况视频的有效特征。将提取出来的工艺特征数据和图像特征数据基于塔克分解进行模态融合，能够有效地建立工艺参数和窑况视频的之间的复杂关系，最后通过训练初始长短期记忆模型，进而获得长短期记忆模型，通过长短期记忆模型进行窑况状态时序特征的提取，获得目标窑况类别，提高了窑况状态类别的判断准确率。
[0133]
为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
[0134]
所述计算机设备200包括通过系统总线相互通信连接存储器201、处理器202、网络接口203。需要指出的是，图中仅示出了具有组件201-203的计算机设备200，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
[0135]
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
[0136]
所述存储器201至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器201可以是所述计算机设备200的内部存储单元，例如该计算机设备200的硬盘或内存。在另一些实施例中，所述存储器201也可以是所述计算机设备200的外部存储设备，例如该计算机设备200上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器201还可以既包括所述计算机设备200的内部存储单元也包括其外部存储设备。本实施例中，所述存储器201通常用于存储安装于所述计算机设备200的操作系统和各类应用软件，例如基于塔克分解的回转窑状态识别方法的计算机可读指令等。此外，所述存储器201还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0137]
所述处理器202在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器202通常用于控制所述计算机设备200的总体操作。本实施例中，所述处理器202用于运行所述存储器201中存储的计算机可读指令或者处理数据，例如运行所述基于塔克分解的回转窑状态识别方法的计算机可读指令。
[0138]
所述网络接口203可包括无线网络接口或有线网络接口，该网络接口203通常用于在所述计算机设备200与其他电子设备之间建立通信连接。
[0139]
在本实施例中，将提取出来的工艺特征数据和图像特征数据基于塔克分解进行模态融合，能够有效地建立工艺参数和窑况视频的之间的复杂关系，最后通过训练初始长短期记忆模型，进而获得长短期记忆模型，通过长短期记忆模型进行窑况状态时序特征的提取，获得目标窑况类别，提高了窑况状态类别的判断准确率。
[0140]
本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于塔克分解的回转窑状态识别方法的步骤。
[0141]
在本实施例中，将提取出来的工艺特征数据和图像特征数据基于塔克分解进行模态融合，能够有效地建立工艺参数和窑况视频的之间的复杂关系，最后通过训练初始长短期记忆模型，进而获得长短期记忆模型，通过长短期记忆模型进行窑况状态时序特征的提取，获得目标窑况类别，提高了窑况状态类别的判断准确率。
[0142]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0143]
显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。