一种基于Attention-GRU模型的纺纱质量预测方法

一种基于attention-gru模型的纺纱质量预测方法
技术领域
1.本技术属于纺织技术领域，具体涉及一种基于attention-gru模型的纺纱质量预测方法。


背景技术：

2.纺纱做为织造的前道加工过程，其纱线质量将直接决定经纬纱的效率，并最终影响织物成品的品质，因此需要依据纱线品质指标来确定配棉方案以及加工工艺参数。然而目前纺纱车间生产以订单为导向，根据订单需求来规划具体生产流程，随着订单品种以及加工工艺参数的多样化，以往通过大量试纺来确定生产方案的方式无法满足企业的加工进程。此外由于原料的多样性、工艺路线的多环节性等因素，仅依赖技术人员的个人经验将造成纱线质量的预测充满不确定性。
3.针对这种情况，国内外学者提出了一系列基于数据驱动的纱线质量预测方法，如将经过优化的支持向量机模型用于小样本的纺纱过程质量预测，尽管泛化能力强，但该模型对参数以及核函数的选择较为敏感；或者建立棉卷/生条与成纱强力、条干cv质量指标的多元线性回归模型，从而有效减少了原棉的浪费，但在复杂的非线性关系下无法很好地适用；或者基于灰色预测模型研究了化纤纺丝工艺参数对卷绕张力的影响，为纺丝张力预测提供了一种适用方法，但最终的预测精度仍然不足。随着深度学习理论的高速发展，其在数据非线性运算等领域的优势逐渐显现,研究者基于bp神经网络不断优化并广泛运用于纺纱质量预测中。有学者提出了具有双隐层的四层bp神经网络进行棉纱成纱质量预测，相比于三层网络其在训练步数以及平均误差上均有提升。其他学者通过遗传算法、烟花算法等生物启发式算法来对bp神经网络权重和阀值的寻优过程进行了优化，从而提高纱线质量预测模型的寻优速度和精度。然而纺纱过程是带时间序列的任务场景，特点是前后道联系紧密，大部分基于bp神经网络的预测模拟的输入指标以原棉的物理指标为主，很少涉及工艺参数的输入，即使涉及也无法考虑加工工序的时序性对成纱质量的影响。综上，现有的纺纱质量预测方法存在准确度有限且计算耗时长的问题，不能广泛应用于棉纱生产工艺。


技术实现要素：

4.本技术实施例的目的是提供一种基于attention-gru模型的纺纱质量预测方法，以解决现有纺纱质量的检测方法不能充分考虑加工工序步骤导致的准确性有限且耗时长的问题。
5.为了解决上述技术问题，本技术是这样实现的：
6.第一方面，本技术提供一种基于attention-gru模型的纺纱质量预测方法，所述预测方法包括：
7.确定n个原棉性能指标，将所述n个原棉性能指标转换为n维特征向量；
8.确定l个加工工序，按照加工顺序确定l 1个n维特征向量作为输入参数；
9.搭建单层gru神经网络结构，通过所述gru神经网络结构对所述输入参数进行充分
学习，以捕获时序数据中的依赖关系；
10.建立attention层，根据权重大小分析不同时刻的所述n个原棉性能指标重要程度，并不断更新迭代出最优的权重参数；
11.将所述attention层输出连接至全连接神经网络以形成attention-gru纺纱质量预测模型，通过所述全连接网络输出端进行信息聚合，输出纱线质量的预测值。
12.本技术针对实际棉纺生产中的原料指标，工艺参数以及成纱质量等数据，通过attention机制改进的gru神经网络来建立考虑加工时序性的纺纱质量预测模型，从而改善严重的时序性导致预测结果准确率低的问题，帮助生产人员更加高效地确定配棉方案以及加工工艺参数，能够提高企业生产效率。
附图说明
13.图1是本技术实施例提供的一种基于attention-gru模型的纺纱质量预测方法流程示意图；
14.图2是相关技术中生产棉纺的工艺流程示意图；
15.图3是本技术实施例提供的gru单元结构示意图；
16.图4是本技术实施例提供的attention机制结构示意图；
17.图5是本技术实施例提供的基于attention-gru的纺纱质量预测模型结构示意图；
18.图6是本技术提供的attention-gru的纺纱质量预测模型和其他模型进行纺纱质量预测的相关性分析对比图。
19.本发明目的的实现、功能特点及优点将结合实施例、参照附图做进一步说明。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.首先，对棉纺技术进行简单介绍。如图2所示，为相关技术中生产棉纺的工艺流程示意图。棉纺是将棉纤维加工成为棉纱、棉线的纺纱工艺过程，分为普梳、精梳两种工艺流,，加工工序主要包括梳棉、并条、粗纱、细纱等。
22.根据流程制造的特点可知，在纺纱的生产过程中前道工序的结果将影响后道工序，以末道并条、粗纱、细纱三者的关系为例，细纱的重量不匀率以及条干cv值决定了后续成品棉布是否出现纬档或经向条纹，而两者受粗纱的内部纤维结构影响，同理提高粗纱的结构合理性，必须从末并的纤维伸直度入手。此外，如普梳纺是将梳棉制成棉条后直接供并条使用，而精梳工艺路线是将普梳过的棉条经过预并、成卷，然后经精梳机进一步梳理，两者成纱在质感、耐用度与均匀度等均存在差异。因此，在预测纺纱质量时，不仅需要考虑原棉性能指标以及简单的工艺参数，还应该针对加工顺序以及前序加工情况对成纱质量的影响进行时序性分析。
23.下面结合附图，通过具体地实施例及其应用场景对本技术实施例提供的一种基于attention-gru模型的纺纱质量预测方法流程图进行详细地说明。
24.参照图1，示出了本技术实施例提供的一种基于attention-gru模型的纺纱质量预测方法流程图。
25.本技术提供一种基于attention-gru模型的纺纱质量预测方法，该预测方法包括：
26.s101:确定n个原棉性能指标，将所述n个原棉性能指标转换为n维特征向量；
27.本技术实施例基于门控循环单元(gru)神经网络实现纺纱质量预测。现有技术中，深度学习方法中有效改善rnn模型梯度消失缺陷的长短时序记忆网络(lstm)是文本处理以及时序预测的主流方法。然而lstm复杂的结构大大增加了神经网络的训练时间，降低了运行效率，本技术实施例采用的门控循环单元(gru)神经网络在lstm的基础上有效提升模型训练速度的同时，还减少了过拟合等现象。如图3所述，为gru的单元结构示意图，gru只包含更新门以及重置门两个门，其单元内部的信息传播过程如式(1)所示。
[0028][0029]
式中：x
t
为t时刻输入；h
t-1
为t-1时刻隐藏层状态；σ为sigmoid激活函数；r
t
为重置门；
⊙
为按元素相乘；为t时刻的候选信息；z
t
为更新门；h
t
为t时刻隐藏层状态；w
rx
、w
rh
、w
hx
、w
hh
、w
zz
、w
zh
为单元的权重参数。
[0030]
因此在gru神经网络中重置门通过当前输入来针对性地忽略前一时刻的输出信息，而更新门则决定前一时刻的输出信息被写入到当前输出信息的程度。通过这种方式，gru不断遗忘不重要的历史信息并记忆重要的新信息来更好地捕获时序数据中的依赖关系。
[0031]
本技术中，考虑到原棉性能指标以及各工序的工艺参数等数据实际上都是相互独立的时间序列，为了耦合这些影响棉纱质量的特征信息，本技术参考自然语言处理中的词向量方法，假设有n个原棉性能指标，将其转换为n维的特征向量并做为第一步输入。由于gru神经网络其实是同一个网络在不同时间的序列，要求每次输入维度必须相同，但在纺纱过程中各工序的关键工艺参数数量存在差异且往往不足n，因此通过0来补足n位即来满足输入要求。
[0032]
s102:确定l个加工工序，按照加工顺序确定l 1个n维特征向量作为输入参数；
[0033]
根据加工顺序依次输入加工参数的，最终模型的输入序列长度即为l 1(工序数为l，加上原棉特征向量输入)，输入向量维度为n。
[0034]
此外为了便于模型的训练，采用min-max归一化法将原始输入参数据归一化在(-1,1)之间，计算公式为式(2)
[0035][0036]
式中：x为原始输入数据，x
max
、x
min
分别为输入数据的最大值、最小值，x
′
为归一化处理后的输入数据。
[0037]
s103:搭建单层gru神经网络结构，通过所述gru神经网络结构对所述输入参数进
行充分学习，以捕获时序数据中的依赖关系；
[0038]
本步骤中，搭建单层gru神经网络结构，对输入的特征信息进行充分学习，以捕获时序数据中的依赖关系。由于该模型的纱线质量预测是使用过去l 1个时刻的数据预测下一时刻的数据，因此解码只需1次。gru层的输出包括编码器的隐状态向量h(h1,h2,
…
,hn)以及解码器的第一个隐状态h
′1。
[0039]
s104:建立attention层，根据权重大小分析不同时刻的所述n个原棉性能指标重要程度，并不断更新迭代出最优的权重参数；
[0040]
在实际过程中，纱线质量随着各种因素不断变化，原棉性能指标以及不同的加工工序对于纱线质量的影响程度往往存在差异，而gru神经网络对于这些特征信息输入没有做出区分，难以获取输入的关键信息。注意力(attention)机制是一种模拟人脑注意力的资源分配机制，通过将注意力集中到关键位置，从而降低对非关键位置的关注。attention机制一般用于对seqtoseq模型的改进，seqtoseq在机器翻译领域被提出，其核心思想是将两个rnn(lstm、gru)进行拼接，其中输入的rnn称为编码器(encoder)，其将输入序列转换为隐层状态再传入另一个rnn，即解码器(decoder),从而映射得到可变长度的输出序列。这种采用encoder-decoder结构进行训练的方式不仅可以解决传统任务中输入、输出端长度固定的问题，同时进一步提升了训练效率。如图4示出加入attention机制的seqtoseq模型，由encoder中的隐状态与decoder中某个单元的隐状态进行相关运算，得出权重值后对编码器各隐层状态进行加权求和，再将求和值与该单元的隐状态进行拼接，即可得出加入attention机制的预测输出。
[0041]
具体地，attention层根据权重大小分析不同时刻的特征信息重要程度，并不断更新迭代出最优的权重参数。attention机制的计算公式如式(3)所示。
[0042][0043]
式中：h
t
为h中t时刻的隐状态，t＝1,2,
…
,n，scroe为相似性函数，用于计算h
t
与h
′1之间的余弦相似度得分e
t
；softmax为归一化指数函数，将e
t
转换为各隐层状态的权重值a
t
；contact为拼接函数；s为加入attention机制的预测输出。
[0044]
本技术实施例通过attention机制为gru神经网络隐藏层状态分配权重，从而使得模型自适应地聚焦于对成纱质量影响最显著的输入特征，提高模型的预测精度。
[0045]
s105:将所述attention层输出连接至全连接神经网络以形成attention-gru纺纱质量预测模型，通过所述全连接网络输出端进行信息聚合，输出纱线质量的预测值。
[0046]
本技术实施例提供的attention-gru纺纱质量预测方法，利用gru神经网络和attention机制进行建模，由于gru的训练时间消耗较少，而attention机制可以有效突出影响成纱质量因素中的关键信息，因此可以在保证预测精确度的同时减少计算时间。
[0047]
进一步地，在建立attention-gru纺纱质量预测模型后，可以进一步利用损失函数对模型输出与实际质量y进行损失计算，并选取adam优化器对模型参数进行优化。adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率，从而
基于训练数据迭代更新神经网络的权重，使损失函数输出值达到最优。模型的损失函数采用均方误差算法(mse)，如式(4)所示。
[0048][0049]
式中：n为样本个数，和yi分别为第i个样本的预测值和实际值，e
mse
为损失程度。
[0050]
在通过adam优化器对模型参数进行优化之后，可以将优化后的参数带入到attention-gru纺纱质量预测模型中，以对该模型进行优化，以使得模型在下一次纺纱质量预测输出的预测值更接近于实际值，提高预测精度。
[0051]
进一步地，为了验证预测模型的有效性，本技术将选取石家庄市某棉纺织企业的纺纱质量数据，采用python中的pytorch库搭建attention-gru模型，从而对预测模型进行实验验证，并与未引入attention机制的gru、lstm、bp神经网络的预测结果展开对比研究。另外选取表示回归误差的两个损失函数进行模型的定量评估：平均相对误差(mape)、均方根误差(rmse)，两者的值越小表示质量预测结果越准确，公式如下：
[0052][0053][0054]
考虑到不同纱线品种的纺制方式、工序流程、纺纱装备存在差异，因此以纱线品种c27.8做为本节的实验对象，该品种的工艺路线为纯棉普梳，涉及的主要纺纱装备为：tc5-1型梳棉机、fa306型并条机、rsb-d45c型并条机、fa468e型粗纱机、jwf1516jm型细纱机。
[0055]
模型选择的输出参数为纱线断裂强度，其做为表征成纱质量的一项重要指标，直接决定了纱线的加工性能和最终用途。在棉纺中影响纱线强度的因素主要有纤维性能和纱线结构，纤维强度越高、细度越细、长度越长，则纱线强度越高，纱线出现折叠、屈曲、弯钩时，纱线强度降低。而两者又很大程度上取决于纺制过程中各工序的工艺参数，因此以普梳工艺流程为例，展开各工序对纱线强度影响的分析：
[0056]
1)梳棉机的刺辊和锡林转速是影响梳理质量的主要因素之一，随着转速的提高可以有效提升梳理速度和面积，从而减少棉结和杂质。但速度增加会加剧纤维短绒率的提升，棉纱中16毫米以下短绒率每增加1％，则棉纱强度下降1～2％。
[0057]
2)并条具有将棉纤维抽长拉丝、均匀混合的功能，并条机的纺制速度能够通过影响棉纤维混合的均匀度最终影响纱线强度。
[0058]
3)粗纱和细纱工序的系数与棉纱断裂强度之间呈抛物线关系，随着捻系数增大,棉纤维分子间的抱合力将增加,但同时由于加捻的作用,使得轴向分力减少,造成纤维不同时性地出现断裂。此外，两道工序中的锭子转速也是影响纱线强度的重要因素。
[0059]
因此在输入指标的选取上，以马克隆值等六个参数做为原棉性能指标，而将采集所得的关键纺纱装备信息作为各工序的工艺参数指标，并根据指标筛选网络模型的训练样本(棉纱均在相同的生产环境下纺制)，表1示出本节所使用的部分样本数据。
[0060]
表1部分样本数据
[0061][0062]
为了有效地对比预测结果，需将bp、lstm、gru三者神经网络在基本参数的选取上保持一致，而bp神经网络做为前馈神经网络，其输入值的维度和大小与循环神经网络存在区别，如表2所示。
[0063]
表2对比模型参数设置
[0064][0065][0066]
将经过训练后的不同纺纱质量预测模型分别对10组测试样本进行预测，结果如表3所示。由表中数据可知，引入attention机制的gru模型的rmse相较于前3种方法分别降低了53.3％、38.5％、36.4％，而mape分别降低了0.355％、0.158％、0.190％。此外，在训练过程中统计了四种训模型的运行时长，对比发现gru相比lstm在训练时长上提升了14.3％，因此尽管预测性能上两者趋同但在时间效率上gru神经网络仍然占优。
[0067]
表3模型预测结果比较
[0068][0069]
如图6所示，为本技术提供的attention-gru的纺纱质量预测模型和其他模型进行纺纱质量预测的相关性分析对比图。为了更加清晰直观地展现质量预测结果，对四种模型的最终数据进行相关性分析，并引入拟合优度r2来衡量真实的质量数据和模型的预测值之间的接近程度。图中四种模型的拟合优度分别为0.831、0.903、0.905、0.954，实验结果表明，attention-gru模型在纺纱质量预测方面的预测值与实际值的拟合度要高于未引入attention机制的gru、lstm、bp神经网络预测模型。
[0070]
本技术实施例提供的一种基于attention-gru模型的纺纱质量预测方法，通过确定n个原棉性能指标，将所述n个原棉性能指标转换为n维特征向量；确定l个加工工序，按照加工顺序确定l 1个n维特征向量作为输入参数；搭建单层gru神经网络结构，通过所述gru神经网络结构对所述输入参数进行充分学习，以捕获时序数据中的依赖关系；建立attention层，根据权重大小分析不同时刻的所述n个原棉性能指标重要程度，并不断更新迭代出最优的权重参数；将所述attention层输出连接至全连接神经网络以形成attention-gru纺纱质量预测模型，通过所述全连接网络输出端进行信息聚合，输出纱线质量的预测值。此外，本技术实施例进一步通过adam优化器对模型参数进行优化，从而能够得到更为准确的attention-gru纺纱质量预测模型，进而能够在保证预测准确度的情况下减少运算量，提高预测效率，有利于提高企业经营效率。
[0071]
本文针对加工工序的时序性对棉纱质量的影响，提出了通过attention机制改进的gru神经网络模型进行棉纱的断裂强度预测，并采用实际样本数据进行对比分析，相比于bp神经网络，gru以及lstm神经网络能够有效捕捉纺纱过程中的时序性以及工艺参数对成纱质量的影响，而gru相比lstm在保证了预测效果的同时减少了训练参数，因此gru的训练时间消耗较少。此外，attention机制可以有效突出影响成纱质量因素中的关键信息，attention-gru模型的预测效果整体要优于未引入attention机制的gru、lstm、bp神经网络。
[0072]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用
于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0073]
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
[0074]
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
[0075]
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。
[0076]
以上所述仅为本发明的实施例，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。