一种纱线张力的多智能体博弈强化学习调控方法及系统

本发明涉及纺织工业自动化控制及视觉检测，尤其涉及一种纱线张力的多智能体博弈强化学习调控方法及系统。

背景技术：

1、在纺织生产及纱线性能测试过程中，纱线张力的稳定性直接影响产品质量与生产效率。现有纱线张力控制系统多采用单回路比例-积分-微分pid控制，依赖物理传感器反馈调节送经速度以维持张力恒定，但该方法存在响应滞后、难以感知多纱线张力分布均匀性、且固定参数控制难以适应纱线非线性动态与时变工况等问题；同时，受限于普通设备仅配置单一驱动电机的硬件约束，传统策略无法在单执行器条件下实现整体张力基准与局部张力均衡的协同优化。

2、因此，提供一种纱线张力的多智能体博弈强化学习调控方法及系统，通过视觉几何特征替代物理传感器实现非接触式张力估计，并利用双智能体博弈架构在单一速度指令中融合平均张力达标与局部张力均匀的协同优化，是非常必要的。

技术实现思路

1、有鉴于此，本发明提出了一种基于视觉手段实现非接触式张力感知、具有平均张力与局部张力同时优化的多目标优化功能的纱线张力的多智能体博弈强化学习调控方法及系统。

2、一方面，本发明提供了一种纱线张力的多智能体博弈强化学习调控方法，包括如下步骤：

3、s1：采用双目视觉方法同步获取纱线的左目图像和右目图像，通过视觉感知方法提取纱线的三维空间中心线坐标序列；

4、s2：根据三维空间中心线坐标序列计算离散曲率序列，利用悬链线几何特性建立曲率与张力的映射关系，生成每一根纱线的张力估计值，并基于张力估计值得到一组纱线的整体张力误差数据和区域张力均匀性误差；

5、s3：构建包含全局智能体与局部智能体的双强化学习模型，全局智能体基于整体张力误差数据输出基准速度调节量，局部智能体基于区域张力均匀性误差输出速度修正量；

6、s4：通过动态权重机制对基准速度调节量与速度修正量进行加权融合，生成最终速度控制指令；

7、s5：将最终速度控制指令发送至纱线张力调节装置的伺服驱动单元，调节送经辊或张力辊的送经速度。

8、在以上技术方案的基础上，优选的，步骤s1的内容包括，通过双流特征提取网络融合上下文语义与细节边缘特征，生成单位方向场并递推得到二维中心线坐标序列；基于极线约束进行视差估计，结合相机内参和外参采用三角测量算法解算得到三维空间中心线坐标序列

c={

c1，

c2，……，

c

n}。

9、优选的，所述双流特征提取网络包括细节边缘流分支、上下文语义流分支和特征融合部分，细节边缘流分支包含第一输入层、若干依次连接的卷积层、全连接层和第一输出层，用于提取局部响应归一化后的深层局部特征。在一种优选的实施例中，第一输入层用于输入单帧视频画面，并将单帧视频画面送入卷积层中；第一卷积层的卷积核为7×7，输出通道为96，步长为2，包含局部响应归一化和最大池化操作，第二卷积层的卷积核为5×5，输出通道为256，步长为2，也包含局部响应归一化和最大池化操作，第三卷积层、第四卷积层和第五卷积层的卷积核为3×3，输出通道均为512，步长均为1，用于提取深层的局部特征；第一全连接层的输入端与第五卷积层的输出端连接，包含4096个神经元，包含防止过拟合的正则化操作，第二全连接层的输入端与第一全连接层的输入端连接，包含2048个神经元，同样包含防止过拟合的正则化操作；第一输出层与第二全连接层的输出端连接，用于将第二全连接层的输出转化为概率分布，得到类别特征；

10、上下文语义流分支的结构与细节边缘流分支的结构相同，其输入层用于接收多帧堆叠的光流图像，其输出层语义特征；

11、特征融合部分将类别特征和语义特征进行通道维度拼接后，将拼接结构送入1×1卷积层，卷积结果通过relu非线性激活函数引入非线性，得到融合特征图ffuse，对融合特征图ffuse分别接入两个并行输出头，第一个输出头通过1×1卷积，输出两通道的单位方向场

d(

x，

y)，第二输出头依次经过1×1卷积和sigmoid激活函数处理，得到置信度图

p(

x，

y)。

12、优选的，所述基于极线约束进行视差估计，结合相机内参和外参采用三角测量算法解算得到三维空间中心线坐标序列

c={

c1，

c2，……，

c

n}，具体包括：

13、对置信度图

p(

x，

y)进行阈值化，固定选择左目图像顶部某一行作为起始行，在起始行选取置信度的局部最大值作为种子，每次递推时使用当前种子的方向，在达到置信度阈值时停止递推，对每条线均执行上述操作，得到左目图像中的二维中心线序列，为中心线序列号，对应了左目图像中一条线的中心点的像素坐标；

14、令左目图像和右目图像行对齐，左目图像中的中心点在右目图像的对应点的像素坐标为，获取两点与的视差，获取左相机的内参

k

l和外参

r

l和

t

l，获取右相机的内参

k

r和外参

r

r和

t

r，将中心点反投影到归一化相机坐标，进一步构建世界坐标系射线，将两射线的最近点作为三维空间的中心线坐标序列

c={

c1，

c2，……，

c

n}。

15、优选的，步骤s2具体包括：对于三维空间的中心线坐标序列

c，根据相邻点向量差值计算第

i点的离散曲率，以表征纱线的空间完全程度，基于悬链近似原理，构建张力估计模型；

16、使用张力估计模型生成每一根纱线的张力估计值，计算整组纱线的整体张力状态

t

mean作为整体张力误差数据；所有纱线在同一弧长位置的均匀性状态

σ

t和区域差异状态作为区域张力均匀性误差。

17、优选的，步骤s3具体包括：

18、定义全局状态

s

g，局部状态

s

l，全局动作

a

g，局部动作

a

l；全局智能体的策略网络包括顺次设置的输入层、3层多层感知机、隐藏层和输出层，输入层用于全局状态；隐藏层使用修正线性单元激活，输出层使用双曲正切函数限制范围，输出为基准速度调节量；局部智能体的策略网络的结构与全局智能体的策略网络的结构相同，以局部状态为输入，输出速度修正量；共享价值网络的输入为，输出为联合状态价值。

19、优选的，全局智能体与局部智能体的双强化学习模型的训练过程中配置有全局奖励函数和局部奖励函数，全局奖励函数是将张力跟踪误差项、均匀性惩罚项和超限指示项加权求和得到的；局部奖励函数是通过将均匀性惩罚项、局部动作惩罚项和冲突惩罚项加权求和得到的。

20、优选的，全局智能体与局部智能体的双强化学习模型的训练过程，包括如下内容：

21、训练样本通过智能体与真实试验台环境在线交互实时生成，训练阶段的全局状态向量和局部状态向量经过min-max归一化至[-1,1]区间，采用轨迹缓冲区存储当前策略更新周期内的转移样本；模型泛化能力通过周期性在独立测试工况下执行评估回合进行验证；

22、折扣因子γ优选0.99，用于平衡即时奖励与长期回报；学习率

lr设置为3×10-4，采用adam优化器；ppo算法裁剪范围设置为0.2，以约束策略更新幅度；gae优势估计参数设置为0.95；价值网络损失系数设置为0.5，熵正则化系数设置为0.01；用于维持策略搜索能力；策略网络的结构中，三层多层感知机的神经元数量分别为128、64和32个，隐藏层使用的修正线性单元为relu函数；输出层将全局动作或者局部动作映射至归一化区间；

23、设定最大训练轮次为5000轮，每一轮次包含预设步数的环境交互，或者整个轮次始终与环境交互；当连续100个训练轮次的全局奖励函数的窗口移动平均值的标准差小于0.1，且在独立测试工况下的平均张力误差均值小于3cn时，判定模型收敛；如果训练轮次中的累积奖励连续5个轮次未提升，则触发早停机制，终止训练过程。

24、优选的，步骤s4具体包括：实时计算张力变异系数

cv

t，动态调整融合权重；当张力变异系数

cv

t小于阈值

cv

th时，全局智能体起主导作用；当张力变异系数不小于阈值

cv

th时，局部智能体起主导作用；最终速度控制指令是全局速度调节量和局部速度调节量通过加权融合的结果，通过与最近一次的速度控制指令累加得到的。

25、另一方面，本发明还提供了一种纱线张力的多智能体博弈强化学习调控系统，用于实现上述方法，包括：

26、纱线中心线坐标提取单元，配置左相机和右相机，并采用双目视觉方法同步获取纱线的左目图像和右目图像，通过视觉感知方法提取纱线的三维空间中心线坐标序列；

27、纱线张力估计值获取单元，与纱线中心线坐标提取单元通信连接，用于根据三维空间中心线坐标序列计算离散曲率序列，利用悬链线几何特性建立曲率与张力的映射关系，生成每一根纱线的张力估计值，并基于张力估计值得到一组纱线的整体张力误差数据和区域张力均匀性误差；

28、张力修正单元，与纱线张力估计值获取单元通信连接，用于构建并训练包含全局智能体与局部智能体的双强化学习模型，全局智能体基于整体张力误差数据输出基准速度调节量，局部智能体基于区域张力均匀性误差输出速度修正量；通过动态权重机制对基准速度调节量与速度修正量进行加权融合，生成最终速度控制指令；

29、伺服驱动单元，用于接收最终速度控制指令，并将最终速度控制指令发送至纱线张力调节装置的伺服驱动单元，调节送经辊或张力辊的送经速度。

30、本发明提供的一种纱线张力的多智能体博弈强化学习调控方法及系统，相对于现有技术，具有以下有益效果：

31、1、采用双目视觉结合双流特征提取网络，同步获取纱线的三维空间中心线坐标。该方法融合了细节边缘特征与上下文语义特征，提升复杂背景下的鲁棒性，相比传统单一传感器，能更好的还原纱线的三维形态。基于提取的三维中心线计算离散曲率，并利用悬链线几何特性建立曲率与张力的映射关系。这种基于物理模型的张力估计方法，不依赖于接触式测量，避免了传感器安装干扰，并能反映纱线的真实空间松弛状态，估计结果更符合物理实际。

32、2、构建了包含全局智能体和局部智能体的双强化学习模型。全局智能体负责从整体张力误差出发，进行宏观协调，保证整体张力水平达标；局部智能体则专注于区域张力均匀性误差，进行微观补偿。这种分层结构使调控策略兼具全局最优性和局部适应性。通过实时计算张力变异系数，动态调整全局基准速度调节量与局部速度修正量的融合权重。该机制能自适应地根据当前纱线张力均匀性状况，决定是以整体调控为主还是以局部修正为主，实现了调控策略的智能化切换与优化，提升了系统的响应灵活性和控制精度。

33、3、分别为全局和局部智能体设计了针对性的奖励函数，融合了张力跟踪误差、均匀性惩罚、动作惩罚、冲突惩罚等多重目标，训练过程中设置了详细的超参数、收敛判定条件以及早停机制，提高了训练过程的稳定性和学习效率。