基于深度强化学习的双翼抛撒式溜槽火车装煤系统和方法与流程

摘要: 本发明涉及一种基于深度强化学习的双翼抛撒式溜槽火车装煤系统和方法,是一种运输机械的自动控制系统和方法,是一种用于双翼抛撒式散装物料的火车装载机械的智能化装车系统...
基于深度强化学习的双翼抛撒式溜槽火车装煤系统和方法与流程

本发明涉及一种基于深度强化学习的双翼抛撒式溜槽火车装煤系统和方法,是一种运输机械的自动控制系统和方法,是一种用于双翼抛撒式散装物料的火车装载机械的智能化装车系统和工艺方法。

背景技术:

1、随着铁路货运向高效、环保、智能化方向发展,火车快速定量装车系统的自动化水平已成为衡量现代煤炭运输枢纽技术水平的关键指标。传统的火车装车方式及现有的自动化系统存在诸多技术瓶颈:依赖人工经验,适应性差:传统方式依赖操作员目测煤堆高度并手动调节溜槽,受人员经验、疲劳度影响大,难以保证装车均匀性,易出现局部欠装或过载溢出,不仅造成煤炭损失,还可能引发超偏载安全隐患。固定参数控制,无法应对煤质变化:现有自动化系统多采用pid控制或其改进形式,控制参数固定或仅能有限调整。然而,煤炭作为散体物料,其物理特性(水分、粒度、堆积角)在不同批次甚至同一车厢内均可能剧烈变化,固定参数控制器难以适应这种强时变特性,导致控制品质下降。模型依赖性强,建模困难:模型预测控制等先进算法虽能提升控制效果,但需要精确的煤流动力学数学模型。煤流从溜槽抛射到车厢堆积的过程涉及复杂的颗粒运动学和空气动力学,建立精确的解析模型极为困难,限制了此类方法在实际工程中的应用。缺乏长期优化能力:现有控制方法仅关注当前时刻的料高偏差,无法将“整节车厢的装车效果”作为优化目标,难以实现全局最优控制。因此,亟待一种能够不依赖精确数学模型、自适应煤质变化、且具备长期优化能力的火车智能化装车控制方案。

技术实现思路

1、为了克服现有技术的问题,本发明提出了一种基于深度强化学习的双翼抛撒式溜槽火车装煤系统和方法。所述的系统和方法无需建立精确的煤流动力学数学模型,实现无模型控制,并赋予控制系统在线自适应能力,能够自动适应煤质(水分、粒度)的实时变化,同时具备长期优化能力,以整节车厢的装车效果为优化目标,实现全局最优控制,通过深度q网络(deep q-network, dqn)算法,从与环境的交互中自主学习最优控制策略,构建安全可靠的分层控制架构,确保学习过程不引发安全事故。

2、本发明的目的是这样实现的:基于深度强化学习的双翼抛撒式溜槽火车装煤系统,包括:双翼抛洒式溜槽,其中包括了主溜槽和副溜槽;安装在双翼抛洒式溜槽下方铁轨下的轨道衡,部署在学习型现场控制器中的各个模块,包括:

3、感知模块:用于实时采集火车装车过程的多源状态信息,所述状态信息至少包括:当前料高偏差值、偏差变化率、重量偏差值、当前溜槽角度、火车实时速度,以及煤质特征参数;所述感知模块连接各种传感设施;

4、深度强化学习决策模块:其内部存储有经预训练的深度q网络模型,用于将所述感知模块采集的状态信息作为输入,通过前向传播计算得到当前状态下各候选动作的q值,并依据决策策略选择最优动作作为溜槽角度调整指令;

5、执行模块:用于接收所述深度强化学习决策模块输出的角度调整指令,并驱动双翼抛撒式溜槽执行相应动作;

6、安全约束模块:与所述深度强化学习决策模块信号连接,用于对决策输出的动作进行安全性校验,确保溜槽运动不超出机械限位且不引发洒煤事故;

7、数字孪生仿真环境:用于在离线阶段对所述深度q网络模型进行预训练,所述仿真环境基于离散元法或数据驱动模型构建,能够模拟不同煤质条件下的煤流动力学与料堆成形过程。

8、马尔可夫决策过程建模:

9、将火车装车控制问题建模为马尔可夫决策过程,具体定义如下:

10、状态向量: = [],,用于描述t时刻的装车工况,为n维空间,n为状态变量的维度个数,表示实际料高与目标料高的差值,表示料高偏差对时间的导数,表示重量偏差值,表示当前溜槽角度,表示车厢当前行进速度,表示媒质特征参数;

11、料高偏差:,;目标料高,当前料高;

12、重量偏差:,,单位吨;为车厢标准载重量,为车厢皮重,为轨道衡的实时数值;

13、偏差变化率:,,单位mm/s;为t时刻的料高偏差;为t-1时刻的料高偏差;

14、当前溜槽角度;

15、动作空间:

16、动作为溜槽角度的调整量,采用离散化动作空间:

17、其中:为溜槽角度的变化量,角码为取值范围,单位为度,典型取值范围为;

18、奖励函数:

19、奖励函数,,用于评价动作的优劣:

20、

21、其中:为料高精度,;为惩罚溜槽频繁大幅动作项,;为安全惩罚项,当 > 时取-100;为最大物料高度;为效率奖励项,当单节车厢装车完成且时间小于阈值时给予正奖励;为重量奖励项,当重量偏差值在允许范围,,内时取100;为最小重量和最大重量;、、、、为权重系数,通过仿真实验标定。

22、进一步的,所述的深度q网络模型,包括:

23、输入层:维度与状态空间维度相同,接收归一化后的状态向量;

24、共享特征提取层:由两个全连接层组成,神经元数量分别为128和64,激活函数为relu;

25、价值流与优势流分支:

26、价值流:全连接层 → 全连接层(1),输出状态价值函数;

27、优势流:全连接层 → 全连接层,为向量a的长度,输出各动作的优势值;

28、聚合层:通过公式计算最终q值;

29、目标网络:结构与主网络完全相同,参数定期从主网络复制,用于稳定训练。

30、进一步的,所述深度q网络模型的训练包括以下步骤:

31、步骤s1,初始化:

32、初始化主网络参数、目标网络参数;

33、初始化经验回放缓冲区,容量为;

34、采用-greedy策略探索,初始探索概率= 1.0、前步内线性衰减值,衰减率=( - ) / );

35、步骤s2,在数字孪生仿真环境中迭代训练:对于每一训练回合,为总训练回合数:

36、初始化仿真环境,随机选择煤质参数,重置车厢位置与料高;

37、获取初始状态;

38、对于时间步,t为总步数:

39、以衰减探索概率随机选择动作,否则选择(-greedy策略概率1-时的公式);

40、执行动作,从仿真环境获得奖励和下一状态;

41、将经验元组存入回放缓冲区;

42、从中随机采样小批量经验,角标j代表小批量经验值;

43、使用dueling double dqn方式计算目标值:

44、

45、

46、其中:是目标q值,用来从所有动作中挑选最优的那个;

47、计算损失函数;

48、梯度下降更新主网络参数;

49、每c步更新目标网络参数;

50、;

51、衰减探索概率;

52、步骤s3,模型评估与保存:

53、定期在验证场景下评估模型性能;

54、保存表现最优的模型参数用于在线部署。

55、一种使用权利要求上述系统的基于深度强化学习的双翼抛撒式溜槽火车装煤方法,包括如下步骤:

56、将训练好的深度q网络模型部署至学习型现场控制器,执行如下在线控制步骤:

57、步骤p1,系统初始化:设定目标料高,加载预训练dqn模型参数,将溜槽置于初始安全角度;

58、步骤p2,状态采集:当火车车厢进入装车区,激光雷达、编码器、水分仪各传感器实时采集数据,经预处理后构成当前状态向量;

59、步骤p3,决策与执行:将输入dqn模型,通过前向传播计算各动作q值,选择q值最大的动作作为溜槽角度调整量,经安全约束模块校验后发送至伺服驱动器执行;

60、步骤p4,循环控制:重复步骤p2-p3,直至该节车厢装车完成;

61、步骤p5,数据记录与在线微调:记录本次装车过程的完整数据,包括状态序列、动作序列、奖励值及最终装车效果;当积累足够数据后,触发在线微调训练,进一步优化模型性能。

62、进一步的,所述的安全约束模块中设置了分层安全约束机制:所述的安全约束机制设有三层:

63、第一层,动作空间裁剪:根据当前溜槽角度与机械限位,动态裁剪动作空间,剔除会导致超限的动作选项;

64、第二层,料高预测校验:基于简化动力学模型,预测执行候选动作后的料高变化趋势,若预测料高可能超过安全阈值,则否决该动作,转而选择最接近的安全动作;

65、第三层,硬限位保护:独立于控制系统的硬件限位开关与急停回路,当溜槽触碰限位或料高超过极限值时,直接切断执行机构电源并发出警报。

66、本发明的优点和有益效果是:本发明利用深度q网络算法,实现无模型控制,无需建立精确的煤流动力学数学模型;赋予控制系统在线自适应能力,能够自动适应煤质(水分、粒度)的实时变化;具备长期优化能力,以整节车厢的装车效果为优化目标,实现全局最优控制;通过深度q网络(deep q-network, dqn)算法,从与环境的交互中自主学习最优控制策略;构建安全可靠的分层控制架构,确保学习过程不引发安全事故。