一种基于强化学习的混凝土数字孪生养护系统及方法与流程

本发明涉及混凝土养护，具体涉及一种基于强化学习的混凝土数字孪生养护系统及方法。

背景技术：

1、混凝土广泛应用于桥梁工程、建筑工程及预制构件生产，其养护过程中的温度变化、水化反应及强度发展直接影响施工进度和构件质量。在蒸汽养护、喷淋养护及保温养护过程中，混凝土内部水化放热与表面散热共同作用，使不同部位形成温度差异。温度变形受到约束时，可能产生裂纹，因此需要结合混凝土内部状态合理调节养护参数。

2、现有混凝土养护监测通常通过在构件内布设温度传感器获取局部温度，并结合养护龄期及同条件试件抗压试验结果判断养护状态。然而，对于尺寸较大或截面构造复杂的混凝土构件，有限测点难以直接反映未监测区域的温度分布，不同部位的温度历史和强度发展也存在差异。仅依据局部温度或单项指标进行判断，难以综合表征各关键区域的强度发展、芯表温差及裂纹风险，影响养护状态评估的完整性。

3、此外，部分养护方案主要依据预设工艺曲线或当前监测值调整供汽、喷淋及保温措施，对环境温度、风速变化下的后续状态缺乏预测。由于混凝土温度和强度变化具有过程惯性，当前监测值满足要求时，后续仍可能出现芯表温差扩大或强度增长不足等情况。同时，不同养护参数对能耗、碳排放、裂纹风险及强度发展的影响不同，固定策略难以根据实时状态兼顾上述目标。

技术实现思路

1、为解决上述问题，本发明第一方面提供了一种基于强化学习的混凝土数字孪生养护方法，包括以下步骤：s1、构建混凝土水化热动态演化模型确定水化热释放量；s2、构建混凝土三维温度场数字孪生模型确定内部温度分布；s3、基于混凝土三维温度场数字孪生模型预测混凝土强度增长状态；s4、基于混凝土三维温度场数字孪生模型预测混凝土裂纹风险；s5、基于混凝土强度增长状态以及裂纹风险构建混凝土健康状态评估模型；s6、基于混凝土健康状态评估结果构建混凝土数字孪生状态空间向量；s7、基于混凝土数字孪生状态空间向量构建养护过程动态演化模型；s8、基于养护过程动态演化模型及多目标优化模型生成最优混凝土养护策略；s9、基于最优混凝土养护策略对养护设备进行闭环控制。

2、优选地，s2包括：s201、获取混凝土温度监测数据；s202、建立混凝土三维空间网格模型；s203、基于温度监测数据，对未布设温度传感器的计算节点进行温度重构；s204、基于实时温度监测数据，更新混凝土三维温度场数字孪生模型；s3包括：s301、计算混凝土成熟度；s302、基于混凝土强度预测映射模型，预测混凝土抗压强度。

3、优选地，s4包括：s401、将混凝土构件划分为至少一个风险评估区域，计算各风险评估区域内芯部节点与对应表层节点之间的混凝土内部温差；s402、基于混凝土内部温差计算热应力指标；s403、获取混凝土结构监测数据；s404、基于混凝土裂纹风险预测模型预测裂纹风险。

4、优选地，s5包括：s501、确定混凝土构件的评估区域，并计算各评估区域的混凝土强度评分；s502、计算混凝土裂纹风险评分；s503、计算混凝土超声状态评分；s504、计算混凝土温度均匀性评分；s505、构建混凝土健康状态评估模型。

5、优选地，s8包括：s801、建立并训练养护策略生成模型；s802、生成候选养护方案并预测养护状态；s803、筛选满足约束的候选养护方案；s804、计算多目标评价指标及综合目标函数；s805、通过多目标搜索选择养护策略；s806、滚动执行并更新养护策略。

6、优选地，s203包括：采用反距离加权插值方法，根据邻近温度传感器的实测温度，估计未监测计算节点的温度，具体方式为：

7、；

8、其中，表示第个计算节点在时刻的温度估计值；表示参与插值的第个温度传感器在同一时刻的实测温度；表示该计算节点与第个温度传感器之间的空间距离，由两者的实际三维坐标计算得到；表示距离权重指数，为正数；表示参与该节点插值计算的有效温度传感器数量；

9、s301包括：

10、所述混凝土成熟度计算方式为：

11、；

12、其中，表示第个计算节点在时刻的成熟度；表示计算开始时的初始成熟度；表示第个计算节点在第个计算时间段内的平均温度；表示通过对应材料体系试验标定的基准温度；表示计算时间步长；表示已经历的计算时间段数量；

13、所述混凝土强度预测映射模型为：

14、；

15、其中，表示第个计算节点在时刻的抗压强度预测值；表示训练完成的混凝土强度预测映射模型，表示模型参数；表示对应节点的成熟度；表示对应节点单位质量胶凝材料的累计水化热释放量；表示水胶比；表示养护环境相对湿度；表示外加剂参数。

16、优选地，所述混凝土内部温差计算方式为：

17、；

18、其中，表示步骤s401划分得到的风险评估区域的编号；表示计算时刻序号；表示对应区域的芯表温差；表示对应区域芯部节点的温度；表示对应区域表层节点的温度；

19、所述热应力指标的计算方式为：

20、；

21、其中，表示热应力指标；表示对应区域当前阶段的混凝土弹性模量；表示混凝土线膨胀系数，表示对应区域的芯表温差；

22、所述混凝土裂纹风险预测模型为：

23、；

24、其中，表示对应区域在未来预设时间窗口内发生目标裂纹事件的预测概率，取值范围为[0,1]；表示训练完成的裂纹风险预测模型，表示模型参数；表示对应区域芯部节点的温度；表示热应力指标；表示对应区域代表节点按照步骤s1计算得到的累计水化热释放量；表示步骤s3中第个风险评估区域内各关键节点的抗压强度预测值中的最小值；表示应变；表示声发射撞击计数率；表示超声波传播速度。

25、优选地，所述混凝土强度评分计算方式为：

26、；

27、其中，表示评估区域编号；表示计算时刻序号；表示强度评分，取值范围为[0,1]；表示第个评估区域内各关键节点的抗压强度预测值中的最小值；表示当前养护阶段的目标抗压强度；

28、所述混凝土裂纹风险评分的计算方式为：

29、；

30、其中，表示裂纹风险评分；表示对应区域在未来预设时间窗口内发生目标裂纹事件的预测概率；

31、所述混凝土超声状态评分的计算方式为：

32、；

33、其中，表示超声状态评分；表示对应区域当前有效的超声波传播速度；表示对应参考状态下的超声波传播速度；

34、s504包括：计算同一时刻各评估区域内的温度离散程度；

35、具体方式为：

36、；

37、其中，表示温度离散指标；表示第个评估区域包含的计算节点集合；表示第个节点对应网格单元的混凝土体积；表示该节点的温度；表示第个评估区域按网格体积加权计算的平均温度；

38、基于所述温度离散程度，计算温度均匀性评分：

39、；

40、其中，表示温度均匀性评分；表示温度离散指标；表示根据试验标定及对应养护阶段温控要求设定的参考温度离散指标；

41、所述混凝土健康状态评估模型为：

42、；

43、其中，表示对应区域的健康指数，取值范围为0至100；表示强度评分；表示裂纹风险评分；表示超声状态评分；表示温度均匀性评分；、、及分别表示强度、裂纹风险、超声状态及温度均匀性对应的权重，且满足：，，其中，。

44、优选地，将步骤s802生成的候选养护方案记为，表示连续个控制周期的养护控制动作序列；

45、s804包括：分别计算养护能耗、碳排放、裂纹风险及强度安全裕度；

46、所述养护能耗及碳排放分别为：

47、；

48、；

49、其中，表示候选方案的养护能耗，表示第类能源的预测消耗量；表示纳入统计的能源种类数；表示候选方案的碳排放量；表示对应能源的排放因子；

50、所述裂纹风险为：

51、；

52、其中，表示裂纹风险指标，表示未来控制周期序号，取值为；表示所述候选养护方案包含的控制周期数，表示第时刻的最大区域裂纹风险概率；

53、所述强度安全裕度为：

54、；

55、其中，表示强度安全裕度，表示所述候选养护方案结束时关键节点最低抗压强度预测值；表示候选养护方案结束时所处施工阶段的目标抗压强度；

56、所述综合目标函数为：

57、；

58、其中，、及分别表示归一化后的能耗、碳排放及强度安全裕度；、、、分别表示权重，且满足：，。

59、第二方面提供了一种基于强化学习的混凝土数字孪生养护系统，用于执行上述方案中任一项所述的一种基于强化学习的混凝土数字孪生养护方法，包括：第一构建模块，用于构建混凝土水化热动态演化模型确定水化热释放量；

60、第二构建模块，用于构建混凝土三维温度场数字孪生模型确定内部温度分布；

61、第一预测模块，用于预测混凝土强度增长状态；

62、第二预测模块，用于预测混凝土裂纹风险；

63、第三构建模块，用于基于混凝土强度增长状态以及裂纹风险构建混凝土健康状态评估模型；

64、第四构建模块，用于基于混凝土健康状态评估结果构建混凝土数字孪生状态空间向量；

65、第五构建模块，用于基于混凝土数字孪生状态空间向量构建养护过程动态演化模型；

66、生成模块，用于基于养护过程动态演化模型及多目标优化模型生成最优混凝土养护策略；

67、控制模块，用于基于最优混凝土养护策略对养护设备进行闭环控制。

68、通过采用上述技术方案，本发明主要具有以下技术效果：

69、1、通过将温度监测数据与构件三维空间网格相结合，重构未监测位置的温度，并结合水化热、成熟度及结构监测数据，获得不同区域的强度预测结果、裂纹风险预测概率及健康指数；进一步构建核心状态和包含配对芯部、表层温度的辅助温度向量，为多区域温差校核及养护决策提供统一的状态依据。

70、2、通过强化学习生成候选养护方案，利用动态演化模型预测不同控制动作及环境条件下的状态变化，在满足温度、芯表温差、裂纹风险、目标强度及时间约束的候选集合中，综合比较能耗、碳排放和强度安全裕度，选择养护策略；结合实际执行反馈滚动更新控制动作，有助于提前应对环境变化引起的养护状态偏离，减少不必要的能源消耗及过度养护。