一种基于结构光三维重建的高温锻件实时动态数字孪生系统与方法

本发明属于精密锻造智能制造、深度学习三维视觉、非接触式精密测量与数字孪生，具体涉及一种针对800℃-1250℃热态金属锻件，依托深度学习算法实现抗干扰三维形貌精准重建，结合数学模型与算法公式完成全流程动态数字孪生构建与工艺闭环优化的方法，尤其适用于大型自由锻、模锻生产线高温锻件在线形貌监测、尺寸精度管控、成形过程动态仿真场景。

背景技术：

1、高温锻件成形是航空航天、能源电力、高端装备制造等领域的核心加工工艺，热态锻件的几何形貌、尺寸精度与表面完整性直接决定产品力学性能与服役寿命。传统离线接触式测量存在滞后性强、设备易损的缺陷，现有传统三维重建技术依赖人工设计特征，对高温热辐射、强光过曝的抗干扰能力弱，重建精度与实时性难以兼顾。

2、现有三维重建技术应用于高温锻件场景存在明显技术瓶颈：常规结构光扫描、激光三维测量等传统方法，依赖人工设计的图像特征与固定视觉算法，对高温锻件自身热辐射、强光过曝、表面灰度畸变等干扰抗性极差，图像特征丢失后会出现点云噪声剧增、局部形貌缺失、重建精度骤降等问题，即便搭配基础光学滤波组件，也无法从算法层面适配高温瞬态形变、表面状态不规则的复杂工况，同时重建流程繁琐、延迟较高，难以满足锻造现场实时监测需求。

3、与此同时，现有高温锻件数字孪生技术，大多依托传统三维重建数据，未利用深度学习的强特征提取、噪声自适应抑制与端到端推理优势，导致孪生模型虚实同步性差、形变映射失真，无法实现实时偏差预警与工艺参数自适应调控，几何形貌数据与锻造工艺数据相互脱节，难以支撑锻造过程的智能化闭环管控。

4、为解决这一问题，研究人员提出了多种高动态范围三维测量与数字孪生构建方法，但这些方法均存在一定的局限性。现有多曝光成像法、偏振滤光法需要额外硬件辅助，适配性差；传统深度学习重建方法未结合量化数学公式，算法可解释性差，重建精度难以量化保障，且无法适配高温恶劣工况的强干扰特性，无法实现虚实同步与工艺闭环优化。为此，本发明设计了一种基于深度学习三维重建与量化公式融合的高温锻件实时动态数字孪生技术，无需额外硬件或辅助图像即可实现高精度重建与孪生建模。

5、综上所述，现有的高温锻件三维测量与数字孪生方法无法很好地满足精密锻造行业高精度、高效率、强抗干扰的在线监测需求，开发一种新型适配高温工况的重建与孪生方法，有效克服高温热辐射、强光过曝干扰问题，提高测量精度与虚实同步性，对推动高端锻造产业智能化发展具有重要的现实意义。

技术实现思路

1、为克服上述现有技术的不足，本发明提供一种基于深度学习三维重建的高温锻件实时动态数字孪生方法，用于800℃-1250℃热态金属锻件的高精度、实时性在线三维形貌监测与动态数字孪生构建，该方法可以高效准确地重建高温锻件三维几何形状，实现动态虚实同步与工艺闭环优化，无需额外的辅助图像或硬件调整，适用于高温锻件在线智能化监测场景。

2、为实现上述目的，本发明采用的技术方案是：一种基于深度学习三维重建的高温锻件实时动态数字孪生方法，包括以下步骤：

3、s1、深度学习三维重建网络构建与迁移训练，针对高温锻件图像特性搭建双分支轻量化网络，结合核心数学公式完成训练优化与轻量化处理，适配高温工况；

4、s2、高温图像深度学习预处理与特征增强，对原始采集图像进行几何畸变校正与过曝区域修复，通过注意力机制完成特征加权强化；

5、s3、深度学习端到端实时三维重建，将特征增强图像输入训练完成的网络，直接输出高精度三维网格模型，通过量化公式评估重建效果；

6、s4、多源数据时序融合与时空对齐，将三维重建数据、温度场数据、锻造工艺参数以时间戳为基准完成精准关联与融合；

7、s5、动态数字孪生建模与实时虚实同步，以设计cad模型为基准，通过改进配准算法完成虚实模型对齐，实现时序动态孪生体构建与毫秒级同步；

8、s6、虚实偏差智能分析与工艺闭环优化，量化孪生模型与设计模型的尺寸偏差，完成分级预警，结合优化公式实现工艺参数自适应调整或停机保护。

9、进一步的，s1中深度学习三维重建网络构建与迁移训练，采用以下方法：

10、s11、构建改进型双分支轻量化深度学习三维重建网络，特征提取分支采用嵌入通道注意力机制（se模块）的轻量级resnet网络，核心注意力权重计算公式为：

11、

12、式中，  为通道注意力权重，  为sigmoid激活函数，  为全局平均池化操作，  为中间特征图，  、  分别为全连接层权重矩阵；经注意力加权后的特征图为：

13、

14、式中，  为逐元素相乘运算，  为过滤高温干扰后的有效特征图。

15、s12、三维形貌推理分支采用轻量化编码器-解码器结构，输出三维网格模型顶点坐标集合  ，顶点推理映射关系为：

16、

17、式中，  为编码器特征压缩操作，  为解码器三维坐标还原操作，  为网格顶点总数量。

18、s13、采用多维度复合损失函数完成网络训练，损失函数公式为：

19、

20、式中，  、  、  为损失权重，本发明取  ，  ，  ；

21、几何损失（均方误差损失）公式：

22、式中，  为真实三维标注顶点坐标，  为l2范数；

23、模型平滑损失公式：

24、式中，  为顶点  的拉普拉斯算子；

25、温度适配性损失公式：

26、式中，  为高温区域特征点数量，  为网络预测高温区域特征，  为实景标注高温区域特征。

27、s14、对网络进行剪枝量化轻量化优化，参数量压缩比例公式为：

28、

29、式中，  为参数量压缩率，本发明取  ，  为剪枝后参数量， 为原始参数量；优化后单帧推理延迟  。

30、进一步的，s2中高温图像深度学习预处理与特征增强，采用以下方法：

31、s21、基于相机内参矩阵完成原始图像几何畸变校正，像素坐标映射公式为：

32、

33、式中，  为原始畸变像素坐标，  为校正后像素坐标， 为相机内参矩阵，  为畸变校正逆函数，  为像素到图像中心距离。

34、s22、采用生成式对抗网络修复图像过曝缺失区域，修复图像生成公式为：

35、

36、式中，  为生成器网络，  为缺失区域掩码，  为校正后图像；修复损失公式为：

37、

38、式中，  为l1损失，  为真实无缺失图像，  为对抗损失权重， 为生成对抗损失，  为判别器网络。

39、s23、通过注意力加权输出特征增强图像  ，完成有效特征强化。

40、进一步的，s3中深度学习端到端实时三维重建，采用以下方法：

41、将特征增强图像输入训练完成的网络，端到端输出三维网格模型，映射关系为：

42、

43、式中，  为完整双分支重建网络，  为网格面片生成操作，  为网格面片集合；

44、重建精度量化公式：

45、重建完整性公式：

46、式中，  为有效顶点数量，  为总顶点数量。

47、进一步的，s4中多源数据时序融合与时空对齐，采用以下方法：

48、s41、以统一高精度时间戳完成数据同步，数据采集周期公式：

49、

50、式中，  为采集周期，  、  为采集起止时间，  为采集总次数。

51、s42、温度数据与三维顶点空间映射公式：

52、式中，  为三维顶点到二维像素投影函数，  为顶点对应温度值；

53、多源数据融合特征向量：

54、式中，  为对应时刻工艺参数。

55、进一步的，s5中动态数字孪生建模与实时虚实同步，采用以下方法：

56、s51、以锻件设计cad模型  为基准，构建初始孪生模型  ；

57、s52、采用特征约束改进icp配准算法，目标函数为：

58、

59、式中，  为关键特征点数量，  为特征点权重，  为旋转矩阵，  为平移向量，  为实时模型特征点，  为孪生模型对应特征点；旋转矩阵满足 ， ；

60、s53、时序形变同步公式：

61、式中，  为长短期记忆网络，虚实同步延迟 。

62、进一步的，s6中虚实偏差智能分析与工艺闭环优化，采用以下方法：

63、s61、单顶点尺寸偏差公式：

64、s62、偏差等级判定规则：

65、正常，预警，超标，

66、式中，  为预警阈值，取公差80%，  为超标阈值，取公差100%；

67、s63、工艺参数闭环优化公式：

68、调整后工艺参数：

69、式中，  为参数调整量，  为优化增益矩阵，  为平均偏差；超标时 ，执行停机保护。

70、支撑系统基础说明

71、本发明方法依托轻量化高温适配硬件采集系统实施，仅作为数据输入与算力支撑，无硬件结构创新。系统包含：高温抗干扰图像采集单元（搭载窄带滤光组件与被动冷却壳体，获取单目/双目原始图像及温度数据）、多源工艺同步采集单元（对接plc，采集锻造压力、锤头行程等参数）、边缘计算单元（内置gpu与深度学习推理引擎，部署算法并执行公式运算）。

72、发明有益效果

73、理论支撑严谨，可解释性强：将深度学习算法与核心数学公式深度融合，从网络训练、图像修复到虚实配准、闭环控制，每一步均实现量化表达，解决了传统深度学习算法“黑箱”问题，提升了技术方案的严谨性与可推广性。

74、抗高温干扰能力突出：通过注意力机制公式与温度适配性损失公式，让网络精准屏蔽高温热辐射、强光过曝干扰，稳定适配800℃-1250℃全温度段工况，重建完整性≥95%。

75、精度与实时性量化可控：通过重建精度公式、推理延迟公式与同步延迟公式，将单帧重建延迟控制在≤80ms，重建精度≤±0.08mm，虚实同步延迟≤150ms，完全满足工业现场需求。

76、闭环优化精准高效：基于偏差量化公式与工艺优化公式，实现工艺参数的自适应微调，锻件尺寸合格率从92%提升至99.6%以上，大幅降低废品率，实现质量前置管控。