融合物理规律的多模态数据GAN生成式物理增强方法及系统与流程

本发明涉及多模态数据处理，尤其涉及融合物理规律的多模态数据gan生成式物理增强方法及系统。

背景技术：

1、在工地安全生产环境的多模态数据增强领域，现有常规做法主要依赖传统的数据扩充技术或基于生成对抗网络的单一模态数据生成方法。传统数据扩充通常针对图像模态采用几何变换、色彩抖动、噪声添加等操作，针对环境传感模态采用时序扰动或随机采样等手段。这些方法各自独立处理不同模态，缺乏对多模态数据间内在关联性的建模与利用。更先进的做法尝试将多模态数据输入生成对抗网络，通过端到端训练生成合成样本，具体包括对图像和传感器数据分别构建生成器与判别器，或者简单地将多模态特征向量拼接后输入生成器。然而，此类方法通常将多模态数据视为独立特征源，仅追求视觉或时序上的逼真度，忽视了不同模态在物理场景下的耦合关系与相互约束。

2、生成的多模态数据在物理规律层面缺乏一致性。工地安全生产场景中，图像中的人员动作、设备状态与环境传感器采集的温度、湿度、振动等数据存在依赖关系，例如焊接火花出现时红外传感器应同步记录高温信号。但现有方法未能将这些物理规则显式或隐式地嵌入生成过程，导致合成样本中出现视觉与传感数据矛盾的现象，例如图像显示下雨但湿度传感器指示干燥，此类虚假样本会误导后续模型的判断能力。

3、现有方法难以精准控制生成样本的语义场景属性。工地安全场景存在多样化的危险状态，如高空坠落、机械碰撞等，现有生成方式无法将特定安全生产条件（如“正在高空作业”）作为约束条件有效引导生成过程，导致合成数据分布与目标场景脱节，覆盖性和针对性不足。这些缺陷严重限制了增强数据在复杂安全检测与预警任务中的实用性。

技术实现思路

1、本发明实施例提供融合物理规律的多模态数据gan生成式物理增强方法及系统，能够解决现有技术中的问题。

2、本发明实施例的第一方面，提供融合物理规律的多模态数据gan生成式物理增强方法，包括：

3、获取工地安全生产环境下的多模态样本数据，包含图像模态数据与环境传感模态数据，构建多模态编码网络，分别对各模态样本数据进行特征提取，将各模态特征映射至统一潜在特征空间，对齐不同模态特征的空间表征，得到多模态联合潜在特征；

4、从多模态样本数据中提取安全生产场景的条件控制信息，将条件控制信息编码为条件约束向量，构建包含生成器网络与判别器网络的多模态生成对抗网络，将多模态联合潜在特征与条件约束向量输入生成器网络，生成合成多模态数据；

5、将合成多模态数据与真实多模态样本数据输入判别器网络，基于判别结果计算生成对抗损失，通过交替优化生成器网络与判别器网络的参数进行对抗训练，直至训练收敛；

6、利用训练收敛后的生成器网络生成指定场景的增强多模态数据，对增强多模态数据进行质量评估，筛选满足质量阈值的增强多模态数据，将筛选后的增强多模态数据与原始多模态样本数据合并，构建增强后的多模态训练数据集。

7、构建多模态编码网络，分别对各模态样本数据进行特征提取，将各模态特征映射至统一潜在特征空间，对齐不同模态特征的空间表征，得到多模态联合潜在特征，包括：

8、构建图像编码分支与传感编码分支，图像编码分支由多个卷积层与池化层交替堆叠构成，对图像模态数据进行多层卷积特征提取，逐层捕获图像局部纹理至全局语义的层级视觉表征，输出图像特征图；

9、传感编码分支由多个门控循环单元层堆叠构成，对各时刻环境传感模态数据进行时序特征提取，门控循环单元层利用更新门与重置门计算对应时刻传感数据的信息保留权重，基于信息保留权重筛选对安全生产场景判别有效的关键信息，输出传感时序特征；

10、将图像特征图与传感时序特征分别通过全连接投影层映射至预设统一维度空间，得到图像投影特征与传感投影特征；

11、基于图像投影特征与传感投影特征计算跨模态相似度矩阵，通过跨模态相似度矩阵构建对比对齐损失，以最小化对比对齐损失为目标，利用梯度反向传播更新各编码分支的投影参数和编码参数，使图像投影特征与传感投影特征在预设统一维度空间中语义分布一致；将对齐后的图像投影特征与传感投影特征进行元素级加权融合，得到多模态联合潜在特征。

12、从多模态样本数据中提取安全生产场景的条件控制信息，将条件控制信息编码为条件约束向量，包括：

13、根据工地安全生产环境中的施工行为类型与物体交互状态，预定义多个安全生产场景类别，每个安全生产场景类别映射至一个唯一的类别标签向量；

14、对图像模态数据进行空间视觉特征提取，识别图像模态数据中的目标物体类别、目标物体之间的空间位置关系及运动状态信息，生成视觉场景语义特征；

15、对环境传感模态数据进行传感语义特征提取，识别各传感通道数值的时间变化趋势、峰值异常偏离程度及频率异常波动特征，生成传感场景语义特征；将视觉场景语义特征与传感场景语义特征进行跨模态特征融合，由注意力机制计算视觉场景语义特征与传感场景语义特征之间的模态间交互权重，基于模态间交互权重将视觉场景语义特征与传感场景语义特征加权融合为融合场景语义特征；

16、基于融合场景语义特征与预定义的安全生产场景类别标签向量进行匹配计算，确定各安全生产场景类别的归属概率，选择归属概率最高的安全生产场景类别作为条件控制信息，将条件控制信息对应的类别标签向量作为条件约束向量。

17、将条件控制信息编码为条件约束向量，还包括：

18、在多模态生成对抗网络的训练过程中，判别器网络在输出数据真实性判别结果的同时，附加输出对合成多模态数据所归属的安全生产场景类别的场景判别分类结果；

19、基于各合成多模态数据的场景判别分类结果与其输入的条件约束向量所对应的目标安全生产场景类别之间的差异程度，计算场景条件契合度指标；对归属于各个安全生产场景类别的合成多模态数据，分别统计该类别下全部合成多模态数据的场景条件契合度指标均值，将场景条件契合度指标均值低于预设契合基准的安全生产场景类别标记为生成困难场景类别；

20、针对被标记为生成困难场景类别的安全生产场景类别，在下一轮次的对抗训练中动态增大其对应的场景权重系数，并将更新后的场景权重系数重新编码入下一训练轮次的条件约束向量中；

21、形成条件约束向量在对抗训练各轮次间受判别器反馈驱动的闭环自适应精炼机制，使生成器网络在后续训练轮次中自动加强对生成困难场景类别的生成逼真度。

22、构建包含生成器网络与判别器网络的多模态生成对抗网络，将多模态联合潜在特征与条件约束向量输入生成器网络，生成合成多模态数据，包括：

23、将多模态联合潜在特征与条件约束向量进行向量拼接操作，得到联合输入向量；

24、构建编码-解码结构的生成器网络，编码部分由多个全连接层堆叠构成，对联合输入向量进行逐层非线性变换，逐层提取生成中间特征；解码部分由多个上采样层堆叠构成，对生成中间特征进行逐层上采样重构，在解码部分的上采样过程中分别生成合成图像模态数据与合成环境传感模态数据；

25、在解码部分的各上采样层中设置跨模态一致性约束单元，跨模态一致性约束单元分别提取当前上采样层生成的合成图像模态数据的中间特征图与合成环境传感模态数据的中间特征序列，计算中间特征图与中间特征序列之间的模态互信息值，基于模态互信息值构建各上采样层的层间跨模态一致性损失项，将各上采样层的层间跨模态一致性损失项与生成对抗损失叠加得到生成器网络的综合目标函数，以最小化综合目标函数优化生成器网络参数，约束合成图像模态数据与合成环境传感模态数据在语义层面保持跨模态一致。

26、将多模态联合潜在特征与条件约束向量输入生成器网络，生成合成多模态数据，还包括：

27、在各上采样层进行上采样重构之前，将条件约束向量输入与该上采样层对应的条件调制网络，条件调制网络由多个全连接层堆叠构成，对所输入的条件约束向量进行非线性特征变换；

28、条件调制网络输出该上采样层对应的逐通道缩放因子向量与逐通道偏置向量，逐通道缩放因子向量与该上采样层当前层生成中间特征的通道维度对齐，逐通道偏置向量与该上采样层当前层生成中间特征的通道维度对齐；

29、将该上采样层当前的层生成中间特征中的各通道特征值，按照对应通道位置逐一乘以该通道对应的缩放因子后加上该通道对应的偏置值，完成条件约束向量对该上采样层生成中间特征的逐通道自适应条件调制操作，得到条件调制后的层生成中间特征；

30、各上采样层各自使用其条件调制后的层生成中间特征继续进行后续的上采样重构计算，使得条件约束向量在生成器网络的各个上采样层级中均参与对生成重构过程的条件调控，实现对合成多模态数据所归属安全生产场景的逐层级精细粒度条件控制。

31、本发明实施例的第二方面，提供一种融合物理规律的多模态数据gan生成式物理增强系统，包括：

32、特征对齐单元，用于获取工地安全生产环境下的多模态样本数据，包含图像模态数据与环境传感模态数据，构建多模态编码网络，分别对各模态样本数据进行特征提取，将各模态特征映射至统一潜在特征空间，对齐不同模态特征的空间表征，得到多模态联合潜在特征；

33、条件生成单元，用于从多模态样本数据中提取安全生产场景的条件控制信息，将条件控制信息编码为条件约束向量，构建包含生成器网络与判别器网络的多模态生成对抗网络，将多模态联合潜在特征与条件约束向量输入生成器网络，生成合成多模态数据；

34、对抗训练单元，用于将合成多模态数据与真实多模态样本数据输入判别器网络，基于判别结果计算生成对抗损失，通过交替优化生成器网络与判别器网络的参数进行对抗训练，直至训练收敛；

35、数据增强单元，用于利用训练收敛后的生成器网络生成指定场景的增强多模态数据，对增强多模态数据进行质量评估，筛选满足质量阈值的增强多模态数据，将筛选后的增强多模态数据与原始多模态样本数据合并，构建增强后的多模态训练数据集。

36、本发明实施例的第三方面，提供一种电子设备，包括：

37、处理器；

38、用于存储处理器可执行指令的存储器；

39、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

40、本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

41、能有效解决工地安全生产环境下多模态数据稀缺和模态不完整的问题，显著提升增强数据的真实性和多样性。通过构建多模态编码网络将图像与传感数据映射至统一潜在特征空间，实现跨模态特征的精准对齐，避免了传统方法中模态信息丢失或错位的缺陷。引入条件约束向量与生成对抗网络的协同作用，使得合成数据不仅保持多模态间的物理一致性，还能针对特定安全生产场景生成高度逼真的增强样本，大幅降低了数据采集的人力与设备成本。

42、基于交替优化机制的对抗训练策略，保证了生成器与判别器的动态平衡，有效抑制模式坍塌和梯度消失等训练不稳定问题。训练收敛后的生成器能够稳定输出高质量的多模态合成数据，通过质量评估与筛选机制剔除低置信度样本，进一步确保增强数据的可靠性。与原始数据合并后的训练数据集在模态覆盖率和样本数量上实现双重提升，为后续深度学习模型提供更丰富的训练基础。