一种舞台环境自适应调节方法和装置与流程

本技术涉及舞台环境自动控制，尤其涉及一种舞台环境自适应调节方法和装置。

背景技术：

1、随着现代舞台演艺活动的不断发展，舞台环境控制已从单一的灯光、音响独立调节逐步向多设备协同、多要素联动的综合调控方向演进，对舞台环境控制的实时性、精确性和自适应能力提出了更高要求。

2、目前，舞台环境调节主要依赖基于预设脚本的控制方式或基于单一传感器反馈的闭环控制方式。基于预设脚本的方式无法根据舞台环境的实时变化进行动态调整，缺乏自适应调节能力；基于单一传感器反馈的方式仅能采集单一环境参数，难以全面反映多维度舞台环境信息，且不同模态数据之间的深层关联关系未能被充分挖掘和利用。此外，现有方案多采用云端集中式处理架构，传感器数据需全部上传至云端服务器进行处理和决策，存在数据传输延迟大、网络带宽占用高、断网条件下系统失效等问题，难以满足舞台演出对毫秒级实时响应的严苛要求。

3、因此，亟需一种能够实现多模态环境数据高效融合与实时处理，并据此对多异构执行设备进行协同自适应调节的技术方案，以解决上述现有技术存在的技术问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够实现多模态环境数据高效融合与实时处理以及多异构执行设备协同自适应调节的舞台环境自适应调节方法和装置。

2、第一方面，本技术提供一种舞台环境自适应调节方法，所述方法包括：

3、通过部署于舞台的高密度传感器阵列实时采集多模态环境数据，所述多模态环境数据至少包括温度场、湿度场、光照度、烟雾浓度、气流速度、声音场以及演员生理状态数据；

4、将所述多模态环境数据汇聚至邻近舞台的边缘计算节点，在所述边缘计算节点内通过轻量化深度学习模型并行提取各模态数据的独立时空特征，并对所述独立时空特征进行关联处理，生成多模态环境整合特征，所述多模态环境整合特征中各模态对应的特征分量按照特征维度索引保持独立可区分状态；

5、将所述多模态环境整合特征输入内嵌交叉注意力模块的多模态深度学习决策模型，由所述多模态深度学习决策模型通过跨模态特征交互与推理，输出面向多个异构执行设备的协同控制指令集；

6、根据所述协同控制指令集，在所述边缘计算节点的控制下对所述多个异构舞台执行设备进行联动调节。

7、在其中一个实施例中，所述将所述多模态环境整合特征输入内嵌交叉注意力模块的多模态深度学习决策模型，由所述多模态深度学习决策模型通过跨模态特征交互与推理，输出面向多个异构执行设备的协同控制指令集包括：

8、将所述多模态环境整合特征输入多模态深度学习决策模型，所述多模态深度学习决策模型采用特征级融合架构，包括多个独立模态编码器、跨模态交互层以及多任务解码器；

9、所述多个独立模态编码器分别接收所述多模态环境整合特征中按照预设的特征维度索引划分出的对应模态的分量，提取各模态的高层语义特征；

10、所述跨模态交互层内嵌轻量化多头交叉注意力模块，以所述各模态的高层语义特征为输入，通过交叉注意力机制计算任意两个模态特征之间的相关性权重，在统一语义空间中实现跨模态特征交互与信息融合，捕捉不同模态间的隐含耦合关系，完成跨模态因果推理；

11、所述多任务解码器接收所述跨模态交互层输出的融合表征，并行输出对应于多个异构执行设备的控制参数，形成协同控制指令集。

12、在其中一个实施例中，所述以所述各模态的高层语义特征为输入，通过交叉注意力机制计算任意两个模态特征之间的相关性权重，在统一语义空间中实现跨模态特征交互与信息融合，捕捉不同模态间的隐含耦合关系，完成跨模态因果推理包括：

13、将所述各模态的高层语义特征分别通过线性投影映射至统一的嵌入空间，获得各模态对应的查询向量、键向量和值向量；

14、对于任意两个模态，采用交叉注意力机制进行处理，以第一模态的查询向量与第二模态的键向量的点积作为原始相关性度量，经缩放和归一化处理后得到两个模态之间的注意力权重矩阵；

15、通过所述注意力权重矩阵对所述第二模态的值向量进行加权聚合，生成所述第一模态从所述第二模态获取的跨模态交互信息；

16、将各模态的跨模态交互信息进行融合，形成包含任意两个模态间耦合关系的融合表征，完成跨模态因果推理。

17、在其中一个实施例中，所述通过所述注意力权重矩阵对所述第二模态的值向量进行加权聚合，生成所述第一模态从所述第二模态获取的跨模态交互信息包括：

18、将所述注意力权重矩阵与所述第二模态的值向量进行矩阵乘法，得到加权聚合后的第二模态信息；

19、将所述第二模态信息进行非线性变换，得到变换后的跨模态信息；

20、将所述变换后的跨模态信息与所述第一模态的高层语义特征进行残差连接，生成所述第一模态从所述第二模态获取的跨模态交互信息，其中，所述跨模态交互信息编码了所述第二模态对所述第一模态的上下文影响，使得所述第一模态的特征表征中融入来自所述第二模态的互补信息。

21、在其中一个实施例中，所述将所述多模态环境数据汇聚至邻近舞台的边缘计算节点，在所述边缘计算节点内通过轻量化深度学习模型并行提取各模态数据的独立时空特征，并对所述独立时空特征进行关联处理，生成多模态环境整合特征包括：

22、将所述多模态环境数据汇聚至邻近舞台的边缘计算节点，在所述边缘计算节点内为所述多模态环境数据中的每一种模态数据分别配置经模型剪枝与量化的轻量化深度学习模型，所述轻量化深度学习模型在所述边缘计算节点内并行运行，各自独立地提取对应模态数据的时序依赖特征和/或空间分布特征，形成各模态的独立时空特征；

23、基于注意力机制，计算不同模态的独立时空特征之间的注意力权重矩阵，以量化模态间在时间维度和空间维度上的相互关联强度；

24、根据所述注意力权重矩阵，对各模态的独立时空特征进行加权整合，得到多模态环境整合特征，所述多模态环境整合特征中保留各模态对应的特征分量并编码了不同模态之间的时空关联关系。

25、在其中一个实施例中，所述根据所述注意力权重矩阵，对各模态的独立时空特征进行加权整合，得到多模态环境整合特征包括：

26、将所述注意力权重矩阵分解为时间维注意力权重子矩阵和空间维注意力权重子矩阵；

27、利用所述时间维注意力权重子矩阵对所述各模态的独立时空特征沿时间维度进行加权整合，得到时间维整合特征，并利用所述空间维注意力权重子矩阵对所述各模态的独立时空特征沿空间维度进行加权整合，得到空间维整合特征；

28、通过门控整合机制，根据所述时间维整合特征和所述空间维整合特征在当前特征分布下的动态置信度，自适应地计算所述时间维整合特征与所述空间维整合特征的整合权重，并根据所述整合权重，生成多模态环境整合特征。

29、在其中一个实施例中，所述通过门控整合机制，根据所述时间维整合特征和所述空间维整合特征在当前特征分布下的动态置信度，自适应地计算所述时间维整合特征与所述空间维整合特征的整合权重，并根据所述整合权重，生成多模态环境整合特征包括：

30、通过门控整合机制，基于所述时间维整合特征和所述空间维整合特征各自的统计特性，评估所述时间维整合特征和所述空间维整合特征各自的置信度；

31、根据所述置信度，自适应确定所述时间维整合特征和所述空间维整合特征的整合权重，使得所述整合权重的分配随所述时间维整合特征和所述空间维整合特征的特征分布变化而调整；

32、基于所述整合权重，对所述时间维整合特征和所述空间维整合特征进行加权整合，生成多模态环境整合特征。

33、在其中一个实施例中，所述根据所述协同控制指令集，在所述边缘计算节点的控制下对所述多个异构舞台执行设备进行联动调节包括：

34、所述边缘计算节点将所述协同控制指令集中的各控制参数向量，通过标准化工业控制协议并行分发至对应的异构舞台执行设备，所述异构舞台执行设备至少包括灯光设备、通风排烟设备和舞台机械设备；

35、所述边缘计算节点在分发所述协同控制指令集的同时，持续接收来自传感器阵列的实时多模态环境数据，作为联动调节的反馈信号；

36、基于所述反馈信号，所述边缘计算节点对所述协同控制指令集进行动态修正。

37、第二方面，本技术还提供了一种舞台环境自适应调节装置，所述装置包括：

38、环境数据采集模块，用于通过部署于舞台的高密度传感器阵列实时采集多模态环境数据，所述多模态环境数据至少包括温度场、湿度场、光照度、烟雾浓度、气流速度、声音场以及演员生理状态数据；

39、模态数据整合模块，用于将所述多模态环境数据汇聚至邻近舞台的边缘计算节点，在所述边缘计算节点内通过轻量化深度学习模型并行提取各模态数据的独立时空特征，并对所述独立时空特征进行关联处理，生成多模态环境整合特征；

40、控制指令输出模块，用于将所述多模态环境整合特征输入内嵌交叉注意力模块的多模态深度学习决策模型，由所述多模态深度学习决策模型通过跨模态特征交互与推理，输出面向多个异构执行设备的协同控制指令集；

41、设备联动调节模块，用于根据所述协同控制指令集，在所述边缘计算节点的控制下对所述多个异构舞台执行设备进行联动调节。

42、综上所述，本技术包括以下有益技术效果：

43、通过部署于舞台的高密度传感器阵列实时采集多模态环境数据，实现了对舞台环境多维度信息的全面感知，克服了传统方案中感知维度单一、难以反映舞台复杂环境全貌的缺陷；通过将多模态环境数据汇聚至邻近舞台的边缘计算节点，在边缘计算节点内通过轻量化深度学习模型并行提取各模态数据的独立时空特征，并对独立时空特征进行关联处理生成多模态环境整合特征，一方面利用边缘计算靠近数据源的特点大幅降低了数据传输延迟，另一方面通过并行提取与关联处理，充分挖掘了不同模态数据之间的深层关联关系，避免了传统单模态处理或粗放融合导致的信息损失，显著提升了环境表征的准确性和信息丰富度；由多模态深度学习决策模型通过跨模态特征交互与推理输出面向多个异构执行设备的协同控制指令集，使得灯光、通风排烟、舞台机械等多个异构设备能够基于统一的环境感知结果获得协同一致的控制参数，解决了现有技术中各设备独立运行、缺乏统一调度而难以真正联动的问题；通过根据协同控制指令集在边缘计算节点的控制下对多个异构舞台执行设备进行联动调节，使得整个调节过程在边缘端即可完成感知、决策到执行的完整链路，无需依赖云端服务器，避免了断网条件下失效的风险，确保了多设备响应的同步性，从而全面实现了多模态环境数据的高效融合与实时处理以及多异构执行设备的协同自适应调节。