基于多模态大模型及上下文感知的能耗预测方法及系统与流程

本发明涉及能耗预测和人工智能，尤其是基于多模态大模型及上下文感知的能耗预测方法及系统。

背景技术：

1、在传统能耗预测任务中通常依赖单一模态的历史能耗时间序列进行建模与预测。这类方法在建模稳定负荷模式和短期趋势方面取得了一定进展，但在实际复杂环境中却存在明显的局限性。现实中的能耗变化不仅由其本身的历史行为决定，还受到外部环境因素（如气温、湿度、风速、太阳辐射）以及内部结构配置、运行策略、用户行为习惯等多种异质信息的综合影响。然而，传统模型在设计上往往忽略了这些非能耗模态的干预变量，导致对关键驱动因子的建模不足，无法全面刻画能耗系统的动态演化过程。

2、现有大多数能耗预测模型仍以统计建模方法（如arima、sarima）或浅层机器学习方法（如支持向量回归、随机森林）为主。这些方法在处理线性模式或短期趋势上具备一定优势，但在建模复杂非线性关系、长期依赖模式以及多变量交互效应时表现有限。近年来，深度学习技术的引入，尤其是循环神经网络（rnn）、长短期记忆网络（lstm）、卷积神经网络（cnn）以及transformer系列模型，在时间序列预测任务中展现出卓越的建模能力。它们能够有效挖掘潜在的时序依赖结构，并在高维、多变量场景下维持建模精度。然而，这些模型大多仅针对能耗序列本身进行建模，难以整合来自环境感知、结构信息或专家知识等外部模态数据，从而在应对复杂场景下的泛化性和鲁棒性方面仍显不足。特别是在部署于真实环境中时，模型容易出现过拟合或预测失真等问题。

3、更为复杂的是，能耗系统的动态变化往往受到大量异构数据源的联合影响。这些信息不仅包括结构参数（如楼层布局、设备部署）、运行设置（如调控策略、空调负载分配），还涉及用户行为习惯（如使用频率、控制偏好）与季节性气候背景。这些信息大多以非结构化形式存在，如操作说明、使用文档、专家注释等，传统的数值建模方法难以直接处理这类语义文本。近年来，以bert、gpt、llama为代表的大语言模型（large language models,llms）在自然语言处理任务中取得重大突破。其在大规模文本语料上进行预训练，具备了强大的语义理解、文本嵌入与推理能力。由此，为将非结构化文本信息引入能耗建模提供了前所未有的可能性，为多模态感知和推理机制奠定了基础。

4、尽管已有部分研究开始尝试将多模态信息引入能耗预测模型中，如联合建模气象时序与能耗序列，或引入文本知识增强模型理解能力，但这些方法仍面临多个挑战：一方面，模态融合过程往往设计简单，常常采取粗暴的时序嵌入与文本嵌入拼接方式，缺乏对不同模态语义结构的深层对齐机制，容易引入信息冗余或语义冲突，从而造成模态间的信息纠缠，影响下游预测性能；另一方面，文本信息本身具有噪声高、冗余大、领域适应性弱等特性，缺乏机制对其中真正与预测目标相关的语义单元进行识别与筛选。此外，通用大语言模型所构建的密集词域空间并不完全适用于能耗场景，模型往往被迫在大规模的非领域相关语义空间中进行匹配，导致预测精度下降、计算开销增大，缺乏高效、可解释的语义约束机制。

5、更重要的是，当前的能耗预测模型架构为上下文无关型，即使引入外部数据，也常常作为附加特征简单堆叠，缺乏机制以实现真正的上下文感知和多模态语义融合。这种设计限制了模型对外部语义变量与能耗变化关系的建模能力，难以捕捉复杂环境下的能耗驱动因素。

技术实现思路

1、发明目的：本发明的目的是提供一种基于多模态大模型及上下文感知的能耗预测方法及系统，解决难以融合外部环境数据与文本知识、模态对齐困难和预测精度有限等问题。

2、技术方案：本发明所述的一种基于多模态大模型及上下文感知的能耗预测方法，包括如下步骤：

3、步骤1，采集能源系统在预设时间段内的多模态时序数据，所述多模态时序数据包括环境传感器序列、历史能耗序列、结构特征和专家知识文本；

4、步骤2，根据所述多模态时序数据构造结构化自然语言提示，将所述结构化自然语言提示输入大语言模型进行语义编码，生成对应的文本提示词向量序列；

5、步骤3，对所述环境传感器序列进行归一化处理，并按照预设窗口长度和滑动步长进行补丁划分，得到多个环境序列补丁；将所述环境序列补丁作为查询，将所述文本提示词向量序列作为键和值，通过互注意力机制计算所述环境序列补丁与所述文本提示词向量序列之间的相关性，得到融合环境序列；

6、步骤4，利用可学习的路由原型、所述融合环境序列和所述历史能耗序列通过互注意力机制对所述文本提示词向量进行相关性计算，筛选出与能耗预测任务相关的重点词汇子集，进行大语言模型的词域稀疏化；

7、步骤5，将所述融合环境序列与所述历史能耗序列通过互注意力机制计算相关性，得到融合输入序列；将所述融合输入序列分别输入上下文无关预测模型和经过词域稀疏化的大语言模型，得到第一预测结果和第二预测结果；通过残差连接与加权融合机制融合所述第一预测结果和所述第二预测结果，得到最终能耗预测结果。

8、进一步地，所述步骤4具体包括：

9、初始化若干个可学习的路由原型，所述可学习的路由原型用于表征能耗预测任务中的语义筛选方向；

10、将所述可学习的路由原型与所述文本提示词向量序列输入互注意力机制，计算所述可学习的路由原型与所述文本提示词向量序列中各词向量之间的第一相关性，根据所述第一相关性筛选得到初始重点词汇子集；

11、将所述融合环境序列和所述历史能耗序列作为查询，将所述初始重点词汇子集对应的词向量作为键和值，输入互注意力机制计算第二相关性，根据所述第二相关性从所述初始重点词汇子集中筛选得到所述重点词汇子集。

12、进一步地，步骤2中所述根据多模态时序数据构造结构化自然语言提示包括：

13、对环境传感器序列进行统计特征提取，结合系统结构信息和专家知识，利用预定义的自然语言提示模板构造结构化自然语言提示；所述统计特征包括负荷均值、波动幅度和变化趋势斜率。

14、进一步地，步骤1中，所述环境传感器序列为室内外环境传感器在一段时间内的监测数据；所述历史能耗序列为各子能源系统在一段时间内的用能数据；所述结构特征和专家知识文本包括建筑楼层布局、设备部署方案、运行策略说明及能效评估报告的文本数据。

15、进一步地，步骤3中，在对环境传感器序列进行补丁划分之前还包括，对环境传感器序列进行归一化。

16、进一步地，步骤5中，所述上下文无关预测模型为spaformer模型；步骤2和步骤5中，所述大语言模型为llama模型或bert模型。

17、本发明所述的基于多模态大模型及上下文感知的能耗预测系统，包括：

18、多模态时序数据采集单元，用于采集能源系统在预设时间段内的多模态时序数据，所述多模态时序数据包括环境传感器序列、历史能耗序列、结构特征和专家知识文本；

19、词向量生成单元，用于根据所述多模态时序数据构造结构化自然语言提示，将所述结构化自然语言提示输入大语言模型进行语义编码，生成对应的文本提示词向量序列；

20、环境序列融合单元，用于对所述环境传感器序列进行归一化处理，并按照预设窗口长度和滑动步长进行补丁划分，得到多个环境序列补丁；将所述环境序列补丁作为查询，将所述文本提示词向量序列作为键和值，通过互注意力机制计算所述环境序列补丁与所述文本提示词向量序列之间的相关性，得到融合环境序列；

21、重点词汇筛选单元，用于利用可学习的路由原型、所述融合环境序列和所述历史能耗序列通过互注意力机制对所述文本提示词向量进行相关性计算，筛选出与能耗预测任务相关的重点词汇子集，进行大语言模型的词域稀疏化；

22、能耗预测单元，用于将所述融合环境序列与所述历史能耗序列通过互注意力机制计算相关性，得到融合输入序列；将所述融合输入序列分别输入上下文无关预测模型和经过词域稀疏化的大语言模型，得到第一预测结果和第二预测结果；通过残差连接与加权融合机制融合所述第一预测结果和所述第二预测结果，得到最终能耗预测结果。

23、本发明所述的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于多模态大模型及上下文感知的能耗预测方法。

24、本发明所述的计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于多模态大模型及上下文感知的能耗预测方法。

25、本发明所述的计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述的基于多模态大模型及上下文感知的能耗预测方法。

26、有益效果：与现有技术相比，本发明的优点在于：有益效果：与现有技术相比，本发明的优点在于：（1）本发明引入多模态语义信息，引入大语言模型处理非结构化文本信息，增强了模型对能耗影响因素的全面理解；（2）本发明设计了模态对齐机制，有效解决时序与文本信息融合时的纠缠问题，实现对多模态上下文信息的有效融合与解释，提升了预测效率与领域适配能力；（3）本发明通过可学习的路由原型与当前时序上下文进行两阶段相关性筛选，减少大语言模型生成的文本提示词向量序列中的无关语义信息和冗余计算量，提高能耗预测结果的准确性。