基于场景语义增强的电力短期负荷预测方法及相关装置与流程

本发明属于电力负荷预测领域，特别涉及一种基于场景语义增强的电力短期负荷预测方法及相关装置。

背景技术：

1、电力短期负荷预测是电网调度计划、电力现货交易及系统安全稳定运行的核心基础。电力负荷不仅与气象要素等物理环境直接相关，还将受到气象灾害预警、重大社会活动及政策调控等非物理、非结构化场景信息的影响。上述非结构化场景信息会改变用户惯常用电行为，导致负荷曲线在特殊时段产生偏移，从而导致预测误差增大。

2、目前电力短期负荷预测研究可归类为基于深度学习的纯数值预测方法、基于人工编码的场景信息处理方法，以及将大语言模型(large language model，llm)引入时序预测的方法三类。现有方法在特殊场景下预测精度不高，目前缺少以llm对外部非结构化场景文本进行语义编码、并与时序数值特征实现跨模态自适应融合的有效方案。

3、考虑深度学习建模高维非线性关系的优势性，采用深度学习方法，例如卷积神经网络(convolution neural network，cnn)、长短期记忆网络(long short-term memory，lstm)、transformer或基于patch的时序预测模型实现电力短期负荷预测。

4、现有技术一的技术方案：

5、首先，收集历史的负荷数据与气象协变量（温度、湿度、风速等），对输入变量进行归一化处理。然后，采用cnn、lstm、transformer或基于patch的时序预测模型等架构进行建模，设计相应的网络结构。其次，将历史负荷序列与气象特征输入网络，通过历史负荷标签进行有监督学习，采用均方误差等损失函数调整网络参数，逐步提高网络对时序数据非线性映射关系的拟合能力。最后，利用训练好的网络，输入历史负荷、历史气象以及未来预测时段的气象预报数据以实现次日负荷预测。

6、现有技术一的输入大多局限于负荷与气象的数值信号，缺少对节假日调休、气象灾害预警、重大社会活动等非结构化场景信息的感知与建模，在节假日、极端天气等特殊场景下预测性能显著下降，无法有效应对因场景扰动引发的负荷偏移问题。

7、现有技术二的技术方案：

8、针对节假日、社会活动等特殊场景影响负荷预测精度的问题，在深度学习预测框架中引入人工数值化编码的场景特征作为辅助输入，具体形式如下：

9、首先，收集历史负荷数据、气象数据及节假日类型、社会活动等场景信息，对输入变量进行预处理。然后，将场景信息进行人工数值化处理：例如采用二进制编码区分节假日与工作日；或对节假日类型、当前日相对节假日的时间距离进行数值化特征处理；或将节假日过程细分为准备期、持续期和恢复期三个阶段并赋予不同数值编码；或通过构建反映人员出行情况的量化指标将场景事件转化为高时间分辨率的数值特征。其次，将上述人工编码特征与历史负荷、气象等数值特征进行拼接，送入深度学习模型进行训练与预测。最后，利用训练好的模型实现对次日负荷的预测。

10、现有技术二本质上是将离散场景类别映射为人工定义的编码值，表示能力受限于预定义类别的粒度，且类别扩充易引发输入维度膨胀；人工编码丧失了自然语言承载的深层语义，对节假日调休、气象灾害预警、社会活动等复杂场景的感知有限，对训练集之外的新型社会事件泛化能力不足；此外，简单拼接的融合方式存在信息稀释问题，无法依据场景扰动强度自适应调节语义信息的注入量，在特殊场景下的预测精度提升有限。

11、现有技术三的技术方案：

12、llm引入时序预测领域的研究主要呈现以下两类范式：第一类以llm为预测主体，如time-llm。通过重编程等方式将时序数值序列映射至语言模型的输入分布空间，直接利用llm的自回归生成能力输出时序预测结果；第二类通过llm进行时序数值信息的语义化重构，如timecma。利用模板或统计方法将时序数值序列的特征（如趋势、均值、方差）转化为自然语言描述，再利用llm在语义空间中实现与原数值信息的模态对齐，以提升时序特征表达能力，随后结合传统时序模型完成负荷预测。

13、现有技术三中，第一类方法以llm作为时序回归工具，但llm是在离散文本上预训练的自回归模型，而时序数据是连续信号，两者的归纳偏置存在根本性差异，相较于专门设计的时序预测模型具有天然劣势，零样本跨任务迁移能力虽有一定优势，但数值回归精度通常不及传统时序模型；第二类方法的输入与数值序列本质上是同源信息，llm在此仅充当嵌入空间的对齐工具，并未引入来自外部场景文本的新信息，未能充分挖掘llm对社会事件、节假日等自然语言描述的语义理解能力。

14、因此，如何有效利用场景信息，提升在特殊场景下的负荷预测精度，是当前亟待解决的重要问题。

技术实现思路

1、本发明的目的在于提供一种基于场景语义增强的电力短期负荷预测方法及相关装置，以解决现有电力短期负荷预测方法由于非结构化场景信息，导致预测误差较大的技术问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种基于场景语义增强的电力短期负荷预测方法，包括：

4、获取待预测时段之前的历史负荷功率序列、历史气象协变量、所述待预测时段的未来气象协变量以及用于表征所述待预测时段所处场景的场景描述文本；

5、利用冻结参数的预训练大语言模型对所述场景描述文本进行语义编码，得到全局语义向量；

6、对所述历史负荷功率序列、历史气象协变量和未来气象协变量进行时序特征编码和数值特征融合，得到数值融合表示；

7、将所述全局语义向量映射至与所述数值融合表示相同维度的特征空间，得到对齐后的语义表示；以所述数值融合表示为查询、以所述对齐后的语义表示为键和值进行交叉注意力处理，得到语义增强的注意力输出；根据所述数值融合表示和所述语义增强的注意力输出生成门控系数矩阵，根据所述门控系数矩阵将所述语义增强的注意力输出融合至所述数值融合表示，得到最终数值融合表示；根据所述最终数值融合表示生成所述待预测时段的负荷功率预测序列。

8、本发明进一步的改进在于：所述场景描述文本包括从节假日及调休安排、社会活动和气象灾害预警中的至少一个维度组织的自然语言描述文本。

9、本发明进一步的改进在于：所述利用冻结参数的预训练大语言模型对所述场景描述文本进行语义编码，得到全局语义向量的步骤，具体包括：

10、将所述场景描述文本输入所述预训练大语言模型，提取所述场景描述文本对应的令牌序列的最后一层隐层状态；

11、对所述最后一层隐层状态进行均值池化，并对均值池化结果依次进行z分数标准化和二范数归一化，得到所述全局语义向量。

12、本发明进一步的改进在于：在所述待预测时段所处场景的场景描述文本缺失时，以全零向量作为所述全局语义向量。

13、本发明进一步的改进在于：对所述历史负荷功率序列、历史气象协变量和未来气象协变量进行时序特征编码之前，还包括：

14、对所述历史负荷功率序列、历史气象协变量和未来气象协变量进行标准化处理，并提取周期性时间特征和滞后特征；

15、将所述周期性时间特征和滞后特征与标准化处理后的历史负荷功率序列、历史气象协变量和未来气象协变量进行组合，并以所述待预测时段为锚点，将待预测时段之前的历史观测窗口与对应于待预测时段的未来区间进行拼接，得到数值特征张量。

16、本发明进一步的改进在于：对所述历史负荷功率序列、历史气象协变量和未来气象协变量进行时序特征编码，包括：

17、采用可逆实例归一化对所述数值特征张量的各特征通道分别进行归一化处理；

18、将归一化处理后的各特征通道按照预设窗口划分为多个时序片段，对各所述时序片段进行线性投影和位置编码，并将编码后的时序片段输入transformer编码器，采用通道独立策略分别对各特征通道进行自注意力特征提取，得到各特征通道对应的时序特征表示。

19、本发明进一步的改进在于：所述数值特征融合包括：

20、根据所述各特征通道对应的时序特征表示获得负荷时序特征表示和气象时序特征表示，对所述气象时序特征表示进行均值池化，得到气象融合特征表示；

21、以所述负荷时序特征表示为查询、以所述气象融合特征表示为键和值进行交叉注意力处理，将交叉注意力处理结果与所述负荷时序特征表示进行残差融合并进行层归一化，得到所述数值融合表示。

22、本发明进一步的改进在于：将所述全局语义向量映射至与所述数值融合表示相同维度的特征空间，包括：

23、采用两层多层感知机将所述全局语义向量投影至与所述数值融合表示具有相同特征维度的隐空间，得到对齐后的语义表示；

24、所述交叉注意力处理包括：以所述数值融合表示中的各时序片段表示为查询，以所述对齐后的语义表示为键和值进行交叉注意力计算，得到与各所述时序片段表示对应的语义增强的注意力输出。

25、本发明进一步的改进在于：根据所述数值融合表示和所述语义增强的注意力输出生成门控系数矩阵，包括：

26、将所述数值融合表示与所述语义增强的注意力输出进行拼接，对拼接结果进行线性变换和sigmoid处理，得到所述门控系数矩阵；

27、将所述门控系数矩阵与所述语义增强的注意力输出逐元素相乘，得到门控语义表示，将所述门控语义表示与所述数值融合表示进行残差融合，并对残差融合结果进行层归一化，得到所述最终数值融合表示。

28、本发明进一步的改进在于：根据所述最终数值融合表示生成所述待预测时段的负荷功率预测序列，包括：

29、对所述最终数值融合表示进行展平处理，并通过线性预测层将展平处理后的最终数值融合表示映射为对应于所述待预测时段的预测输出；

30、对所述预测输出进行与所述可逆实例归一化对应的逆归一化处理，将所述预测输出还原至原始功率量级，得到所述负荷功率预测序列。

31、本发明进一步的改进在于：所述电力短期负荷预测方法基于预先训练的语义-时序预测模型执行，所述语义-时序预测模型的训练包括：

32、获取多个样本时段对应的历史负荷功率序列、历史气象协变量、未来气象协变量、场景描述文本以及实际负荷功率序列；

33、保持所述预训练大语言模型的参数冻结，基于各样本时段对应的数据依次生成全局语义向量、数值融合表示、语义增强的注意力输出、门控系数矩阵和最终数值融合表示，并根据所述最终数值融合表示获得样本负荷功率预测序列；

34、根据所述样本负荷功率预测序列与所述实际负荷功率序列之间的差异更新除所述预训练大语言模型之外的模型参数，直至满足预设训练结束条件，得到所述语义-时序预测模型。

35、第二方面，本发明提出一种基于场景语义增强的电力短期负荷预测装置，包括：

36、采集模块，用于获取待预测时段之前的历史负荷功率序列、历史气象协变量、所述待预测时段的未来气象协变量以及用于表征所述待预测时段所处场景的场景描述文本；

37、语义编码模块，用于利用冻结参数的预训练大语言模型对所述场景描述文本进行语义编码，得到全局语义向量；

38、数值编码模块，用于对所述历史负荷功率序列、历史气象协变量和未来气象协变量进行时序特征编码和数值特征融合，得到数值融合表示；

39、跨模态融合输出模块，用于将所述全局语义向量映射至与所述数值融合表示相同维度的特征空间，得到对齐后的语义表示；以所述数值融合表示为查询、以所述对齐后的语义表示为键和值进行交叉注意力处理，得到语义增强的注意力输出；根据所述数值融合表示和所述语义增强的注意力输出生成门控系数矩阵，根据所述门控系数矩阵将所述语义增强的注意力输出融合至所述数值融合表示，得到最终数值融合表示；根据所述最终数值融合表示生成所述待预测时段的负荷功率预测序列。

40、第三方面，本发明提出一种电子设备，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现所述的基于场景语义增强的电力短期负荷预测方法。

41、第四方面，本发明提出一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述的基于场景语义增强的电力短期负荷预测方法。

42、相对于现有技术，本发明具有以下有益效果：

43、本发明一种基于场景语义增强的电力短期负荷预测方法，通过获取历史负荷功率序列、历史及未来气象协变量，并进一步引入用于表征待预测时段所处场景的场景描述文本，将原本单一数值域的时序预测扩展为数值信息与场景语义信息协同参与的预测；利用冻结参数的预训练大语言模型提取场景描述文本中的语义信息，并与负荷及气象数值特征进行跨模态融合，使预测过程能够感知节假日调休、气象灾害预警、重大社会活动等非结构化场景对负荷变化的影响；同时，通过门控系数矩阵自适应调节场景语义信息对数值特征的影响程度，能够在场景扰动较显著时增强语义信息的修正作用，并在场景语义信息增量有限时抑制冗余语义信息的注入，从而提高特殊场景下电力短期负荷预测的稳定性和预测精度。

44、进一步的，本发明通过将场景描述文本设置为从节假日及调休安排、社会活动和气象灾害预警中的至少一个维度组织的自然语言描述文本，能够利用自然语言表征不同类型的外部场景信息，避免仅采用人工离散编码对场景类别进行简单量化造成的语义信息损失，从而增强预测方法对不同特殊场景的感知和表征能力，为后续根据场景变化修正负荷预测结果提供语义信息基础。

45、进一步的，本发明通过提取场景描述文本对应令牌序列的最后一层隐层状态，并依次进行均值池化、z-score标准化和l2归一化，能够将场景描述文本中包含的语义信息压缩形成统一的全局语义向量，使复杂场景的自然语言信息能够以高维语义特征的形式参与后续跨模态融合；同时，通过标准化和归一化处理，使不同场景文本获得的语义表示具有较为统一的数值尺度，为语义特征与数值时序特征的后续融合提供基础。

46、进一步的，本发明通过在待预测时段对应的场景描述文本缺失时采用全零向量作为全局语义向量，使语义信息缺失时后续语义增强的注意力输出及门控作用能够相应收缩，从而抑制缺失或无效语义信息对负荷预测过程的干扰，使预测主要由数值支路完成，实现由数值—语义协同预测向纯数值预测的平稳退化，提高预测框架在场景文本缺失情况下的工程鲁棒性。

47、进一步的，本发明通过对负荷和气象数值数据进行标准化，并进一步引入周期性时间特征和滞后特征，能够在原始负荷、气象信息基础上补充负荷变化的周期规律和历史关联信息；通过以待预测时段为锚点，将历史观测窗口与待预测时段对应的未来区间组织形成数值特征张量，使历史负荷及气象观测信息与未来可获得的气象预报信息按照统一时间结构输入预测模型，为后续时序特征提取和负荷预测提供完整的数值输入。

48、进一步的，本发明通过可逆实例归一化对各特征通道分别进行归一化处理，能够逐样本减小不同输入样本之间的分布差异；通过将各特征通道按照预设窗口划分为多个时序片段，并经线性投影、位置编码和transformer编码器进行处理，能够对较长时间范围内的时序信息进行特征提取；同时采用通道独立策略对不同特征通道分别进行自注意力建模，有利于分别提取各数值变量自身的时序变化特征，为负荷与气象特征的后续融合提供有效的时序表示。

49、进一步的，本发明通过分别获得负荷时序特征表示和气象时序特征表示，并对气象时序特征表示进行均值池化，能够形成用于表征气象条件的融合特征；进一步以负荷时序特征表示为查询、以气象融合特征表示为键和值进行交叉注意力处理，使气象信息能够与负荷时序状态进行关联融合，并通过残差融合和层归一化获得数值融合表示，从而综合利用负荷自身变化规律以及气象条件对负荷的影响，为后续场景语义增强提供更加完整的数值特征基础。

50、进一步的，本发明通过两层多层感知机将全局语义向量投影至与数值融合表示具有相同特征维度的隐空间，实现语义特征与数值时序特征在特征空间上的对齐；进一步以数值融合表示中的时序片段表示为查询、以对齐后的语义表示为键和值进行交叉注意力计算，使场景语义信息能够与相应的时序状态建立关联，得到语义增强的注意力输出，从而为利用外部场景语义信息修正数值时序特征提供基础。

51、进一步的，本发明通过将数值融合表示与语义增强的注意力输出进行拼接，并经线性变换和sigmoid处理生成门控系数矩阵，使语义信息的注入程度能够根据数值时序特征和场景语义特征共同确定；通过门控系数矩阵与语义增强的注意力输出逐元素相乘，能够对不同特征位置的语义影响程度进行控制，在场景扰动明显时增强语义信息的作用，在普通场景或语义信息增量有限时自适应减小语义信息的注入；进一步结合残差融合和层归一化，有利于在保留原有数值时序信息的同时引入有效场景语义信息，降低冗余语义噪声对负荷预测的影响。

52、进一步的，本发明通过将最终数值融合表示展平并利用线性预测层映射为待预测时段对应的预测输出，能够将经过数值特征和场景语义特征融合后的隐层表示转换为负荷预测结果；进一步采用与前述可逆实例归一化相对应的逆归一化处理，将预测结果恢复至原始负荷功率量级，使模型输出能够直接对应实际电力负荷功率，从而完成从归一化特征空间到实际负荷功率序列的预测映射。