基于迁移强化学习的碳排放指数预测与治理方法与流程

1.本发明涉及碳排放指数预测与治理的方法，是一种基于迁移强化学习的碳排放指数预测与治理方法。


背景技术：

2.目前，由于电力行业的碳排放指数是结合电力碳排放总量指标、电力排放强度指标和零碳电能占比三个指标构成的，三个指标具有相互侧重又相互支撑。因此电力碳排放充电行业碳排放指数涉及时域、地域和成分(即电力碳排放总量指标、电力排放强度指标和零碳电能占比)三个维度来刻画。现有一些碳排放方法涉及电力系统，如中国专利文献中披露的申请号202010242390.9，申请公布日2020.08.11，发明名称“一种电力系统碳排放风险控制优化方法”；另一些通过碳排放来约束电动汽车的保有量，如中国专利文献中披露的申请号 202010002492.3，申请公布日2020.04.03，发明名称“一种基于碳排放约束的电动汽车保有量预测方法及系统”。但从一个地区对碳排放指数构建碳排放的预测模型，直接使用很难适用于其他区域，除此之外，碳排放指数跟时间有关系，不同时间尺度下，碳排放的趋势和特征也是不同的，因此传统的机器学习模型用于不同区域的碳排放指数预测，其预测准确性和性能将会大打折扣。上述预测方法的传统机器学习模型用于不同区域的碳排放指数预测，其预测准确性和性能将会大打折扣；对应的治理方法在治理质量和组合效率上较难最大化满足治理的需求，并且没有考虑组合方案的适应性和面对大规模治理工具组合场景的可扩展性问题。


技术实现要素：

3.为克服上述不足，本发明的目的是向本领域提供一种基于迁移强化学习的碳排放指数预测与治理方法，使其主要解决现有同类技术中碳排放指数迁移强化学习和预测治理方法较难准确精准预测，以及较难最大化治理的技术问题。其目的是通过如下技术方案实现的。
4.一种基于迁移强化学习的碳排放指数预测方法，该预测方法由基于迁移学习的碳排放指数预测和基于强化学习的碳排放治理行为建模两个部分组成；其特征在于该预测方法通过迁移学习方法对具有相似特征区域的碳排放模型进行迁移，共享碳排放指数预测的信息；再此基础上，将迁移学习预测到的碳排放指数作为强化学习状态的输入，结合强化学习mdp进行碳排放治理建模，构建奖赏函数，运用强化学习算法实现碳排放治理效果的预测，提高碳排放治理行为预测的精度。
5.该预测方法的具体步骤如下：步骤一，对某一个区域的历史数据进行建模，生成碳排放指数预测器；步骤二，找到相似特征的样本，以现有的预测器为基准，辅助其他区域生成满足自身分布的预测器；步骤三，在线更新初始预测器，采用集成权重调正算法生成一个最终的预测器；步骤四，采用强化学习对碳排放治理行为的效果进行控制。
6.所述步骤一的具体步骤如下：1、借助历史数据信息，把每一个监测点采集回来的
数据按照时间序列进行排序，为提取历史数据的时空特征提供数据基础；2、采用深度学习对历史数据的时空信息进行提取，卷积层为分别是3
×
3，4
×
3，5
×
3，步长为2，对历史数据进行多尺度高层次时空特征提取；3、采用流形学习，对多尺度高层次时空特征进行降维，并以降维后的特征作为神经网络的输入层，经过神经网络隐含层，最后得到神经网络的输出——未来一个时间段该区域的碳排放指数预测值，生成一个预测器。
7.所述步骤二的具体步骤如下：
8.1、对每一个区域的历史数据采用深度学习，实现多尺度高层次时空特征提取；
9.2、采用流形学习，对多尺度高层次时空特征进行降维，具体流程为：
10.假设某个地区i的多尺度高层次时空特征x
t
＝{x1,x2,...x
t
}n∈rn，t表示每一个预测周期，每一个预测周期的碳排放指数为y＝{i1,i2,...,i
t
}
ni
∈r
ni
；采用流形学习——le算法实现高维到低维的映射；
11.3、le算法侧重于保持局部领域结构，其认为，高维空间数据近邻点经过降维在低维空间的投影也应该是近邻的；以特征映射的方式实现了高维数据的降维，得到的低维数据的结构特征具有投影不变形的特征；加入高维数据的两个样本点具有近邻的特征，xi与xj为近邻点，对邻域内所有点计算两两距离并结合权重形成邻域图；在此基础上，构建邻域权重矩阵；在保持邻域图结构不变性的基础上，通过投影实现高维数据的降维；
12.目标函数为：
[0013][0014]
qi与qj是高维数据xi与xj的低维映射位置；
[0015]
4、采用le算法实现多尺度高层次时空特征从高维到低维的转换，假设某个地区i的多尺度高层次时空特征x
t
＝{x1,x2,...x
t
}n，t表示每一个预测周期，每一个预测周期的碳排放指数为
[0016]
根据le算法，建立邻域图g，v表示x
t
＝{x1,x2,...x
t
}n多尺度高层次时空特征数据，e表示多尺度高层次时空特征数据之间的邻近关系，然后采用(le算法)流形学习算法实现低维空间qi与碳排放指数yi的最小值拟合；根据上述思路，建立目标函数：
[0017][0018]
其中，q＝min{q1,q2,...,q
t
}d∈rd，是通过上一步的le算法求解出来的低维映射；
[0019]
5、在获得低维空间qi后，采用相似性对多尺度高层次时空的低维映射特征进行相似性判断；
[0020][0021]
如果低维映射特征的相似性大于设定的阈值，那么将其作为一组，否则归为不同一组；
[0022]
6、多任务学习——基于聚类的多任务学习，每个聚类都生成一个预测器，形成每一个区域的初始预测器。
[0023]
所述步骤二的目标函数求解，对数据进行如下处理：
[0024]
1)选择合适的邻域并构造邻域图；在选取邻域点之后，将数据x与邻域点进行连接，构造邻域图g＝(v,e)，v代表邻域图中的节点集合，e代表邻域图的边集合；
[0025]
2)选择权重，权重选择有两种方式，第一种是无差异的权重，如果e(i,j)∈e，代表邻域图节点xi与节点xj是直接相连，那么权重为1，否则为0；第二种是根据两点之间的距离计算权重，采取第二种方法计算两点之间的权重；采用高斯核函数表示邻域图节点之间的权重，具体表示为：
[0026][0027]
由公式2可知，两点的距离越小，那么权重越大；
[0028]
3)特征映射，获得权重后，目标函数简化为：
[0029][0030]
其中，拉普拉斯矩阵l＝d-w，其中矩阵d直接测度邻域图中节点集合v的重要性.当d(i,i)值越大，节点vi的重要性越大；因此高维到低维空间映射的距离最小化转变为：
[0031][0032]
为了保证低维空间的维度不小于d-1维，在高维到低维空间映射过程中引入一个任意比例因子，表示的约束条件q
t
dq＝1；采用拉格朗日乘数对约束条件进行求导，得到：
[0033]
lq＝λdq(公式5)
[0034]
其中，λ为拉格朗日乘子，由于是特征值为0的特征向量，因此无法反映高维数据的结构特征；为了保证q的平移不变性的特征，增加一个约束条件，q
t
dl＝0；公
[0035]
式4改写为：
[0036][0037]
由rayleittz-riz定理可知，将高维空间与流形进行对齐，低维空间的映射结果就是l 的d 1维向量v2,v3,v4,...,v
d 1
，最后得到低维嵌入结果q＝[v2,v3,v4,...,v
d 1
]
t
。
[0038]
该治理方法利用mdp构建大规模自适应动态治理工具选择和组合，并利用强化学习的方法进行最优化策略求解，这个最优策略将引导整个治理工具组合过程达到最终目标，最优的工具组合方案即为mdp最优策略所对应的动作序列；其特征在于该治理方法的步骤具体如下：
[0039]
1、首先，该方法需要对大规模自适应的治理工具组合问题建模，一个mdp建模的治理工具组合用一个六组表示mdp-wsc＝《s,s0,sr,a(.),p,r》；
[0040]
其中，s表示环境中的状态集，s0∈s是治理工具组合执行的环境初始状态，
表示治理工具组合执行的终止状态集，只要达到sr达到任何一个状态，治理工具更新就终止；a(.) 表示可调用的动作集合，也就是所有状态下可调用的治理工具集合，a(s)表示在状态s下可调用的治理工具集合，同一状态下可调用的治理工具一般具有相似的功能，但各种工具的效用值是不同的；p表示一个状态转移函数，p(s'|s,a)表示在状态s下调用治理工具集合后，转移到状态s’；r是回报函数，r(s'|s,a)表示在状态s下调用治理工具集合后，转移到状态s’的回报值；状态转移函数p和回报值函数r唯一确定一个mdp模型，因此，评价mdp 策略的优略是无限适于的折扣累计回报值；在上述场景设定下，mdp确定性的最优策略π
*
是根据贪婪算法有折扣累计的回报值v
*
表征；也就是最优策略π
*
下的最优状态函数v
*
，满足以下条件：
[0041][0042][0043][0044]
2、接着，基于强化学习的mdp求解，基于核的非参数核函数逼近器对最优服务组合方案进行求解；所谓非参数核函数逼近技术就是无需事先确定函数的形式核参数个数，直接通过观察到的碳排放指数状态转移的回报值自动调整得出，更适合在线学习；并采用高斯核函数，采用q-learning的方法实现mdp求解；
[0045]
所述算法的流程如下：
[0046]
1)初始化：确定折扣率γ，高斯核学习率α，高斯核k(x,x’)＝k
xx’，高斯核的特征尺度σk，初始状态s0，终止状态sr，bv＝{}；
[0047]
2)重复：学习每一个在线片段，采用贪婪算法选择服务a
τ
，观察回报值r
t
,s
t 1
，令 z
t
＝＜s
τ
,a
τ
＞；是观察到的效用值向量对应于状态动作对的样本集合；给定一些数据点对应于输入域z，期望在新的输入点z
τ 1
预测q值函数y
τ 1
的值；假设k(z，z) 为核矩阵，则对应的k
l,m
＝k(z
l
,zm)表示状态动作对z
l
和zm之间的协方差；k(z,z
τ 1
)表示核向量对应于τ 1次评估；表示评估的不确定性；得出q值得评估值和协方差为：
[0048][0049][0050]
采用q-learning算法更新q函数值，公式为：
[0051][0052]
根据每次观察到的数据更新模型观察的准确性依赖于当前模型的准确性，高斯噪音是一个正规化项，阻止模型快速收敛到一个正确的最优评估q
*
。
[0053]
本发明的碳排放指数建模方式科学，模型自学习能力强，用于预测精确度高，实现了最大化治理；其适合用于电力行业中碳排放指数的预测和治理，及其同类方法的技术改
进。
附图说明
[0054]
图1是本发明的预测方法建模工作原理流程方框图。
[0055]
图2是图1的初始预测器工作原理流程方框图。
[0056]
图3是图2的预测器中降维工作原理流程方框图。
[0057]
图4是图2的多层预测器神经网络工作原理流程方框图。
[0058]
图5是图2的更新一个区域预测器工作原理流程方框图。
具体实施方式
[0059]
现结合附图，对本发明的具体实施步骤进行进一步的具体描述。
[0060]
该碳排放指数预测方法具体步骤如下：
[0061]
步骤一，对某一个区域的历史数据进行建模，生成碳排放指数预测器。如图1所示，具体步骤如下：
[0062]
1、借助历史数据信息，把每一个监测点采集回来的数据按照时间序列进行排序，为提取历史数据的时空特征提供数据基础；
[0063]
2、采用深度学习对历史数据的时空信息进行提取，卷积层为分别是3
×
3，4
×
3，5
×
3，步长为2，对历史数据进行多尺度高层次时空特征提取；
[0064]
3、采用流形学习，对多尺度高层次时空特征进行降维，并以降维后的特征作为神经网络的输入层，经过神经网络隐含层，最后得到神经网络的输出——未来一个时间段该区域的碳排放指数预测值。至此，生成一个预测器。
[0065]
步骤二，找到相似特征的样本，以现有的预测器为基准，辅助其他区域生成满足自身分布的预测器。预测器假定训练域与测试域独立同分布，将训练数据得到的预测模型，直接用于测试数据。但是在实际中，训练域和测试域的分布存在差异，如果将不同分布的数据放进模型中，则学习性能将会大打折扣，为了应对这个问题，采用领域自适应学习来实现不同地区的碳排放指数的预测问题。如图2所示，具体步骤如下：
[0066]
1、对每一个区域的历史数据采用深度学习，实现多尺度高层次时空特征提取；
[0067]
2、采用流形学习，对多尺度高层次时空特征进行降维，如图3所示，具体流程为：
[0068]
假设某个地区i的多尺度高层次时空特征x
t
＝{x1,x2,...x
t
}n∈rn，t表示每一个预测周期，每一个预测周期的碳排放指数为采用流形学习——le算法(拉普拉斯映射算法)实现高维到低维的映射。下面先介绍le算法的原理，再说明如何将le算法进行特征的降维的。
[0069]
3、le算法侧重于保持局部领域结构，其认为，高维空间数据近邻点经过降维在低维空间的投影也应该是近邻的。以特征映射的方式实现了高维数据的降维，得到的低维数据的结构特征具有投影不变形的特征。加入高维数据的两个样本点具有近邻的特征，xi与xj为近邻点，对邻域内所有点计算两两距离并结合权重形成邻域图。在此基础上，构建邻域权重矩阵。在保持邻域图结构不变性的基础上，通过投影实现高维数据的降维。
[0070]
目标函数为：
[0071][0072]
qi与qj是高维数据xi与xj的低维映射位置。
[0073]
为了求解目标函数，对数据进行如下处理：
[0074]
1)选择合适的邻域并构造邻域图。在选取邻域点之后，将数据x与邻域点进行连接，构造邻域图g＝(v,e)，v代表邻域图中的节点集合，e代表邻域图的边集合。
[0075]
2)选择权重，权重选择有两种方式，第一种是无差异的权重，如果e(i,j)∈e，代表邻域图节点xi与节点xj是直接相连，那么权重为1，否则为0；第二种是根据两点之间的距离计算权重，采取第二种方法计算两点之间的权重。采用高斯核函数表示邻域图节点之间的权重，具体表示为：
[0076][0077]
由公式2可知，两点的距离越小，那么权重越大。
[0078]
3)特征映射，获得权重后，目标函数简化为：
[0079][0080]
其中，拉普拉斯矩阵l＝d-w，其中矩阵d直接测度邻域图中节点集合v的重要性.当d(i,i)值越大，节点vi的重要性越大；因此高维到低维空间映射的距离最小化转变为：
[0081][0082]
为了保证低维空间的维度不小于d-1维，在高维到低维空间映射过程中引入一个任意比例因子，表示的约束条件q
t
dq＝1；采用拉格朗日乘数对约束条件进行求导，得到：
[0083]
lq＝λdq(公式5)
[0084]
其中，λ为拉格朗日乘子，由于是特征值为0的特征向量，因此无法反映高维数据的结构特征；为了保证q的平移不变性的特征，增加一个约束条件，q
t
dl＝0；公
[0085]
式4改写为：
[0086][0087]
由rayleittz-riz定理可知，将高维空间与流形进行对齐，低维空间的映射结果就是l 的d 1维向量v2,v3,v4,...,v
d 1
，最后得到低维嵌入结果q＝[v2,v3,v4,...,v
d 1
]
t
。
[0088]
4、采用le算法实现多尺度高层次时空特征从高维到低维的转换，假设某个地区i的多尺度高层次时空特征x
t
＝{x1,x2,...x
t
}n，t表示每一个预测周期，每一个预测周期的碳排放指数为
[0089]
根据le算法，建立邻域图g，v表示x
t
＝{x1,x2,...x
t
}n多尺度高层次时空特征数据，e 表示多尺度高层次时空特征数据之间的邻近关系，然后采用(le算法)流形学习算法实现低维空间qi与碳排放指数yi的最小值拟合。根据上述思路，建立目标函数：
[0090][0091]
其中，q＝min{q1,q2,...,q
t
}d∈rd，是通过上一步的le算法求解出来的低维映射。
[0092]
5、在获得低维空间qi后，采用相似性对多尺度高层次时空的低维映射特征进行相似性判断。
[0093][0094]
如果低维映射特征的相似性大于设定的阈值，那么将其作为一组，否则归为不同一组。
[0095]
6、多任务学习——基于聚类的多任务学习，每个聚类都生成一个预测器，形成每一个区域的初始预测器。
[0096]
从而对上述的每一个聚类组数据的多尺度高层次时空特征放进去神经网络，每一个聚类都生成一个预测器，并采用集成学习，采用对预测器进行合并，形成每一个区域的初始的预测器，下图展现多聚类的多任务学习。上面是监测点的初始预测器，这里是一个区域初始的预测器形成，如图4所示。
[0097]
步骤三，在线更新初始预测器，采用集成权重调正算法生成一个最终的预测器。由于碳排放数据是持续更新的，因此对新的一批数据进行训练，生成一个新的预测器，并对比区域初始预测器的性能，对预测器进行权重更新，基于更新后的权重，采用加权平均的方法调整每一个预测器的权重，形成一个在线更新预测器的过程；最后，基于更新的预测器，得到该区域的碳排放指数预测值，如图5所示。
[0098]
步骤四，采用强化学习对碳排放治理行为的效果进行控制。碳排放治理行为理解为：一个具有m个治理手段的系统，每个抽选治理手段有n个候选治理工具组合，就会有mn组合治理方式；碳排放治理效果是从相互独立的候选治理工具选取n个治理工具，根据给定的效用函数，把不同治理工具的属性值映射成单个效用值，然后选择具有最大效用值的工具组合。
[0099]
根据上述预测方法在治理质量和组合效率上需要最大化满足治理的需求，但是还需要考虑组合方案的适应性和面对大规模治理工具组合场景的可扩展性问题。因此，该治理方法基于组合治理行为质量和强化学习方法的内在自适应性的考虑，找到基于强化学习的治理效用的治理工具组合优化方案，改善上述基于治理效用的治理工具组合方法在大规模治理和治理行为自适应方面的缺陷，以及自适应治理工具组合在大规模和动态性上的限制，优化的治理工具组合方法既能提供一个高质量的治理手段，又能适应治理工具组合内外部环境的动态变化，而且能够在大规模的治理工具组合场景下达到具有竞争性的效率。
[0100]
该治理方法的治理工具自适应组合的目标是，面对大量抽象治理工具、候选治理工具和动态变化的环境，寻找最优的组合方案以最大程度满足碳排放指数降低的要求，实现组合的自适应性，可扩展性，并具有竞争性的计算效率。因此，该治理方法把强化学习的方法和基于治理效用的治理工具组合方法整合起来，寻找在大规模治理工具组合场景下组
合效率、自适应性、可扩展性更加优化的治理工具组合方案。该治理方法利用mdp构建大规模自适应动态治理工具选择和组合，并利用强化学习的方法进行最优化策略求解，这个最优策略将引导整个治理工具组合过程达到最终目标，最优的工具组合方案即为mdp最优策略所对应的动作序列。
[0101]
该治理方法的具体步骤如下：
[0102]
1、首先，该方法需要对大规模自适应的治理工具组合问题建模，一个mdp建模的治理工具组合用一个六组表示mdp-wsc＝《s,s0,sr,a(.),p,r》。
[0103]
其中，s表示环境中的状态集，s0∈s是治理工具组合执行的环境初始状态，表示治理工具组合执行的终止状态集，只要达到sr达到任何一个状态，治理工具更新就终止；a(.) 表示可调用的动作集合，也就是所有状态下可调用的治理工具集合，a(s)表示在状态s下可调用的治理工具集合，同一状态下可调用的治理工具一般具有相似的功能，但各种工具的效用值是不同的。p表示一个状态转移函数，p(s'|s,a)表示在状态s下调用治理工具集合后，转移到状态s’。r是回报函数，r(s'|s,a)表示在状态s下调用治理工具集合后，转移到状态s’的回报值。状态转移函数p和回报值函数r唯一确定一个mdp模型，因此，评价mdp 策略的优略是无限适于的折扣累计回报值。在上述场景设定下，mdp确定性的最优策略π
*
是根据贪婪算法有折扣累计的回报值v
*
表征。也就是最优策略π
*
下的最优状态函数v
*
，满足以下条件：
[0104][0105][0106][0107]
2、接着，基于强化学习的mdp求解，基于核的非参数核函数逼近器对最优服务组合方案进行求解。所谓非参数核函数逼近技术就是无需事先确定函数的形式核参数个数，直接通过观察到的碳排放指数状态转移的回报值自动调整得出，更适合在线学习；并采用高斯核函数，采用q-learning的方法实现mdp求解；算法的流程如下：
[0108]
1)初始化：确定折扣率γ，高斯核学习率α，高斯核k(x,x’)＝k
xx’。高斯核的特征尺度σk，初始状态s0，终止状态sr。bv＝{}。
[0109]
2)重复：学习每一个在线片段，采用贪婪算法选择服务a
τ
，观察回报值r
t
,s
t 1
，令 z
t
＝＜s
τ
,a
τ
＞；是观察到的效用值向量对应于状态动作对的样本集合；给定一些数据点对应于输入域z，期望在新的输入点z
τ 1
预测q值函数y
τ 1
的值。假设k(z，z) 为核矩阵，则对应的k
l,m
＝k(z
l
,zm)表示状态动作对z
l
和zm之间的协方差。k(z,z
τ 1
)表示核向量对应于τ 1次评估。表示评估的不确定性。得出q值得评估值和协方差为：
[0110][0111]
[0112]
采用q-learning算法更新q函数值，公式为：
[0113][0114]
根据每次观察到的数据更新模型观察的准确性依赖于当前模型的准确性，高斯噪音是一个正规化项，阻止模型快速收敛到一个正确的最优评估q
*
。
[0115]
3)最后，找到最优评估q
*
，找到目标状态s
τ 1
，治理工具更新就终止。
[0116]
综上所述，该方法提出了一种基于迁移强化学习的碳排放指数预测与治理方法，并且该方法基于迁移学习的碳排放指数预测和基于强化学习的碳排放治理行为建模。该方法的创新点具体如下：1、针对碳排放数据涉及时域、地域和成分多维度刻画问题，采用深度学习实现时空特征的提取，并流形降维的基础上，采用聚类的多任务学习的方法构建初始预测器，能够最大程度上提升迁移学习的性能；再获得初始预测器的基础上，结合集成学习的方法实现在线数据的学习，实现预测器的定期更新，提升预测器的可用性和时效性。2、构建强化学习的碳排放治理行为模型，该模型能够很好地模拟治理工具选择组合流程的环境，并把治理效用值集成到模型中，针对该模型采用q-learning求解，实现对治理工具组合质量、组合自适应性和组合效率的多重考虑。3、在强化学习方法求解中，对大规模工具组合场景，提出根据组合模型，利用强化学习的方法求解，并且奸对大规模的服务组合场景，提出高斯噪音正则化项，收敛速度快，提高了强化求解效率。