基于强化学习的电力营销稽查异常优先级排序及优化方法及系统与流程

本发明涉及电力营销稽查资源调度数据处理，更具体地说，本发明涉及基于强化学习的电力营销稽查异常优先级排序及优化方法及系统。

背景技术：

1、目前，电力营销稽查领域已逐步构建起以数据驱动为核心的异常识别体系，通过无监督学习算法对用户用电行为及业务操作数据进行离群检测，并结合业务影响、历史频率等维度计算风险得分，形成异常工单的初始排序。为进一步突破静态权重和专家经验主导的排序局限，业界开始将稽查优先级排序建模为马尔可夫决策过程，利用强化学习方法以现场核查反馈作为奖励信号，驱动排序策略在业务闭环中持续优化，使异常处理顺序能适应稽查态势的动态变化。

2、然而在将稽查排序问题置入马尔可夫决策框架后，由于实际业务环境禁止在线试探性决策，智能体必须依赖由既往固定策略所生成的历史日志进行离线训练，在异常样本稀疏、稽查反馈滞后的条件下，离线训练所采用的重要性采样等策略评估方式会出现方差膨胀，对历史数据中未曾充分覆盖的状态-动作对的估值严重失准，这种离线评估与在线性能之间的不一致造成策略部署前无法真实感知其在实际环境中的退化风险，导致排序模型从离线训练向在线稽查闭环过渡时存在性能盲区，阻碍了稽查资源调度策略安全、有效地动态优化。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明提供基于强化学习的电力营销稽查异常优先级排序及优化方法及系统以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、基于强化学习的电力营销稽查异常优先级排序及优化方法，包括：

4、s1：获取电力营销稽查历史日志，提取异常工单的风险特征及核查结果，构建包含状态向量、动作和奖励的马尔可夫决策过程的样本集；

5、s2：对样本集中各样本的状态向量按维度执行多次随机掩码，基于每次掩码后得到的掩码样本集，通过离线策略评估获得各状态-动作对的价值估计值并构成价值估计值集合；

6、s3：对于样本集中每一状态-动作对，计算价值估计值集合的认知不确定性度量，并计算状态-动作对与样本集中其余样本的马氏距离，取最小马氏距离的倒数作为覆盖密度；

7、s4：通过价值估计值集合计算各状态-动作对所对应动作被替换为其他可选动作后的价值估计变化和不确定性变化，得到状态-动作对的可替代性度量；

8、s5：以认知不确定性度量、覆盖密度和可替代性度量为目标维度，对样本集中所有状态-动作对执行pareto非支配排序，将支配层级超过预设参照层级的状态-动作对划定为离线策略盲区；

9、s6：在线排序时，对于当前稽查决策对应的状态-动作对，若其落入离线策略盲区，则执行预设风险规则排序，否则执行由价值估计值集合导出的强化学习策略排序。

10、进一步地，s1包括：从电力营销稽查历史日志中获取用户用电行为数据、业务操作记录及历史核查结果；提取用户用电行为数据的统计特征和业务操作记录的业务流程特征，拼接为状态向量；以对异常工单的稽核动作作为动作，依据历史核查结果是否为违规确定奖励基准值，并结合核查反馈延迟时长对奖励基准值进行折现，得到奖励；将状态向量、动作和奖励组合为三元组，形成马尔可夫决策过程的样本集。

11、进一步地，s2包括：设定各状态向量维度对应的掩码概率分布，按掩码概率分布对样本集中各样本的状态向量各维度独立执行随机掩码，生成掩码样本集，重复多次得到多个掩码样本集；在每个掩码样本集上，以状态向量、动作和奖励三元组为输入，通过离线策略评估对样本集中出现的各状态-动作对计算价值估计值；将同一状态-动作对在多个掩码样本集下获得的多个价值估计值汇集，构成价值估计值集合。

12、进一步地，s3包括：对于样本集中每一状态-动作对，计算价值估计值集合中多个价值估计值的方差，作为认知不确定性度量；计算样本集中所有状态-动作对的协方差矩阵，对待计算覆盖密度的状态-动作对，逐一计算其与样本集中其余各状态-动作对的马氏距离，取所有马氏距离中的最小值，将最小马氏距离的倒数作为覆盖密度。

13、进一步地，s4包括：对于样本集中每一状态-动作对，从价值估计值集合中提取对应动作下的价值估计值的均值作为基准价值估计值；将当前状态-动作对的动作替换为样本集动作空间中的其他可选动作，从价值估计值集合中获取替换动作后对应的价值估计值的均值，计算替换动作后的均值与基准价值估计值的差值，作为价值估计变化；从价值估计值集合中获取替换动作后对应的价值估计值的方差，计算替换动作后的方差与替换前方差的差值，作为不确定性变化；综合所有其他可选动作对应的价值估计变化和不确定性变化，得到状态-动作对的可替代性度量。

14、进一步地，综合所有其他可选动作对应的价值估计变化和不确定性变化，得到状态-动作对的可替代性度量，包括：针对每个其他可选动作，计算价值估计变化与不确定性变化的乘积，取所有其他可选动作对应乘积中的最大值作为状态-动作对的可替代性度量。

15、进一步地，s5包括：以认知不确定性度量、覆盖密度和可替代性度量作为三个目标维度，对样本集中所有状态-动作对进行两两比较，若一个状态-动作对在三个目标维度上均不劣于另一个状态-动作对且在至少一个目标维度上严格占优，则判定前者支配后者；将样本集中从未被任何其他状态-动作对支配的状态-动作对划入第一pareto前沿，从样本集中移除第一pareto前沿后重新识别新的第一pareto前沿作为第二pareto前沿，重复此过程为每个状态-动作对分配支配层级；将支配层级超过预设参照层级的状态-动作对划定为离线策略盲区。

16、进一步地，预设参照层级通过以下方式确定：将样本集中所有状态-动作对按支配层级升序排列，计算累计数量占比达到预设安全覆盖率阈值时的支配层级作为预设参照层级。

17、进一步地，s6包括：在线排序时，获取当前稽查决策对应的异常工单，提取异常工单的状态向量，确定当前稽查决策对应的状态-动作对；判断当前稽查决策对应的状态-动作对是否落入离线策略盲区，即判断该状态-动作对的认知不确定性度量、覆盖密度和可替代性度量在三个目标维度上是否被离线策略盲区内的任一状态-动作对pareto支配；若落入离线策略盲区，则依据异常工单的风险得分从高到低执行预设风险规则排序；若未落入离线策略盲区，则计算价值估计值集合中价值估计值的均值，按均值从高到低执行强化学习策略排序。

18、另一方面，本发明提供基于强化学习的电力营销稽查异常优先级排序及优化系统，包括：

19、样本构建模块，用于获取电力营销稽查历史日志，提取异常工单的风险特征及核查结果，构建包含状态向量、动作和奖励的马尔可夫决策过程的样本集；

20、价值生成模块，用于对样本集中各样本的状态向量按维度执行多次随机掩码，基于每次掩码后得到的掩码样本集，通过离线策略评估获得各状态-动作对的价值估计值并构成价值估计值集合；

21、度量计算模块，用于对于样本集中每一状态-动作对，计算价值估计值集合的认知不确定性度量，并计算状态-动作对与样本集中其余样本的马氏距离，取最小马氏距离的倒数作为覆盖密度；

22、可替代性模块，用于通过价值估计值集合计算各状态-动作对所对应动作被替换为其他可选动作后的价值估计变化和不确定性变化，得到状态-动作对的可替代性度量；

23、盲区划定模块，用于以认知不确定性度量、覆盖密度和可替代性度量为目标维度，对样本集中所有状态-动作对执行pareto非支配排序，将支配层级超过预设参照层级的状态-动作对划定为离线策略盲区；

24、排序执行模块，用于在线排序时，对于当前稽查决策对应的状态-动作对，若其落入离线策略盲区，则执行预设风险规则排序，否则执行由价值估计值集合导出的强化学习策略排序。

25、与现有技术相比，本发明具有如下有益效果：

26、1.将稽查优先级排序构建为马尔可夫决策过程，通过离线阶段对状态向量执行差异化掩码并多次评估，获得反映认知分歧程度的价值估计值集合，在此基础上计算认知不确定性度量、覆盖密度和可替代性度量，从估值稳定性、样本支撑充分性和动作可选性三个角度共同刻画离线策略评估在状态-动作空间各区域的可靠程度，采用pareto非支配排序对三个度量维度进行联合分析并划定离线策略盲区，避免了对多维度指标主观加权或逐项设定阈值引入的边界失真，使盲区边界贴合样本集的真实分布形态。

27、2.在线排序阶段，根据当前稽查决策对应的状态-动作对是否落入离线策略盲区自动切换排序策略，在盲区内以风险规则排序保障稽查质量下限，在盲区外以强化学习策略排序发挥动态优化能力，使得稽查资源调度在离线评估可靠区域内充分利用强化学习的自适应优势，在认知盲区内规避因估值失准引发的排序退化风险，在不允许在线试探性决策的业务约束下实现离线训练到在线部署的安全衔接。