一种可扩展Bell不等式违反策略优化方法、装置及存储介质与流程

本发明涉及量子策略优化，更具体地说，本发明涉及一种可扩展bell不等式违反策略优化方法、装置及存储介质。

背景技术：

1、在分布式计算、高频交易、航天通信及企业间协同等工程场景中，普遍存在一类多方协同决策问题：由于物理时延或信息访问限制，多个空间上分离的决策方来不及或不允许相互通信，需要在严格的通信约束下各自做出本地决策，且各方的决策必须满足特定配合关系，才能获得收益。上述场景可统一抽象为：每方接收本地观测后独立做出本地决策，系统根据各方决策是否满足配合关系结算得分，由于各决策方无法在决策周期内实时通信，只能事先约定一套策略，其目标是在给定观测分布下最大化长期平均分。

2、当参与方共享量子纠缠态时，其最优平均分可严格超过任何事先约定的经典策略所能达到的上限，这种超出在物理学中称为bell不等式违反。该协同优势可直接转化为工程场景中的延迟优势、安全优势或抗干扰优势。

3、然而，现有技术在求解效率方面，使用的暴力枚举法不可扩展，观测组合数与决策组合数均随参与方数量指数增长，显式构造评分大矩阵更带来随系统总维度平方级膨胀的存储与计算开销；许多现有工具默认固定维度与投影测量，可表达的策略族受限，无法逼近真正的量子上确界；现有强化学习方法多面向序贯决策，缺乏针对“一次性平均分收益”结构的低方差梯度估计器，当观测决策组合规模超过量级时，即便不显式构造评分大矩阵，也难以遍历全部组合精确求值，因此，亟需一种高效、可扩展且可验证的量子策略优化方法。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明提供一种可扩展bell不等式违反策略优化方法、装置及存储介质以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种可扩展bell不等式违反策略优化方法，包括如下步骤：

4、s1：接收包括各参与方的本地观测集合、本地决策集合、联合观测分布及效用矩阵的博弈描述，并根据所述联合观测分布及所述效用矩阵，构造加权效用张量；

5、s2：基于所述本地观测集合与所述本地决策集合，构造可微参数化对象；

6、s3：在不显式构造全局评分大矩阵的前提下，对所述加权效用张量及所述可微参数化对象进行张量收缩运算，以求解所有参与方的平均分或策略梯度的无偏估计；

7、s4：基于所述平均分相对于所述可微参数化对象的梯度，使用一阶优化算法迭代更新所述可微参数化对象，使所述平均分朝最大化方向收敛；

8、s5：输出优化后的所述可微参数化对象。

9、在一个优选的实施方式中，所述接收包括各参与方的本地观测集合、本地决策集合、联合观测分布及效用矩阵的博弈描述，并根据所述联合观测分布及所述效用矩阵，构造加权效用张量，包括：

10、将各参与方可以看到的本地局部信息，作为本地观测集合，并将各参与方可以做出的本地决策，作为本地决策集合；

11、将各参与方的观测组合出现的概率分布，作为联合观测分布；

12、将不同观测与不同决策所对应的评分，组合为效用矩阵；

13、将所述联合观测分布与所述效用矩阵逐元素相乘，得到加权效用张量。

14、在一个优选的实施方式中，所述可微参数化对象，包括：每个参与方在每个本地观测下的本地可微酉算子，以及一个表示全部参与方共享纠缠态的可微参数向量，并可选地包括从测量结果到输出决策的本地可微随机后处理矩阵。

15、在一个优选的实施方式中，所述张量收缩运算，包括：

16、将所述加权效用张量及所述可微参数化对象作为张量操作数，通过单次张量收缩运算一次性求出所有参与方的平均分；

17、在所述可微参数化对象的第一维上引入批量维度，使得在一次张量收缩运算中，多组独立随机初始化的可微参数化对象可并行求解平均分及梯度。

18、在一个优选的实施方式中，所述策略梯度的无偏估计，包括：

19、基于所述联合观测分布，进行随机抽取采样，得到采样观测；

20、通过张量收缩，对每个采样观测，抽取一个对应的决策动作，得到观测-决策对样本；

21、对每个观测-决策对样本，确定所述决策动作在对应采样观测下的条件概率，及所述条件概率相对于所述可微参数化对象的可微对数；

22、查询所述加权效用张量，得到每个观测-决策对样本的样本效用；

23、维护一个基线，所述基线由历史样本效用的指数加权滑动平均经偏差修正后得到；

24、将每个样本效用减去所述基线的值，作为每个观测-决策对样本的优势；

25、将所有观测-决策对样本的优势与对应可微对数的梯度的乘积取平均值，得到策略梯度的无偏估计。

26、在一个优选的实施方式中，所述基于所述平均分相对于所述可微参数化对象的梯度，使用一阶优化算法迭代更新所述可微参数化对象，使所述平均分朝最大化方向收敛，包括：

27、使用的一阶优化算法为维护所述可微参数化对象二阶矩估计的自适应优化器；

28、当博弈规模处于可遍历范围内时，以所述平均分相对于所述可微参数化对象的梯度驱动所述自适应优化器更新所述可微参数化对象；

29、当博弈规模超过可遍历范围时，用所述策略梯度的无偏估计替代所述平均分相对于所述可微参数化对象的梯度；

30、在每次更新所述可微参数化对象之前，从所述自适应优化器的内部状态读取所述可微参数化对象的二阶矩估计，并根据所述二阶矩估计，以预设小常数构造预条件因子向量，将所述预条件因子向量的全局范数作为乘性因子注入学习率，使得梯度幅度趋于零时所述预条件因子向量既不爆炸也不归零。

31、在一个优选的实施方式中，所述一阶优化算法，还包括：

32、按照预设窗口长度，统计每个窗口内的所述平均分的改进次数；

33、当改进次数达到预设第一阈值时，按预设改进因子放大步长并清除回滚快照；

34、当窗口内无任何改进时，按预设缩小因子缩小步长，并将所述可微参数化对象与所述自适应优化器的内部状态回滚至窗口起始时保存的快照，其中所述内部状态至少包括所述二阶矩估计。

35、在一个优选的实施方式中，所述输出优化后的所述可微参数化对象，包括：

36、将优化后的所述可微参数化对象，作为各参与方在物理部署中所使用的本地酉算子、共享纠缠态目标值及可选的本地随机后处理矩阵；

37、通过光纤、卫星或移动量子存储等方式，将所述共享纠缠态目标值分发到各参与方；

38、将各参与方的本地酉算子与可选的本地随机后处理矩阵写入各参与方本地的量子控制器与经典后处理器；

39、在每一决策周期，各参与方接收本地观测后，根据所述本地酉算子，执行相应的酉操作与测量，再基于所述本地随机后处理矩阵输出最终决策，全过程不涉及参与方之间的经典通信或量子通信。

40、另一方面，本发明提供一种可扩展bell不等式违反策略优化装置，包括以下模块：

41、博弈定义模块，用于接收包括各参与方的本地观测集合、本地决策集合、联合观测分布及效用矩阵的博弈描述，并根据所述联合观测分布及所述效用矩阵，构造加权效用张量；

42、参数化量子策略模块，用于基于所述本地观测集合与所述本地决策集合，构造可微参数化对象；

43、平均分计算模块，用于在不显式构造全局评分大矩阵的前提下，对所述加权效用张量及所述可微参数化对象进行张量收缩运算，以求解所有参与方的平均分或策略梯度的无偏估计；

44、优化控制模块，用于基于所述平均分相对于所述可微参数化对象的梯度，使用一阶优化算法迭代更新所述可微参数化对象，使所述平均分朝最大化方向收敛；

45、物理部署模块，用于输出优化后的所述可微参数化对象。

46、另一方面，本发明提供一种存储介质，存储介质上存储程序或指令，程序或指令被处理器执行时实现一种可扩展bell不等式违反策略优化方法。

47、与现有技术相比，本发明具有如下有益效果：

48、1.本发明通过将量子策略统一参数化为可自动求导的本地酉算子、共享纠缠态及可选本地随机后处理矩阵，配合张量收缩直接求平均分的计算捷径，在完全不构造尺寸随系统总维度平方级膨胀的评分大矩阵的前提下，单次张量收缩即可完成全部求值与梯度计算，相比显式构造法在内存与时间上获得平方级别改进，使中大规模博弈在常规算力下可优化。

49、2.本发明在博弈规模巨大、观测决策组合超出可遍历范围时，仅基于抽样的观测-决策对做无偏策略梯度估计，无需遍历全部组合，将求值代价从随组合数指数增长降为随样本数线性增长，使得原本不可承受规模的博弈也能在合理算力内得到非平凡下界。

50、3.本发明采用维护二阶矩估计的自适应优化器，将二阶矩重解读为稳定预条件子，经全局范数乘性回引保证预条件子在梯度幅度趋于零时既不爆炸也不归零，在最优值附近恢复线性收敛，消除标准自适应优化器的末端振荡，同时配合阶段式自适应线搜索机制，以窗口为单位统计改进次数，进展顺利时自动放大步长、卡住时自动缩小步长并回滚参数与优化器状态，使发明在大量不同博弈与维度配置下开箱即用，无需逐题人工调试学习率与收敛阈值。