一种基于脉冲神经网络的多智能体博弈的方法与流程

技术特征：
1.一种基于脉冲神经网络的多智能体博弈的方法，其特征在于，包括如下步骤：步骤1：将环境中的多智能体区分为本体和其他智能体，本体需要学习的内容包括本体输入以及其他智能体对本体的影响；步骤2：建立除本体外的其他智能体的输入层layer1_other，对其他多智能体的输入信息进行预处理，将输入信息转换为脉冲信号，生成并激发输入层layer1_other神经元；步骤3：建立和输入层layer1_other对应的规则层layer2_other，获得其他智能体满足的事件规则，将所有可能发生的事件划分为基本事件即样本点，每一个样本点对应产生规则层layer2_other的一个神经元，将所有能够激发样本点的输入层layer1_other神经元与该样本点对应的规则层layer2_other神经元全连接；步骤4：建立本体的输入层layer1，对环境中的本体输入信息进行预处理，将输入信息转换为脉冲信号，生成并激发该输入层神经元；步骤5：建立和layer1对应的规则层layer2，获得本体满足的事件规则，将所有可能发生的事件划分为基本事件即样本点，每一个样本点对应产生规则层layer2的一个神经元，将所有可以激发样本点的输入层layer1神经元与该样本点对应的规则层layer2神经元全连接；步骤6：建立多智能体博弈的决策层layer3，在决策层layer3生成神经元，决策层layer3神经元个数和规则层layer2神经元个数相等，将规则层layer2神经元和决策层layer3神经元一一对应，同时layer2至layer3的信息传递还必须受到规则层layer2_other规则的约束，只有和规则层layer2_other的激发规则一致的规则层layer2神经元才能允许输入至决策层layer3，根据决策层layer3内神经元的激发情况生成决策层layer3的层内突触连接；步骤7：建立多智能体博弈的输出层layer4，输出层layer4生成的神经元个数和决策层layer3神经元个数相等，决策层layer3神经元和输出层layer4神经元建立一对一的连接，通过调整决策层layer3和输出层layer4的连接权值，得到最终的输出信号。2.根据权利要求1所述基于脉冲神经网络的多智能体博弈的方法，其特征在于，所述步骤1具体包括以下步骤：步骤1.1：确定训练对象，并将其定义为本体；步骤1.2：将环境中的除本体之外的其他智能体定义为其他智能体。3.根据权利要求1所述基于脉冲神经网络的多智能体博弈的方法，其特征在于，所述步骤2具体包括以下步骤：步骤2.1：根据多智能体环境下的信息确定其他智能体的输入层信息；步骤2.2：将输入信息进行数据的预处理，按照脉冲转换规则将输入信息转换为脉冲发射时间t1，t2
……
tn；步骤2.3：根据预处理后的信息确定输入层layer1_other的神经元个数，每一个神经元对应一种预处理后的数据，在输入层layer1_other生成n个输入层神经元；步骤2.4：根据对应关系，设置输入层layer1_other神经元的脉冲发射时间分别为t1，t2，
……
，tn，脉冲发射时间不为0的神经元即是被激发的神经元；所述步骤4具体包括以下步骤：步骤4.1：根据多智能体环境下的信息确定本体的输入层信息；
步骤4.2：将本体输入信息进行数据的预处理，按照脉冲转换规则将信息转换为脉冲发射时间t1，t2
……
ta；步骤4.3：根据预处理后的信息确定输入层layer1的神经元个数，每一个神经元对应一种预处理后的数据，在输入层layer1生成a个输入层神经元；步骤4.4：根据对应关系，设置输入层layer1神经元的脉冲发射时间分别为t1，t2，
……
，ta，脉冲发射时间不为0的神经元即是被激发的神经元。4.根据权利要求3所述基于脉冲神经网络的多智能体博弈的方法，其特征在于，所述步骤2.1具体包括以下步骤：步骤2.1.1：根据具体的多智能体环境，确定环境中的输入信息；步骤2.2.2：在所有的输入信息中，找出对其他智能体输出结果有影响的输入信息，即是其他智能体的输入层信息；所述步骤2.2和将输入信息进行数据的预处理，具体操作是：对原始的输入信息进行数据转换，使原始输入信息转换成适合数据处理的形式；所述步骤4.1具体包括以下步骤：步骤4.1.1：根据具体的多智能体环境，确定环境中的输入信息；步骤4.2.2：在所有的输入信息中，找出对本体输出结果有影响的输入信息，即是本体的输入层信息；所述步骤4.2将输入信息进行数据的预处理，具体操作是：对原始的本体输入信息进行数据转换，使原始输入信息转换成适合数据处理的形式。5.根据权利要求1或3或4所述基于脉冲神经网络的多智能体博弈的方法，其特征在于，所述步骤3具体包括以下步骤：步骤3.1：将所有可能发生的事件划分为m个基本事件；步骤3.2：在规则层layer2_other生成m个神经元，将m个基本事件分别对应规则层layer2_other中的m个神经元；步骤3.3：设置规则层layer2_other中的m个神经元与输入层layer1_other神经元的连接关系，将所有能够激发某一基本事件的输入层layer1_other神经元与该基本事件对应的规则层layer2_other神经元全连接，并设置权值保证规则层layer2_other神经元的正确激发，对应不同的输入，所述权值的设置能够保证输入层layer1_other到规则层layer2_other的正确激发；所述步骤5具体包括以下步骤：步骤5.1：将所有可能发生的事件划分为m个基本事件；步骤5.2：在规则层layer2中生成m个神经元，将m个基本事件分别对应规则层layer2中的m个神经元；步骤5.3：设置规则层layer2中的m个神经元与本体输入层layer1神经元的连接关系，将所有能够激发某一基本事件的输入层layer1神经元与该基本事件对应的规则层layer2神经元全连接，并设置权值保证规则层layer2神经元的正确激发，对应不同的输入，所述权值的设置能够保证输入层layer1到规则层layer2的正确激发；其中，步骤3和步骤5中的m取值相同。6.根据权利要求5所述基于脉冲神经网络的多智能体博弈的方法，其特征在于，所述步
骤3.3和步骤步骤5.3中，权值设置满足以下三个权值调整规则：a)以一个规则层layer2_other神经元为基本规则进行权值调试，将基本规则记为神经元a；b)保证与神经元a有连接关系的所有输入层layer1_other神经元能够激发神经元a，且不会对规则层layer2_other的其他神经元造成激发；c)保证与神经元a有连接关系的输入层layer1_other的每一个神经元都不能够单独激发神经元a。7.根据权利要求1所述基于脉冲神经网络的多智能体博弈的方法，其特征在于，所述步骤6具体包括以下步骤：步骤6.1：在决策层layer3生成m个神经元；步骤6.2：将规则层layer2神经元和决策层layer3神经元一对一连接；步骤6.3：信息由规则层layer2传输至决策层layer3受到其他智能体规则的限制；步骤6.4：根据hebb规则以及决策层layer3神经元的所处的空间位置建立层内连接。8.根据权利要求6所述基于脉冲神经网络的多智能体博弈的方法，其特征在于，所述决策层layer3设置为二维分布；所述步骤6.4中，hebb规则为：当两个独立神经元激发时间差值小于阈值时，两个神经元会建立连接；在hebb规则基础上加上空间位置的限制：只有两个空间距离小于某一距离阈值的时候，hebb才有效；从而在时间和空间的连接规则下，形成决策层的层内连接。9.根据权利要求1所述基于脉冲神经网络的多智能体博弈的方法，其特征在于，所述步骤7具体包括以下步骤：步骤7.1：在输出层layer4生成m个神经元；步骤7.2：将决策层layer3神经元和输出层layer4神经元一对一连接；步骤7.3：根据stdp规则调整决策层layer3至输出层layer4的连接权值；步骤7.4：取输出层layer4最先激发的神经元作为最终的输出结果。10.根据权利要求9所述基于脉冲神经网络的多智能体博弈的方法，其特征在于，所述步骤7.3中的stdp规则为：通过调整引导神经元的激发时间间接调整目标权值，将引导神经元的激活时间记为t3，将突触前端神经元记为npre，激活时间记为t1；突触后端神经元记为npost，激活时间记为t2，调整引导神经元的激活时间t3，改变神经元npost的激活时间t2，突触权值的变化幅度与突触连接前后神经元激活时间差有关，权值和时间关系如公式1和公式2所示：
△
t＝t
2-t1ꢀꢀ
公式1。

技术总结
一种基于脉冲神经网络的多智能体博弈的方法，将环境中的多智能体区分为本体和其他智能体，建立除本体外的其他智能体的输入层，生成并激发输入层神经元；建立和其他智能体输入层对应的规则层，建立本体的输入层，生成并激发该输入层神经元；建立和本体输入层对应的规则层，建立多智能体博弈的决策层，根据决策层内神经元的激发情况生成决策层的层内突触连接；建立多智能体博弈的输出层，决策层神经元和输出层神经元建立一对一的连接，通过调整决策层和输出层的连接权值，得到最终的输出信号。本发明不仅具备学习推理能力，还大大降低了运算需求，适用于多种环境中的多智能体博弈。弈。弈。


技术研发人员：董丽亚 杨旭 晏子华 林深 吉梦瑶 郑文浩 赵晋锋 张志松 王麒淋
受保护的技术使用者：杨旭
技术研发日：2020.09.08
技术公布日：2022/3/7