针对智能体集群不确定丢包的优化控制方法、系统和装置与流程

1.本发明涉及智能体集群控制技术领域，具体涉及一种针对智能体集群的不确定丢包的优化控制方法、系统和装置。


背景技术：

2.智能体集群控制，例如航天器控制、自动驾驶车辆控制等，使用的的控制方法一般包括集中式控制和分布式控制，其中分布式控制方式具有负载小、通信负担低、任务风险低等优势，因此在智能体集群控制中采用分布式控制方式日趋普遍。但分布式控制方式要求智能体集群中的每个智能体均需要与其邻居保持通信顺畅，从而根据邻居的状态而调整自身的状态，而实际控制运行过程中，由于通信干扰等问题，智能体无法始终保持与其邻居之间的稳定通信，二者之间可能出现数据丢包等通信问题，并且这种数据丢包是随机的，即对于智能体而言，与其邻居之间的通信情况是无法预测的，而当智能体无法与其邻居建立通信时，就会导致智能体无法获知其邻居的状态，导致最终智能体集群无法实现编队系统的最终一致性。
3.现有的智能体集群编队控制的工作中，往往要求测量环境处于理想状况，不允许测量噪声以及丢包等不确定性的存在。然而，在实际通信过程中，由于外界环境干扰因素的存在，信道的不确定性是不可避免的。现有研究中考虑的通信信道中丢包模型是确定的情况，即通信信道每次失效关闭的时间必须满足有界的情况，指出当动力学系统满足一定假设情况下，多自主体仍然能完成协同任务。但值得注意的是，在实际工程中，通信信道失效时间具有一定随机特性，因此并不满足有界的假设。
4.同时在现有研究中有通信信道的不确定性是统一的，即所有通信信道同时导通，同时关闭。这显然对于覆盖面积巨大，空间环境差异巨大的智能体集群编队，是不成立。因此，无法直接使用以上结果处理智能体集群编队控制问题。由此，一套针对非统一不确定信道的智能体集群编队控制方案，具有重要的理论意义与实践意义。


技术实现要素：

5.本发明的目的在于克服背景技术中存在的上述缺陷或问题，提供一种针对智能体集群的不确定丢包的优化控制方法、系统和装置，该控制方法可以应用于智能体的实际控制，并可有效解决通过分布式控制算法对智能体进行状态控制时因通信干扰等因素导致的智能体无法与其邻居达到速度一致的问题，可以使智能体集群中的每个智能体的状态均概率收敛至最优解，同时该控制方法所采用的算法计算简单，无需大型算力支持，可有效减小智能体的计算负担，适用性广泛。
6.为达成上述目的，本发明采用如下技术方案：
7.一种针对智能体集群的不确定丢包的优化控制方法，所述智能体集群包括若干智能体，所述智能体的状态由其位置和速度表示，且所述智能体的位置基于一共同的坐标系确定；所述控制方法应用于在通信过程中发生不确定数据丢包的智能体，且在通信过程中，
所述智能体发生数据丢包的概率小于其不发生数据丢包的概率；每一所述智能体均被配置为适于与至少一个作为其邻居的其他智能体建立通信，以获取邻居当前的状态信息；其中，每一所述智能体均基于预设的重复周期在周期起始时刻判断其与其邻居的通信是否发生数据丢包，并在该周期内仅获取被判定为未发生数据丢包的邻居的状态信息；在每一所述周期中，每一所述智能体根据被判定为与其未发生数据丢包的邻居的数量调整其所获取的每一邻居的状态信息与其自身的状态信息的差值，并结合预设的目标局部函数和用于调整该目标局部函数的下降步长对该智能体的速度进行控制；所述目标局部函数用于引导所述智能体达到其最优速度；所述下降步长为辅助衰减函数。
8.进一步的，所述智能体集群由若干一阶积分器模型的智能体组成，其运动学模型为：
[0009][0010]
其中，xi(t)表示智能体集群中第i个智能体的状态，ui(t)为t时刻智能体的控制输入，且xi(t)和ui(t)均属于
[0011]
此外，ui(t)其参照以下模型调整：
[0012][0013]
其中，xj(kt)表示智能体集群中第i个智能体的第j个邻居在所述周期内的状态；
[0014]
γ
ij
(k)表示智能体集群中第i个智能体与其第j个邻居在周期起始时刻的通信状态，其为伯努利分布白色序列；
[0015]
γ(x)为以下形式的特殊函数：
[0016][0017]
β(t)为下降步长，其为满足以下条件的辅助衰减函数：
[0018][0019]fi
(x(t))为所述目标局部函数，其为连续可微的凸函数，且其对于任意意[0,1]中的实数λ和智能体集群中的任意两个智能体的状态x1和x2总有：
[0020]fi
(λx1 (1-λ)x2)≤λfi(x1) (1-λ)fi(x2)。
[0021]
进一步的，所述γ
ij
(k)在不同的邻居间彼此独立。
[0022]
进一步的，所述目标局部函数的和为目标总和函数，所述目标总和函数满足以下函数：
[0023][0024]
其中，智能体集群中第i个智能体的局部目标函数fi(x)的最优解集(x)的最优解集非空且有界，且所述目标总和函数的最优解集非空且有界。
[0025]
此外，本发明还提供一种针对智能体集群的不确定丢包的优化控制系统，所述智能体集群包括若干智能体，所述智能体的状态由其位置和速度表示，且所述智能体的位置基于一共用的坐标系确定；所述控制系统应用于在通信过程中发生不确定数据丢包的智能
体，且在通信过程中，所述智能体发生数据丢包的概率小于其不发生数据丢包的概率；该控制系统包括：通信模块，其用于供所述智能体与至少一个作为其邻居的智能体建立通信并获取邻居的状态信息；周期采样模块，其用于基于预设的重复周期在周期起始时刻判断所述智能体与其邻居的通信是否正常，以使所述通信模块在该周期内仅获取被判定为通信正常的邻居的状态信息；模型构建模块，其用于根据被判定为与所述智能体在该周期内通信正常的邻居的数量和该智能体的所有邻居的数量的比值调整该智能体所获取的每一邻居的状态信息与其自身的状态信息的差值，并结合一预设的目标函数和用于调整该目标函数的下降步长对该智能体进行控制；所述目标局部函数用于引导所述智能体达到其最优速度；所述下降步长为辅助衰减函数；和驱动控制模块，其用于根据所述模型构件模块所输出的控制量控制所述智能体运动；其中，每一所述周期内，所述智能体与其任一邻居通信状态正常的概率均大于与该邻居通信状态不正常的概率。
[0026]
此外，本发明还提供一种针对智能体集群的不确定丢包的优化控制装置，其包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的针对智能体集群的不确定丢包的优化控制方法的步骤。
[0027]
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述任一项所述的针对智能体集群的不确定丢包的优化控制方法的步骤。
[0028]
由上述对本发明的描述可知，相对于现有技术，本发明具有如下有益效果：
[0029]
本发明提供的控制方法对现有的分布式控制方法进行优化，针对智能体实际运行中可能随机出现的智能体之间的通信数据丢包的问题提出了解决方案，通过设定预设的重复周期，在每个周期起始时刻对智能体与其邻居的通信状态进行采样，可以判断在该周期起始时刻该智能体与其邻居是否处于正常通信状态，并且在该周期内仅获取在周期起始时刻判定通信状态为正常的邻居所传递的信息，同时利用本发明所提供的相应算法，即可在该周期内根据邻居的状态信息对该智能体进行相应的状态调整，并最终使得该智能体集群中的所有智能体的最优速度趋于一致，达到形成智能体集群编队的目的。
[0030]
本发明提供的控制方法可以应用于智能体的实际控制，并可有效解决通过分布式控制算法对智能体进行状态控制时因通信干扰等因素导致的智能体无法与其邻居达到速度一致的问题，可以使智能体集群中的每个智能体的状态均概率收敛至最优解，同时该控制方法所采用的算法计算简单，无需大型算力支持，可有效减小智能体的计算负担，适用性广泛。
具体实施方式
[0031]
下面将对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的优选实施例，且不应被看作对其他实施例的排除。基于本发明实施例，本领域的普通技术人员在不作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
本发明的权利要求书、说明书中，如使用术语“包括”、“具有”以及它们的变形，意图在于“包含但不限于”。
[0033]
示例性方法
[0034]
本实施例公开了一种针对智能体集群的不确定丢包的优化控制方法，其中的智能体集群包括若干智能体，智能体的状态由其位置和速度表示，且智能体的位置基于一共用的坐标系确定，该控制方法应用于在通信过程中发生不确定数据丢包的智能体，且在通信过程中，智能体发生数据丢包的概率小于其不发生数据丢包的概率，该控制方法主要包括：每一智能体均被配置为适于与至少一个作为其邻居的其他智能体建立通信，以获取邻居当前的状态信息；其中，每一智能体均基于预设的重复周期在周期起始时刻判断其与其邻居的通信是否发生数据丢包，并在该周期内仅获取被判定为未发生数据丢包的邻居的状态信息；在每一周期中，每一智能体根据被判定为与其未发生数据丢包的邻居的数量调整其所获取的每一邻居的状态信息与其自身的状态信息的差值，并结合预设的目标局部函数和用于调整该目标局部函数的下降步长对该智能体的速度进行控制；目标局部函数用于引导智能体达到其最优速度；下降步长为辅助衰减函数。
[0035]
具体的，智能体集群由若干一阶积分器模型的智能体组成，基于无向图论，可用一无向图来描述智能体之间的相互作用。定义为由n个智能体构成的一个集合即一个智能体集群编队，则就代表着一个智能体集群编队中第i个智能体。定义体。定义为边集，即智能体之间的所有通信路径，(j,i)∈ε的边表示信息可以在某个智能体集群编队中的第i个和第j个智能体之间交换。
[0036]
由于是无向的，因此并且是对称的。
[0037]
用非负矩阵表示无向图的加权邻接矩阵，如果第i个智能体与第j个智能体之间存在路径进行信息交互，则a
ij
＝1，若没有这样的路径，则a
ij
＝0。
[0038]
第i个智能体的邻域集即邻居。
[0039]
该无向图的拉普拉斯矩阵定义为，如果i≠j，则l
ij
＝-a
ij
，否则如果智能体集群构成的网络是连通的，那么拉普拉斯矩阵包含一个零特征值并且所有特征都是实数，则的特征值可以排序为
[0040]
由n个智能体组成的智能体集群的运动模型被描述为：
[0041][0042]
其中，xi(t)表示智能体集群中第i个智能体的状态，ui(t)为t时刻智能体的控制输入，且xi(t)和ui(t)均属于
[0043]
并且，假设对任意两个智能体i和j达到渐进稳定，其数学表达式为
[0044][0045]
其中e{
·
}表示数学期望，‖x‖表示的二范数，由上式可知其概率上的共识的数学表达式
[0046][0047]
其中∈是大于0的常数。
[0048]
同时，如果
[0049][0050]
则说明xi(t)在概率上渐进收敛到最优集合x
*
，其中，其中
[0051]
此外，ui(t)其参照以下模型调整：
[0052][0053]
其中，xj(kt)表示智能体集群中第i个智能体的第j个邻居在周期t内的状态；
[0054]
γ
ij
(k)表示智能体集群中第i个智能体与其第j个邻居在周期起始时刻的通信状态，其为伯努利分布白色序列，其只具有0和1两个值，并且定义：
[0055]
p{γ
ij
(k)＝1}＝e{γ
ij
(k)}＝p
ij
[0056]
p{γ
ij
(k)＝0}＝1-e{γ
ij
(k)}＝1-p
ij
[0057]
其中，e{
·
}代表数学期望，其中p
ij
的值域为(0,1]，并且在每一周期t内，表示通信状态正常的p
ij
的值始终大于表示通信状态不正常的1-p
ij
，这会导致在实际的控制过程中，智能体与其邻居在多数情况下是处于通信正常状态的，通信状态不正常属于少数情况。
[0058]
并且，对于不同的通信信道，例如(j0,i0)∈ε和(j1,i1)∈ε，其对应的随机变量和彼此独立。
[0059]
γ(x)为以下形式的特殊函数：
[0060][0061]
β(t)为下降步长，其为满足以下条件的辅助衰减函数：
[0062][0063]fi
(x(t))为所述目标局部函数，其为连续可微的凸函数，且其对于任意意[0,1]中的实数λ和智能体集群中的任意两个智能体的状态x1和x2总有：
[0064]fi
(λx1 (1-λ)x2)≤λfi(x1) (1-λ)fi(x2)。
[0065]
此外，还可使得所有智能体的状态都收敛于目标总和的最优解，即目标总和函数的最优解，其函数表示为，
[0066][0067]
并且，智能体集群中第i个智能体的局部目标函数fi(x)的最优解集(x)的最优解集非空且有界，且所述目标总和函数的最优解集非空且有界。
[0068]
因此，在智能体的实际控制中，每个智能体均有其自身的目标功能，并且每个智能体均可在其与其邻居之间进行状态信息的交换，通过本实施例所提供的控制方法，在进行周期采样判断智能体与其邻居通信状态的基础上，即可使每个智能体在确保自身状态的同时优化其目标局部函数，并最终使所有智能体同步收敛至目标总和函数的最优解。
[0069]
基于上述说明，智能体集群的闭环系统被表述为：
[0070]
[0071]
以下对上述智能体集群的闭环系统能够达成其目的进行说明。
[0072]
根据文献《consensus in multi-agent systems with coupling delays and switching topology》(doi:10.1109/tac.2011.2161052)的内容可知，当通信图连通时，有：
[0073][0074][0075]
当通信图不连通时，有：
[0076]
e{max||xi((k 1)t)-xj((k 1)t)||}≤max||xi(kt)-xj(kt)||,
[0077]
即，当航天器i有邻居与之相连通，其会向着邻居的方向进行移动，当航天器i没有与之连通的邻居航天器，则最坏的情况即为自身位置不会发生改变。
[0078]
在本实施例所提供的方法中，第i个智能体根据邻居j交互的信息进行自身调整的过程，其表达式为定义当智能体i与邻居不产生通信丢包事件时，即智能体i是可以接收到来自邻居j的信息，那么此时智能体一定会趋向于邻居的位置进行改变，当智能体i与邻居产生通信丢包事件时，其不会基于邻居给予的信息做出改变。
[0079]
随着时间推移，e{||xi(t)-xj(t)||}≤ce-rt
，其呈指数收敛形式，总有一刻，第i个智能体与邻居j的速度是一致的。
[0080]
考虑闭合回路系统
[0081][0082]
其中为智能体根据最初给予的局部目标函数做出调整，以定义好的下降步长β(t)进行改变，慢慢都调整到一个最优值。由于β(t)为衰减函数，随着时间推移会趋于0，此时fi(x)已达到最优解
[0083]
基于由此存在一个衰减函数c(t)满足
[0084][0085]
基于的结果，我们能够得出
[0086][0087]
即，闭合回路系统是满足一致性的。
[0088]
定义由于最优解集是非空且有界的，存在∈》0，ω》0，当
[0089]
有
[0090]
基于闭合回路系统是满足一致性且闭环系统中所有智能体的位置信息xi(t)是一定在我们所定义的一个半径为r的闭和球空间内，是连续的，以及存在某时间t2》t1和正常数d，使得
[0091][0092]
由此可得出
[0093][0094]
所以
[0095][0096]
即本发明所设计的一种针对随机数据丢包通信问题的智能体集群的控制方法可以实现。
[0097]
此外，为保证采用本实施例所提供的分布式优化控制方法所进行控制的智能体能够达成目的，在智能体的通信过程中，智能体与其邻居之间发生数据丢包的概率要小于其不发生数据丢包的概率，即对于一采样时间周期t和未发生随机性丢包的概率p
ij
要满足如下关系且其不发生丢包的概率要大于丢包的概率，
[0098][0099]
其中λ2是系统拉普拉斯矩阵的一个特征值，
[0100]
证明:
[0101]
若已知随机性丢包的概率p
ij
的值，那么就可以得到采样周期时间t的上界值，而且，显然发生随机性丢包的概率随着概率p
ij
的值增大而减小，也越容易实现控制目标。并且基于时间不断地发生，其某通讯通道一直断开的概率是很小的。
[0102]
引用上述内容中的“该无向图的拉普拉斯矩阵定义为，如果i≠j，则l
ij
＝-a
ij
，否则如果智能体集群构成的网络是连通的，那么拉普拉斯矩阵包含一个零特征值并且所有特征都是实数，则的特征值可以排序为”[0103]
证明：存在一个时刻k
′
t》ht使得由于所述的闭环系统中所有航天器的位置信息xi(t)是一定在我们所定义的一个半径为r的闭和球空间内。因此存在一个正的常数m1,满足
[0104][0105][0106][0107]
[0108]
上式表明
[0109][0110]
因此，可进一步得到如下结果：
[0111][0112]
得
[0113][0114]
示例性设备
[0115]
此外，本发明的实施例还公开了一种针对智能体集群的不确定丢包的优化控制系统，该智能体集群包括若干智能体，智能体的状态由其位置和速度表示，且智能体的位置基于一共用的坐标系确定，控制系统应用于在通信过程中发生不确定数据丢包的智能体，且在通信过程中，智能体发生数据丢包的概率小于其不发生数据丢包的概率；该控制系统包括：
[0116]
通信模块，其用于供智能体与至少一个作为其邻居的智能体建立通信并获取邻居的状态信息；
[0117]
周期采样模块，其用于基于预设的重复周期在周期起始时刻判断智能体与其邻居的通信是否正常，以使通信模块在该周期内仅获取被判定为通信正常的邻居的状态信息；
[0118]
模型构建模块，其用于根据被判定为与智能体在该周期内通信正常的邻居的数量和该智能体的所有邻居的数量的比值调整该智能体所获取的每一邻居的状态信息与其自身的状态信息的差值，并结合一预设的目标函数和用于调整该目标函数的下降步长对该智能体进行控制；目标局部函数用于引导智能体达到其最优速度；下降步长为辅助衰减函数；
[0119]
驱动控制模块，其用于根据模型构件模块所输出的控制量控制智能体运动；
[0120]
其中，每一周期内，智能体与其任一邻居通信状态正常的概率均大于与该邻居通信状态不正常的概率。
[0121]
通过上述的控制系统，即可根据上述的控制方法对智能体集群的运动进行控制。
[0122]
此外，在上述方法的基础上，本实施例还公开了一种针对智能体集群的不确定丢包的优化控制装置，其包括至少一个处理器(processor)以及存储器(memory)，还可以包括显示屏、通信接口(communicationsinterface)和总线。其中，处理器、显示屏、存储器和通信接口可以通过总线完成相互间的通信。显示屏设置为显示初始设置模式中预设的用户引导界面。通信接口可以传输信息。处理器可以调用存储器中的逻辑指令，以执行上述实施例中的方法。
[0123]
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0124]
存储器作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器通过运行存储在存储器中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0125]
存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少
一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
[0126]
本发明提供的一种针对随机数据丢包通信问题的智能体集群的控制方法、系统和装置，针对智能体实际运行中可能随机出现的智能体之间的通信数据丢包的问题提出了解决方案，通过设定预设的重复周期，在每个周期起始时刻对智能体与其邻居的通信状态进行采样，可以判断在该周期起始时刻该智能体与其邻居是否处于正常通信状态，并且在该周期内仅获取在周期起始时刻判定通信状态为正常的邻居所传递的信息，同时利用本发明所提供的相应算法，即可在该周期内根据邻居的状态信息对该智能体进行相应的状态调整，并最终使得该智能体集群中的所有智能体的最优速度趋于一致，达到形成智能体集群编队的目的，其可有效解决通过分布式控制算法对智能体进行状态控制时因通信干扰等因素导致的智能体无法与其邻居达到速度一致的问题，可以使智能体集群中的每个智能体的状态均概率收敛至最优解，同时该控制方法所采用的算法计算简单，无需大型算力支持，可有效减小智能体的计算负担，适用性广泛。
[0127]
上述说明书和实施例的描述，用于解释本发明保护范围，但并不构成对本发明保护范围的限定。通过本发明或上述实施例的启示，本领域普通技术人员结合公知常识、本领域的普通技术知识和/或现有技术，通过合乎逻辑的分析、推理或有限的试验可以得到的对本发明实施例或其中一部分技术特征的修改、等同替换或其他改进，均应包含在本发明的保护范围之内。