1. 引言
近年来,多智能体系统的协调控制问题受到了系统与控制领域专家学者的广泛关注。在多智能体系统网络中,一致性问题作为协调控制的代表性问题,也是其它分布式控制和估计的研究基础。系统达到一致性,也就是多智能体系统中每个智能体的状态在一致性协议或者算法的控制下渐进地或者在有限时间内达到相同的数值。随着多智能体协调控制的研究深入,一致性问题已经成为当前研究的热点问题,在理论和实际的应用方面都取得了很多的成果。它是多智能体系统的分布式控制研究中的基本问题之一,在交汇问题、编队控制、传感器网络的信息融合等方面有广泛应用 [1] - [10] 。
一致性理论的早期研究始于管理科学,分布式计算以及在自然界中出现的蜂群、鸟群和鱼群等常见的集群行为。在过去的二十年中,大量的论文涵盖了群集和分布式编队、分布式优化和估计、通信和传感器网络、耦合振荡器同步问题等方面的问题。2013年,Cao等人对近年来在多智能体协调方面的进展进行了较为全面的综述 [11] 。2006年,Zhou,Lu等人提出动态网络自适应一致性,作者假设整个自治网络的解是已知的,并且每个智能体使用全局信息作为智能体状态跟踪的参考,局部控制输入与智能体状态与此参考状态之间的误差成正比,并且证明了这个误差收敛到零 [12] 。2008年,Zhou,Lu等人在复杂网络中假设同步解决方案是已知的或有限制性的,得出了相似的结果 [13] 。2009年,DeLellis等人证明了全局同步依赖于自适应变化的耦合增益施加的循环条件。要求收益矩阵依赖于耦合半负定时刻 [14] 。2009年,Das等人考虑了每个智能体都必须跟踪已知或估计的领导者轨迹的问题。在未知参数和已知基函数的基础上,用一个中立的网络结构来表示非线性动力学 [15] 。2012年,Yu等人对领导者的动力学进行了类似的参数化。领导者的轨迹是全局信息,智能体间的耦合参数是一个非自适应的,它的值对于网络的所有节点都是相同的 [16] 。2013年,Li等人提出了连续时间自适应一致性问题的研究。作者分析了无向图,并假设已知输入增益对所有智能体都是相同的。证明了每个智能体的状态都收敛于所有智能体状态的平均值 [17] 。2015年,Miloje等人提出了多智能体系统的自适应一致性协议,不应用任何全局信息,应用定步长的自适应一致性算法,最后证明了每个智能体的状态都趋于所有智能体初始状态的平均值 [18] 。
总的来说,上述的研究工作对多智能体一致性的发展做出了有益的理论和实践探索。但是也存在一定的问题:一方面,需要考虑多智能体的状态到达一致性的时间问题,比如加快智能体的收敛速度;另一方面,在切换拓扑网络中的应用需要进行验证。
针对上述问题,我们在Miloje等人提出的多智能体自适应一致性协议的基础之上,提出了一种基于LMS的变步长自调优一致性协议。我们考虑了有向图拓扑,在不使用任何全局信息的情况下,每个智能体都通过最小化其本地代价函数和基于变步长LMS的参数估计器来生成耦合系数的值。代价函数等于智能体状态与其邻居状态平均值之间的局部误差的平方。结果表明,基于LMS的变步长自调优一致性算法是收敛的,所有的智能体状态都趋于一致的值。
2. 预备知识以及问题描述
2.1. 图论基础
在多智能体系统一致性问题的研究中,图论是非常重要的分析工具。通常,用记号
表示一个加权的有向图。其中,
表示具有n个节点的节点集合,它的边集合
,节点的下标集合
;邻接矩阵
,当有向边
时,表示节点
可以获得
的信息,此时
;否则,
[19] 。
定义节点i的邻居集合:
。
矩阵
,
为矩阵A的第i行元素之和,称为节点i的出度,矩阵
为图G的拉普拉斯矩阵 [20] 。
最小均方算法简称LMS算法,是一种最陡下降算法的改进算法,是在维纳滤波理论上运用速下降法后的优化延伸,最早是由Widrow和Hoff提出来的。LMS算法是一种随机梯度算法。它以系统均方误差为代价函数,利用随机估计值代替最速下降法中的梯度向量,在统计意义上以最速下降方向收敛到Wiener解。其具有计算复杂程度低、在信号为平稳信号的环境中收敛性好、其期望值无偏地收敛到维纳解和利用有限精度实现算法时的平稳性等特性,使LMS算法成为自适应算法中稳定性最好、应用最广的算法 [21] 。在本文中应用最小均方算法。
2.2. 问题描述
考虑一组用离散时间积分器来表示的N个智能体:
(1)
,
分别表示智能体在离散时间
时的状态和控制输入。
表示第i个智能体的输入增益。假设
的符号已知,但是它的大小是一个未知数。公式(1)可以被视为一组连续时间多智能体系统的离散版本 [18] 。
在本文中,考虑以下简单的一致性协议:
(2)
是控制参数,也是要进行估计的数值,以便智能体的状态
收敛到相同的值。例如,
(3)
为多智能体系统的状态变量达到一致的数值。在本文中,提出了基于LMS的变步长算法自适应地调整参数
。定义参数向量:
(4)
这里的
是指示函数,定义如下:
所以(2)中的
可以写为如下的形式
(5)
是信号向量,定义如下:
(6)
其中:
(7)
由于
是未知的,智能体i将会自调整参数向量
,使得下面的代价函数最小化:
(8)
这里的
是第i个智能体邻居状态的平均值(也包含其自身的值)
(9)
其中N是
中元素的个数。
假设
的符号是已知的,参数向量
可以通过使用以下归一化LMS算法来估计:
(10)
其中:
(11)
(12)
这里的
由公式(9)定义。在公式(10)中,
是步长参数,提出的这个算法的步长是改变的,在每次的迭代过程中,改变这个参数,加快收敛的速度。
是
的符号。公式(10)从任意初始条件
开始迭代。将
从公式(5)中代入公式(1)中可以得到:
(13)
由公式(8)给出的
对
的梯度是:
(14)
其中
由公式(12)定义。因此公式(10)中的第二项等于公式(8)的负梯度并进行规范化,而
被替换为其符号标示。
公式(13)可以写成如下的紧凑的形式:
(15)
这里的
是:
(16)
而
是耦合权重矩阵,定义如下:
(17)
2.3. 相关证明
假设图G是强连通的,且对所有的
,公式(10)中的步长
是可变的,并且步长
满足
。
由公式(9)给出的
可以写成:
(18)
这里的
由公式(16)定义的。
(19)
定义:
(20)
从公式(12) (16) (18)可以得到:
(21)
矩阵
,
中的
是由公式(19)中定义。注意到A是具有正对角元素的随机矩阵。由于假设图是强连通的,非负矩阵A是不可约的,因此,矩阵A在
处,只有一个特征值,其他的特征值
,满足
。
是对应于
的右特征向量。让
的作为矩阵A对应于特征值
的左特征向量并且标准化,得到
。因此,矩阵A可以分解为:
(22)
其中
,并且
的谱半径满足
。把(22)带入(21)可以得到:
(23)
定义:
(24)
这里的
是单位延迟算子。由于
可以得到
。再由公式(23)可以得到:
(25)
让
(26)
由公式(25) (26)可以得到:
(27)
由于
,因此公式(27)可以写为:
(28)
公式(9)可以写成:
(29)
其中
为:
(30)
然后由公式(12)给出的误差
可以表示为:
(31)
通过把公式(31)的
代入公式(28),可以得到下式:
(32)
其中:
(33)
(34)
公式(33)中的矩阵
的秩为1,它唯一的非零特征值为:
因此存在正常数
,使得对于所有的
,
。
从公式(32)可以得到:
(35)
可以得到:
(36)
其中,
,
均为常数。式(36)两边从
到
两边求和得到下式:
(37)
由公式(6)和公式(18)得到
,再结合公式(12)和公式(13)可以得到推出如下公式:
(38)
由公式(12)定义,并且:
(39)
再结合公式(10)得到:
(40)
将公式(40)两边平方后得到:
(41)
这里的
,把公式(38)中的
带入到公式(41),并且由公式(11)
可以得到
,可以得到:
(42)
把公式(42)的两边从
到
进行求和,可以得到下式:
(43)
由于
,并且开始的假设成立,所以
。因此,对于所有的
(44)
其中
是常数。
定义:
(45)
可以由公式(44)得到:
(46)
其中,
是常数,
由公式(20)定义。如果
是一个有界的序列,则由公式(46)可以得到:
(47)
其中,
为常数。而如果
,则由克罗内克引理可以得到:
(48)
由公式(6)和公式(26)可以得到
,再应用公式(11) (37) (45)可以得到:
(49)
其中,
和
均为常数。由公式(48) (49)得到:
(50)
其中,
为常数。由公式(37)(47)以及
得到:
(51)
其中,
为常数。最后,由公式(26)和公式(51)可以得到:
(52)
证明了该多智能体系统的一致性。
3. 仿真与分析
在这个仿真示例中,首先应用一个由5个智能体组成的网络。其中,该一致协议中的耦合参数由公式(10)定义的变步长LMS递归生成。多智能体系统的拓扑结构如图1所示:
公式(10)中的步长
采用固定步长时,如果步长过大或过小,可能导致多智能体系统收敛速度慢,后期可能不会收敛。因此,在算法的运行初期保持较大的值,随着迭代次数的增加,步长自适应的进行减小。因此,在多次的实验的情况下,将
的初始数值设置为较大的数值,在之后的迭代过程中设置为可变步长
,让其随着迭代次数的增加而减小。
表1显示了每个智能体的初始位置和初始的速度。
对图1所示的拓扑结构进行仿真,仿真结果如图2和图3所示。
由于图1所示的拓扑结构含有有向生成树,多智能体的状态变量最后达到了一致。图2显示了每个智能体状态
的收敛。图3显示了每个智能体的方向和位置信息。
如果改变该多智能体系统的拓扑结构,使得该图不含有生成树。如图4所示。
对图4所示的拓扑结构进行仿真。仿真结果如图5和图6所示。
![](//html.hanspub.org/file/5-1541077x169_hanspub.png)
Figure 1. A topology with a span ning tree
图1. 含有生成树的拓扑结构
![](Images/Table_Tmp.jpg)
Table 1. The initial positions and velocities of the agents
表1. 智能体的初始位置和初始速度
![](//html.hanspub.org/file/5-1541077x171_hanspub.png)
Figure 3. Positions and directions of agents at different iterations
图3. 智能体的位置和方向
![](//html.hanspub.org/file/5-1541077x172_hanspub.png)
Figure 4. A topology without a span ning tree
图4. 不含生成树的拓扑结构
![](//html.hanspub.org/file/5-1541077x174_hanspub.png)
Figure 6. Positions and directions of agents at different iterations
图6. 智能体的位置和方向
由仿真结果可以看到,由于图4所示的拓扑结构不含有向生成树,所以得到的多智能体系统的状态变量没有实现一致性。也可以由图4所示的拓扑结构图进行直观的分析,由于智能体5不接收任何智能体的信息,所以,智能体5的状态一直保持不变。智能体2也不接收其他智能体的任何信息,所以智能体1、3、4的状态值最后收敛到智能体2的状态值。
4. 结论
本文针对多智能体系统的一致性问题进行了研究,提出了一种基于LMS的变步长自调优一致性算法,证明了该算法收敛。最后通过在不同拓扑结构中仿真,验证了所设计一致性算法的正确性。