多智能體協(xié)調(diào)控制文獻綜述

1、多智能體系統(tǒng)的協(xié)調(diào)控制相關(guān)內(nèi)容摘要近年來，多智能體系統(tǒng)的協(xié)調(diào)控制在多機器人合作控制 交通車輛控制 無人飛機編隊和 網(wǎng)絡(luò)的資源分配等領(lǐng)域有著廣泛的應(yīng)用，成為當前控制學(xué)科的一個熱點問題 首先介紹了 多智能體系統(tǒng)的研究背景和智能體的概念 ; 然后從多智能體系統(tǒng)協(xié)調(diào)控制包含的幾個問題 入手， 即群集問題、 編隊控制問題、 一致性問題和網(wǎng)絡(luò)優(yōu)化問題等，對其國內(nèi)外的發(fā)展現(xiàn)狀 進行了總結(jié)和分析 ; 最后， 給出了多智能體系統(tǒng)有待解決的一些問題， 以促進對多智能體系 統(tǒng)協(xié)調(diào)控制理論與應(yīng)用的進一步研究。關(guān)鍵詞多智能體系統(tǒng) ; 一致性 ; 隊形控制 ;群集 /蜂擁0 引言在落葉飄飛的秋天，人們經(jīng)?？匆姶笱闩胖R

2、的人字型隊伍遷徙到南方 ; 在陰暗潮濕的環(huán)境下， 細菌部落聚集而生 ; 夏天池塘的青蛙同時發(fā)出哇哇的叫聲 夏日的一群螢火蟲同時發(fā)出一閃一亮的光線 ; 自然界中成群的蜜蜂， 事先沒有商 量建筑蜂巢的藍圖， 但是它們各自搬運泥土， 筑成了堅固的蜂巢 ; 在海洋中某些 魚類，具有規(guī)則隊形聚集在一起運動， 當發(fā)現(xiàn)新的食物來源或者受到外部攻擊時， 原來規(guī)則的隊形被打亂了， 但是在沒有外界力量的介入下， 一段時間之后， 這群 魚類又建立了規(guī)則的隊形聚集在一起運動。 自然界中的這些自組織現(xiàn)象在沒有集 中中央控制的條件下， 是什么樣的工作機制，使得內(nèi)部個體相互感知和交換信息， 從而外部表現(xiàn)出規(guī)則而有序的智能行

3、為運動 ? 并且這種智能行為是單個個體所 不能達到的， 因而這些現(xiàn)象引起了生物學(xué)家的興趣， 生物學(xué)家試圖了解這些自然 界生物系統(tǒng)內(nèi)部的工作機制， 期望把這些理論應(yīng)用到實際的系統(tǒng)中， 為一些新出 現(xiàn)的系統(tǒng)，例如交通車輛系統(tǒng) 機器人編隊系統(tǒng) 無人飛機或者水下航行器系統(tǒng)等 復(fù)雜智能系統(tǒng)提供理論指導(dǎo)， 生物學(xué)家最初使用模擬仿真實驗的方法， 不能在理 論上真正揭示這些生物界自組織現(xiàn)象的本質(zhì)。在計算機和工程領(lǐng)域， 隨著它們的發(fā)展， 早期的集中式和分布式計算系統(tǒng)不 能處理越來越復(fù)雜和規(guī)模越來越大的實際問題。 20 世紀 70 年代以后，分布式 人工智能方法出現(xiàn)， 能夠解決當時的問題， 得到了迅速的發(fā)展， 但

4、是這種分布式 人工智能有其缺點， 就是低層子系統(tǒng)個體之間的相互作用方式是被高層系統(tǒng)根據(jù) 任務(wù)預(yù)先設(shè)定好的， 采用“自上而下”的分析方法， 因此缺乏靈活性， 很難為實 際中的復(fù)雜大系統(tǒng)建模。為了克服上述的缺點，美國麻省理工學(xué)院的 Minsky 最 早提出了智能體 ( agent) 的概念，同時把生物界個體社會行為的概念引入到計 算機學(xué)科領(lǐng)域。 這時，生物學(xué)和計算機科學(xué)領(lǐng)域發(fā)生了交叉。 所謂的智能體可以 是相應(yīng)的軟件程序，也可以是實物例如人、車輛、機器人、人造衛(wèi)星等。近些年來，由于生物學(xué)、計算機科學(xué)、人工智能、控制科學(xué)、社會學(xué)等多個 學(xué)科交叉和滲透發(fā)展， 多智能體系統(tǒng)越來越受到眾多學(xué)者的廣泛關(guān)注，

5、 已成為當 前控制學(xué)科的熱點問題。對多智能體系統(tǒng)的研究成果日益增多。智能體的概念多智能體系統(tǒng)是由一系列相互作用的智能體構(gòu)成， 內(nèi)部的各個智能體之間通 過相互通信、合作、競爭等方式，完成單個智能體不能完成的，大量而又復(fù)雜的 工作。多智能體系統(tǒng)有以下特點 :每個智能體都有獨立的決策、計算能力以及獨立的通信能力，但是自身 的感知能力又是有限的， 只能根據(jù)局部鄰居的信息作出判斷。 例如，用一組機器 人完成某個地方的地面情況勘察， 每個機器人通過自身攜帶的傳感器獲取自己周 圍地面的信息， 然后把這些信息進行融合， 于是這一組機器人獲得地面信息比單 個機器人獲得的地面信息全面。多智能體系統(tǒng)中采用大規(guī)模的分

6、布式控制，不會因為個別智能體之間的 通信故障，而影響整個多智能體系統(tǒng)的運行， 因而具有更好的靈活性和可擴展性。 例如，現(xiàn)在的互聯(lián)網(wǎng)就是一個多智能體系統(tǒng)， 不會因為某些路由器的損壞， 而影 響網(wǎng)絡(luò)的通信。這種分布式控制的方式， 與集中式控制相比， 具有更強的魯棒性。 在工業(yè)成本上來講，分布式控制的工業(yè)成本要小于集中式的工業(yè)成本。 例如， 在工業(yè)上， 往往一些簡單而且價格低廉的設(shè)備相互協(xié)調(diào)作用， 從而取代工業(yè)中價 格昂貴、結(jié)構(gòu)復(fù)雜的大設(shè)備，大大節(jié)省了工業(yè)成本。每個智能體以自己的利益達到最大化為自己的行動和決策準則。當面臨 決策的時候，每個智能體都會讓自己的利益達到最大化。例如在有限的資源下， 智能

7、體之間會搶奪有限的資源。多智能體系統(tǒng)的協(xié)調(diào)控制研究從控制理論的角度來看， 由于各智能體之間的合作、 競爭、通信等關(guān)系能刻 畫復(fù)雜大系統(tǒng)內(nèi)部的本質(zhì)特性， 所以多智能體系統(tǒng)能為復(fù)雜大系統(tǒng)提供建模思想， 成為前復(fù)雜系統(tǒng)理論中一個重要的研究方向。 在多智能體系統(tǒng)的協(xié)調(diào)控制中， 基 本而又重要的問題是群集問題、隊形問題和一致性問題。多智能體系統(tǒng)的群集問題多智能體系統(tǒng)的群集問題是通過智能體之間的相互感知和作用， 產(chǎn)生宏觀上 的整體同步效應(yīng)，稱作是涌現(xiàn)行為。例如，前文例子中的蜜蜂筑巢、成群的魚共 同的覓食和逃避天敵等行為。 20 世紀 70 年代以前，對生物界的群集現(xiàn)象的研究 只局限于根據(jù)長期的觀察， 得到

8、研究結(jié)果。 由于計算機技術(shù)的發(fā)展， 推動了對群 集現(xiàn)象的深入研究。多智能體系統(tǒng)的隊形問題對多智能體系統(tǒng)的隊形控制研究最早起源于生物界。 人們觀察到自然界群居 的捕食者通常是排成一定的隊形捕獲獵物，某些動物排成一定的隊形抵抗攻擊， 這是達爾文進化論中的自然選擇的結(jié)果， 適者生存， 自然界中的群居的動物采用 隊形的方式有利于自身的生存。受自然界隊形思想的啟發(fā)，多機器人隊形問題、 無人飛機編隊、人造航天器編隊和多車輛系統(tǒng)等， 引起了國內(nèi)外學(xué)者的極大興趣。 多智能體的隊形控制問題是指， 一組多智能體通過局部的相互作用 ( 通信、合作、 競爭 ) ，使它們在運動過程中保持預(yù)先指定的幾何圖形， 向指定的目

9、標運動， 要 求每個智能體在運動的過程中， 各智能體之間保持一定的距離避免發(fā)生碰撞， 在 運動的道路上能繞過障礙物。 多智能體系統(tǒng)的隊形問題與多智能體系統(tǒng)的群集問 題的區(qū)別是，隊形問題要求智能體之間在運動的過程中保持預(yù)先給定的幾何圖形。 多智能體系統(tǒng)的隊形問題在航天、 工業(yè)、交通和娛樂等領(lǐng)域都有廣泛的應(yīng)用前景。多智能體系統(tǒng)的隊形控制主要解決的是以下問題 :各智能體之間如何相互作用，才能生成指定的隊形 ;在隊形移動的過程中，智能體之間是如何相互作用，才能保持指定隊形 的;在運動的過程中，隊形中的個體如何才能躲避障礙物 ;當外界環(huán)境突然改變時，如何自適應(yīng)地改變隊形或者保持隊形，以適應(yīng) 環(huán)境。多智能

10、體系統(tǒng)的一致性控制多智能體系統(tǒng)中的一個基本問題就是一致性問題。 一致性問題來源于多智能 體系統(tǒng)的協(xié)調(diào)合作控制問題。 一致性問題就是如何設(shè)計智能體局部之間的作用方 式，使各智能體根據(jù)鄰居傳來的信息， 不斷調(diào)整自己的行為， 使所有的智能體的 狀態(tài)隨著時間的推移達到共同的值。 設(shè)計智能體之間的通信方式， 稱作是一致性 協(xié)議或者是一致性算法。近年來，大量學(xué)者沿著不同思路和方法對多智能體系統(tǒng)一致性問題進行了研 究，分別從連續(xù)和離散、固定和切換拓撲、帶有時滯和無時滯、有領(lǐng)導(dǎo)者和無領(lǐng) 導(dǎo)者等多個方面進行研究多智能體系統(tǒng)的一致性問題。 下面從多智能體系統(tǒng)一致 性問題備受關(guān)注的幾個子問題入手，介紹一下多智能體系

11、統(tǒng)的發(fā)展現(xiàn)狀。有領(lǐng)導(dǎo)者的多智能體系統(tǒng)的一致性問題在多智能體系統(tǒng)中，有個別智能 體代表著整個多智能體系統(tǒng)的共同利益或者是其他智能體跟蹤的目標， 把這些智 能體稱作是領(lǐng)導(dǎo)者， 把其他的智能體稱作是跟隨者。 帶有領(lǐng)導(dǎo)者的多智能體系統(tǒng) 的一致性問題， 也稱作是一致性跟蹤問題， 就是通過合適的算法， 使得領(lǐng)導(dǎo)者和 跟隨者的最終狀態(tài)達到一致。 這種方法有其缺陷， 就是當領(lǐng)導(dǎo)者遭到破壞或者是 領(lǐng)導(dǎo)者的速度變化過快導(dǎo)致跟隨者跟蹤不上時， 領(lǐng)導(dǎo)者和跟隨者的最終狀態(tài)無法 達到一致。無領(lǐng)導(dǎo)者的多智能體系統(tǒng)一致性問題在多智能體系統(tǒng)中， 如果各智能體的地位和作用是平等的， 稱這樣的系統(tǒng)是 無領(lǐng)導(dǎo)者的多智能體系統(tǒng)。 無領(lǐng)

12、導(dǎo)者的系統(tǒng)也可以看作是帶有領(lǐng)導(dǎo)者的系統(tǒng)， 即 把其中一個智能體看作是虛擬的領(lǐng)導(dǎo)者就可以了， 大量的文獻采用了虛擬領(lǐng)導(dǎo)者 的方法研究了無領(lǐng)導(dǎo)者的問題。 通用的一般方法是把其中的一個智能體作為第 1 個智能體，其余的智能體和第 1 個智能體狀態(tài)求差值， 這樣就化成了線性系統(tǒng)的 穩(wěn)定性問題。利用經(jīng)典的控制理論和圖論知識，得到一致性的相關(guān)條件。隨機一致性問題當拓撲結(jié)構(gòu)是固定的， 或者連續(xù)變化的拓撲是按一定順序的， 稱作是確定的拓撲，即各智能體之間的通信連接是確定的。 這種情況是在比較理想的情況下出 現(xiàn)的。在現(xiàn)實中，由于通信介質(zhì)、通信信道的限制，外部環(huán)境不確定的影響以及 隨機噪聲的干擾， 導(dǎo)致智能體之間

13、的通信連接是隨機變化的。 研究智能體之間的 通信是隨機變化的情況， 是非常有意義的工作。 當智能體之間通信的隨機變化滿 足一定的條件時， 即當前時刻的狀態(tài)只依賴于前一時刻的狀態(tài)， 是馬爾可夫鏈中 的一個性質(zhì)， 因此可以借助隨機過程的相關(guān)知識處理一致性問題。 當智能體通信 的變化滿足馬爾可夫鏈，且智能體之間各個狀態(tài)差值平方的期望趨于0，稱作是多智能體系統(tǒng)的均方一致性問題?？焖僖恢滦允諗亢陀邢迺r間一致性問題 在多智能體系統(tǒng)中，因為收斂速度會影響系統(tǒng)的控制精度和抑制干擾的能力， 也是衡量一個系統(tǒng)性能的重要指標， 因此一致性收斂速度較快標志著系統(tǒng)性能較 強。快速一致性收斂問題受到眾多學(xué)者的關(guān)注?？偨Y(jié)由

14、于多智能體系統(tǒng)的協(xié)調(diào)控制問題有著廣泛的應(yīng)用前景， 例如軍事、 航天和 工業(yè)等方面， 受到國內(nèi)外學(xué)者的廣泛關(guān)注， 需要來自各個學(xué)科的學(xué)者從不同角度 進行研究。 雖然目前的關(guān)于多智能體系統(tǒng)的結(jié)果層出不窮， 取得了令人矚目的成 果，但是仍然沒有形成普遍使用的理論和方法。 對多智能體系統(tǒng)的很多方面工作 的研究，只是剛剛起步， 例如對多智能體系統(tǒng)網(wǎng)絡(luò)優(yōu)化方面的問題等。 又由于隨 著社會的發(fā)展，新問題的出現(xiàn)，需要對多智能體系統(tǒng)從各個領(lǐng)域進行深入研究。復(fù)雜動態(tài)網(wǎng)絡(luò)的建模問題。復(fù)雜動態(tài)網(wǎng)絡(luò)可以看作是多智能體系統(tǒng)。由 于動態(tài)網(wǎng)絡(luò)中的個體數(shù)目是不固定的， 且個體之間的相互作用關(guān)系是動態(tài)變化的， 如何建立精確的數(shù)學(xué)

15、模型， 是復(fù)雜系統(tǒng)走向量化的關(guān)鍵點。 數(shù)學(xué)模型是一個橋梁， 從生物界的群集和隊形內(nèi)部個體的作用機制得到啟發(fā)， 把它運用到復(fù)雜網(wǎng)絡(luò)系統(tǒng) 中，還是一個挑戰(zhàn)。在實際的網(wǎng)絡(luò)中， 智能體之間的通信會受多時滯、 噪聲的干擾、 外部的攻 擊以及不確定因素的影響， 如何設(shè)計多智能體系統(tǒng)的群集、 隊形以及一致性算法， 使它們具有更強的可靠性、靈活性和魯棒性，是一個重要的問題。目前大多數(shù)文獻假設(shè)智能體個體是相同的，而在現(xiàn)實的系統(tǒng)中，智能體 個體之間的差別會很大， 但是對異質(zhì)的多智能體問題的研究成果很少， 非常有必 要進行研究。目前處理網(wǎng)絡(luò)優(yōu)化問題的時候，假設(shè)目標是一個凸函數(shù)，得到優(yōu)化的結(jié) 果。當目標是一個非凸函數(shù)的時候，是一個有待解決的問題。參考文獻洪奕光，翟超 .多智能體系統(tǒng)動態(tài)協(xié)調(diào)與分布式控制設(shè)計 J. 控制理論與 應(yīng)用， 20