3.2　生物集群到人工集群映射機(jī)理

生物群智涌現(xiàn)機(jī)理讓我們了解了生物群體智能的共識(shí)性、協(xié)同性與涌現(xiàn)性，明確了其背后的復(fù)雜生成與演化過程。在此基礎(chǔ)上，本節(jié)將進(jìn)一步探討如何將所發(fā)現(xiàn)的生物集群協(xié)同機(jī)理遷移和映射到人工集群系統(tǒng)中。具體來說，這里共總結(jié)和歸納出七種將生物集群協(xié)同機(jī)理映射到人工集群系統(tǒng)的典型模式，如圖3.14所示。不同的映射模式作用于人工集群協(xié)作的不同方面，如表3.9所示。

群集動(dòng)力學(xué)常用于協(xié)同編隊(duì)和自主聚集等群集運(yùn)動(dòng)場(chǎng)景，源自生物協(xié)作的啟發(fā)式規(guī)則適用于約束和促進(jìn)多智能體間的協(xié)作行為，自適應(yīng)機(jī)制便于增強(qiáng)群智能體的環(huán)境自適應(yīng)性和自修復(fù)能力，受生物啟發(fā)的群智優(yōu)化算法適用于智能體路徑規(guī)劃、任務(wù)調(diào)度等最優(yōu)問題求解，圖結(jié)構(gòu)映射模型刻畫個(gè)體間的交互通信結(jié)構(gòu)，演化博弈動(dòng)力學(xué)解決群體內(nèi)的協(xié)商與決策問題，群智能體學(xué)習(xí)機(jī)制映射旨在構(gòu)建類人的通用人工智能，賦予人工集群系統(tǒng)舉一反三、持續(xù)演化的學(xué)習(xí)能力。

3.2.1　群集動(dòng)力學(xué)

無論是鳥群還是魚群，生物群體內(nèi)部協(xié)同合作的首要條件就是個(gè)體之間實(shí)現(xiàn)同步運(yùn)動(dòng)，即在速度、方向等運(yùn)動(dòng)特征上實(shí)現(xiàn)一致。盡管生物群體中的個(gè)體感知能力和智力水平有限，但整個(gè)群體卻能呈現(xiàn)復(fù)雜而同步的運(yùn)動(dòng)行為，例如朝同一個(gè)目標(biāo)行進(jìn)（食物、棲息地等）、形成特殊的空間結(jié)構(gòu)以應(yīng)對(duì)緊急情況等。這種從無序、雜亂的初始行為狀態(tài)到有序、一致的行為模式形成是生物群智涌現(xiàn)的一種重要體現(xiàn)。群集動(dòng)力學(xué)是研究生物運(yùn)動(dòng)行為群智涌現(xiàn)的基礎(chǔ)理論，也是實(shí)現(xiàn)從生物群智到人工群智映射的重要模式（如圖3.15所示）。

具體來說，群集動(dòng)力學(xué)首先為集群中的個(gè)體建立動(dòng)力學(xué)方程，以此來表示個(gè)體的運(yùn)動(dòng)狀態(tài)，比如速度或方向。然后該方程依據(jù)某些預(yù)定的公式不斷迭代，這些公式就代表所發(fā)掘的個(gè)體間的交互規(guī)則，迭代所達(dá)到的相對(duì)穩(wěn)定狀態(tài)就是群智行為的體現(xiàn)。我們以最經(jīng)典的Vicsek模型[10]和Couzin模型[16]說明這一映射過程。在前文提到的Boid模型的基礎(chǔ)上，Vicsek模型從統(tǒng)計(jì)力學(xué)的角度對(duì)其進(jìn)行了簡(jiǎn)化，研究了集群中個(gè)體運(yùn)動(dòng)方向達(dá)成一致的條件。個(gè)體運(yùn)動(dòng)以自身位置x為中心，檢查半徑R范圍內(nèi)所有鄰居的運(yùn)動(dòng)角速度的平均矢量，再加上所添加的噪聲影響來更新運(yùn)動(dòng)方向。不同于Vicsek模型從統(tǒng)計(jì)力學(xué)角度對(duì)Boid模型的拓展，Couzin等人又從數(shù)學(xué)模型的角度對(duì)Boid模型進(jìn)行了更精確的描述，提出了Couzin模型。Couzin模型將個(gè)體的感知區(qū)域由內(nèi)而外分為三個(gè)不重疊的區(qū)域，即排斥區(qū)、取向區(qū)和吸引區(qū)，分別對(duì)應(yīng)Boid模型中的分離、對(duì)齊和凝聚規(guī)則。其他粒子進(jìn)入排斥區(qū)將會(huì)倒退；在取向區(qū)受到在這一區(qū)域內(nèi)其他個(gè)體的影響時(shí)會(huì)調(diào)整其方向；吸引區(qū)內(nèi)距離較遠(yuǎn)的粒子會(huì)相互靠近。綜上所述，群集動(dòng)力學(xué)既可以解釋群集智能的產(chǎn)生，又能為人工集群控制等研究提供新思路。Vicsek模型和Couzin模型還有很多改進(jìn)版本，相關(guān)內(nèi)容可參考第4章。

3.2.2　啟發(fā)式規(guī)則

群體運(yùn)動(dòng)通常是個(gè)體行為集聚的結(jié)果，每個(gè)個(gè)體的行為基于對(duì)環(huán)境的局部感知。與群集動(dòng)力學(xué)直接研究個(gè)體運(yùn)動(dòng)動(dòng)力學(xué)特征不同，啟發(fā)式規(guī)則考慮個(gè)體根據(jù)局部感知，遵循相對(duì)簡(jiǎn)單的規(guī)則形成集群現(xiàn)象，即利用所發(fā)現(xiàn)的生物群體行為規(guī)律，為執(zhí)行復(fù)雜任務(wù)的單個(gè)機(jī)器人行動(dòng)建立行為機(jī)制。啟發(fā)式規(guī)則的映射思想如圖3.16所示，根據(jù)這些規(guī)則在人工集群協(xié)作上的作用點(diǎn)不同，可分為：直接作用于機(jī)器人行動(dòng)上的行為規(guī)則、調(diào)整機(jī)器人群體結(jié)構(gòu)的結(jié)構(gòu)變換規(guī)則和規(guī)定機(jī)器人交互通信的通信規(guī)則。下面將分別闡述這三種規(guī)則。

1. 行為規(guī)則

行為規(guī)則的靈感來自生物集群中無中心控制即可協(xié)調(diào)行動(dòng)的現(xiàn)象，人工群智系統(tǒng)也可以通過自組織的協(xié)同控制來完成復(fù)雜任務(wù)。通過將多個(gè)控制器的輸出組合起來，實(shí)現(xiàn)包括避免碰撞、避免障礙物、尋找目標(biāo)和保持隊(duì)形等行為[81-83]。行為規(guī)則定義了個(gè)體與個(gè)體之間以及個(gè)體與環(huán)境之間的行為交互規(guī)則，而不需要任何形式的集中控制。

Sean等人[84]模擬螞蟻執(zhí)行集體運(yùn)輸任務(wù)的微觀和宏觀行為，設(shè)計(jì)了分布式機(jī)器人行為控制策略，通過控制個(gè)體與貨物的附著、分離以及運(yùn)動(dòng)方向，模擬實(shí)現(xiàn)了多智能體集體運(yùn)輸任務(wù)。借鑒鳥類群集現(xiàn)象，Balch等人[85]提出了基于行為規(guī)則的機(jī)器人編隊(duì)方法，在仿真和真實(shí)機(jī)器人上都得到了性能驗(yàn)證。前文介紹的Boid模型所引入的凝聚、分離和對(duì)齊三個(gè)啟發(fā)式行為規(guī)則，也為人工群智系統(tǒng)的構(gòu)建提供了重要基礎(chǔ)。

人工群智系統(tǒng)對(duì)行為的控制一般通過人工勢(shì)場(chǎng)實(shí)現(xiàn)[11]。它將機(jī)器人抽象為物理實(shí)體，個(gè)體之間存在排斥、吸引與對(duì)齊等相互作用力，通過調(diào)節(jié)作用力的作用范圍等參數(shù)，實(shí)現(xiàn)集群運(yùn)動(dòng)的宏觀現(xiàn)象。例如，Spears等人[86]給出了虛擬物理力（Virtual Physical Force, VPF）設(shè)計(jì)框架，該框架在無人車集群控制中表現(xiàn)出了良好的性能[11]。

2. 結(jié)構(gòu)變換規(guī)則

結(jié)構(gòu)變換和調(diào)整的現(xiàn)象可在大雁、狼群等生物種群的社會(huì)組織中觀察到。大雁在長(zhǎng)途飛行時(shí)，為了充分利用氣流，在上升或降落階段主要結(jié)成“一”字形隊(duì)列飛行；在飛行中段會(huì)變成“人”字形隊(duì)列飛行。椋鳥在組隊(duì)飛行時(shí)，隊(duì)形飄忽不定，它們?cè)诳罩袝?huì)形成各種巨大怪異的圖案，以恐嚇掠食者。

人工集群也可以像自然生物群體那樣表現(xiàn)出高程度的形態(tài)適應(yīng)能力。在真實(shí)環(huán)境中，多智能體可能難以保持某種隊(duì)形以達(dá)到預(yù)定目標(biāo)，因此也可變換隊(duì)形以增加結(jié)構(gòu)的多樣性、靈活適應(yīng)環(huán)境。以Li等人[5]研發(fā)的模擬生物細(xì)胞集體遷移的粒子機(jī)器人為例，粒子集群在沒有外部光源刺激的情況下，只能隨機(jī)移動(dòng)；當(dāng)有外部光源刺激時(shí)，集群可朝向光源方向移動(dòng)。如圖3.17所示，粒子顏色從綠色（最小半徑）到藍(lán)色（最大半徑）不等，而部分故障粒子用灰色表示。黑色區(qū)域?yàn)檎系K物，黃色區(qū)域表示刺激物（光源）。當(dāng)在集群和光源之間設(shè)置一個(gè)有縫隙的障礙物時(shí)，由于粒子機(jī)器人是通過小磁鐵松散地黏在一起的，集群就可以調(diào)整黏合關(guān)系，改變形狀擠過這個(gè)縫隙，繼續(xù)向光源方向運(yùn)動(dòng)。

Mathews等人[87]研究了可根據(jù)需要自行組織和構(gòu)建具有不同能力、形狀和尺寸的可合并神經(jīng)系統(tǒng)（Mergeable Nervous System, MNS）。如圖3.18所示，該系統(tǒng)既可以通過集中控制器將多個(gè)機(jī)器人合并成更大的整體，也可以通過獨(dú)立控制器分裂成獨(dú)立個(gè)體。如果傳感器感應(yīng)到外部LED燈光刺激的話，被識(shí)別作“大腦單元”的機(jī)器人會(huì)向其他機(jī)器人單元發(fā)出合并或者拆分的執(zhí)行指令，然后機(jī)器人將進(jìn)行坐標(biāo)轉(zhuǎn)換來協(xié)調(diào)空間。該系統(tǒng)還可以通過移除或替換故障的部位進(jìn)行自我修復(fù)。在檢測(cè)到“大腦單元”故障時(shí)，其他機(jī)器人單元會(huì)先進(jìn)行拆分，移除故障單元并識(shí)別出新的“大腦單元”再重新形成指定形狀。Zhu等人[88]提出了一種自組織的編隊(duì)控制方法，該方法結(jié)合了集中控制和分散控制，群體機(jī)器人通過自組織通信拓?fù)浣Y(jié)構(gòu)執(zhí)行分布式非對(duì)稱控制。實(shí)驗(yàn)證明，機(jī)器人發(fā)生故障和位移后，可以恢復(fù)編隊(duì)，也可以在飛行中切換到新的編隊(duì)。

3. 通信規(guī)則

不論是鴿群或鷗群飛行過程的層級(jí)交互，還是椋鳥或魚群的相鄰個(gè)體局部交互以及蟻群的信息素機(jī)制，都可從中總結(jié)出適用于人工集群相互聯(lián)系的通信規(guī)則。這些通信規(guī)則或以層級(jí)機(jī)制與鄰居局部交互，或通過信息素等介質(zhì)傳遞消息，還可通過收集全員信息獲取全局共識(shí)等。

在Ren和Olfati等[57-59]提出的多智能體系統(tǒng)中，智能體以兩種規(guī)則選擇鄰居進(jìn)行通信，利用其間的信息交換來實(shí)現(xiàn)團(tuán)體移動(dòng)的速度或方向上的共識(shí)。智能體之間離散時(shí)間的共識(shí)協(xié)議一般可以表示為

其中，xi表示智能體的信息，N表示鄰居的個(gè)數(shù)，αij表示智能體i對(duì)智能體j的信息的相對(duì)置信度，gij表示智能體之間的通信網(wǎng)絡(luò)連接，如果為連接狀態(tài)，則gij為1，否則gij為0。采取的兩種通信策略分別為優(yōu)先選擇連接數(shù)少的智能體通信和隨機(jī)選擇智能體通信。圖3.19展示了具有不同初始條件的6個(gè)智能體之間通過這兩種策略選擇拓?fù)溧従舆M(jìn)行信息交互最終達(dá)成共識(shí)的示例。

全局交互得到的信息更全面，對(duì)應(yīng)地對(duì)機(jī)器人的通信能力和通信范圍要求更高，甚至可能限制機(jī)器人的活動(dòng)范圍；局部交互獲得的信息相對(duì)全局交互較少，不會(huì)直接獲取全局相關(guān)信息，但是對(duì)個(gè)體通信能力要求更低，實(shí)際應(yīng)用中可通過通信能力限制、感知范圍的要求以及具體任務(wù)需求選擇恰當(dāng)?shù)耐ㄐ欧绞健?/p>

3.2.3　自適應(yīng)機(jī)制

在現(xiàn)實(shí)環(huán)境中，如何應(yīng)對(duì)意外事件的發(fā)生是人工群智系統(tǒng)面臨的一大挑戰(zhàn)，例如障礙物的存在以及隨時(shí)變化的周邊環(huán)境都可能干擾任務(wù)的執(zhí)行。自適應(yīng)機(jī)制指群體完全自發(fā)地對(duì)多變的環(huán)境做出動(dòng)態(tài)行為調(diào)整，或者對(duì)群體結(jié)構(gòu)進(jìn)行組織變換，以此增強(qiáng)集群對(duì)環(huán)境的適應(yīng)性。可以在很多社會(huì)群居動(dòng)物群體內(nèi)觀察到這種適應(yīng)性，例如大雁、狼群、魚群或椋鳥群等。圖3.20展示了自適應(yīng)機(jī)制如何將生物群智涌現(xiàn)行為的相關(guān)機(jī)理映射到人工集群上，下面將從群體結(jié)構(gòu)角色變換和行為應(yīng)急避險(xiǎn)兩個(gè)方面對(duì)自適應(yīng)機(jī)制進(jìn)行闡述。

1. 角色變換機(jī)制

在雁群的編隊(duì)遷徙過程中，因?yàn)轭^雁在飛行時(shí)無法利用同伴攪起的上升氣流，所以頭雁飛得很累，會(huì)比其他同伴更早遇到體力不濟(jì)的局面，因此雁群在遷徙過程中需要不時(shí)更換頭雁[89]。狼群在追逐獵物時(shí)，若領(lǐng)跑的頭狼體能消耗殆盡，排在第二位的狼就會(huì)繞到頭狼的前面，繼續(xù)帶領(lǐng)狼群展開追擊，以持續(xù)消耗獵物的體能。在群智能體系統(tǒng)中，為更好地實(shí)現(xiàn)資源的有效利用，也可根據(jù)情境進(jìn)行角色分工調(diào)整。Levent等[90]提出了在覓食等搜索任務(wù)場(chǎng)景中的角色變換機(jī)制，系統(tǒng)會(huì)根據(jù)資源、環(huán)境動(dòng)態(tài)變化確定機(jī)器人何時(shí)進(jìn)行搜索行動(dòng)以及何時(shí)休息，以自適應(yīng)調(diào)整自身角色。Parker等[91]也采用了類似的角色變換機(jī)制，并引入了不耐煩值和默許值兩個(gè)參數(shù)，分別與機(jī)器人的休息時(shí)間和工作時(shí)間相關(guān)。這兩個(gè)值決定了機(jī)器人何時(shí)停止休息或中止搜索，使多數(shù)機(jī)器人不會(huì)同時(shí)執(zhí)行同一任務(wù)以降低搜索成本。

巢穴食物或能量的存儲(chǔ)狀態(tài)變化也可作為角色切換動(dòng)機(jī)[92]。如果沒有機(jī)器人將新的食物帶到巢中，食物數(shù)量或能量會(huì)隨時(shí)間的推移而減少，達(dá)到閾值則會(huì)激活休息中機(jī)器人的覓食活動(dòng)；閾值可以是固定的，也可以根據(jù)集群能量狀態(tài)而自適應(yīng)地變化，最終實(shí)現(xiàn)任務(wù)的自組織優(yōu)化分配[93]。由于搜索區(qū)域的交通擁擠程度和機(jī)器人之間的物理干擾也會(huì)顯著降低群體的性能，因此還可以用交通流密度和避障量共同調(diào)整閾值來指導(dǎo)機(jī)器人工作狀態(tài)的轉(zhuǎn)換，提高協(xié)作效率，減少物理干擾[94]。Liu等[95]提出了一種面向集群能量最大化的分布式任務(wù)分配策略，同時(shí)考慮自身能量獲取狀態(tài)、局部感知的環(huán)境信號(hào)（搜索時(shí)與周圍個(gè)體的沖突和避障行為）和社會(huì)信號(hào)（同伴能量獲取狀態(tài)）以自動(dòng)調(diào)整機(jī)器人角色變換的時(shí)間分布。

2. 應(yīng)急避險(xiǎn)機(jī)制

應(yīng)急避險(xiǎn)機(jī)制對(duì)應(yīng)于3.1.3節(jié)中提到的魚群、鳥群等大規(guī)模群體行進(jìn)時(shí)，遇到襲擊會(huì)以極快的反應(yīng)改變行進(jìn)速度和行進(jìn)方向的現(xiàn)象。借鑒至人工群智系統(tǒng)，遇到攻擊或障礙物時(shí)，人工群智系統(tǒng)也可通過自發(fā)性、自組織的應(yīng)激反應(yīng)化險(xiǎn)為夷。應(yīng)急避險(xiǎn)不同于結(jié)構(gòu)變換，兩種映射的驅(qū)動(dòng)力不同。前者是在威脅到來之際的快速反應(yīng)調(diào)整，而后者則是更好地利用環(huán)境，或是為提前應(yīng)對(duì)未知的威脅而靈活地調(diào)整結(jié)構(gòu)，不僅限于避險(xiǎn)。對(duì)于應(yīng)急避險(xiǎn)來說，不只有變換結(jié)構(gòu)一種做法，還有改變速度等對(duì)緊急情況做出的調(diào)整。

將這種應(yīng)急避險(xiǎn)機(jī)制拓展到無人機(jī)集群[64]，當(dāng)無人機(jī)距離地面太近時(shí)，需要快速拉起機(jī)頭并爬升，防止撞擊地面。此外，前文中提到的面向未來作戰(zhàn)的馬賽克戰(zhàn)構(gòu)想也充分體現(xiàn)了自適應(yīng)機(jī)制的重要作用。該構(gòu)想試圖尋找一系列類似于“馬賽克”的、靈活可組的標(biāo)準(zhǔn)化功能單元，將觀察、判斷、決策、行動(dòng)等階段分解為不同的力量結(jié)構(gòu)要素，以情境自適應(yīng)的要素自我聚合和快速分解形成能夠應(yīng)對(duì)更加多樣、復(fù)雜場(chǎng)景的強(qiáng)大作戰(zhàn)體系。

3.2.4　群智優(yōu)化算法

群智優(yōu)化算法是受動(dòng)物的社會(huì)行為機(jī)制啟發(fā)而設(shè)計(jì)出的算法或分布式解決問題的策略。顧名思義，它主要用于解決優(yōu)化問題，即在滿足一定條件的情況下，在策略和參數(shù)空間中尋找最優(yōu)解，使某個(gè)或多個(gè)功能指標(biāo)達(dá)到最優(yōu)或使系統(tǒng)的某些性能指標(biāo)達(dá)到最優(yōu)。群智優(yōu)化算法主要模擬了鳥群、魚群、昆蟲或獸群等生物群體為了個(gè)體利益以及集體利益，在覓食、捕獵等過程中進(jìn)化出的典型群智行為。將抽象總結(jié)出的算法應(yīng)用于人工群智系統(tǒng)的路徑規(guī)劃、資源劃分或任務(wù)分配等方面，也可相應(yīng)地提高個(gè)體或群體效能，如圖3.21所示。目前已經(jīng)有非常多的群智優(yōu)化算法，例如蟻群算法（Ant Colony Optimization, ACO）[96]、粒子群算法（Particle Swarm Optimization, PSO）[97]、人工魚群算法（Artificial Fish Swarm Algorithm, AFSA）[98]、螢火蟲優(yōu)化算法（Glowworm Swarm Optimization, GSO）[99]和狼群算法（Wolf Pack Algorithm, WPA）[40]等，下面以最常用的群智優(yōu)化算法——蟻群算法來說明這種映射過程。

意大利學(xué)者Dorigo等人[53]于1991年首先提出蟻群系統(tǒng)的概念，他們發(fā)現(xiàn)單個(gè)螞蟻的行為比較簡(jiǎn)單，但是整個(gè)蟻群卻可以體現(xiàn)出高智能行為，例如蟻群可以在不同的環(huán)境下尋找到達(dá)食物源的最短路徑。之后Dorigo又于1992年提出了蟻群算法，其啟發(fā)思想如圖3.22所示。

如果兩點(diǎn)之間多條路徑有信息素，螞蟻會(huì)以較大概率選擇信息素較濃的路徑前進(jìn)，形成一個(gè)正反饋機(jī)制，選擇較短路徑的螞蟻所用時(shí)間短、往復(fù)次數(shù)多，路徑上信息素濃，從而吸引更多的螞蟻選擇較短的路徑。這種利用信息素思想求解最優(yōu)化問題的方法就稱為蟻群算法。周等人[64]將這種方法應(yīng)用到無人機(jī)的航跡規(guī)劃上：首先將地景模型劃分為網(wǎng)格，并將網(wǎng)格頂點(diǎn)對(duì)應(yīng)的地景中的高度作為該頂點(diǎn)的高度，從而得到一個(gè)地形網(wǎng)格，然后在21×21×2000的地形網(wǎng)格上驗(yàn)證蟻群算法在路徑規(guī)劃上的有效性。近年來，蟻群算法及其改進(jìn)模型已經(jīng)被廣泛用于解決各種復(fù)雜優(yōu)化問題。Dorigo等[100]提出了元啟發(fā)式蟻群優(yōu)化算法，為求解復(fù)雜問題提供了通用算法框架。Akka等[101]采用了新的信息素更新規(guī)則并動(dòng)態(tài)調(diào)整蒸發(fā)速率，在移動(dòng)機(jī)器人路徑規(guī)劃問題上獲得了較好性能。Khaluf等[102]提出了一種新的蟻群優(yōu)化算法，用于有效地將多個(gè)機(jī)器人分配給一組需要在特定期限內(nèi)完成的任務(wù)。該算法使用信息素跟蹤進(jìn)行評(píng)估，以支持最小化任務(wù)執(zhí)行時(shí)間的分配。

3.2.5　圖結(jié)構(gòu)映射模型

生物群體在交互或協(xié)作過程中體現(xiàn)了豐富的個(gè)體間關(guān)系。根據(jù)群體內(nèi)成員間的通信關(guān)系或者社會(huì)等級(jí)結(jié)構(gòu)關(guān)系，可以構(gòu)建出拓?fù)浣Y(jié)構(gòu)圖并分析其社會(huì)互動(dòng)作用。圖結(jié)構(gòu)映射模型如圖3.23所示，這種形式使設(shè)計(jì)和控制人工群智系統(tǒng)的問題變得更容易，生物群體所體現(xiàn)的多元互動(dòng)在人工群智系統(tǒng)中也能發(fā)揮重要作用。

鴿群個(gè)體間的相互作用機(jī)制和通信網(wǎng)絡(luò)可以通過層級(jí)拓?fù)鋱D進(jìn)行刻畫。Nagy等人[60]在2010年首次揭示了鴿群的層級(jí)領(lǐng)導(dǎo)網(wǎng)絡(luò)（如圖3.24所示），每只鴿子或?yàn)轭I(lǐng)航者，或?yàn)楦S者，或在中間層扮演領(lǐng)航者與跟隨者的雙重角色。Yomosa等人[103]利用便攜式立體攝影系統(tǒng)分析了蒙面鷗群的時(shí)空結(jié)構(gòu)，研究了個(gè)體之間的領(lǐng)航者-跟隨者關(guān)系。這些對(duì)通信交互結(jié)構(gòu)的研究有利于揭示生物群體交互機(jī)制，并且為人工群智能體間的通信提供支撐。Zafeiris等[104]證明了這種層級(jí)交互結(jié)構(gòu)的信息傳遞速度比平等交互結(jié)構(gòu)效率更高。Flack等人[105]將這種社會(huì)層級(jí)網(wǎng)絡(luò)結(jié)構(gòu)引入集體運(yùn)動(dòng)模型來研究社會(huì)關(guān)系對(duì)群體導(dǎo)航的影響，并表明具有特定社會(huì)結(jié)構(gòu)的群體可以更好地補(bǔ)償不斷增加的導(dǎo)航錯(cuò)誤水平。

圖模型不僅可以表示個(gè)體間的通信關(guān)系，還可以刻畫群體內(nèi)的社會(huì)等級(jí)制度關(guān)系。以3.1.6節(jié)講到的狼群等級(jí)制度為例，灰狼優(yōu)化算法（GWO）中[106]對(duì)灰狼的社會(huì)等級(jí)進(jìn)行了數(shù)學(xué)建模，將狼按照地位從高到低分為α、β、δ和ω四級(jí)，并用金字塔圖的形式表現(xiàn)出每一等級(jí)的優(yōu)勢(shì)，等級(jí)越靠下在種群中擁有的優(yōu)勢(shì)就越少，進(jìn)而在不同等級(jí)個(gè)體間建立相應(yīng)的交互機(jī)制以優(yōu)化群體協(xié)作效率。前面所介紹的動(dòng)物群體中等級(jí)或?qū)蛹?jí)制度表明，在人工群智系統(tǒng)中引入某種形式的分層控制是合理的[107]。例如在機(jī)器人領(lǐng)域，Zhang等人[108]將GWO應(yīng)用于無人機(jī)路徑規(guī)劃問題，解決了三種不同維度下的路徑規(guī)劃問題。算法目標(biāo)是找到一條安全的道路，同時(shí)避開危險(xiǎn)區(qū)域，并將燃料成本降至最低。實(shí)驗(yàn)結(jié)果表明，與其他元啟發(fā)式算法相比，該算法具有較高的效率。

3.2.6　演化博弈動(dòng)力學(xué)

演化博弈概念源自達(dá)爾文的進(jìn)化論，其中，演化是一個(gè)漸進(jìn)的發(fā)展過程。從生物的群體層次上看，在種群繁衍過程中，如果個(gè)體的某種行為適應(yīng)度高，就會(huì)在種群中得到擴(kuò)散而被保留，目的是比其他種群變得更好，以便在優(yōu)勝劣汰的自然界中生存繁衍。演化博弈動(dòng)力學(xué)[109, 110]所關(guān)注的是群體中的參與者如何通過動(dòng)態(tài)學(xué)習(xí)過程達(dá)到穩(wěn)定的均衡狀態(tài)，動(dòng)態(tài)過程就對(duì)應(yīng)于有利行為的擴(kuò)散，穩(wěn)定均衡就是種群演化的優(yōu)勝狀態(tài)。演化博弈動(dòng)力學(xué)中的一類映射過程如圖3.25所示。

演化博弈主要解決兩個(gè)問題：一是構(gòu)建動(dòng)態(tài)學(xué)習(xí)模型；二是分析和判斷動(dòng)態(tài)模型是否收斂到均衡狀態(tài)。這兩個(gè)問題涉及演化穩(wěn)定策略（Evolutionary Stable Strategy, ESS）[111]和復(fù)制動(dòng)力學(xué)（Replicator Dynamics）[112]這一對(duì)演化博弈理論中最重要的基本概念。演化穩(wěn)定策略是指群體中大部分個(gè)體所采取的策略，其假設(shè)群體的“趨同性”使得演化過程中的個(gè)體要么做出演化穩(wěn)定策略，要么在過程中被淘汰。這種情況下，演化穩(wěn)定策略即為決策集合中收益最高的策略，使得群體能夠抵擋少數(shù)突變策略個(gè)體的影響，在演化過程中達(dá)到均衡狀態(tài)。演化博弈理論的復(fù)制動(dòng)力學(xué)由生態(tài)學(xué)家Taylor和Jonker在考察生態(tài)演化現(xiàn)象時(shí)提出[112]，代表策略演化的動(dòng)態(tài)收斂過程。總體來說，演化博弈動(dòng)力學(xué)主要關(guān)注以上兩個(gè)問題，而具體的演化博弈理論則涉及以下四項(xiàng)基本要素：

1）群體：每個(gè)群體都有自己的行動(dòng)集合。

2）支付函數(shù)：行動(dòng)對(duì)應(yīng)的收益。

3）動(dòng)態(tài)：參與者的學(xué)習(xí)或模仿過程。

4）均衡：演化的收斂穩(wěn)定狀態(tài)。

基于以上四項(xiàng)基本要素，演化博弈的基本分析過程可以被看成是參與者群體選取了不同策略，進(jìn)而分出了不同的動(dòng)態(tài)演化過程，再根據(jù)動(dòng)態(tài)演化方程的分布分析演化的穩(wěn)定性。

演化博弈是研究群體內(nèi)合作演化和策略競(jìng)爭(zhēng)的一種行之有效的方法。DeepMind于2019年在《自然》雜志中提出了一種多智能體強(qiáng)化學(xué)習(xí)方法來解決《星際爭(zhēng)霸》這一復(fù)雜環(huán)境中的AI挑戰(zhàn)[50]。針對(duì)單智能體學(xué)習(xí)能力有限問題，該方法采用社會(huì)性動(dòng)物分工合作模式，提出“聯(lián)盟智能體”的概念，通過不斷地讓聯(lián)盟內(nèi)部的個(gè)體之間相互對(duì)抗博弈來進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練，使每個(gè)個(gè)體都能得到提升。其中，智能體選擇博弈玩家的規(guī)則如下：

B代表智能體A要選擇的對(duì)手，C代表候選者集合，f是一個(gè)權(quán)重函數(shù)，若選擇fhard（x）=（1-x）p（p∈R+），智能體A會(huì)匹配到獲勝率較高的玩家，從而更能找到自身弱點(diǎn)來強(qiáng)化自己，省去與絕對(duì)能戰(zhàn)勝的玩家對(duì)戰(zhàn)的學(xué)習(xí)過程；如果選擇fvar（x）=x（1-x），智能體就會(huì)優(yōu)先選擇與自己同等級(jí)別的玩家對(duì)抗。同時(shí)，該方法通過借鑒生物集群演化機(jī)制提出了群智能體演化博弈策略：一方面，主智能體自我博弈以對(duì)抗歷史玩家；另一方面，主/聯(lián)盟探索者按一定概率重置/復(fù)制策略參數(shù)。通過博弈逐步將獲勝的策略保留下來，進(jìn)一步提升智能體的對(duì)戰(zhàn)能力。有關(guān)算法細(xì)節(jié)，可參考3.3.3節(jié)的相關(guān)內(nèi)容。

3.2.7　群智能體學(xué)習(xí)機(jī)制

基于學(xué)習(xí)機(jī)制的映射，旨在借鑒生物的強(qiáng)泛化性、自適應(yīng)性、協(xié)作性等學(xué)習(xí)特性提升機(jī)器智能。從生物舉一反三的學(xué)習(xí)能力映射出的遷移學(xué)習(xí)機(jī)制（詳細(xì)內(nèi)容可參考第10章），可以提升AI模型的泛化能力；借鑒生物與環(huán)境的試錯(cuò)式交互得到強(qiáng)化學(xué)習(xí)（參見第7章），可以幫助模型應(yīng)對(duì)動(dòng)態(tài)變化環(huán)境；在不遺忘舊知識(shí)的同時(shí)持續(xù)學(xué)習(xí)新知識(shí)（參見第7章），聯(lián)系已有知識(shí)運(yùn)用于新的學(xué)習(xí)任務(wù)；從生物的模仿能力映射得來的模仿學(xué)習(xí)機(jī)制（參見第9章），借助專家提供的先驗(yàn)知識(shí)高效尋找解決方案。對(duì)生物學(xué)習(xí)能力和認(rèn)知機(jī)理映射將使現(xiàn)有弱人工智能向更接近人類的強(qiáng)人工智能（通用人工智能）演進(jìn)。圖3.26給出了群智能體學(xué)習(xí)機(jī)制的整體映射思想。

1. 遷移學(xué)習(xí)

面對(duì)新的環(huán)境、新的目標(biāo)，生物善于發(fā)現(xiàn)不同任務(wù)之間的區(qū)別與聯(lián)系，舉一反三，利用已積累的知識(shí)創(chuàng)造性地解決新問題。例如，人學(xué)會(huì)彈電子琴之后會(huì)更容易學(xué)會(huì)彈鋼琴。在機(jī)器學(xué)習(xí)領(lǐng)域，遷移學(xué)習(xí)（Transfer Learning）[113]借鑒了人類的學(xué)習(xí)能力和知識(shí)遷移能力，通過存儲(chǔ)已有任務(wù)的知識(shí)（數(shù)據(jù)、參數(shù)、特征、模型等），將其利用在其他不同但相關(guān)的問題上。遷移既可以是相關(guān)任務(wù)之間的知識(shí)遷移，也可以是不同智能體之間的知識(shí)或經(jīng)驗(yàn)遷移。由于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練所需數(shù)據(jù)集大小不是在所有情況下都能滿足的，因此通過遷移使用已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)也越來越重要。

具備遷移學(xué)習(xí)能力的人工智能在面對(duì)新任務(wù)時(shí)比全新開發(fā)的神經(jīng)網(wǎng)絡(luò)表現(xiàn)得更好、訓(xùn)練得更快，但所涉及的負(fù)遷移（一種學(xué)習(xí)對(duì)另一種學(xué)習(xí)產(chǎn)生阻礙）和可遷移性度量[114]是傳統(tǒng)遷移學(xué)習(xí)的重要問題，什么時(shí)候停止預(yù)訓(xùn)練、面對(duì)新的數(shù)據(jù)或算法如何更新預(yù)訓(xùn)練模型等問題都會(huì)影響遷移效果，還需要更進(jìn)一步的研究（詳見第10章）。

2. 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)（Reinforcement Learning）[115]的靈感來源于心理學(xué)中的行為主義理論。為了達(dá)到某種目的會(huì)采取一定行為的思想來源于生物，特別是人，當(dāng)某種行為的后果對(duì)人類有利時(shí)，人類會(huì)不斷采取該行為；反之，這種行為就會(huì)減弱或消失。受此啟發(fā)，強(qiáng)化學(xué)習(xí)要求智能體像生物一樣在環(huán)境給予的獎(jiǎng)勵(lì)或懲罰的刺激下逐步形成對(duì)刺激的期望，產(chǎn)生能獲得最大利益的習(xí)慣性行為。一般強(qiáng)化學(xué)習(xí)指的是單智能體的學(xué)習(xí)過程，而實(shí)際環(huán)境中往往存在多個(gè)智能體。多智能體強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)單智能體自主學(xué)習(xí)向多智能體協(xié)同學(xué)習(xí)的拓展，它進(jìn)一步借鑒生物界協(xié)作、競(jìng)爭(zhēng)、博弈等機(jī)制實(shí)現(xiàn)群體能力的提升。強(qiáng)化學(xué)習(xí)的試錯(cuò)式探索能力可以說明，將生物思維映射到人工智能上的想法并非天方夜譚，但是待發(fā)掘的內(nèi)容還有很多，實(shí)踐上也仍存在諸多挑戰(zhàn)。例如智能體的訓(xùn)練初始化過程和決策動(dòng)態(tài)敏感性，使其很難適應(yīng)多種環(huán)境[116]，下一步的研究可以將強(qiáng)化學(xué)習(xí)引入神經(jīng)科學(xué)、博弈論、控制理論等領(lǐng)域，以期在執(zhí)行復(fù)雜任務(wù)時(shí)表現(xiàn)出更高級(jí)的智能決策能力（詳見第7章、第9章和第10章）。

3. 持續(xù)學(xué)習(xí)

人類學(xué)習(xí)的一個(gè)關(guān)鍵特征是它對(duì)不斷變化的任務(wù)和連續(xù)的經(jīng)驗(yàn)是魯棒的，這種魯棒性與現(xiàn)代機(jī)器學(xué)習(xí)方法形成了鮮明的對(duì)比，后者只有在數(shù)據(jù)經(jīng)過仔細(xì)地洗牌、平衡和均質(zhì)后才能表現(xiàn)良好。機(jī)器學(xué)習(xí)模型在某些變化任務(wù)的情況下會(huì)完全失效，或者在早期學(xué)習(xí)的任務(wù)上遭遇快速的性能下降，即發(fā)生災(zāi)難性遺忘（Catastrophic Forgetting）[117]。學(xué)習(xí)機(jī)制映射之一的持續(xù)學(xué)習(xí)或終身學(xué)習(xí)（Continual/Life-long Learning）[118]就希望機(jī)器學(xué)習(xí)模型能和人一樣基于先驗(yàn)知識(shí)來快速且準(zhǔn)確地解決當(dāng)前任務(wù)。近年來出現(xiàn)了許多受生物學(xué)啟發(fā)的持續(xù)學(xué)習(xí)方法，包括任務(wù)增量、凍結(jié)權(quán)重微調(diào)、漸進(jìn)式神經(jīng)網(wǎng)絡(luò)。許多人工智能研究還依賴于固定的數(shù)據(jù)集和固定的環(huán)境，持續(xù)學(xué)習(xí)的映射則表明人工系統(tǒng)可以像生物系統(tǒng)一樣，從連續(xù)不斷的相關(guān)數(shù)據(jù)流中有序地學(xué)習(xí)。當(dāng)前，持續(xù)學(xué)習(xí)算法的模型大多是根據(jù)特定數(shù)據(jù)和任務(wù)類型而設(shè)計(jì)的，還沒有一個(gè)能支持不同領(lǐng)域中所有可能任務(wù)類型的通用持續(xù)學(xué)習(xí)系統(tǒng)。未來的人工智能發(fā)展方向也會(huì)繼續(xù)依賴持續(xù)學(xué)習(xí)，尋求能夠與人類學(xué)習(xí)能力更完美地結(jié)合（相關(guān)內(nèi)容請(qǐng)參見第7章）。

4. 模仿學(xué)習(xí)

在日常生活中，人們?cè)诘玫浇處熁蚪叹毜闹笇?dǎo)后會(huì)記住相關(guān)行為并持續(xù)模仿，類比這一現(xiàn)象，模仿學(xué)習(xí)（Imitation Learning）[119]希望通過隱式地向?qū)W習(xí)器提供先驗(yàn)信息來學(xué)習(xí)和模仿人類行為。在模仿學(xué)習(xí)任務(wù)中，智能體尋求最佳的方法來使用專家演示的訓(xùn)練集（輸入-輸出對(duì)），以進(jìn)行策略學(xué)習(xí)并實(shí)現(xiàn)盡可能類似于專家的行動(dòng)。模仿學(xué)習(xí)訓(xùn)練提供了一個(gè)具有一定水平的預(yù)訓(xùn)練AI，縮小了訓(xùn)練過程中的探索空間，也便于在此基礎(chǔ)上再進(jìn)行強(qiáng)化學(xué)習(xí)或遷移學(xué)習(xí)等訓(xùn)練，以進(jìn)一步提升智能水平。目前主流的模仿學(xué)習(xí)方法包括監(jiān)督式模仿學(xué)習(xí)、隨機(jī)混合迭代學(xué)習(xí)和數(shù)據(jù)聚合模擬學(xué)習(xí)等。前三種算法映射是借鑒生物特殊的學(xué)習(xí)能力，模仿學(xué)習(xí)則直接讓智能體學(xué)習(xí)人類行為，來使智能體做到人類才能完成的事。但模仿學(xué)習(xí)對(duì)數(shù)據(jù)量的要求較高，所學(xué)習(xí)的行為比較復(fù)雜時(shí)難以獲取相關(guān)的行為數(shù)據(jù)。此外，還要提升人工智能的可靠性，更深入地學(xué)習(xí)事物的本質(zhì)，而非機(jī)械地模仿行為（詳見第9章的內(nèi)容）。

3.2.8　群智涌現(xiàn)機(jī)理的典型應(yīng)用

為了更深入地理解生物群體智能如何啟發(fā)人工群智系統(tǒng)的設(shè)計(jì)，本節(jié)介紹哈佛大學(xué)的BlueSwarm這一典型研究[31]。BlueSwarm僅依靠基于隱式視覺調(diào)控的局部交互和簡(jiǎn)單的行為規(guī)則就可實(shí)現(xiàn)復(fù)雜的群體行為（如圖3.27所示）。

其中，單只機(jī)器魚被命名為Bluebot，它們組成的集群系統(tǒng)被稱為BlueSwarm。圖3.27中右圖展示了機(jī)器魚的關(guān)鍵組件，主要包括三部分：2個(gè)攝像頭，對(duì)周圍環(huán)境進(jìn)行三維感知；3個(gè)LED燈，作為主動(dòng)信標(biāo)，用于相互識(shí)別；4個(gè)獨(dú)立的可控鰭片，提供水下空間游動(dòng)。攝像頭可以檢測(cè)其他機(jī)器魚LED燈所發(fā)出的光線，LED燈發(fā)出的藍(lán)光用于顯示機(jī)器魚的位置；獨(dú)立的鰭由電磁制動(dòng)器驅(qū)動(dòng)，尾鰭控制前進(jìn)后退，背鰭控制下潛深度，兩只胸鰭用于左右轉(zhuǎn)彎。在實(shí)際使用過程中，基于機(jī)器視覺的算法每隔半秒鐘就會(huì)檢測(cè)視野范圍內(nèi)有多少只機(jī)器魚同類，并計(jì)算出它們與自己的相對(duì)距離和角度關(guān)系（如圖3.28所示）。

研究者們首先運(yùn)用這個(gè)機(jī)器魚群實(shí)現(xiàn)了跨時(shí)間的自組織行為，其中參考螢火蟲的集體閃光現(xiàn)象以及Mirollo-Strogatz模型[120]的同步機(jī)制，實(shí)現(xiàn)了尾部LED燈的同步閃爍。每條機(jī)器魚都由一個(gè)計(jì)數(shù)器變量n來控制燈光，當(dāng)觀測(cè)到鄰近同類的閃光后，就會(huì)讓n提前m步，其中

m=f（n）　（3-3）

函數(shù)f（n）只要是單調(diào)遞增的下凹函數(shù)就可以實(shí)現(xiàn)同步，如。通過此機(jī)制就可以調(diào)整各自的閃爍周期以實(shí)現(xiàn)同步。在沒有時(shí)間可參考的水下環(huán)境中，這種類型的同步機(jī)制對(duì)于抑制時(shí)間偏移很有作用。

該工作還可以根據(jù)虛擬力模型控制群體密度并通過調(diào)整勢(shì)場(chǎng)強(qiáng)度控制魚群覆蓋的范圍（聚集或分散）。每一個(gè)機(jī)器魚都會(huì)受到鄰居的人工勢(shì)場(chǎng)影響，通過一定的吸引力與排斥力，在控制魚群運(yùn)動(dòng)的同時(shí)避免碰撞。BlueSwarm還可以基于簡(jiǎn)單的行為規(guī)則實(shí)現(xiàn)順時(shí)針和逆時(shí)針旋轉(zhuǎn)以及等距的環(huán)繞運(yùn)動(dòng)。具體來說，機(jī)器魚被設(shè)定為如果看不到任何其他鄰居則稍微向右轉(zhuǎn)，如果看到至少一只機(jī)器魚，則稍微向左轉(zhuǎn)；由此就形成了集群的動(dòng)態(tài)圓運(yùn)動(dòng)行為。如圖3.29所示，即使在旋轉(zhuǎn)的圓上增加或移除機(jī)器魚，BlueSwarm依然按照設(shè)定的行為規(guī)則行動(dòng)，可以迅速調(diào)整重新形成圓圈并繼續(xù)旋轉(zhuǎn)。

除集體行進(jìn)行為外，研究人員還探索了群體聚集行為的涌現(xiàn)過程。將機(jī)器魚群放置在未知的紅光源附近，通過切換搜索、報(bào)警和聚集三種行為來定位并聚集到光源位置，如圖3.30所示。當(dāng)機(jī)器魚探測(cè)到紅色光源，就會(huì)閃爍LED發(fā)出警報(bào)以吸引其他機(jī)器魚。如果其他機(jī)器魚感知警報(bào)信號(hào)，就向發(fā)出警報(bào)的同伴靠近。當(dāng)它也探測(cè)到紅色光源時(shí)，也開啟閃爍以加強(qiáng)警報(bào)信號(hào)，最后集群都會(huì)聚集在紅色光源處。