近日，來(lái)自北京大學(xué)的研究者在 arXiv 上發(fā)布論文,，提出一種新型注意力通信模型 ATOC,，使智能體在大型多智能體強(qiáng)化學(xué)習(xí)的部分可觀測(cè)分布式環(huán)境下能夠進(jìn)行高效的通信,，幫助智能體開發(fā)出更協(xié)調(diào)復(fù)雜的策略,。
從生物學(xué)角度來(lái)看，通信與合作關(guān)系密切,，并可能起源于合作,。例如，長(zhǎng)尾黑顎猴可以發(fā)出不同的聲音來(lái)警示群體中的其他成員有不同的捕食者 [2],。類似地,，在多智能體強(qiáng)化學(xué)習(xí)（multi-agent reinforcement learning，MARL）中,，通信對(duì)于合作尤為重要,，特別是在大量智能體協(xié)同工作的場(chǎng)景下,，諸如自動(dòng)車輛規(guī)劃 [1],、智能電網(wǎng)控制 [20] 和多機(jī)器人控制 [14]。
深度強(qiáng)化學(xué)習(xí)（RL）在一系列具有挑戰(zhàn)性的問(wèn)題中取得了顯著成功,，如游戲 [16] [22] [8] 和機(jī)器人 [12] [11] [5],。我們可以把 MARL 看作是獨(dú)立的 RL，其中每個(gè)學(xué)習(xí)器都將其他智能體看成是環(huán)境的一部分,。然而,，隨著訓(xùn)練進(jìn)行，其他智能體的策略是會(huì)變動(dòng)的,，所以從任意單個(gè)智能體的角度來(lái)看,，環(huán)境變得不穩(wěn)定，智能體間難以合作,。此外,，使用獨(dú)立 RL 學(xué)習(xí)到的策略很容易與其他智能體的策略產(chǎn)生過(guò)擬合 [9]。
本論文研究者認(rèn)為解決該問(wèn)題的關(guān)鍵在于通信,，這可以增強(qiáng)策略間的協(xié)調(diào),。MARL 中有一些學(xué)習(xí)通信的方法，包括 DIAL [3],、CommNet [23],、BiCNet [18] 和 master-slave [7]。然而,，現(xiàn)有方法所采用的智能體之間共享的信息或是預(yù)定義的通信架構(gòu)是有問(wèn)題的,。當(dāng)存在大量智能體時(shí)，智能體很難從全局共享的信息中區(qū)分出有助于協(xié)同決策的有價(jià)值的信息,，因此通信幾乎毫無(wú)幫助甚至可能危及協(xié)同學(xué)習(xí),。此外，在實(shí)際應(yīng)用中，由于接收大量信息需要大量的帶寬從而引起長(zhǎng)時(shí)間的延遲和高計(jì)算復(fù)雜度,，因此所有智能體之間彼此的通信是十分昂貴的,。像 master-slave [7] 這樣的預(yù)定義通信架構(gòu)可能有所幫助，但是它們限定特定智能體之間的通信,，因而限制了潛在的合作可能性,。
為了解決這些困難，本論文提出了一種名為 ATOC 的注意力通信模型,，使智能體在大型 MARL 的部分可觀測(cè)分布式環(huán)境下學(xué)習(xí)高效的通信,。受視覺(jué)注意力循環(huán)模型的啟發(fā)，研究者設(shè)計(jì)了一種注意力單元,，它可以接收編碼局部觀測(cè)結(jié)果和某個(gè)智能體的行動(dòng)意圖,，并決定該智能體是否要與其他智能體進(jìn)行通信并在可觀測(cè)區(qū)域內(nèi)合作。如果智能體選擇合作,，則稱其為發(fā)起者,，它會(huì)為了協(xié)調(diào)策略選擇協(xié)作者來(lái)組成一個(gè)通信組。通信組進(jìn)行動(dòng)態(tài)變化,，僅在必要時(shí)保持不變,。研究者利用雙向 LSTM 單元作為信道來(lái)連接通信組內(nèi)的所有智能體。LSTM 單元將內(nèi)部狀態(tài)（即編碼局部觀測(cè)結(jié)果和行動(dòng)意圖）作為輸入并返回指導(dǎo)智能體進(jìn)行協(xié)調(diào)策略的指令,。與 CommNet 和 BiCNet 分別計(jì)算內(nèi)部狀態(tài)的算術(shù)平均值和加權(quán)平均值不同,，LSTM 單元有選擇地輸出用于協(xié)作決策的重要信息，這使得智能體能夠在動(dòng)態(tài)通信環(huán)境中學(xué)習(xí)協(xié)調(diào)策略,。
研究者將 ATOC 實(shí)現(xiàn)為端到端訓(xùn)練的 actor-critic 模型的擴(kuò)展,。在測(cè)試階段，所有智能體共享策略網(wǎng)絡(luò),、注意力單元和信道,，因此 ATOC 在大量智能體的情況下具備很好的擴(kuò)展性。研究者在三個(gè)場(chǎng)景中通過(guò)實(shí)驗(yàn)展示了 ATOC 的成功,，分別對(duì)應(yīng)于局部獎(jiǎng)勵(lì),、共享全局獎(jiǎng)勵(lì)和競(jìng)爭(zhēng)性獎(jiǎng)勵(lì)下的智能體協(xié)作。與現(xiàn)有的方法相比,，ATOC 智能體被證明能夠開發(fā)出更協(xié)調(diào)復(fù)雜的策略,，并具備更好的可擴(kuò)展性（即在測(cè)試階段添加更多智能體）。據(jù)研究者所知,，這是注意力通信首次成功地應(yīng)用于 MARL,。
圖 1：ATOC 架構(gòu)。
圖 2：實(shí)驗(yàn)場(chǎng)景圖示：協(xié)作導(dǎo)航（左）,、協(xié)作推球（中）,、捕食者-獵物（右）,。
圖 3：在協(xié)作導(dǎo)航訓(xùn)練期間，ATOC 獎(jiǎng)勵(lì)與基線獎(jiǎng)勵(lì)的對(duì)比,。
表 1：協(xié)作導(dǎo)航,。
圖 4：ATOC 智能體之間關(guān)于協(xié)作導(dǎo)航的通信可視化。最右邊的圖片說(shuō)明在有無(wú)通信時(shí),，一組智能體采取的行動(dòng),。
圖 5：在協(xié)作推球訓(xùn)練期間，ATOC 獎(jiǎng)勵(lì)與基線獎(jiǎng)勵(lì)的對(duì)比,。
表 2：協(xié)作推球,。
圖 6：在捕食者-獵物中，ATOC 和基線的捕食者得分的交叉對(duì)比,。
ATOC 算法,。
論文：Learning Attentional Communication for Multi-Agent Cooperation
論文鏈接：https://arxiv.org/pdf/1805.07733.pdf
摘要：通信可能是多智能體協(xié)作的一個(gè)有效途徑。然而,，現(xiàn)有方法所采用的智能體之間共享的信息或是預(yù)定義的通信架構(gòu)存在問(wèn)題,。當(dāng)存在大量智能體時(shí)，智能體很難從全局共享的信息中區(qū)分出有助于協(xié)同決策的有用信息,。因此通信幾乎毫無(wú)幫助甚至可能危及多智能體間的協(xié)同學(xué)習(xí),。另一方面,，預(yù)定義的通信架構(gòu)限定特定智能體之間的通信,，因而限制了潛在的合作可能性。為了解決這些困難,，本論文提出了一種注意力通信模型,，它學(xué)習(xí)何時(shí)需要通信以及如何整合共享信息以進(jìn)行合作決策。我們的模型給大型的多智能體協(xié)作帶來(lái)了有效且高效的通信,。從實(shí)驗(yàn)上看,，我們證明了該模型在不同協(xié)作場(chǎng)景中的有效性，使得智能體可以開發(fā)出比現(xiàn)有方法更協(xié)調(diào)復(fù)雜的策略,。