上面插圖顯示了一些使用 actor-critic 方法的學(xué)習(xí)方法,。（左）具有共享獎(jiǎng)勵(lì)的獨(dú)立學(xué)習(xí)者,，（中）具有共享信息和共享獎(jiǎng)勵(lì)的獨(dú)立學(xué)習(xí)者,，（右）具有獨(dú)立獎(jiǎng)勵(lì)的聯(lián)合學(xué)習(xí)者。美國陸軍
美國陸軍研究人員開發(fā)了一個(gè)開創(chuàng)性的框架,，為協(xié)作多智能體系統(tǒng)的開發(fā)提供了基線。
該框架在調(diào)查論文“利用集中訓(xùn)練的近期多智能體強(qiáng)化學(xué)習(xí)算法調(diào)查”中有詳細(xì)介紹,，該論文在 SPIE 數(shù)字圖書館中有特色,。研究人員表示，這項(xiàng)工作將支持強(qiáng)化學(xué)習(xí)方法的研究,，以開發(fā)協(xié)作多智能體系統(tǒng),，例如可以與未來士兵并肩工作的機(jī)器人團(tuán)隊(duì)。
“我們認(rèn)為潛在的信息共享機(jī)制在多智能體系統(tǒng)的集中學(xué)習(xí)中起著關(guān)鍵作用,，但研究界對(duì)這種現(xiàn)象的研究有限,，”美國陸軍研究員兼計(jì)算機(jī)科學(xué)家皮尤什·K·夏爾馬博士說，他來自美國陸軍作戰(zhàn)能力發(fā)展司令部（ DEVCOM）陸軍研究實(shí)驗(yàn)室,?！拔覀儗?duì)強(qiáng)化學(xué)習(xí)算法及其信息共享范式的最先進(jìn)技術(shù)進(jìn)行了這項(xiàng)調(diào)查，以此為基礎(chǔ)詢問有關(guān)多智能體系統(tǒng)集中學(xué)習(xí)的基本問題,，以提高它們的協(xié)同工作能力,。”
Sharma 在該項(xiàng)目上的合作者包括 DEVCOM ARL 研究人員 Drs,。Erin Zaroukian,、Rolando Fernandez、Michael Dorothy,、Derrik Asher 和 Anjon Basak,，橡樹嶺聯(lián)合大學(xué)獎(jiǎng)學(xué)金計(jì)劃的博士后研究員,。
這項(xiàng)對(duì)強(qiáng)化學(xué)習(xí)最先進(jìn)技術(shù)的調(diào)查為尋求通過增強(qiáng)的信息共享機(jī)制（例如獎(jiǎng)勵(lì)功能或觀察和狀態(tài)空間共享）開發(fā)自主多智能體系統(tǒng)的研究人員建立了基線。
由于復(fù)雜環(huán)境的動(dòng)態(tài)特性,，可能會(huì)受到維度災(zāi)難的影響,，因此同時(shí)訓(xùn)練多個(gè)智能體更加困難；夏爾馬說,，代理越多,，協(xié)調(diào)就越復(fù)雜。本文開發(fā)了一個(gè)框架來表征經(jīng)常令人困惑且不易理解的關(guān)鍵信息共享參數(shù),。
研究人員預(yù)測,，集中訓(xùn)練可能是更快開發(fā)自主系統(tǒng)的解決方案，這些系統(tǒng)可以在未來靈活地與士兵一起工作,。
“一致,、集中的訓(xùn)練可以使多智能體系統(tǒng)更可靠地協(xié)同工作，提高人工智能士兵的信任水平,，”夏爾馬說,。“具體來說,，我們專注于識(shí)別和表征最新集中式學(xué)習(xí)算法的基礎(chǔ)數(shù)學(xué)框架,。”
美國陸軍研究人員開發(fā)了一個(gè)開創(chuàng)性的框架,，為協(xié)作多代理系統(tǒng)的開發(fā)提供了基線,。信用：Spc。艾德琳·威瑟斯彭
他說,，這樣的數(shù)學(xué)模型可以提供一種途徑來探索替代的集中學(xué)習(xí)技術(shù),，以衡量它們對(duì)學(xué)習(xí)率和緊急協(xié)作行為的影響。
該調(diào)查在兩個(gè)方面超越了先前的研究文獻(xiàn)：
創(chuàng)建強(qiáng)化學(xué)習(xí)算法最新技術(shù)的綜合視圖
概述了一種描述集中學(xué)習(xí)期間共享信息的新方法
研究人員專注于五到六年內(nèi)發(fā)布的算法,。由于這些算法是最新的,，研究界還沒有對(duì)它們進(jìn)行廣泛的探索。在出版時(shí),，他們沒有找到全面的先前工作,。
研究人員試圖對(duì)共享機(jī)制進(jìn)行定義和分類，以實(shí)際共享什么而不是如何共享為導(dǎo)向,。他們樂觀地認(rèn)為,，他們已經(jīng)發(fā)現(xiàn)了最近的強(qiáng)化學(xué)習(xí)技術(shù)中值得進(jìn)一步研究的差距，這些差距可能會(huì)增強(qiáng)代理培訓(xùn)過程,。
研究人員表示,，他們樂觀地認(rèn)為，這項(xiàng)調(diào)查將引發(fā)對(duì)機(jī)器學(xué)習(xí)問題空間的討論和進(jìn)一步探索,，以訓(xùn)練自主多智能體系統(tǒng),。
“隨著商業(yè)行業(yè)對(duì)多代理系統(tǒng)協(xié)同工作的需求變得越來越普遍,，例如亞馬遜倉庫機(jī)器人、英特爾在 2018 年冬季奧運(yùn)會(huì)上的無人機(jī)展,。也出現(xiàn)了對(duì)這些多代理系統(tǒng)技術(shù)的新興需求,，以協(xié)助陸軍在協(xié)同戰(zhàn)術(shù)行動(dòng)中，”夏爾馬說,?！斑@份調(diào)查文件產(chǎn)生的研究可以實(shí)現(xiàn)可靠的協(xié)作人工智能的目標(biāo)?！?/p>
展望未來,，團(tuán)隊(duì)感覺更有能力研究基于多智能體強(qiáng)化學(xué)習(xí)的方法的特定方面，這些方法以集中方式訓(xùn)練智能體,。
Sharma 說,，集中式技術(shù)有一定的局限性，因此他們還將對(duì)現(xiàn)有的分散式學(xué)習(xí)技術(shù)進(jìn)行實(shí)證分析,。他們計(jì)劃轉(zhuǎn)向多智能體強(qiáng)化學(xué)習(xí)訓(xùn)練的建模和模擬,，以驗(yàn)證和擴(kuò)展智能體學(xué)習(xí)、行為和協(xié)調(diào)的理論,。
