小鹿在出生后十分鐘內(nèi)就能站起來,，七個(gè)小時(shí)內(nèi)就能學(xué)會走路,。在能夠站起來但還不會走路的這段時(shí)間里，它會非常可愛、非?？駸岬?cái)[動它的四肢。
這就是人工智能機(jī)器人背后的理念,。雖然自主機(jī)器人和自動駕駛汽車一樣,，已經(jīng)是一個(gè)被大眾所熟知的概念，但自主學(xué)習(xí)機(jī)器人仍然只是一個(gè)設(shè)想?，F(xiàn)有的強(qiáng)化學(xué)習(xí)算法雖然能夠讓機(jī)器人通過反復(fù)試驗(yàn)來學(xué)習(xí)動作,，但仍嚴(yán)重依賴于人工干預(yù)。每當(dāng)機(jī)器人跌倒或走出訓(xùn)練環(huán)境時(shí),，它還是需要有人扶起它，并將它放回正確的位置,。
最近,，谷歌研究人員的一項(xiàng)新研究取得了重大進(jìn)展，機(jī)器人可以在沒有人工干預(yù)的情況下學(xué)習(xí)走路,。在幾個(gè)小時(shí)內(nèi),，僅僅依靠對當(dāng)前最先進(jìn)算法的微調(diào)，它們成功地讓一個(gè)四條腿的機(jī)器人學(xué)會了完全獨(dú)立的向前走和向后走,，以及左右轉(zhuǎn)彎,。
圖 | 機(jī)器人在不同的地形上學(xué)習(xí)自主行走，包括平地（上）,、記憶泡沫床墊（中）和鏤空的門墊（下） （來源：arxiv.org）
這項(xiàng)工作建立在一年前的研究基礎(chǔ)上,，當(dāng)時(shí)研究團(tuán)隊(duì)首次發(fā)現(xiàn)了如何讓機(jī)器人在現(xiàn)實(shí)世界中學(xué)習(xí)。
此前,，強(qiáng)化學(xué)習(xí)通常在模擬環(huán)境中進(jìn)行：機(jī)器人的虛擬分身在模擬的環(huán)境中走來走去,，直到算法足夠完善，可以使其安全運(yùn)行為止,。然后將其導(dǎo)入真正的機(jī)器人,。
這種方法有助于避免機(jī)器人在反復(fù)實(shí)驗(yàn)過程中對周圍環(huán)境的損傷，但也需要一個(gè)易于建模的環(huán)境,。在機(jī)器人腳下模擬自然散落的沙礫或者彈簧床墊需要很長時(shí)間,，根本不值得,。
基于這種狀況，研究人員從一開始就決定通過在真實(shí)世界中訓(xùn)練來避免困難的環(huán)境建模,。他們設(shè)計(jì)了一種更高效的算法,，可以使學(xué)習(xí)的試驗(yàn)次數(shù)變少一點(diǎn)，并在兩個(gè)小時(shí)內(nèi)讓機(jī)器人站起來行走,。由于實(shí)際環(huán)境中會有自然變化,，機(jī)器人也能夠快速適應(yīng)其他相似的環(huán)境，如斜坡,、臺階以及有障礙的平地,。
但是，這個(gè)過程仍然需要人類去幫助機(jī)器人,，并手動干預(yù)上百次,，Google Brain 機(jī)器人運(yùn)動團(tuán)隊(duì)的負(fù)責(zé)人、論文合著者譚杰（音譯）說,，“一開始我沒想過還需要人工干預(yù),。”
于是他們開始解決這個(gè)新問題,。首先,，他們限定了機(jī)器人可以探索的地形，并讓它一次性進(jìn)行多重動作訓(xùn)練,。如果機(jī)器人在學(xué)習(xí)如何向前走的同時(shí)到達(dá)了限定地形的邊緣,，它就會改變方向，開始學(xué)習(xí)如何向后走,。
其次,，研究人員還限制了機(jī)器人的訓(xùn)練動作，讓它能夠謹(jǐn)慎一些,，最大限度地減少反復(fù)摔倒帶來的傷害,。當(dāng)機(jī)器人不可避免地摔倒時(shí)，他們還添加了另一個(gè)硬編碼算法來幫助它站起來,。
通過這些調(diào)整,，機(jī)器人學(xué)會了如何在幾個(gè)不同的環(huán)境中自主行走，包括平地,、記憶泡沫床墊和有縫隙的門墊,。這項(xiàng)實(shí)驗(yàn)給未來的某些應(yīng)用帶來了可能性，有些情況可能需要機(jī)器人在沒有人類的情況下在坎坷和未知的地形中行走,。
斯坦福大學(xué)助理教授切爾西 ? 芬恩（Chelsea Finn）表示：“這項(xiàng)工作令人感到非常興奮,。” 芬恩也為谷歌工作，但沒有參與這項(xiàng)研究,?！白屵@個(gè)過程不再出現(xiàn)人工干預(yù)真的很難。機(jī)器人能夠更自主地學(xué)習(xí),，就更有可能在我們生活的現(xiàn)實(shí)世界中學(xué)習(xí),，而不是在實(shí)驗(yàn)室里?！?/p>
但她也提醒到,，目前的設(shè)置依賴于機(jī)器人上方的動作捕捉系統(tǒng)來確定其位置。這在現(xiàn)實(shí)世界中是不可能的,。
接下來,，研究人員希望他們的算法能適用于不同種類的機(jī)器人，或適用于多個(gè)機(jī)器人在同一環(huán)境中同時(shí)進(jìn)行學(xué)習(xí),。譚杰相信,，破解機(jī)器人的運(yùn)動能力將是解鎖更多有用機(jī)器人的關(guān)鍵。
“很多地方都是為人類建造的,，我們都用腿來走路,，” 他說，“如果機(jī)器人學(xué)不會使用腿,，它們就不能在人類世界中行走,。”
編譯：潘瑾