《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 解決方案 > AI 大模型邁向多模態(tài),,助力具身智能與機(jī)器人實(shí)現(xiàn)創(chuàng)新

AI 大模型邁向多模態(tài),,助力具身智能與機(jī)器人實(shí)現(xiàn)創(chuàng)新

2024-10-31
作者:Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁 馬健
來源:Arm
關(guān)鍵詞: ARM AI 機(jī)器人

  你聽過莫拉維克悖論 (Moravec's paradox) 嗎?該悖論指出,,對于人工智能 (AI) 系統(tǒng)而言,,高級推理只需非常少的計(jì)算能力,,而實(shí)現(xiàn)人類習(xí)以為常的感知運(yùn)動技能卻需要耗費(fèi)巨大的計(jì)算資源。實(shí)質(zhì)上,,與人類本能可以完成的基本感官任務(wù)相比,,復(fù)雜的邏輯任務(wù)對 AI 而言更加容易。這一悖論凸顯了現(xiàn)階段的 AI 與人類認(rèn)知能力之間的差異,。

  人本來就是多模態(tài)的,。我們每個(gè)人就像一個(gè)智能終端,通常需要去學(xué)校上課接受學(xué)識熏陶(訓(xùn)練),,但訓(xùn)練與學(xué)習(xí)的目的和結(jié)果是我們有能力自主工作和生活,,而不需要總是依賴外部的指令和控制。

  我們通過視覺,、語言,、聲音、觸覺,、味覺和嗅覺等多種感官模式來了解周圍的世界,,進(jìn)而審時(shí)度勢,進(jìn)行分析,、推理,、決斷并采取行動。

  經(jīng)過多年的傳感器融合和 AI 演進(jìn),,機(jī)器人現(xiàn)階段基本上都配備有多模態(tài)傳感器,。隨著我們?yōu)闄C(jī)器人等邊緣設(shè)備帶來更多的計(jì)算能力,這些設(shè)備正變得愈加智能,,它們能夠感知周圍環(huán)境,,理解并以自然語言進(jìn)行溝通,通過數(shù)字傳感界面獲得觸覺,,以及通過加速計(jì),、陀螺儀與磁力計(jì)等的組合,來感知機(jī)器人的比力,、角速度,,甚至機(jī)器人周圍的磁場。

  邁入機(jī)器人和機(jī)器認(rèn)知的新時(shí)代

  在 Transformer 和大語言模型 (LLM) 出現(xiàn)之前,,要在 AI 中實(shí)現(xiàn)多模態(tài),,通常需要用到多個(gè)負(fù)責(zé)不同類型數(shù)據(jù)(文本,、圖像、音頻)的單獨(dú)模型,,并通過復(fù)雜的過程對不同模態(tài)進(jìn)行集成,。

  而在 Transformer 模型和 LLM 出現(xiàn)后,多模態(tài)變得更加集成化,,使得單個(gè)模型可以同時(shí)處理和理解多種數(shù)據(jù)類型,,從而產(chǎn)生對環(huán)境綜合感知能力更強(qiáng)大的 AI 系統(tǒng)。這一轉(zhuǎn)變大大提高了多模態(tài) AI 應(yīng)用的效率和有效性,。

  雖然 GPT-3 等 LLM 主要以文本為基礎(chǔ),但業(yè)界已朝著多模態(tài)取得了快速進(jìn)展,。從 OpenAI 的 CLIP 和 DALL·E,,到現(xiàn)在的 Sora 和 GPT-4o,都是向多模態(tài)和更自然的人機(jī)交互邁進(jìn)的模型范例,。例如,,CLIP 可理解與自然語言配對的圖像,從而在視覺和文本信息之間架起橋梁,;DALL·E 旨在根據(jù)文本描述生成圖像,。我們看到 Google Gemini 模型也經(jīng)歷了類似的演進(jìn)。

  2024 年,,多模態(tài)演進(jìn)加速發(fā)展,。今年二月,OpenAI 發(fā)布了 Sora,,它可以根據(jù)文本描述生成逼真或富有想象力的視頻,。仔細(xì)想想,這可以為構(gòu)建通用世界模擬器提供一條頗有前景的道路,,或成為訓(xùn)練機(jī)器人的重要工具,。三個(gè)月后,GPT-4o 顯著提高了人機(jī)交互的性能,,并且能夠在音頻,、視覺和文本之間實(shí)時(shí)推理。綜合利用文本,、視覺和音頻信息來端到端地訓(xùn)練一個(gè)新模型,,消除從輸入模態(tài)到文本,再從文本到輸出模態(tài)的兩次模態(tài)轉(zhuǎn)換,,進(jìn)而大幅提升性能,。

  在今年二月的同一周,谷歌發(fā)布了 Gemini 1.5,,將上下文長度大幅擴(kuò)展至 100 萬個(gè)詞元 (Token),。這意味著 1.5 Pro 可以一次性處理大量信息,,包括一小時(shí)的視頻、11 小時(shí)的音頻,、包含超過三萬多行代碼或 70 萬個(gè)單詞的代碼庫,。Gemini 1.5 基于谷歌對 Transformer 和混合專家架構(gòu) (MoE) 的領(lǐng)先研究而構(gòu)建,并對可在邊緣側(cè)部署的 2B 和 7B 模型進(jìn)行了開源,。在五月舉行的 Google I/O 大會上,,除了將上下文長度增加一倍,并發(fā)布一系列生成式 AI 工具和應(yīng)用,,谷歌還探討了 Project Astra 的未來愿景,,這是一款通用的 AI 助手,可以處理多模態(tài)信息,,理解用戶所處的上下文,,并在對話中非常自然地與人交互。

  作為開源 LLM Llama 背后的公司,,Meta 也加入了通用人工智能 (AGI) 的賽道,。

  這種真正的多模態(tài)性大大提高了機(jī)器智能水平,將為許多行業(yè)帶來新的范式,。

  例如,,機(jī)器人的用途曾經(jīng)非常單一,它們具備一些傳感器和運(yùn)動能力,,但一般來說,,它們沒有“大腦”來學(xué)習(xí)新事物,無法適應(yīng)非結(jié)構(gòu)化和陌生環(huán)境,。

  多模態(tài) LLM 有望改變機(jī)器人的分析,、推理和學(xué)習(xí)能力,使機(jī)器人從專用轉(zhuǎn)向通用,。PC,、服務(wù)器和智能手機(jī)都是通用計(jì)算平臺中的佼佼者,它們可以運(yùn)行許多不同種類的軟件應(yīng)用來實(shí)現(xiàn)豐富多彩的功能,。通用化將有助于擴(kuò)大規(guī)模,,產(chǎn)生規(guī)模化的經(jīng)濟(jì)效應(yīng),,價(jià)格也能隨著規(guī)模擴(kuò)大而大幅降低,,進(jìn)而被更多領(lǐng)域采用,從而形成一個(gè)良性循環(huán),。

  Elon Musk 很早就注意到了通用技術(shù)的優(yōu)勢,,特斯拉的機(jī)器人從 2022 年的 Bumblebee 發(fā)展到 2023 年三月宣布的 Optimus Gen 1 和 2023 年年底的 Gen 2,其通用型和學(xué)習(xí)能力不斷提高,。在過去的 6 至 12 個(gè)月里,,我們見證了機(jī)器人和人形機(jī)器人領(lǐng)域所取得的一系列突破,。

  下一代機(jī)器人和具身智能背后的新技術(shù)

  毋庸置疑的是我們在具身智能達(dá)到量產(chǎn)方面還有很多工作要做。我們需要更輕便的設(shè)計(jì),、更長的運(yùn)行時(shí)間,,以及速度更快、功能更強(qiáng)大的邊緣計(jì)算平臺來處理和融合傳感器數(shù)據(jù)信息,,從而做出及時(shí)決策和控制行動,。

  而且我們正朝著創(chuàng)造人形機(jī)器人的方向發(fā)展,人類文明數(shù)千年,,產(chǎn)生出無處不在的專為人類設(shè)計(jì)的環(huán)境,,而人形機(jī)器人系統(tǒng)由于形體與人們類似,有望能夠在人類生存的環(huán)境中駕輕就熟地與人類和環(huán)境互動并執(zhí)行所需的操作,。這些系統(tǒng)將非常適合處理臟污,、危險(xiǎn)和枯燥的工作,例如患者護(hù)理和康復(fù),、酒店業(yè)的服務(wù)工作、教育領(lǐng)域的教具或?qū)W伴,,以及進(jìn)行災(zāi)難響應(yīng)和有害物質(zhì)處理等危險(xiǎn)任務(wù),。此類應(yīng)用利用人形機(jī)器人類人的屬性來促進(jìn)人機(jī)自然交互,在以人為中心的空間中行動,,并執(zhí)行傳統(tǒng)機(jī)器人通常難以完成的任務(wù),。

  許多 AI 和機(jī)器人企業(yè)圍繞如何訓(xùn)練機(jī)器人在非結(jié)構(gòu)化的新環(huán)境中更好地進(jìn)行推理和規(guī)劃,展開了新的研究與協(xié)作,。作為機(jī)器人的新“大腦”,,預(yù)先經(jīng)過大量數(shù)據(jù)訓(xùn)練的模型具有出色的泛化能力,使得機(jī)器人能做到見怪不怪,,更全面地理解環(huán)境,,根據(jù)感官反饋調(diào)整動作和行動,在各種動態(tài)環(huán)境中優(yōu)化性能,。

  舉一個(gè)有趣的例子,,Boston Dynamics 的機(jī)器狗 Spot 可以在博物館里當(dāng)導(dǎo)游。Spot 能夠與參觀者互動,,向他們介紹各種展品,,并回答他們的問題。這可能有點(diǎn)難以置信,,但在該用例中,,比起確保事實(shí)正確,Spot 的娛樂性,、互動性和細(xì)膩微妙的表演更加重要,。

  Robotics Transformer:機(jī)器人的新大腦

  Robotics Transformer (RT) 正在快速發(fā)展,,它可以將多模態(tài)輸入直接轉(zhuǎn)化為行動編碼。在執(zhí)行曾經(jīng)見過的任務(wù)時(shí),,谷歌 DeepMind 的 RT-2 較上一代的 RT-1 表現(xiàn)一樣出色,,成功率接近 100%。但是,,使用 PaLM-E(面向機(jī)器人的具身多模態(tài)語言模型)和 PaLI-X(大規(guī)模多語言視覺和語言模型,,并非專為機(jī)器人設(shè)計(jì))訓(xùn)練后,RT-2 具有更出色的泛化能力,,在未曾見過的任務(wù)中的表現(xiàn)優(yōu)于 RT-1,。

  微軟推出了大語言和視覺助手 LLaVA。LLaVA 最初是為基于文本的任務(wù)設(shè)計(jì)的,,它利用 GPT-4 的強(qiáng)大功能創(chuàng)建了多模態(tài)指令遵循數(shù)據(jù)的新范式,,將文本和視覺組件無縫集成,這對機(jī)器人任務(wù)非常有用,。LLaVA 一經(jīng)推出,,就創(chuàng)下了多模態(tài)聊天和科學(xué)問答任務(wù)的新紀(jì)錄,已超出人類平均能力,。

  正如此前提到的,,特斯拉進(jìn)軍人形機(jī)器人和 AI 通用機(jī)器人領(lǐng)域的意義重大,不僅因?yàn)樗菫閷?shí)現(xiàn)規(guī)?;土慨a(chǎn)而設(shè)計(jì)的,,而且因?yàn)樘厮估瓰槠囋O(shè)計(jì)的 Autopilot 的強(qiáng)大完全自動駕駛 (FSD) 技術(shù)基礎(chǔ)可用于機(jī)器人。特斯拉也擁有智能制造用例,,可以將 Optimus 應(yīng)用于其新能源汽車的生產(chǎn)過程,。

  Arm 是未來機(jī)器人技術(shù)的基石

  Arm 認(rèn)為機(jī)器人腦,包括“大腦”和“小腦”,,應(yīng)該是異構(gòu) AI 計(jì)算系統(tǒng),,以提供出色的性能、實(shí)時(shí)響應(yīng)和高能效,。

17.JPG

  機(jī)器人技術(shù)涉及的任務(wù)范圍廣泛,,包括基本的計(jì)算(比如向電機(jī)發(fā)送和接收信號)、先進(jìn)的數(shù)據(jù)處理(比如圖像和傳感器數(shù)據(jù)解讀),,以及運(yùn)行前文提到的多模態(tài) LLM,。CPU 非常適合執(zhí)行通用任務(wù),而 AI 加速器和 GPU 可以更高效地處理并行處理任務(wù),,如機(jī)器學(xué)習(xí) (ML) 和圖形處理,。還可以集成圖像信號處理器和視頻編解碼器等額外加速器,從而增強(qiáng)機(jī)器人的視覺能力和存儲/傳輸效率,。此外,,CPU 還應(yīng)該具備實(shí)時(shí)響應(yīng)能力,,并且需要能夠運(yùn)行 Linux 和 ROS 軟件包等操作系統(tǒng)。

  當(dāng)擴(kuò)展到機(jī)器人軟件堆棧時(shí),,操作系統(tǒng)層可能還需要一個(gè)能夠可靠處理時(shí)間關(guān)鍵型任務(wù)的實(shí)時(shí)操作系統(tǒng) (RTOS),,以及針對機(jī)器人定制的 Linux 發(fā)行版,如 ROS,,它可以提供專為異構(gòu)計(jì)算集群設(shè)計(jì)的服務(wù),。我們相信,SystemReady 和 PSA Certified 等由 Arm 發(fā)起的標(biāo)準(zhǔn)和認(rèn)證計(jì)劃將幫助擴(kuò)大機(jī)器人軟件的開發(fā)規(guī)模,。SystemReady 旨在確保標(biāo)準(zhǔn)的 Rich OS 發(fā)行版能夠在各類基于 Arm 架構(gòu)的系統(tǒng)級芯片 (SoC) 上運(yùn)行,,而 PSA Certified 有助于簡化安全實(shí)現(xiàn)方案,以滿足區(qū)域安全和監(jiān)管法規(guī)對互聯(lián)設(shè)備的要求,。

  大型多模態(tài)模型和生成式 AI 的進(jìn)步預(yù)示著 AI 機(jī)器人和人形機(jī)器人的發(fā)展進(jìn)入了新紀(jì)元,。在這個(gè)新時(shí)代,要使機(jī)器人技術(shù)成為主流,,除了 AI 計(jì)算和生態(tài)系統(tǒng),,能效、安全性和功能安全必不可少,。Arm 處理器已廣泛應(yīng)用于機(jī)器人領(lǐng)域,,我們期待與生態(tài)系統(tǒng)密切合作,使 Arm 成為未來 AI 機(jī)器人的基石,。




更多精彩內(nèi)容歡迎點(diǎn)擊==>>電子技術(shù)應(yīng)用-AET<<

3952966954c9c6c308355d1d28d750b.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容,、版權(quán)和其它問題,,請及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118;郵箱:[email protected],。