《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 人工智能 > 業(yè)界動(dòng)態(tài) > OpenAI推出首個(gè)智能體Operator

OpenAI推出首個(gè)智能體Operator

2025-01-24
來(lái)源:DeepTech深科技
關(guān)鍵詞: OpenAI AI智能體 Operator

當(dāng)?shù)貢r(shí)間 1 月 23 日,OpenAI 正式推出了其首款 AI 智能體 Operator,。

它可以通過(guò)自帶的瀏覽器獨(dú)立瀏覽網(wǎng)頁(yè),,并通過(guò)鍵入、單擊和滾動(dòng)來(lái)與之交互,,能夠完成填寫(xiě)表格、訂購(gòu)日常用品,,甚至是創(chuàng)建表情包的任務(wù),。

1.png

(來(lái)源:OpenAI)

OpenAI 表示,“它目前處于研究預(yù)覽階段,,這意味著它存在局限性,,并將根據(jù)用戶反饋不斷變化。Operator 是我們的第一批智能體(Agent)之一,,它們是能夠獨(dú)立為你工作的 AI,,你給它一個(gè)任務(wù),它就會(huì)執(zhí)行,?!?/p>

Operator 將首先向美國(guó)的 ChatGPT Pro 訂閱用戶推出。OpenAI 表示,,它計(jì)劃最終將此功能推廣給其 Plus,、Team 和 Enterprise 級(jí)別的更多用戶群體。作為一項(xiàng)研究預(yù)覽工作,,它目前可通過(guò)獨(dú)立網(wǎng)站訪問(wèn),,OpenAI 表示,希望很快將 Operator 集成到其所有 ChatGPT 應(yīng)用中,。

山姆·奧特曼(Sam Altman)對(duì)這項(xiàng)技術(shù)充滿期待和信心,。這位 OpenAI CEO 在發(fā)布會(huì)直播中明確表示:“這款產(chǎn)品是我們進(jìn)軍智能體領(lǐng)域的開(kāi)始?!?/p>

與此同時(shí),,OpenAI 總裁兼聯(lián)合創(chuàng)始人格雷格·布羅克曼(Greg Brockman)也在 X 上寫(xiě)道:“2025 年將是智能體元年?!?/p>

作為 ChatGPT 的重大升級(jí),,Operator 不僅僅是一個(gè)簡(jiǎn)單的信息處理工具,更是直接展現(xiàn)了 AI 工具從被動(dòng)接收信息向主動(dòng)行動(dòng)的關(guān)鍵跨越,。

2.png

圖 | 在演示視頻中,,Operator 可以網(wǎng)購(gòu)食物(來(lái)源:OpenAI)

Operator 的核心能力是替代人類進(jìn)行一系列電腦操作。

作為一個(gè)智能體,,它可以像真人一樣流暢地瀏覽網(wǎng)頁(yè),,精準(zhǔn)地點(diǎn)擊,、滾動(dòng)、填寫(xiě)表單,,甚至能獨(dú)立完成訂票,、購(gòu)物、訂餐等相當(dāng)復(fù)雜的任務(wù),。不同于傳統(tǒng)的虛擬助手,,這款 AI 助手真正具備了“行動(dòng)”的能力,而非僅僅給出建議或答復(fù),。

Operator 背后的技術(shù)被 OpenAI 稱為“計(jì)算機(jī)使用智能體(Computer-Using Agent,,簡(jiǎn)稱 CUA)”模型。這一全新模型巧妙地結(jié)合了 GPT-4o 的視覺(jué)識(shí)別能力和高級(jí)推理技術(shù),,可以通過(guò)截圖“理解”網(wǎng)頁(yè),,并像人類一樣精準(zhǔn)操作鼠標(biāo)和鍵盤(pán)。

CUA 經(jīng)過(guò)訓(xùn)練,,可以像人類一樣與圖形用戶界面(GUI,,Graphical User Interface)進(jìn)行交互,包括人們?cè)谄聊簧峡吹降陌粹o,、菜單和文本,。這使它能夠靈活地執(zhí)行數(shù)字任務(wù),而無(wú)需使用特定于操作系統(tǒng)或網(wǎng)絡(luò)的 API,。 

3.png

圖 | Operator 可以根據(jù)指令預(yù)定餐廳(來(lái)源:OpenAI)

根據(jù)用戶的指令,CUA 通過(guò)集成感知,、推理和動(dòng)作的迭代循環(huán)進(jìn)行操作,,其工作原理大致分為三個(gè)關(guān)鍵階段。

感知:將屏幕截圖添加到模型的上下文中,,提供計(jì)算機(jī)當(dāng)前狀態(tài)的視覺(jué)快照,,用于詳細(xì)分析頁(yè)面內(nèi)容和結(jié)構(gòu)。

推理:使用復(fù)雜的思路鏈推理后續(xù)步驟,,同時(shí)考慮當(dāng)前和過(guò)去的屏幕截圖和操作,。這使其能夠評(píng)估其觀察結(jié)果、跟蹤中間步驟并動(dòng)態(tài)調(diào)整,,從而提高任務(wù)表現(xiàn),。

操作:執(zhí)行操作(單擊、滾動(dòng)或鍵入),,直到確定任務(wù)已完成或需要用戶輸入,。雖然 CUA 會(huì)自動(dòng)處理大多數(shù)步驟,但對(duì)于敏感操作(例如輸入登錄詳細(xì)信息或填寫(xiě)驗(yàn)證碼),,CUA 會(huì)尋求用戶確認(rèn),。

這種決策過(guò)程使 Operator 能夠在不同的網(wǎng)頁(yè)環(huán)境中靈活應(yīng)對(duì),。尤其是在 WebArena 和 WebVoyager 兩項(xiàng)瀏覽器操作測(cè)試中,驅(qū)動(dòng) Operator 的 CUA 模型展現(xiàn)出了令人印象深刻的表現(xiàn),。

4.png

圖 | Operator 在不同任務(wù)中的測(cè)試成績(jī),,全面超過(guò)了此前 SOTA(來(lái)源:OpenAI)

WebArena 利用自托管的開(kāi)源網(wǎng)站離線模擬網(wǎng)購(gòu)、在線商店內(nèi)容管理,、社交論壇等網(wǎng)絡(luò)場(chǎng)景,。WebVoyager 則在 Amazon、GitHub 和 Google Maps 等真實(shí)網(wǎng)站上測(cè)試模型的性能,。不過(guò) WebAreana 的任務(wù)相對(duì)更加復(fù)雜,。

CUA 在 WebArena 上的成功率為 58.1%,而在 WebVoyager 測(cè)試中,,其在實(shí)際網(wǎng)站導(dǎo)航中取得了驚人的 87% 成功率,,可以獨(dú)立完成從在線購(gòu)物到旅行預(yù)訂的各種任務(wù),展現(xiàn)出了令人興奮的潛力,。

除了基礎(chǔ)瀏覽能力,,Operator 還具備個(gè)性化定制功能。用戶可以為特定網(wǎng)頁(yè)或全站添加自定義指令,,并在主頁(yè)保存這些指令,,實(shí)現(xiàn)跨聊天窗口的多任務(wù)并行處理。這種靈活性極大地提升了其實(shí)用價(jià)值,。

此外,,在 OSWorld 基準(zhǔn)測(cè)試中(用于評(píng)估模型控制 Ubuntu、Windows 和 macOS 等完整操作系統(tǒng)的能力),,CUA 的成功率為 38.1%,。不過(guò),人類在這項(xiàng)測(cè)試中的平均成績(jī)是 72.4%,,說(shuō)明 AI 還有很大的進(jìn)步空間,。

OpenAI 還表示,其觀察到隨著測(cè)試時(shí)間的增加(這意味著允許進(jìn)行更多操作步驟),,CUA 的表現(xiàn)會(huì)提高,。

5.png

圖 | 隨著最大允許步驟數(shù)的增加,CUA 的表現(xiàn)也越來(lái)越好(來(lái)源:OpenAI)

考慮到 AI 智能體可能帶來(lái)的潛在風(fēng)險(xiǎn),,OpenAI 在 Operator 中設(shè)置了多重嚴(yán)格的安全機(jī)制,。用戶可以隨時(shí)接管控制權(quán),填寫(xiě)信用卡信息和確認(rèn)付款等敏感操作都需要人工明確確認(rèn),。

目前,,Operator 還被限制不能處理銀行交易、發(fā)送電子郵件(盡管 CUA 可以做到這一點(diǎn)),、刪除日歷事項(xiàng)等高風(fēng)險(xiǎn)任務(wù),。

除了用戶控制機(jī)制,,Operator 還配備了濫用防范系統(tǒng)。它能夠識(shí)別并拒絕有害請(qǐng)求,,并在檢測(cè)到可疑活動(dòng)時(shí)立即暫停執(zhí)行,。它還配有黑名單機(jī)制,許多賭博網(wǎng)站,、成人娛樂(lè)網(wǎng)站以及毒品或槍支零售網(wǎng)站都無(wú)法訪問(wèn),。

6.png

圖 | OpenAI 介紹的一些安全措施(來(lái)源:OpenAI)

OpenAI 在其網(wǎng)站上解釋道,Operator 使用的監(jiān)控系統(tǒng)旨在限制模型嘗試惡意提示,、隱藏指令和網(wǎng)絡(luò)釣魚(yú),。如果檢測(cè)到可疑活動(dòng),監(jiān)控系統(tǒng)會(huì)暫停 Operator 的工作,,而自動(dòng)和人工審查機(jī)制會(huì)不斷更新保障措施,。

不過(guò)即使是瀏覽網(wǎng)頁(yè)和操作電腦,Operator 目前也存在一定局限性,。OpenAI 表示,,“目前還不能指望 CUA 在所有場(chǎng)景下都能可靠運(yùn)行?!?/p>

例如,,它還無(wú)法可靠地處理許多復(fù)雜或?qū)I(yè)的任務(wù),例如創(chuàng)建詳細(xì)的幻燈片,、管理復(fù)雜的日歷系統(tǒng),,或與高度定制或非標(biāo)準(zhǔn)的 Web 界面進(jìn)行交互。

與此同時(shí),,許多網(wǎng)站(如 Reddit)已經(jīng)阻止 AI 智能體瀏覽,,因此 Operator 無(wú)法訪問(wèn)它們。在這種研究預(yù)覽模式下,,出于性能或法律原因,OpenAI 還阻止了 Operator 訪問(wèn)某些資源密集型網(wǎng)站(如 Figma)或直接競(jìng)爭(zhēng)對(duì)手擁有的網(wǎng)站(如 YouTube),。

最后,,CEO 奧特曼在直播中表示,Operator 是 OpenAI 的“第一批智能體”,,未來(lái)幾周和幾個(gè)月還會(huì)推出更多的智能體,。

越來(lái)越多的 AI 智能體出現(xiàn),標(biāo)志著 AI 正從被動(dòng)的信息處理工具,,轉(zhuǎn)變?yōu)橹鲃?dòng)的數(shù)字生態(tài)系統(tǒng)參與者,。無(wú)論是簡(jiǎn)化日常事務(wù),還是創(chuàng)新商業(yè)工作流程,,AI 正在變得越來(lái)越實(shí)用,。人類與 AI 的協(xié)作,,正在從想象逐漸變?yōu)楝F(xiàn)實(shí)。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容,、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)通過(guò)電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118,;郵箱:aet@chinaaet.com,。