年末的大模型賽道靜悄悄,。
既沒有電商領(lǐng)域的drama反轉(zhuǎn),也沒有游戲行業(yè)那般的連續(xù)地震,,除了行業(yè)媒體的零星解讀外,,相對突破賽道圈層而進入大眾視野的消息,還是字節(jié)跳動與百度兩家頭部與海外大模型相互套殼的新聞,。
或因大模型在商業(yè)化天平的兩端都未曾誕生足夠引領(lǐng)潮流的產(chǎn)品,,即使國內(nèi)“百模大戰(zhàn)”熱鬧了一整年,但預(yù)想中的“iPhone時刻”仍未到來,,以致于市場對相關(guān)消息出現(xiàn)了脫敏現(xiàn)象——大模型的推出與后續(xù)的刷榜難以再獲取市場關(guān)注,。
在落地成果出現(xiàn)之前,市場進入了明顯的冷靜期,。但不可否認(rèn)的是,,國內(nèi)的創(chuàng)新仍在發(fā)生。過去一年,,我們見證了國內(nèi)大模型從無到有再到枝繁葉茂,,其中文領(lǐng)域能力持續(xù)爬坡,以及各玩家在商用落地道路上的諸多探索,。
說白了,,我們踏上這條道路也僅僅一年時間。得與失的討論更應(yīng)該集中在“得”而非“失”之上,。
頭部公司帶領(lǐng)的三次轉(zhuǎn)向
亞里士多德提出的第一性原理認(rèn)為,,萬事萬物都有一個根基性命題或假設(shè),不能缺省,,也不能被違背,。以此來淺析當(dāng)下的大模型行業(yè),其數(shù)據(jù)、算力,、能力等維度的攀升顯然是題中之義,。
因此,領(lǐng)跑中國大模型速度的是頭部科技企業(yè),,數(shù)據(jù)與算力儲備為他們踏入新時代風(fēng)口提供了不小的先發(fā)優(yōu)勢,。
據(jù)不完全統(tǒng)計,國內(nèi)大模型數(shù)量已達200以上,。共同締造“中國速度”的先行者是百度,、阿里、字節(jié)等頭部互聯(lián)網(wǎng)公司,。先行者效應(yīng)下,他們的一舉一動也一定程度上牽動行業(yè)的發(fā)展方向,。
自百度三月發(fā)布文心一言起,,直至年中時期如騰訊、京東,、華為等大廠搭上大模型的班車,,這段時間可以說是國內(nèi)大模型賽道的混沌期。
所謂混沌,,是初生的無序狀態(tài),。平臺類大廠、互聯(lián)網(wǎng)大佬與高??蒲袌F三股勢力在ChatGPT3.5的爆點后迅速達成“生成式AI代表未來”的共識,,以搗鼓出自家的大模型為第一要務(wù)。彼時的業(yè)內(nèi)語境中,,訓(xùn)練模型被戲稱為“煉丹”,,然而煉的什么丹、給誰吃,、有什么用以及怎么用,,大多都還處于盲目的狀態(tài)。
有人向往AGI的星辰大海,,有人希望重塑千行百業(yè),,有人僅僅只是炒作拉股價。
這段時期內(nèi),,大模型的中文領(lǐng)域能力大部分不及GPT3.5,,其價值停留在紙面上,有待發(fā)掘,。自用戶層看,,“松鼠鱖魚法”與不少開放測試的大模型一直重復(fù)初次回答的糟糕體驗亦是混沌期的小小注腳。
年中,距離開源“英雄”LLaMA為業(yè)界提供了模型結(jié)構(gòu),、訓(xùn)練方法等標(biāo)準(zhǔn)答案已有4個月,,夠多個大廠復(fù)用其成果。這進一步縮小了國內(nèi)模型能力代差,,GPT3.5的里程碑被越來越多的玩家觸及,,通用大模型發(fā)展進入相對平穩(wěn)的瓶頸期
與此同時,GPU供不應(yīng)求下的算力緊張,、大模型廠商的造血內(nèi)需推動將大模型落在實處的清風(fēng)逐漸吹起,。
在商業(yè)化落地不明朗,成本,、周期難把控等問題下,,大干快上通用模型被描繪為春秋筆法。此后兩個月是行業(yè)大模型的集中發(fā)布期,。騰訊云的MaaS解決方案,、京東產(chǎn)業(yè)大模型與華為盤古大模型為賽道的垂直轉(zhuǎn)向定下基調(diào)。
一時間,,金融,、工業(yè)、教育等主要產(chǎn)業(yè)的垂直模型如雨后春筍般出現(xiàn),。
在PMF(產(chǎn)品市場匹配)的第一性要求下,,主流范式是只取基礎(chǔ)模型的理解能力與少量對話、推理能力“一瓢飲”,,調(diào)用大模型時代前的AI模型與數(shù)據(jù)庫獲取結(jié)果,,最后再由大模型“組裝結(jié)果”。
這一模式雖相較基礎(chǔ)模型的萬卡規(guī)格相去甚遠,,亦一定程度上緩解幻覺問題,,但精調(diào)、部署的基本流程下依舊剛需數(shù)百張GPU和不短的時間成本,。因而其更像是廠商對大模型落地的迫切與客戶企業(yè)的降本需求“一拍即合”的權(quán)宜之計,。
此外,一個值得思考的問題是AI生產(chǎn)力工具,,為我們帶來的究竟是降本還是增效,?
針對不同發(fā)展階段的企業(yè),AI工具的能力偏向?qū)@著影響接受度和滿意度,。通過SFT(精調(diào))行業(yè)大模型的范式以快速落地看,,企業(yè)購買大模型能力并未給業(yè)務(wù)帶來本質(zhì)上的增效,而是為既有AI工具和模型配上一個大腦,。
換言之,,此前的行業(yè)大模型更偏向于降本而非增效,,更適用于收縮期的企業(yè),尤其是已建立起AI工具體系的大型企業(yè),。那么行業(yè)大模型相對更易向上滲透,,抓住大B而非小B的現(xiàn)狀也就不難理解了。
此后,,垂直模型的技術(shù)底座持續(xù)演進,,目前以調(diào)用向量數(shù)據(jù)庫和RAG(檢索增強生成)兩個“外掛”為中心軸,不過這是后話了,。
今年9月,,大模型管理辦法實施,聚光燈漸漸有從產(chǎn)業(yè)向用戶轉(zhuǎn)移的趨勢,。直至以PC為首的消費電子賽道抱上了大模型前進的大腿,,既是載體也是入口的智能設(shè)備,為大模型在C端的商業(yè)落地找到全新場景,。
自脫離混沌期起,,國內(nèi)大模型玩家就一同走上了產(chǎn)品化的道路。但總體來看,,早在3月末便提出的主線任務(wù)——MaaS還處于未發(fā)力的狀態(tài)。就像早期的行業(yè)大模型一般,,賽道向外兜售的只是模型能力,,而非模型服務(wù)。
兩字之差,,指向大模型未能從技術(shù)價值轉(zhuǎn)換為生態(tài)價值,。做個不算恰當(dāng)?shù)谋扔鳎贏I高速公路上,,各廠商只能象征性地建幾所收費站,。
目前基礎(chǔ)模型底座能力無人稱王,大家同臺競技之下無人能站穩(wěn)生態(tài)高位,。整體情況導(dǎo)向了兩條2024年的大模型掘金之路——模型服務(wù)創(chuàng)新與應(yīng)用,。
大廠創(chuàng)企,機會均等
逐鹿九州,,是大模型廠商試圖沖擊生態(tài)位置的現(xiàn)狀,。
只是目前看來,追求模型能力已不是沖擊高位的最優(yōu)解,,就像Sam·Altman所言:“擴大模型規(guī)模的收益在遞減”,。
首當(dāng)其沖的是愈發(fā)緊張的AI算力,據(jù)Omdia統(tǒng)計數(shù)據(jù),,今年Q3也就是英偉達發(fā)布GPU禁令前,,騰訊、百度、阿里三家購入100系GPU的數(shù)量分別為50K,、40K與25K,,三者相加也不及微軟和OpenAI其一。
另一方面,,OpenAI雖給出 Scaling Law(模型能力雖訓(xùn)練計算量提升的擴展定律)來解釋大模型之“大”,,但包括算力、人力,、電力等在內(nèi)的成本側(cè)已無法容忍過多資源投入僅為百尺竿頭更進一步,,這一點基本已是業(yè)內(nèi)共識。
大力不能出奇跡,,意味著大廠先發(fā)的算力,、規(guī)模等優(yōu)勢正在逐漸消弭。
從AI infra來看,,規(guī)模效應(yīng)遞減的根源在于算力緊張與數(shù)據(jù)敝帚自珍,。但自技術(shù)層面,更多問題已經(jīng)成為南墻:有毒內(nèi)容與幻覺尚未有解法,、AI前沿為商業(yè)公司把持后,,開源程度日益遞減等。
參數(shù)量的頂級規(guī)格已經(jīng)停留在萬億量級許久,,玩家們開始思考如何通過巧思而非大力來推動AI行業(yè)向前,。
一條路徑是“小而美”,曾有傳言稱GPT4是由十?dāng)?shù)個MOE小模型聚合而成,,MOE也成為當(dāng)下微軟,、谷歌等頭部企業(yè)競逐的新領(lǐng)域。尤其是其和端側(cè)設(shè)備的結(jié)合,,新時代AI硬件有著足夠的想象空間,。
大模型的軟硬件生態(tài)從結(jié)合到協(xié)同的發(fā)展速度令人咂舌。今年初,,大模型語境中的模型訓(xùn)練還是萬卡集群,,年末時候,高通驍龍8 Gen3便展現(xiàn)了百億參數(shù)模型的端側(cè)運行能力,。國內(nèi)已有OPPO,、vivo、小米等手機廠商推出端側(cè)模型,,其服務(wù)與應(yīng)用或?qū)⒂?024年全面爆發(fā),。
另一條路徑是Long Context,模型能力突破艱難的情況下,,讓模型底座發(fā)揮作用的慣常范式是SFT,,然而訓(xùn)練成本掣肘,,長文本的Prompt有可能在向量數(shù)據(jù)庫與檢索增強生成的基礎(chǔ)上徹底消磨精調(diào)的存在。
回首創(chuàng)企,,智譜AI,、月之暗面、百川智能等創(chuàng)業(yè)獨角獸也攜AgentTuning(智能體增強),、Long Context,、RAG等獨特的模型服務(wù)創(chuàng)新嶄露頭角。
創(chuàng)業(yè)公司的“破壞性創(chuàng)新”能力早在此前的商業(yè)史上便屢有驗證,。由“生成式AI”代表未來這一基本共識發(fā)散開來的不同技術(shù)路線昭示著更多樣化的AI未來圖景,。
重塑開發(fā)生態(tài)
OpenAI塑造了2023年AI賽道關(guān)于大模型的共識,追趕的旋律就此開始譜寫,。此后的GPT4以及GPT4V的出現(xiàn)更讓人深感大山似乎不可逾越,。
但近來發(fā)生的兩件事情,終歸給到國內(nèi)玩家們希望,。
先有《The Verge》報道字節(jié)跳動因使用ChatGPT的API以訓(xùn)練自家大模型,,因而遭OpenAI予以“封號”處理;后有谷歌最新發(fā)布的Gemini-Pro承認(rèn)在中文領(lǐng)域訓(xùn)練中使用了百度文心一言的數(shù)據(jù),。
不出意外,,重復(fù)造輪子的基礎(chǔ)模型之爭于此踩了一下剎車,而數(shù)據(jù)集的價值再次被放大,。隨著推特,、Reddit 等移動平臺關(guān)閉免費的API接入點,在不遠的未來,,或許通過數(shù)據(jù)采集器搜集平臺數(shù)據(jù)用于AI訓(xùn)練的 Pretrain 模式將徹底成為歷史,。
進一步說,,字節(jié)套殼GPT亦或是谷歌套殼文心一言,,本質(zhì)上是模型架構(gòu)的趨同與數(shù)據(jù)價值的躍升。那么中文高質(zhì)量數(shù)據(jù)實際上也是國內(nèi)大模型的護城河,。
在此基礎(chǔ)上,,我們更不需要擔(dān)心模型層會落后于海外過多。反而是在應(yīng)用層面,,百花齊放才是AI時代應(yīng)有的面貌,。如此來看,李彥宏一直反復(fù)嘮叨,,“我們不需要這么多基礎(chǔ)大模型,,我們需要更多應(yīng)用”的說法有其合理性。
應(yīng)用本身是商業(yè)化落地的終極載體之一,,更重要的是應(yīng)用的開發(fā)過程——率先構(gòu)筑完善AI Native應(yīng)用開發(fā)生態(tài)的基礎(chǔ)模型廠商將搶占生態(tài)價值的高位,,推動自家大模型的價值從技術(shù)價值轉(zhuǎn)為生態(tài)價值,。
典型的案例便是蘋果稅,或是手游行業(yè)眾所周知的安卓渠道商,。只是移動生態(tài)早已固化,,遠非當(dāng)下“百模大戰(zhàn)”的混亂可比。
如果我們沿用上文的比喻,,當(dāng)下大模型廠商加碼模型能力,,試圖做AI高速公路收費站,或許現(xiàn)在更需要的是收費站中間的服務(wù)站,。完善的應(yīng)用開發(fā)工具鏈所構(gòu)筑的開發(fā)生態(tài)能極快加速爆款應(yīng)用的出現(xiàn)時間,。
12月20日,百度副總裁侯震宇將AI原生應(yīng)用開發(fā)新范式定義為AI Native 應(yīng)用生態(tài)的關(guān)鍵組件之一,,百度亦再次迭代應(yīng)用開發(fā)工具鏈并推出了AppBuilder,,正如文心一言發(fā)布時一般搶先了一個身位。
可以預(yù)見的是,,我們也將很快看到除百度外的玩家通過新場景,、新系統(tǒng)共同打造新的開發(fā)生態(tài)。
即使AI應(yīng)用開發(fā)生態(tài)的必然性前置會讓應(yīng)用爆發(fā)的時間節(jié)點稍為后置,,但考慮到今年大模型的“中國速度”,,2024年基本可以確定是AI應(yīng)用噴涌之年。
目前來看,,國內(nèi)AI社交,、AI游戲的發(fā)展已初具規(guī)模,更多賽道正在接受AI的改造,,重塑應(yīng)用的生產(chǎn)力與生命力,。AI加入后是否會變更賽道既往的商業(yè)模式,是產(chǎn)品經(jīng)理迫切需要解決的Konw How ,。
我們確定,,2023年的結(jié)束并非大模型周期的結(jié)束?;蛟S我們?nèi)詴镚PT等海外大模型的能力提升而感到壓力,,但我們也能還之以應(yīng)用層的創(chuàng)新。而不再時刻盯著OpenAI的中國大模型,,也將真正走出屬于自己的道路,。