作者｜張小珺
出品｜騰訊新聞《潛望》
就連陸奇都說他跟不上大模型時(shí)代的狂飆速度了,。他讓下屬做“大模型日?qǐng)?bào)”,，一方面便于他跟上論文和信息更新,，另一方面給奇績(jī)生態(tài)創(chuàng)業(yè)者共享。他用了三個(gè)“實(shí)在”表達(dá)這一點(diǎn),?！拔覍?shí)在不行了，論文實(shí)在是跟不上,，代碼實(shí)在是跟不上,。Just too much（太多了）?！标懫嬖诮谝淮畏窒砘顒?dòng)上說,。
這樣的時(shí)刻還從沒有過。奇績(jī)創(chuàng)壇創(chuàng)始人兼CEO陸奇是中國(guó)AI布道人,，也是中國(guó)針對(duì)大模型最有發(fā)言權(quán)的人之一,。他曾在全球巨頭身居要職,，先后任職于IBM,、雅虎、微軟,、百度,，曾是華人在美國(guó)科技公司最有權(quán)威的高層人士，位至雅虎和微軟執(zhí)行副總裁,，回國(guó)加盟百度出任集團(tuán)總裁兼COO,。陸奇以勤勉的工作為科技圈著稱——每天清晨4點(diǎn)起床，跑步5英里,，6點(diǎn)準(zhǔn)時(shí)到辦公室,。
同時(shí),，他和OpenAI有著深厚淵源。陸奇所掌管的奇績(jī)前身是YC中國(guó),，是美國(guó)著名創(chuàng)業(yè)孵化器YC（Y Combinator）的中國(guó)分支,。他也是YC全球研究院院長(zhǎng)。而OpenAI首席執(zhí)行官Sam Altman正是YC二代接班者,、現(xiàn)任總裁,。兩人雖相差24歲，卻是忘年交,，相識(shí)已逾18年,。當(dāng)初正是Sam Altman屢次力邀陸奇加盟YC。所以,，陸奇對(duì)YC,、對(duì)Sam Altman和OpenAI都有長(zhǎng)期的近距離觀察。
2023年4月22日,，陸奇在上海舉行小規(guī)模演講,，騰訊新聞?dòng)行覅⑴c了旁聽。陸奇希望幫助中國(guó)創(chuàng)業(yè)者認(rèn)清這次歷史性的拐點(diǎn)時(shí)刻,，定位今天的時(shí)代坐標(biāo),、找準(zhǔn)自己的位置。“這個(gè)時(shí)代跟淘金時(shí)代很像,，”他說道,，“如果你那個(gè)時(shí)候去加州淘金，一大堆人會(huì)死掉,。但是賣勺子,、賣鏟子的人永遠(yuǎn)可以賺錢?！?/strong>
陸奇很反感蹭熱點(diǎn),，他一再警示創(chuàng)業(yè)者蹭熱點(diǎn)只會(huì)浪費(fèi)機(jī)會(huì)。到現(xiàn)在為止,，你幾乎很難在公開渠道聽到陸奇的觀點(diǎn),。這也讓本次演講具有稀缺性。
事實(shí)上,，在大模型快速達(dá)成社會(huì)共識(shí)之際,，一部分人期待陸奇博士披甲上陣，做“中國(guó)的Sam Altman”——扮演可能比一名投資者,、布道者更關(guān)鍵的角色,。但據(jù)奇績(jī)內(nèi)部人說：“Qi目前100%時(shí)間花在奇績(jī)?！?/p>
騰訊新聞作者將這場(chǎng)分享進(jìn)行了完整的整理——演講涵蓋他對(duì)大模型時(shí)代的宏觀思考,，包括拐點(diǎn)的內(nèi)在動(dòng)因,、技術(shù)演進(jìn)、創(chuàng)業(yè)公司結(jié)構(gòu)性機(jī)會(huì)點(diǎn)以及給創(chuàng)業(yè)者的建議,。大家可以各取所需,。
好了，讓我們來看看陸奇怎么說,。為了方便閱讀,，作者做了一些字句修改和文本優(yōu)化。
01
社會(huì)性拐點(diǎn)的核心
是一項(xiàng)大型成本從邊際變成固定
我認(rèn)識(shí)Sam Altman是2005年,，他那時(shí)19歲不到,，我已經(jīng)40多歲了。
我們倆是忘年交,。他是一個(gè)很善良也很奇怪的小孩,，今天很高興他能這樣改變世界。前不久,，我春節(jié)在美國(guó)3個(gè)月,，也到OpenAI和Sam聊了一些。
首先,，怎么理解這個(gè)新范式,？這張圖能把ChatGPT和OpenAI所帶來的一切講清楚。之后,，基于第一性原理,，你自然會(huì)推演出所在賽道的機(jī)會(huì)和挑戰(zhàn)。
這張圖是“三位一體結(jié)構(gòu)演化模式”,，本質(zhì)是講任何復(fù)雜體系,，包括一個(gè)人、一家公司,、一個(gè)社會(huì),，甚至數(shù)字化本身的數(shù)字化體系，都是復(fù)雜體系,?！叭灰惑w”包括：
“信息”系統(tǒng)（subsystem of information），從環(huán)境當(dāng)中獲得信息,；
“模型”系統(tǒng)（subsystem of model）,，對(duì)信息做一種表達(dá),，進(jìn)行推理和規(guī)劃,；
“行動(dòng)”系統(tǒng)（subsystem of action），我們最終和環(huán)境做交互,，達(dá)到人類想達(dá)到的目的,。
任何體系,，都是這三個(gè)體系的組合，數(shù)字化系統(tǒng)尤其如此,。數(shù)字化和人分不開,。人也一樣，人要獲得信息,、表達(dá)信息,、行動(dòng)解決問題或滿足需求。
基于此,，我們可以得出一個(gè)簡(jiǎn)單結(jié)論,。今天大部分?jǐn)?shù)字化產(chǎn)品和公司，包括Google,、微軟,、阿里、字節(jié),，本質(zhì)是信息搬運(yùn)公司,。一定要記住，我們所做的一切,，一切的一切,，包括在座的大部分企業(yè)都在搬運(yùn)信息。Nothing more than that,，You just move bytes（僅此而已,，你只是移動(dòng)字節(jié)）。但它已經(jīng)足夠好,，改變了世界,。
早在1995-1996年，通過PC互聯(lián)網(wǎng)迎來一個(gè)拐點(diǎn),。那時(shí)我剛從CMU（卡內(nèi)基梅隆大學(xué)）畢業(yè),。大量公司層出不窮，其中誕生了一家偉大公司叫Google,。為什么會(huì)有這個(gè)拐點(diǎn),？為什么會(huì)有爆炸式增長(zhǎng)？把這個(gè)觀點(diǎn)講清楚,，就能把今天的拐點(diǎn)講清楚,。
原因是，獲取信息的邊際成本開始變成固定成本,。
一定要記住,，任何改變社會(huì)、改變產(chǎn)業(yè)的，永遠(yuǎn)是結(jié)構(gòu)性改變,。這個(gè)結(jié)構(gòu)性改變往往是一類大型成本,，從邊際成本變成固定成本。
舉個(gè)例子,，我在CMU念書開車離開匹茨堡出去,，一張地圖3美元，獲取信息很貴,。今天我要地圖,，還是有價(jià)錢，但都變成固定價(jià)格,。Google平均一年付10億美元做一張地圖,，但每個(gè)用戶要獲得地圖的信息，基本上代價(jià)是0,。也就是說,，獲取信息成本變0的時(shí)候，它一定改變了所有產(chǎn)業(yè),。這就是過去20年發(fā)生的,，今天基本是free information everywhere（免費(fèi)的信息無處不在）。
Google為什么偉大,？它把邊際成本變成固定成本,。Google固定成本很高，但它有個(gè)簡(jiǎn)單商業(yè)模式叫廣告,，它是世界上高盈利,、改變世界的公司，這是拐點(diǎn)關(guān)鍵,。
今天2022-2023年的拐點(diǎn)是什么,？它不可阻擋、勢(shì)不可擋,，原因是什么,？一模一樣。模型的成本從邊際走向固定,，因?yàn)橛屑陆写竽Ｐ汀?/p>
模型的成本開始從邊際走向固定,，大模型是技術(shù)核心、產(chǎn)業(yè)化基礎(chǔ),。OpenAI搭好了,，發(fā)展速度爬升會(huì)很快。為什么模型這么重要,、這個(gè)拐點(diǎn)這么重要,，因?yàn)槟Ｐ秃腿擞袃?nèi)在關(guān)系,。我們每個(gè)人都是模型的組合。人有三種模型：
認(rèn)知模型,，我們能看,、能聽,、能思考,、能規(guī)劃；
任務(wù)模型,，我們能爬樓梯,、搬椅子剝雞蛋；
領(lǐng)域模型,，我們有些人是醫(yī)生,，有些人是律師，有些人是碼農(nóng),。
That’s all,。我們對(duì)社會(huì)所有貢獻(xiàn)都是這三種模型的組合。每個(gè)人不是靠手和腿的力量賺錢,，而是靠腦袋活,。
簡(jiǎn)單想一想，如果你沒有多大見解,，你的模型能力大模型都有,，或者大模型會(huì)逐步學(xué)會(huì)你所有的模型，那會(huì)怎樣,？——未來,，唯一有價(jià)值的是你有多大見解。
人類社會(huì)是技術(shù)驅(qū)動(dòng),。從農(nóng)業(yè)時(shí)代,，人用工具做簡(jiǎn)單勞動(dòng)，最大問題是人和土地綁定,，人缺少流通性,，沒有自由。工業(yè)發(fā)展對(duì)人最大變化是人可以動(dòng)了,，可以到城市和工廠,。早期工業(yè)體系以體力勞動(dòng)為主、腦力勞動(dòng)為輔,，但隨著機(jī)械化,、電氣化、電子化,，人的體力勞動(dòng)下降,。信息化時(shí)代以后,，人以腦力勞動(dòng)為主，經(jīng)濟(jì)從商品經(jīng)濟(jì)轉(zhuǎn)向服務(wù)經(jīng)濟(jì)——碼農(nóng),、設(shè)計(jì)師,、分析師成為我們時(shí)代的典型職業(yè)。
這一次大模型拐點(diǎn)會(huì)讓所有服務(wù)經(jīng)濟(jì)中的人,、藍(lán)領(lǐng)基本都受影響,，因?yàn)樗麄兪悄Ｐ停怯歇?dú)到見解,，否則你今天所從事的服務(wù)大模型都有,。下一時(shí)代典型的職業(yè)，我們認(rèn)為是創(chuàng)業(yè)者和科學(xué)家,。
所以,，這次變革影響每個(gè)人。它影響整個(gè)社會(huì),。
02
我所看到的三個(gè)拐點(diǎn)
下個(gè)拐點(diǎn)是什么,？
下個(gè)拐點(diǎn)將是組合：“行動(dòng)”無處不在（自動(dòng)駕駛、機(jī)器人,、空間計(jì)算）,。也就是人需要在物理空間里行動(dòng)，它的代價(jià)也從邊際走向固定,。20年后,，這個(gè)房子里所有一切都有機(jī)械臂，都有自動(dòng)化的東西,。我需要的任何東西,，按個(gè)按鈕，軟件可以動(dòng),，今天還需要找人,。
那么，哪些公司能走到下個(gè)拐點(diǎn),、站住下個(gè)拐點(diǎn),？我認(rèn)為特斯拉有很高概率，它的自動(dòng)駕駛,、機(jī)器人現(xiàn)在很厲害,。微軟今天跟著OpenAI爬坡，但怎么站住下個(gè)拐點(diǎn),？
接下來講一下我們看到的三個(gè)拐點(diǎn)：
① 今天信息已經(jīng)無處不在了,，接下來15-20年，模型就是知識(shí),，將無處不在,。以后手機(jī)上打開,，任何聯(lián)網(wǎng)，模型就過來了,。它教你怎么去解答法律問題,，怎么去做醫(yī)學(xué)檢驗(yàn)。不管什么樣的模型都可以無處不在,。
② 在未來,，自動(dòng)化、自主化的動(dòng)作可以無處不在,。
③ 人和數(shù)字化的技術(shù)共同進(jìn)化,。Sam最近經(jīng)常講,，它必須要共同進(jìn)化,，才能達(dá)到通用智能（AGI）。通用智能四大要素是：涌現(xiàn)（emergence）+代理（agency）+功能可見性（affordence）+具象（embodiment）,。
總結(jié)來說,，我們從根本性的三位一體結(jié)構(gòu)分析未來，從過去的歷史拐點(diǎn)能清晰看到今天所面臨的拐點(diǎn),，本質(zhì)是模型成本從邊際走向固定,，將有一家甚至多家偉大公司誕生。毫無疑問,，OpenAI處于領(lǐng)先,。
雖然講得有點(diǎn)早，但我個(gè)人認(rèn)為,，OpenAI未來肯定比Google大,。只不過是大1倍、5倍還是10倍,。
03
OpenAI核心就堅(jiān)信兩件事
發(fā)展速度連Sam本人都驚訝
下面我從技術(shù)角度講OpenAI大事跡,，它怎么把大模型時(shí)代帶來的？
為什么講OpenAI,，不講Google,、微軟。講真心話,，因?yàn)槲抑?，微軟好幾千人也做這個(gè)，但不如OpenAI,。一開始比爾·蓋茨根本不相信OpenAI,，大概6個(gè)月前他還不相信。4個(gè)月前看到GPT-4的demo（產(chǎn)品原型）,，目瞪口呆,。他寫了文章說：It’s a shock,，this thing is amazing（這太令人震驚了，這東西太神奇了）,。谷歌內(nèi)部也目瞪口呆,。
OpenAI一路走下來的關(guān)鍵技術(shù)：
GPT-1是第一次使用預(yù)訓(xùn)練方法來實(shí)現(xiàn)高效語言理解的訓(xùn)練；
GPT-2主要采用了遷移學(xué)習(xí)技術(shù),，能在多種任務(wù)中高效應(yīng)用預(yù)訓(xùn)練信息,，并進(jìn)一步提高語言理解能力；
DALL·E是走到另外一個(gè)模態(tài),；
GPT-3主要注重泛化能力,，few-shot（小樣本）的泛化；
GPT-3.5 instruction following（指令遵循）和tuning（微調(diào)）是最大突破,；
GPT-4 已經(jīng)開始實(shí)現(xiàn)工程化,。
2023年3月的Plugin是生態(tài)化。
OpenAI的融資結(jié)構(gòu)為什么這么設(shè)計(jì),？和Sam早期目標(biāo)和對(duì)未來的判斷分不開,。他知道要融很多錢，但股權(quán)設(shè)計(jì)有一個(gè)很大挑戰(zhàn)——容易把回報(bào)和控制混在一起——所以他要設(shè)計(jì)一個(gè)結(jié)構(gòu),，讓它不受任何股東的制約,。于是，OpenAI的投資者沒有控制權(quán),，他們的協(xié)議是一種債的結(jié)構(gòu),。如果賺完2萬億，接下來是non-profit（不再盈利了）,，一切回歸社會(huì),。這個(gè)時(shí)代需要新的結(jié)構(gòu)。
它勢(shì)不可擋,。Sam Altman自己都surprise,，連他都沒想到會(huì)那么快。
如果大家對(duì)技術(shù)感興趣,，Ilya Sutskever（OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家）很重要,，他堅(jiān)信兩件事。
第一是模型架構(gòu),。它要足夠深,，只要到了一定深度，bigness is betterness（大就是好）,。只要有算力,，只要有數(shù)據(jù)，越大越好,。他們一開始是LSTM（long short term memory）,，后來看到Transformer就用Transformer,。
第二個(gè)OpenAI相信的是，任何范式,、改變一切的范式永遠(yuǎn)有個(gè)引擎,，這個(gè)引擎能不斷前進(jìn)、不斷產(chǎn)生價(jià)值,。
這個(gè)引擎基本是一個(gè)模型體系（model system）,，它的核心是模型架構(gòu)Transformer，就是sequence model（序列模型）：sequence in,、sequence out,、encode、decode后者decode only,。但最終的核心是GPT,，也就是預(yù)訓(xùn)練之后的Transformer，它可以把信息高度壓縮,。Ilya有個(gè)信念：如果你能高效壓縮信息,，你一定已經(jīng)得到知識(shí),，不然你沒法壓縮信息,。所以，你把信息高效壓縮的話,，you got to have some knowledge（你得有一些知識(shí)）,。
Ilya堅(jiān)信GPT3、3. 5,，當(dāng)然GPT-4更是,，它已經(jīng)有一個(gè)世界模型在里面。雖然你做的事是predict next word（預(yù)測(cè)下一個(gè)關(guān)鍵詞）,，這只不過是優(yōu)化手段,，它已經(jīng)表達(dá)了世界的信息，而且它能持續(xù)地提高模型能力,，尤其是目前研究比較多的在子概念空間當(dāng)中做泛化,。知識(shí)圖譜真的不行。如果哪個(gè)同學(xué)做知識(shí)圖譜,，我認(rèn)真跟你講,，你不要用知識(shí)圖譜。我自己也做知識(shí)圖譜20多年,，just don’t do that,。Just pretty bad。It does not work at all,。You should use Transformer,。（不要那樣做,。很糟糕。它根本不起作用,。你應(yīng)該使用Transformer,。）
更重要的是用增強(qiáng)學(xué)習(xí)，加上人的反饋,，與人的價(jià)值對(duì)齊,。因?yàn)镚PT已經(jīng)做了4年多，知識(shí)已經(jīng)封裝在里面了,，過去真的是用不起來,，也很難用。
最大的是對(duì)齊（alignment engineering）,，尤其是instruction following和自然語言對(duì)齊,。當(dāng)然也可以跟代碼、表格,、圖表對(duì)齊,。
做大模型是很難的，很大難度是infra（基礎(chǔ)設(shè)施）,。我在微軟的時(shí)候,，我們每個(gè)服務(wù)器都不用網(wǎng)卡，都放了FPGA,。網(wǎng)絡(luò)的IO的帶寬速度都是無限帶寬技術(shù)（Infiniband）,，服務(wù)器和服務(wù)器之間是直接訪問內(nèi)存。為什么,？因?yàn)門ransformer是密度模型,，它不光是算力問題，對(duì)帶寬要求極高,，你就想GPT-4需要24000張到25000張卡訓(xùn)練,，試想世界上多少人能做這種系統(tǒng)。所有數(shù)據(jù),、data center網(wǎng)絡(luò)架構(gòu)都不一樣,。它不是一個(gè)三層的架構(gòu)，必須是東西向的網(wǎng)絡(luò)架構(gòu),。所以這里要做大量的工作,。
Token很重要。全世界可能有40-50個(gè)確定的token,，就是語言的token和模態(tài),，現(xiàn)在有更多的token化。當(dāng)然現(xiàn)在更多的模型的參數(shù)小型化、本地化,，任務(wù)領(lǐng)域的專業(yè)知識(shí)可以融入這些大模型當(dāng)中,。它的可操縱性主要是靠提示和調(diào)試，尤其是根據(jù)指令來調(diào),，或者對(duì)齊來調(diào)試,，或者in-context learning（上下文學(xué)習(xí)），這個(gè)已經(jīng)貫徹比較清晰了,。它的可操作性是越來越強(qiáng),。可拓展性基本上也足夠,。
加在一起,，這個(gè)引擎并不完美。足夠好,、足夠強(qiáng)的引擎,，我沒從沒有過。
以上是引擎,，拐點(diǎn)是怎么到的,？ChatGPT能在歷史上第一次兩個(gè)月1億活躍用戶，擋都擋不住,，為什么,？
① 它封裝了世界上所有知識(shí)。
② 它有足夠強(qiáng)的學(xué)習(xí)和推理能力,，GPT-3能力在高中生和大學(xué)生之間,，GPT-4不光是進(jìn)斯坦福，而且是斯坦福排名很靠前的人,。
③ 它的領(lǐng)域足夠?qū)挘R(shí)足夠深,，又足夠好用,。自然語言最大的突破是好用。擴(kuò)展性也足夠好,。當(dāng)然還是很貴,，像2萬多張卡，訓(xùn)練幾個(gè)月這么大的工程,。不過也沒貴到那么離譜——Google可以做,，微軟可以做，中國(guó)幾個(gè)大公司能做,，創(chuàng)業(yè)公司融錢也能做,。
加在一起，范式的臨界點(diǎn)到了,。拐點(diǎn)已經(jīng)到來,。
稍微啰嗦幾句,。我做自然語言20多年，原來的自然語言處理有14種任務(wù),，我能夠把動(dòng)詞找出來,、名詞找出來、句子分析清楚,。即使分析清楚,，你知道這是形容詞，這是動(dòng)詞,，這是名詞——那這個(gè)名詞是包香煙,？還是你的舅舅？還是一個(gè)墳?zāi)?？還是個(gè)電影,？No idea（不知道）。你需要的是知識(shí),。自然語言處理沒有知識(shí)永遠(yuǎn)沒用,。
The only way to make natural language work is you have knowledge（讓自然語言處理有效的唯一路徑是你有知識(shí)）。正好Transformer把這么多知識(shí)壓縮在一起了,，這是它的最大突破,。
04
未來是一個(gè)模型無處不在的時(shí)代
OpenAI未來2-3年要做的——模型更稀疏一點(diǎn)，現(xiàn)在它對(duì)帶寬要求實(shí)在太高,，要把a(bǔ)ttention window拉長(zhǎng)一點(diǎn),，或者是recursion causality推理的功能，包括brainstorming等一些工作要做,。當(dāng)然有一些grounding的東西,，包括亞符號(hào)、子概念的都可以做,。更多的模態(tài),，更多的token空間，更多的模型穩(wěn)定性,，更多的潛在空間（例如Latent Space對(duì)齊）,，更多的計(jì)算，更多的基礎(chǔ)架構(gòu)工具,。2-3年基本排滿,。也就是說，我們大概知道需要什么去把這個(gè)引擎繼續(xù)做大,。
不過這個(gè)飛輪啟動(dòng),，主要是資本大量進(jìn)來。美國(guó)2023年1月到3月，擋也擋不住,，錢全進(jìn)去了,，每個(gè)月都在比上個(gè)月增長(zhǎng)。中國(guó)基本也一樣,，商業(yè)模式,、盈利模式有初步規(guī)模，基礎(chǔ)設(shè)施,、平臺(tái)應(yīng)用,、生態(tài)在加速開發(fā)，初創(chuàng)公司,、大型企業(yè)都在進(jìn)入,。
當(dāng)然社會(huì)的安全、監(jiān)管,，一大堆問題——現(xiàn)在這些是OpenAI最頭痛的——Sam在美國(guó)花大量精力讓社會(huì)認(rèn)可這個(gè)技術(shù)?，F(xiàn)在OpenAI核心做的是，把推進(jìn)速度變慢,，每推進(jìn)新版本,，都有足夠時(shí)間讓用戶給他們足夠反饋，找到潛在風(fēng)險(xiǎn)點(diǎn),，有足夠時(shí)間彌補(bǔ),。但加在一起，增長(zhǎng)飛輪的雛形基本上起來了,。
有了飛輪,，我認(rèn)為發(fā)展路徑核心是模型的可延伸性和未來模型的生態(tài)。是一個(gè)模型無處不在的時(shí)代,。
未來的模型世界會(huì)怎么發(fā)展,？首先是將有更多大模型會(huì)出來。更多更完整的模態(tài)和更完整的世界知識(shí)在這里,。你有大量的知識(shí),、更多的模態(tài)，學(xué)習(xí)能力,、泛化能力和泛化機(jī)制一定會(huì)加強(qiáng)。
此外,，會(huì)有更多的對(duì)齊工作要做,。OpenAI目前會(huì)關(guān)注什么呢？今天對(duì)齊基本上是做到,，有一部分人能接受但你也得罪很多人,，很多人每天罵GPT。他們想要做到是足夠?qū)挼囊粋€(gè)對(duì)齊，希望有個(gè)像美國(guó)憲章這樣一個(gè)結(jié)果,，雖然ChatGPT不是大家都能夠認(rèn)可,，但它足夠平穩(wěn)、綜合,，大部分人能接受,，這是對(duì)齊工程。自然語言也好,，代碼也好,，數(shù)學(xué)公式也好，表單也好,，有大量對(duì)齊工作要做,。
還有更多的模態(tài)對(duì)齊。這里先講human scale的模態(tài),，它主要是對(duì)人的描述,，以人的語言為主，它的模態(tài)目前是語言和圖形,，以后有更多的模態(tài)會(huì)接入,。這是大模型層面。
在大模型之上建立的模型更多了,。我判斷主要是有兩類模型和他們的組合,。第一是事情的模型，人類每一類需求都有領(lǐng)域/工作模型,，其中有結(jié)構(gòu)模型,、流程模型、需求模型和任務(wù)模型,，尤其是記憶和先驗(yàn),。
第二，人的模型,，包括認(rèn)知/任務(wù)模型,，它是個(gè)體的，其中有專業(yè)模型,，有認(rèn)知模型,、運(yùn)動(dòng)模型和人的記憶先驗(yàn)。人基本是這幾類模型的組合,，律師也好,，醫(yī)生也好，大量領(lǐng)域會(huì)有大量模型往前走,。
人的模型和學(xué)的模型有本質(zhì)區(qū)別,，這是我過去1-2個(gè)月個(gè)人收獲較多的,。
首先，人一直在建立模型,。人的模型好處是泛化的時(shí)候更深,、更專業(yè)，基本是用符號(hào)（例如數(shù)學(xué)公式）或結(jié)構(gòu)（例如畫流程圖）,。它具體用,，說實(shí)話都不好用。人的模型要么像物理公式解決很宏觀的問題,，要么解決很微觀的問題,。我們?nèi)粘Ｉ畹膯栴}，物理一點(diǎn)用都沒有——沒法告訴我這個(gè)樹的葉子的形狀,，狗的貓的顏色為什么是這樣子,？沒有任何模型可以解這個(gè)。很大問題是它的模型是靜態(tài)的,，不會(huì)場(chǎng)景變化,。
今天有很多模型，比方說數(shù)字孿生,，很難用,。因?yàn)槲锢硎澜缫恢痹谧儯@個(gè)模型僵硬,、不變,，就用不起來。尤其是用知識(shí)圖譜建的模型,，我做了幾十年,，超級(jí)難算，函數(shù)結(jié)構(gòu)差得一塌糊涂,。所以人的模型有好處,，專業(yè)性強(qiáng)，但有很大缺點(diǎn),。
學(xué)出來的模型,，首先，它本質(zhì)是場(chǎng)景化的,，因?yàn)樗膖oken是場(chǎng)景化的,。其次，它適應(yīng)性很強(qiáng),，環(huán)境變了,，token也變了，模型自然會(huì)隨著環(huán)境變,；第三,，它的泛化拓展性有大量理論工作要做，但是目前子概念空間的泛化,，看來是很有潛在發(fā)展空間的這樣一種模型的特性,。它好用，因?yàn)樗梢詫?duì)齊人的使用傾向或人的自然語言,、表格等等,。它的計(jì)算性內(nèi)在是過程性的。這里有大的問題,，就是人表達(dá)知識(shí)傾向運(yùn)用結(jié)構(gòu),，但真正能解決問題的是過程，人不適合用過程來表達(dá),。
ChatGPT代表的模型跟人的模型相輔相成,，長(zhǎng)期可以融在一起。我們看到的未來是更多模型的生態(tài),，新的領(lǐng)域,、新的專業(yè)、新的結(jié)構(gòu),、新的場(chǎng)景,、新的適應(yīng)能力，形成閉環(huán),，不斷加強(qiáng)認(rèn)知和推理能力,。當(dāng)然，最終還是要所謂叫g(shù)rounding,，跟感知要ground,，和接入行動(dòng)的能力，形成真正的智能,。
某種意義上20-30年后,，這個(gè)模型世界跟生物世界有很多類似的地方。大模型我覺得像基因,，有不同的種類,，然后進(jìn)化。我們目前能看到未來核心技術(shù)模型世界,，它是用這個(gè)方法來向前驅(qū)動(dòng),。
我們基本對(duì)這個(gè)時(shí)代的范式有了結(jié)構(gòu)性的理解。那么接下來,，我們?nèi)绾螕肀н@個(gè)時(shí)代,？
05
每周都有“HOLY SHIT” moment
對(duì)每個(gè)人、每個(gè)行業(yè)都有結(jié)構(gòu)性影響
我個(gè)人過去10個(gè)月,，每天看東西是挺多的,，但最近實(shí)在受不了,。就真的是跟不上。發(fā)展速度非常非?？?。最近我們開始發(fā)行“大模型日?qǐng)?bào)”，是我實(shí)在不行了,，論文實(shí)在是跟不上,，代碼實(shí)在是跟不上——just too much（太多了）——基本上，每周都會(huì)有一兩個(gè)“HOLY SHIT” moment,。
Holy shit,！You can do this now。
世界在嘩嘩嘩地變,。我曾經(jīng)說1995-1996年有這種感覺,，但這個(gè)比1995-1996年還要強(qiáng)。為什么,？模型的成本從邊際轉(zhuǎn)向固定,，知識(shí)創(chuàng)造就是模型和知識(shí)的獲取，它結(jié)構(gòu)性做演變了,。
生產(chǎn)資本從兩個(gè)層次全面提高,。第一，所有動(dòng)腦筋的工作,，可以降低成本,、提升產(chǎn)能。我們目前有一個(gè)基本假設(shè),，碼農(nóng)成本會(huì)降低,，但對(duì)碼農(nóng)的需求會(huì)大量增加，碼農(nóng)不用擔(dān)心,。因?yàn)閷?duì)軟件的需求會(huì)大量增加,，就是這個(gè)東西便宜了，都買嘛,。軟件永遠(yuǎn)可以解決更多問題,，但有些行業(yè)未必。這是生產(chǎn)資本的廣泛提高,。
第二,，生產(chǎn)資本深層提升。有一些行業(yè)的生產(chǎn)資本本質(zhì)是模型驅(qū)動(dòng),，比如醫(yī)療就是一個(gè)模型行業(yè),，一個(gè)好醫(yī)生是一個(gè)好模型，一個(gè)好護(hù)士是一種好模型,。醫(yī)療這種產(chǎn)業(yè),，本質(zhì)是強(qiáng)模型驅(qū)動(dòng)?，F(xiàn)在模型提高了，科學(xué)也隨之提高,。在游戲核心產(chǎn)業(yè),，我們的產(chǎn)能將本質(zhì)性、深度提高,。產(chǎn)業(yè)的發(fā)展速度會(huì)加快，因?yàn)榭茖W(xué)的發(fā)展速度加快了,，開發(fā)的速度加快了,，每個(gè)行業(yè)的心跳都會(huì)加快。因此,，我們認(rèn)為下個(gè)拐點(diǎn)會(huì)加速,。用大模型做機(jī)器人、自動(dòng)化,、自動(dòng)駕駛,，擋也擋不住。
它對(duì)每個(gè)人都將產(chǎn)生深遠(yuǎn)和系統(tǒng)性影響,。我們的假設(shè)是每個(gè)人很快將有副駕駛員,，不光是1個(gè)，可能5個(gè),、6個(gè),。有些副駕駛員足夠強(qiáng)，變成正駕駛員,，他自動(dòng)可以去幫你做事,。更長(zhǎng)期，我們每個(gè)人都有一個(gè)駕駛員團(tuán)隊(duì)服務(wù),。未來的人類組織是真人,，加上他的副駕駛員和真駕駛員一起協(xié)同。
毫無疑問,，每個(gè)行業(yè)也會(huì)有結(jié)構(gòu)性影響,，會(huì)系統(tǒng)性重組。這里有一個(gè)簡(jiǎn)單公式,。今天動(dòng)腦筋的人一天平均工資多少小時(shí),？減掉ChatGPT現(xiàn)在大概平均是15美元/小時(shí)，再過3年可能不到1美元,，再過5年可能幾十美分,。然后就乘一下有多少數(shù)量。降本或者增效,，讓碼農(nóng)能變成super碼農(nóng),，醫(yī)生變成super醫(yī)生,。
大家可以按這個(gè)公式算一算。如果你是華爾街的對(duì)沖基金,，你可以做空一大堆行業(yè),。
舉個(gè)簡(jiǎn)單例子，律師在美國(guó)平均1500美元/小時(shí),，我在網(wǎng)上已經(jīng)看到每天有這種信息——如果你想離婚,，不要找離婚律師，ChatGPT離婚很便宜?。,。ㄈ珗?chǎng)笑）
開發(fā)人員、設(shè)計(jì)師,、碼農(nóng),、研究人員都一樣，有些是更多需求,，有些是成本下降,。尤其是核心產(chǎn)業(yè)，科學(xué),、教育,、醫(yī)療，這是OpenAI長(zhǎng)期最關(guān)注的3個(gè)行業(yè),，也是整個(gè)社會(huì)最根本的,。
尤其是醫(yī)療。在中國(guó),，需求遠(yuǎn)遠(yuǎn)大于供給,。而且，中國(guó)是大政府驅(qū)動(dòng)的市場(chǎng)經(jīng)濟(jì),，政府可以扮演更大角色,，因?yàn)楣潭ǔ杀菊梢猿袚?dān)。
最為重要的是教育,。如果你是大學(xué),，你第一擔(dān)心的是，考試怎么考,？沒法考了,。他一問ChatGPT，什么都知道,。更重要的是,，以后怎么定義是好的大學(xué)生呢？假定說有個(gè)大學(xué)生什么都不懂，物理也不懂,、化學(xué)也不懂,，但他懂怎么問ChatGPT，他算不算一個(gè)好的大學(xué)生,？機(jī)會(huì)與挑戰(zhàn)并存,。
總結(jié)一下，整個(gè)這個(gè)時(shí)代在高速地進(jìn)行,，速度越來越快,。它是結(jié)構(gòu)上決定的。勢(shì)不可擋,。
06
大模型的淘金時(shí)代
對(duì)機(jī)會(huì)點(diǎn)進(jìn)行結(jié)構(gòu)性拆解
現(xiàn)在,，我給大家一個(gè)結(jié)構(gòu)化思維框架。某種意義上你可以對(duì)號(hào)入座,，知道我在這里，我怎么思考今天的機(jī)會(huì)點(diǎn),。
這張圖是整個(gè)人類技術(shù)驅(qū)動(dòng)的創(chuàng)業(yè)創(chuàng)新,，所有事情的機(jī)會(huì)都在這張圖上。
首先,，底層是數(shù)字化的技術(shù),，因?yàn)閿?shù)字化是人的延伸。數(shù)字化的基礎(chǔ)里有平臺(tái),，有發(fā)展基礎(chǔ),，包括開源的代碼、開源的設(shè)計(jì),、開源的數(shù)據(jù),；平臺(tái)有前端、后端等,。這里有大量機(jī)會(huì),。
第二，波是用數(shù)字化的能力去解決人的需求,。我們把數(shù)字化應(yīng)用完整放在這張表上,。
1）C端，是把所有的人分成人群,，每種人群24小時(shí),，他花時(shí)間干什么？有通訊,、社交,、內(nèi)容、游戲消費(fèi)、旅游,、健身……C端有一類特殊的人,，這類人是改變世界的，是碼農(nóng),、設(shè)計(jì)師,、研究員。他們創(chuàng)造未來,。微軟這么大的公司,，是基于一個(gè)簡(jiǎn)單理念：微軟我們就是要寫更多軟件、幫別人寫更多軟件,，因?yàn)閷戃浖俏磥怼?/p>
2）B端,，企業(yè)需求也一樣，降本增效,。它要生產(chǎn),，有供應(yīng)鏈、銷售,、客服……有了這些需求之后,，數(shù)字化看得見的體驗(yàn)結(jié)構(gòu)有6種：給你信息的，二維就夠,；給你三維交互體驗(yàn),，在游戲、元宇宙,；人和人之間抽象的關(guān)系,，包括信任關(guān)系、Web 3,；人在物理世界環(huán)中自動(dòng)駕駛,、機(jī)器人等；人的內(nèi)在的用碳機(jī)植入到里面,，今天是腦機(jī)接口,，以后有更多，以后是可以用硅基,；最后是給你模型,。
最后，人類是挺奇怪的物種,，不光要滿足這些需求,，還要改變世界，我們?cè)跐M足世界時(shí),，也要獲得更多能源,，所以需要有能源科技；需要轉(zhuǎn)化能源，用生命科學(xué)的形式,，biological process轉(zhuǎn)化能源或者使用mechanical process,，材料結(jié)構(gòu)來轉(zhuǎn)化能源，或者是新的空間,。這是第三波,。
所以創(chuàng)業(yè)公司基本上有三類：數(shù)字化基礎(chǔ)，用數(shù)字化去解決人的需求,，去改變物理世界,。有了這個(gè)大的框架，我們可以系統(tǒng)性地來看對(duì)號(hào)入座：我在哪個(gè)位置,？如果我在這個(gè)位置,，需要關(guān)注哪些點(diǎn)？
首先講數(shù)字化基礎(chǔ),，它有一個(gè)穩(wěn)定結(jié)構(gòu),，不管再怎么發(fā)展，結(jié)構(gòu)永遠(yuǎn)是這樣,。過去30多年,，大部分系統(tǒng)或多或少我都碰過，這個(gè)結(jié)構(gòu)確實(shí)相當(dāng)穩(wěn)定,。
核心是前端和后端——前端是完整可延伸的體驗(yàn)，后端是完整可延伸的能力,，有設(shè)備端,，比方說電腦、手機(jī),、眼鏡,、汽車等等，設(shè)備端里面是芯片,、模組加上操作系統(tǒng),。萬億美元的公司都在這一層。
其次是體驗(yàn)的容器,，二維的容器,，三維的容器，內(nèi)在嵌入的容器,。
容器之上,，寫代碼都知道畫布，畫布可以是文檔,，可以是聊天,，可以是代碼，可以是空間，可以是世界,，可以是數(shù)字人,，也可以是碳基里的蛋白質(zhì)等等。這是前端,。
后端也一樣,，底層式設(shè)備，服務(wù)器,、交換機(jī),、數(shù)據(jù)中心等等，也是芯片,、模組,、操作系統(tǒng)。
中間這一層非常重要,，網(wǎng)絡(luò)數(shù)據(jù)堆棧,，分布式系統(tǒng)，區(qū)塊鏈等等,。
最上面是云,，是能力的供給。能力供給像自然水源,，打開就是算力,，有存儲(chǔ)和通訊能力。今天的模型時(shí)代,，打開就是模型,。
下面是數(shù)字化基礎(chǔ)。符號(hào)計(jì)算,，或者所謂的深度學(xué)習(xí),，疊加向量的浮點(diǎn)計(jì)算，硅基的,，碳基的,。
如果你是這里的創(chuàng)業(yè)者，機(jī)會(huì)點(diǎn)在哪里,？
① 首先搬運(yùn)信息,，這個(gè)時(shí)代還有很多可以做。
② 如果你是做模型的,，我現(xiàn)在判斷什么都要重做一遍,。大模型為先。很多設(shè)備也要重做,，你要支持大模型,，容器要重做,，這些都有機(jī)會(huì)。云,、中間的基礎(chǔ)設(shè)施,、底層的硬件，包括數(shù)字化發(fā)展核心的基礎(chǔ),，尤其是開源的體系,，這里是真正意義上是有大量機(jī)會(huì)。
③ 第三代系統(tǒng),，即已經(jīng)開始做機(jī)器人,、自動(dòng)化、自主系統(tǒng),。孫正義今天all in,。這個(gè)也能用大模型做。馬斯克也看到這種機(jī)會(huì),。都是在第三代下一個(gè)拐點(diǎn),，創(chuàng)業(yè)公司完全可以把握的機(jī)會(huì)。
④ 同時(shí)并行的,，我把它稱作“第三代++系統(tǒng)”,，是碳基的生物計(jì)算，這一類公司有大量的量子計(jì)算,，有很多機(jī)會(huì),。元宇宙和Web 3今天點(diǎn)冷，但從歷史長(zhǎng)河角度來講,，只是時(shí)間問題,，因?yàn)檫@些技術(shù)都能真正意義上帶來未來的人類價(jià)值。
所以如果是這個(gè)創(chuàng)業(yè)項(xiàng)目,，基礎(chǔ)層機(jī)會(huì)就在這里。這是最好的生意,。為什么,？這個(gè)時(shí)代跟淘金時(shí)代很像。如果你那個(gè)時(shí)候去加州淘金,，一大堆人會(huì)死掉,，但是賣勺子的人、賣鏟子的人永遠(yuǎn)可以賺錢,。所謂的shove and pick business,。
大模型是平臺(tái)型機(jī)會(huì)。按照我們幾天的判斷,，以模型為先的平臺(tái),，將比以信息為先的平臺(tái)體量更大,。平臺(tái)有以下幾個(gè)特征：
① 它是開箱即用；
② 要有一個(gè)足夠簡(jiǎn)單和好的商業(yè)模式,，平臺(tái)是開發(fā)者可以活在上面,，可以賺足夠的錢、養(yǎng)活自己,，不然不叫平臺(tái),；
③ 他有自己殺手級(jí)應(yīng)用。ChatGPT本身是個(gè)殺手應(yīng)用,，今天平臺(tái)公司就是你在蘋果生態(tài)上,，你做得再好，只要做大蘋果就把你沒收了,，因?yàn)樗媚愕讓拥臇|西,，所以你是平臺(tái)。平臺(tái)一般都有它的錨點(diǎn),，有很強(qiáng)的支撐點(diǎn),，長(zhǎng)期OpenAI設(shè)備機(jī)會(huì)有很多——有可能這是歷史上第一個(gè)10萬億美元的公司。
這是一場(chǎng)激烈的競(jìng)爭(zhēng)平臺(tái)之戰(zhàn),，未來一個(gè)體量很大的公司,。在這個(gè)領(lǐng)域競(jìng)爭(zhēng)是無比激烈。The price is too big（代價(jià)實(shí)在太大）,，錯(cuò)過太可惜,。再怎么也得試一試。
今天的模型魯棒性,、脆弱性,，還是問題。用這個(gè)模型,，你一定要一開始稍微窄一點(diǎn),，限制要嚴(yán)一點(diǎn)，這樣的話體驗(yàn)是穩(wěn)定的,，等到模型能力越來越強(qiáng)再把它放寬,，找到適當(dāng)?shù)膱?chǎng)景，循序漸進(jìn),。質(zhì)量和寬度之間的平衡很重要,。另外發(fā)展路徑上，你要考慮今天產(chǎn)品要不要在這個(gè)上基礎(chǔ)上改,，重啟爐灶,，還是齊頭并進(jìn)。把這個(gè)團(tuán)隊(duì)給改了,、重做,，還到外面去買公司,？
創(chuàng)新，尤其是創(chuàng)業(yè)公司落地,，它永遠(yuǎn)是技術(shù)推動(dòng)和需求拉動(dòng)的組合,。在落地的過程中，對(duì)需求理解的把控,，掌握和滿足需求的方法是一切當(dāng)中最重要,。長(zhǎng)期一定是技術(shù)驅(qū)動(dòng)為主，但在落地的時(shí)候?qū)π枨蟮牟鸾?、分析,、梳理，把控好需求,，是一切的一切?/p>
有一個(gè)機(jī)密大家今天都知道了——OpenAI是用GPT-4做GPT-5,，每個(gè)碼農(nóng)都是放大能力的碼農(nóng)。它規(guī)模效應(yīng)不一樣,，馬太效應(yīng)不一樣,，從此壁壘和競(jìng)爭(zhēng)格局不一樣，知識(shí)產(chǎn)權(quán)結(jié)果不一樣,，國(guó)際化的格局也不一樣,。中國(guó)顯然有機(jī)會(huì)。
07
我對(duì)創(chuàng)業(yè)者有幾點(diǎn)建議
創(chuàng)業(yè)公司的內(nèi)在結(jié)構(gòu)是人和事的組合,。人,，一開始是創(chuàng)始人/創(chuàng)始團(tuán)隊(duì)；他有初心,，內(nèi)在驅(qū)動(dòng)力,、外在驅(qū)動(dòng)力；他能獨(dú)立思考,，判斷未來,；他能行動(dòng)導(dǎo)向，解決問題,；他能需求導(dǎo)向,，找到價(jià)值；最終通過溝通獲得資源,。接下來是產(chǎn)品市場(chǎng)匹配，這部分就是研發(fā)技術(shù),、研發(fā)產(chǎn)品,、交付產(chǎn)品。商業(yè)模式是收到錢,、更多增長(zhǎng),、觸達(dá)更多客戶,、融更多錢、一直觸達(dá)到未來的價(jià)值,。組織上,，通過系統(tǒng)建設(shè)，開拓面向未來的人才,、組織結(jié)構(gòu)和文化價(jià)值觀等等,。這一切就是一家公司的總和。
我們對(duì)每位同學(xué)的建議是,，不要輕舉妄動(dòng),，首先要思考。
① 不要浮夸,，不能蹭熱,。我個(gè)人最反對(duì)蹭熱，你要做大模型,，想好到底做什么,，大模型真正是怎么回事，跟你的創(chuàng)業(yè)方向在哪個(gè)或哪幾個(gè)維度有本質(zhì)關(guān)系,。蹭熱是最不好的行為,，會(huì)浪費(fèi)機(jī)會(huì)。
② 在這個(gè)階段要勤于學(xué)習(xí),。新范式有多個(gè)維度,，有蠻大復(fù)雜性，該看到的論文要看,，尤其現(xiàn)在發(fā)展實(shí)在太快,，非確定性很大。我的判斷都有一定灰度,，不能說看得很清楚,，但大致是看到是這樣的結(jié)果。學(xué)習(xí)花時(shí)間,，我強(qiáng)烈推薦,。
③ 想清楚之后要行動(dòng)導(dǎo)向，要果斷,、有規(guī)劃地采取行動(dòng),。如果這一次變革對(duì)你所在的產(chǎn)業(yè)帶來結(jié)構(gòu)性影響，不進(jìn)則退,。你不往前走沒退路的,，今天的位置守不住。如果你所在的產(chǎn)業(yè)被直接影響到,，你只能采取行動(dòng),。
接下來我想講幾個(gè)維度——每個(gè)公司是一組能力的組合,。
① 產(chǎn)品開發(fā)能力方面，如果你的公司以軟件為主,，毫無疑問一定對(duì)你有影響,，長(zhǎng)期影響大得不得了。尤其是如果你是做C端,，用戶體驗(yàn)的設(shè)計(jì)一定有影響,，你今天就要認(rèn)真考慮未來怎么辦。
② 如果你的公司是自己研發(fā)技術(shù),，短期有局部和間接影響,，它可以幫助你思考技術(shù)的設(shè)計(jì)。長(zhǎng)期核心技術(shù)的研發(fā)也會(huì)受影響,。今天芯片的設(shè)計(jì)是大量的工具,，以后大模型一定會(huì)影響芯片研發(fā)。類似的,，蛋白質(zhì)是蛋白質(zhì)結(jié)構(gòu)設(shè)計(jì),。不管你做什么，未來的技術(shù)它都影響,。短期不直接影響,，長(zhǎng)期可能有重大影響。
③ 滿足需求能力,，滿足需求基本就要觸達(dá)用戶,，供應(yīng)鏈或運(yùn)維一定受影響。軟件的運(yùn)維可以用GPT幫你做,，硬件的供應(yīng)鏈未必,。長(zhǎng)期來看有變革機(jī)會(huì)，因?yàn)樯舷掠谓Y(jié)構(gòu)會(huì)變,。你要判斷你在這個(gè)產(chǎn)業(yè)的結(jié)構(gòu)會(huì)不會(huì)變,。
④ 商業(yè)價(jià)值的探索、觸達(dá)用戶,、融資,，這一切它可以幫你思考、迭代,。
最后是關(guān)于人才和組織,。
① 首先講創(chuàng)始人。今天創(chuàng)始人技術(shù)能力強(qiáng),，好像很牛,、很重要，未來真的不重要。技術(shù)ChatGPT以后都能幫你做,。你作為創(chuàng)始人，越來越重要,、越來越值錢的是愿力和心力,。愿力是對(duì)于未來的獨(dú)到的判斷和信念，堅(jiān)持,、有強(qiáng)的韌勁,。這是未來的創(chuàng)始人越來越重要的核心素養(yǎng)。
② 對(duì)初創(chuàng)團(tuán)隊(duì),，工具能幫助探索方向,，加速想法的迭代、產(chǎn)品的迭代,，甚至資源獲取,。
③ 對(duì)未來人才的培養(yǎng)，一方面學(xué)習(xí)工具,，思考和探索機(jī)會(huì),，長(zhǎng)期適當(dāng)時(shí)候培養(yǎng)自己的prompt engineer（提示工程師）。
④ 最后講到組織文化建設(shè),，要更深入思考,，及早做準(zhǔn)備，把握時(shí)代的機(jī)會(huì),。尤其是考慮有很多職能已經(jīng)有副駕駛員,，寫代碼也好，做設(shè)計(jì)也好,，這之間怎么協(xié)同,？
我們面臨這樣一個(gè)時(shí)代的機(jī)會(huì)。它既是機(jī)會(huì),，也是挑戰(zhàn),。我們建議你就這個(gè)機(jī)會(huì)做全方位思考。
（如需交流歡迎添加作者微信號(hào),，Benita_ZhangJun,，煩請(qǐng)備注公司和職務(wù)）
更多精彩內(nèi)容歡迎點(diǎn)擊==>>電子技術(shù)應(yīng)用-AET<<
