一、總體看法

　　1. 從人工智能發(fā)展角度看，這是認(rèn)知智能發(fā)展的一個(gè)重要里程碑,，其意義要高于7年前的AlphaGo,。

　　AlphaGo是在人類智慧高強(qiáng)度體現(xiàn)的領(lǐng)域（圍棋），機(jī)器戰(zhàn)勝了人類,，基于數(shù)據(jù)和算法,，它刷新了普通大眾對人工智能技術(shù)的看法,，但是其本身并不能廣泛應(yīng)用,，普通大眾也難以與其直接接觸,。

　　ChatGPT則完全不同，它是在人類三歲小孩就逐步形成的語言智能方面有了重大突破,。

　　過去,，在人工智能領(lǐng)域，在人比較難做的事情上,，比如數(shù)學(xué)定理證明,、下象棋，機(jī)器表現(xiàn)很好,；但是在人容易做到的事情上,，比如說話，常識推理,，機(jī)器表現(xiàn)反而很差,，這些人類基本的智能對機(jī)器來說很難，是人工智能最難啃的硬骨頭,。

　　這次的ChatGPT是在這方面有了一定的突破,，因?yàn)槭钦f話，不是下圍棋,，所以普通大眾都可以成為ChatGPT的用戶,，也就是說ChatGPT天生具有廣泛的用戶基礎(chǔ)，再加上其令人驚艷的表現(xiàn),，這些使得其發(fā)布后用戶量迅速增長,，火出圈！

　　2. ChatGPT不僅僅是聊天,，如果把它限制為聊天,，那就顯著降低了它的價(jià)值和意義。

　　OpenAI根據(jù)自己同類產(chǎn)品API的調(diào)用分析,，除了純聊天之外,，用戶還把它用于文本生成、開放域問答,、頭腦風(fēng)暴,、改寫、摘要,、分類等,。

　　ChatGPT是對話式AI邁向真正實(shí)現(xiàn)的第一步，從互聯(lián)網(wǎng)層面看,，它可以作為信息入口,，與搜索引擎相結(jié)合,；從文案辦公方面看，它可以與辦公軟件相結(jié)合,，增強(qiáng)人的辦公效率,；從人機(jī)交互角度看，它體現(xiàn)的是一種基于語言的自然交互方式,，可以與元宇宙,、數(shù)字人結(jié)合。

　　除此之外,，它還可以應(yīng)用于機(jī)器人,，充當(dāng)機(jī)器人大腦。如果從人類信息發(fā)展的歷史尺度上看,，它是在人與機(jī)器之間的信息接口上有了很大突破,。

　　3. ChatGPT是近幾年技術(shù)快速發(fā)展和不斷更新迭代、多種技術(shù)疊加在一起形成質(zhì)變的產(chǎn)物,，是自然語言處理領(lǐng)域近年來研究的結(jié)晶,。

　　其底層的技術(shù)，包括Transformer,、自監(jiān)督學(xué)習(xí),、微調(diào)、人類反饋強(qiáng)化學(xué)習(xí),、AI對齊等,，在自然語言處理和人工智能領(lǐng)域都有廣泛的研究和應(yīng)用。

　　但是ChatGPT將這些技術(shù)巧妙地結(jié)合在一起,，有效規(guī)避了大模型的未對齊行為,，利用了大模型規(guī)模帶來的智能突現(xiàn)能力，增強(qiáng)了大模型的指令學(xué)習(xí)能力和用戶意圖捕獲能力,，解鎖了大模型的泛化能力，這些能力疊加在一起形成了ChatGPT的質(zhì)變效果,。

　　4. ChatGPT探索了一種使機(jī)器獲得語言智能的有效技術(shù)路線,，但這個(gè)方向仍然需要在科學(xué)和技術(shù)上進(jìn)一步探索。

　　技術(shù)上,，其他的技術(shù)路線是否可以達(dá)到同樣效果,？

　　近幾年，大模型研究技術(shù)架構(gòu)上出現(xiàn)了同質(zhì)化趨勢,，Transformer獨(dú)步天下,，GPT路線占據(jù)絕對統(tǒng)治地位，這對未來技術(shù)創(chuàng)新并不是好事,；

　　科學(xué)上,，ChatGPT一類技術(shù)體現(xiàn)了技術(shù)先行科學(xué)滯后的典型特點(diǎn)，為什么大模型有突現(xiàn)能力？對齊之后的泛化能力是如何形成的,？語境學(xué)習(xí)的機(jī)制是什么,？

　　這些問題目前都沒有明確的答案，科學(xué)回答這些問題,，顯然可以進(jìn)一步推動(dòng)技術(shù)發(fā)展,。

　　5. ChatGPT技術(shù)雖然取得了重要進(jìn)展，但仍然面臨諸多挑戰(zhàn),。

　　第一,，雖然采用了人類反饋強(qiáng)化學(xué)習(xí)（RLHF）AI對齊技術(shù)，但是生成的內(nèi)容仍然存在未對齊行為,，如不符合常識,，存在偏見、歧視等內(nèi)容,，信息真實(shí)性有時(shí)存疑（即“一本正經(jīng)地胡說八道”）,，未來在AI對齊技術(shù)上需要進(jìn)一步研究和突破；

　　第二,，以ChatGPT為代表的大模型技術(shù)通常被具有豐富算力和數(shù)據(jù)資源的企業(yè)壟斷,，且不開源，不利于大模型技術(shù)研究和突破,；

　　第三,，目前大模型的算力消耗非常龐大，要實(shí)現(xiàn)大規(guī)模真實(shí)場景應(yīng)用,，模型輕量化技術(shù)需要進(jìn)一步探索,；

　　第四，要提升模型的可解釋性,，要研制相關(guān)技術(shù)使得ChatGPT為代表的大模型技術(shù)可以自我追溯信息源頭,，增強(qiáng)可信性；

　　第五,，ChatGPT背后還存在很多科學(xué)問題未有明確答案,，如大模型突現(xiàn)能力是如何形成的？語境學(xué)習(xí)機(jī)制是什么,？AI對齊為什么使大模型具有指令泛化能力,？這些科學(xué)問題的探索將會(huì)推動(dòng)未來技術(shù)更好地發(fā)展。

　　二,、ChatGPT技術(shù)發(fā)展

　　6. GPT-3之前的大模型技術(shù)路線和架構(gòu)是多種多樣的,，以BERT為代表的Encoder大模型、以GPT為代表的Decoder大模型,、以T5為代表的Encoder-Decoder大模型等,，但是從GPT-3之后,，大模型技術(shù)路線趨于單一化。

　　包括Google的PaLM,、LaMDA,，Meta AI的Galactica、OPT,，Nvidia/Microsoft的Megatron-Turing,，AI21 Labs的Jurassic-1，DeepMind的Gopher,、Chinchilla,，Hugging Face的BLOOM，國內(nèi)華為的Pangu-a,，浪潮的Yuan-1.0等千億級參數(shù)規(guī)模的大模型,，基本上都是采用GPT-3的Decoder架構(gòu)，可能是因?yàn)橛?xùn)練成本太高,，采用其他未驗(yàn)證的架構(gòu),，試錯(cuò)成本高，跟隨GPT-3成功路線進(jìn)行微創(chuàng)新是最好的選擇,。

　　7. GPT-3 2020年3月發(fā)布后,，國內(nèi)外研究機(jī)構(gòu)相繼快速跟進(jìn)，上述提到的大模型基本上都是在2021-2022期間研發(fā)出來,，也就是說從技術(shù)路線上總體滯后GPT-3 1-2年時(shí)間,。

　　8. GPT-3文本生成結(jié)果比之前的模型有大幅度提升，但同時(shí)也存在很多問題,，如各種偏見,、歧視、潛在的濫用等,。

　　鑒于這些問題,，大模型研究開始逐步重視AI對齊研究，即使得大模型輸出結(jié)果與人的意圖,、價(jià)值觀等對齊,。

　　一些瞄準(zhǔn)通用人工智能的企業(yè)，如OpenAI,、DeepMind紛紛成立專門的AI Alignment研究團(tuán)隊(duì)，招兵買馬,，將AI Alignment視為通向AGI之路必須要解決的問題,。

　　來自這兩個(gè)團(tuán)隊(duì)研究人員，甚至成立了一家非盈利研究機(jī)構(gòu)：ARC（對齊研究中心）,。

　　9. 基于大模型的對話agents紛紛在2021-2022期間開始研制,，包括Google的 LaMDA,、DeepMind的Sparrow、Anthropic的Claude等,，這些dialogue agents無一例外都進(jìn)行了AI對齊,。

　　10. RLHF并不是唯一的AI對齊技術(shù)，面向language agents的對齊有很多方法,、很多策略,，需要更多探索。

　　11.模型編輯,、稀疏模型,、半?yún)?shù)檢索模型，這些技術(shù),，在大模型發(fā)展中同樣值得深入研究,。大模型編碼的知識不應(yīng)該是一成不變的，將知識全部編碼到模型鏈接和神經(jīng)元中,，可能也并不是最優(yōu)選擇,。

　　12. 除了AI對齊和大模型賦能ChatGPT之外，OpenAI在長文檔摘要,、自然語言描述轉(zhuǎn)為代碼等方面也做了很多工作,，這些工作同樣增強(qiáng)了ChatGPT相應(yīng)能力。

　　三,、國內(nèi)同類技術(shù)

　　13. 2020年OpenAI發(fā)布1750億參數(shù)的GPT-3之后,，國內(nèi)企業(yè)和科研機(jī)構(gòu)，同Google,、微軟,、DeepMind、Meta AI等一樣,，于2021-2022年間,，研制了類似于GPT-3架構(gòu)的千億級大模型。

　　因此,，在底層技術(shù)上我們不存在任何問題,。

　　14. 但是要實(shí)現(xiàn)中國版的ChatGPT，需要在多個(gè)方面加強(qiáng)研究,，壓實(shí)工作,。

　　首先，在數(shù)據(jù)上,，我們要使用與GPT-3相當(dāng)?shù)臄?shù)據(jù)量和計(jì)算量訓(xùn)練模型,，目前中文缺乏像英文那樣的多個(gè)開源大規(guī)模數(shù)據(jù)集，各家企業(yè)使用的中文數(shù)據(jù)也很少開源,，很多時(shí)候數(shù)據(jù)也未像OpenAI那樣進(jìn)行精細(xì)處理以提升質(zhì)量,；

　　其次,，國內(nèi)在AI對齊研究上需要加強(qiáng)，尤其是在已經(jīng)預(yù)訓(xùn)練的大模型上,，要進(jìn)行對齊,，要繼續(xù)優(yōu)化和精調(diào)大模型；

　　再次,，要充分調(diào)動(dòng)以大模型為代表的新型AI技術(shù)的研發(fā)活力,，鼓勵(lì)已經(jīng)研制的大模型向大眾公開，接受廣大用戶檢測,，同時(shí)也要積極培育專攻某一類核心技術(shù)（如大模型AI對齊技術(shù)）的初創(chuàng)企業(yè),，不求短期市場回報(bào)。

　　四,、ChatGPT背后大模型技術(shù)的爭議

　　15. 大模型的優(yōu)缺點(diǎn)在業(yè)內(nèi)討論非常多,，也非常激烈，大模型存在倫理問題,、環(huán)保問題,、資源壟斷不開源問題等等，這些問題學(xué)術(shù)界和產(chǎn)業(yè)界都在進(jìn)行研究,，尋找技術(shù),、策略、機(jī)制等方面的解決方案,。

　　16. 個(gè)人認(rèn)為,，業(yè)內(nèi)對大模型爭議最激烈的地方在于大模型是否是通向AGI之路、是否具備類人理解力,、是否具有情緒/意識,，這些問題已經(jīng)不單純是在自然語言處理領(lǐng)域、人工智能領(lǐng)域討論了,，一些爭論已經(jīng)在哲學(xué)層面進(jìn)行了,，包括借助思想實(shí)驗(yàn)等。

　　除此之外,，這些問題涉及的AGI,、意識等，對它們的定義,，本身也沒有共識,，存在爭議。

　　17.就大模型是否能像人一樣“理解”用戶輸入的句子以及自身生成的文本這個(gè)問題而言,，從技術(shù)層面看,，大模型本質(zhì)上是根據(jù)單詞共現(xiàn)概率基于已生成的單詞序列預(yù)測下一個(gè)單詞，共現(xiàn)概率或依存關(guān)系是大模型從海量文本數(shù)據(jù)中建模學(xué)習(xí)而來。

　　由于大模型的數(shù)據(jù)都是符號,，模型是無法像人一樣將意義、概念奠基到符號之外的物理世界,，符號系統(tǒng)在語意上是不充分的,。

　　符號系統(tǒng)本身并不能真正理解符號的意義，所有的意義都是被外部觀察者或設(shè)計(jì)者所賦予的,，即使將視覺模態(tài)加入到大模型中,，大模型學(xué)到的也只是符號和視覺元素之間的統(tǒng)計(jì)關(guān)聯(lián)關(guān)系，仍然不能奠基到真實(shí)的物理世界,。

　　也就是說,，大模型無法做到類人理解。這里涉及到人工智能圖靈測試,、中文屋思想實(shí)驗(yàn),、符號奠基問題等，感興趣者可以參考《神經(jīng)機(jī)器翻譯：基礎(chǔ),、原理,、實(shí)踐與進(jìn)階》第19章短評“預(yù)訓(xùn)練技術(shù)爭議與符號奠基問題”。

　　18. 自然語言處理和人工智能領(lǐng)域的研究者在學(xué)術(shù)論文中或者介紹AI模型時(shí),，經(jīng)常使用擬人化的描述,，如“理解”、“學(xué)習(xí)”等,，主要是為了讓讀者或聽眾更容易理解模型或算法的原理,，并不不代表機(jī)器、模型真的像人一樣思考,、學(xué)習(xí),、理解。

　　五,、未來趨勢

　　19. ChatGPT類技術(shù)其背后體現(xiàn)的,，首先是預(yù)示著一種深層次的信息革命。

　　人類發(fā)明計(jì)算機(jī)和互聯(lián)網(wǎng)之后,，獲取,、存儲(chǔ)和使用信息的方式出現(xiàn)了翻天覆地的變化，但最近幾十年基本上沒有大的變動(dòng),，主要以搜索引擎為主,，呈現(xiàn)的信息通常需要用戶進(jìn)行二次處理或再加工才能滿足要求。

　　ChatGPT呈現(xiàn)的信息則通?？梢灾苯訚M足用戶的需求,，或通過交互方式逐步達(dá)到用戶的要求，雖然目前還存在信息可靠性問題,，但相信未來這些問題會(huì)不斷得到改善,。

　　其次是人和機(jī)器關(guān)系會(huì)出現(xiàn)重大轉(zhuǎn)變,。

　　以ChatGPT為代表的一類技術(shù)在精準(zhǔn)捕獲用戶的真實(shí)意圖方面邁出了一大步，一旦機(jī)器可以“理解”人類意圖并完成相應(yīng)任務(wù),，人和機(jī)器的交互就不再需要翻譯成機(jī)器語言,，而是直接使用人類語言作為交互載體。

　　再次是機(jī)器生成內(nèi)容的能力大大增強(qiáng),。

　　一些文字內(nèi)容類工作,，機(jī)器可以輔助人類，人的工作效率會(huì)得到極大提升,，一些“枯燥乏味”的文字工作則可交給機(jī)器完成,，人專注于更高層次的內(nèi)容、思想編輯工作,，或通過人機(jī)交互方式協(xié)同生成更好的內(nèi)容,。

　　20. 基于以上趨勢，未來人類獲取信息的方式,、與機(jī)器交互的方式都會(huì)出現(xiàn)變化,。

　　與人類意圖、價(jià)值觀,、倫理準(zhǔn)則高度對齊的信息智能體會(huì)幫助我們高效獲取信息,、生成信息和發(fā)布信息。

　　以ChatGPT為代表的大模型及其后續(xù)更新技術(shù)會(huì)逐步充當(dāng)各種機(jī)器,、設(shè)備,、機(jī)器人的“大腦”，人機(jī)之間的交互會(huì)更加以人為中心,，而不是以機(jī)器為中心,。

　　相應(yīng)的技術(shù)會(huì)對多個(gè)行業(yè)、領(lǐng)域產(chǎn)生影響,，如教育（規(guī)范使用ChatGPT等類型技術(shù),，避免學(xué)生使用它們做作業(yè)，發(fā)揮新技術(shù)對教育的積極輔助作用,，而不是成為作弊利器）,、醫(yī)療（將大模型技術(shù)應(yīng)用于醫(yī)療問答、藥物研發(fā),、DNA/蛋白質(zhì)建模等）等,，傳統(tǒng)的計(jì)算機(jī)軟件，如搜索引擎,、辦公軟件等,，也會(huì)受到影響和沖擊。

更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<