簡介：大語言模型

　　近年來，大型語言模型（Large Language Models,，LLM）徹底改變了自然語言處理領(lǐng)域,，使機(jī)器能夠生成類似人類的文本并進(jìn)行有意義的對話。這些模型,，例如OpenAI的GPT,，擁有驚人的語言理解和生成能力。它們可以被用于廣泛的自然語言處理任務(wù),，包括文本生成,、翻譯、自動(dòng)摘要,、情緒分析等。

　　大語言模型通常是基于深度學(xué)習(xí)技術(shù)來構(gòu)建,，特別是廣泛使用了transformer架構(gòu),。Transformer是一類神經(jīng)網(wǎng)絡(luò)模型，擅長捕捉語言序列中的遠(yuǎn)關(guān)聯(lián)關(guān)系,，這使得它們非常適合于語言理解和生成任務(wù),。訓(xùn)練一種大語言模型的方法是將模型暴露給大量文本數(shù)據(jù)中，這些文本數(shù)據(jù)通常來源于書籍,、網(wǎng)站和其它文本資源,。該模型學(xué)會(huì)了預(yù)測句子中的下一個(gè)單詞，或者根據(jù)它所看到的上下文填充缺失的單詞,。通過這個(gè)過程,，它獲得了關(guān)于語法、句法的知識,，甚至是一定程度的世界知識,。

　　與大語言模型相關(guān)的主要挑戰(zhàn)之一是其巨大的計(jì)算和內(nèi)存需求。這些模型由數(shù)十億個(gè)參數(shù)組成,，需要強(qiáng)大的硬件和大量的計(jì)算資源來有效地訓(xùn)練和部署它們,，正如Nishant Thakur在2023年3月于領(lǐng)英發(fā)布的文章《ChatGPT背后令人難以置信的處理能力和成本：構(gòu)建終極AI聊天機(jī)器人需要什么？》中所討論的,。資源有限的組織機(jī)構(gòu)和研究人員在充分利用這些模型的潛力方面經(jīng)常遇到瓶頸,，因?yàn)樵贫诵枰罅康奶幚砟芰蛸Y金。此外，在生成響應(yīng)時(shí),，為創(chuàng)建適當(dāng)?shù)姆?、單詞或單詞子部分，上下文長度會(huì)急劇增長,，對內(nèi)存和計(jì)算資源產(chǎn)生更多的需求,。

　　這些計(jì)算挑戰(zhàn)導(dǎo)致更高的延遲，這使得大語言模型的采用變得更加困難,，并且不是實(shí)時(shí)的,，因此不那么自然。在這篇博客中,，我們將深入研究大語言模型遇到的困難,，并探索潛在的解決方案，這些解決方案可以為其增強(qiáng)的可用性和可靠性鋪平道路,。

　　大語言模型的加速

　　大語言模型的構(gòu)建通常需要一個(gè)大規(guī)模的系統(tǒng)來執(zhí)行該模型,，這個(gè)模型會(huì)持續(xù)變大，在其發(fā)展到一定程度后,，僅靠在CPU上的運(yùn)行就不再具有成本,、功耗或延遲的優(yōu)勢了。使用GPU或FPGA這樣的加速器可顯著提高計(jì)算能效,、大幅降低系統(tǒng)延遲,，并以更小的規(guī)模實(shí)現(xiàn)更高的計(jì)算水平。雖然GPU無疑正在成為硬件加速的標(biāo)準(zhǔn)選擇,，主要是因?yàn)樗哂械目稍L問性和易于編程特性,；實(shí)際上，在低延遲方面,，F(xiàn)PGA架構(gòu)比GPU有更卓越的性能,。

　　由于本質(zhì)上GPU是采用扭曲鎖定（warp-locked）架構(gòu)，跨多個(gè)內(nèi)核并行執(zhí)行超過32個(gè)SIMT線程,，因此它們通常也需要批量處理大量數(shù)據(jù),，以嘗試和偏移warp-locked架構(gòu)并保持流水線被充滿。這等同于更大的延遲和更多系統(tǒng)內(nèi)存的需求,。同時(shí),，F(xiàn)PGA可構(gòu)建自定義數(shù)據(jù)路徑來同時(shí)在多個(gè)數(shù)據(jù)模塊上執(zhí)行多個(gè)不同的指令，這意味著它可以非常有效地運(yùn)行,，一直到批量大小為1,，這是實(shí)時(shí)的，延遲要低得多,，同時(shí)最大限度地減少外部存儲(chǔ)器需求,。因此,，與其他競爭性架構(gòu)相比，F(xiàn)PGA能夠顯著提高其TOPs的利用率——隨著系統(tǒng)規(guī)模擴(kuò)展到ChatGPT系統(tǒng)大小時(shí),，這種性能差距只會(huì)繼續(xù)增加,。

　　當(dāng)系統(tǒng)規(guī)模擴(kuò)展到需要超過8個(gè)處理器件時(shí)（GPT3的訓(xùn)練需要使用10,000個(gè)GPU），用Achronix的FPGA來執(zhí)行大語言模型可在吞吐量和延遲方面勝過GPU,。如果模型可以使用INT8精度,，那么使用GPT-20B作為參考的Achronix FPGA則具有更大的優(yōu)勢，如下表所示,。這些數(shù)據(jù)說明使用FPGA是有優(yōu)勢的,，因?yàn)镚PU需要較長的交付時(shí)間（高端GPU超過一年）、得到的用戶支持可能也很少,，并且比FPGA貴得多（每塊GPU的成本可能超過10,000美元）,。

　　Speedster7t FPGA芯片與GPU的性能比較

　　將大語言模型映射到Achronix的FPGA加速器上

　　Achronix的Speedster7t FPGA具有一個(gè)獨(dú)特的架構(gòu)，使其非常適合這些類型的模型,。首先,，它有一個(gè)硬二維片上網(wǎng)絡(luò)（2D NoC），解決了整個(gè)器件的數(shù)據(jù)傳輸以及輸入輸出,。此外,，它使用了帶有緊耦合RAM的機(jī)器學(xué)習(xí)處理器（MLP），以便在計(jì)算之間實(shí)現(xiàn)高效的結(jié)果重用,。最后,，與GPU類似但與其他FPGA不同，Achronix的Speedster7t FPGA具有八組高效的GDDR6存儲(chǔ)器IP,，可支持更高的帶寬，并且能夠以4 Tbps的速度加載參數(shù),。

　　由于這些系統(tǒng)需要可擴(kuò)展性,，F(xiàn)PGA可以實(shí)現(xiàn)各種標(biāo)準(zhǔn)接口，以將加速卡互連在一起,，并可實(shí)現(xiàn)卡之間無縫地傳輸數(shù)據(jù),。Achronix的Speedster7t AC7t1500器件具有32個(gè)100 Gbps的SerDes通道，不需要諸如NVLink這樣的專有且成本高昂的解決方案,。

　　大語言模型的未來：升級為增強(qiáng)型語言理解方案及領(lǐng)域特定方案

　　由于這些大語言模型需要巨大的規(guī)模才能以最小的延遲影響來執(zhí)行訓(xùn)練和推理,，模型的復(fù)雜性將繼續(xù)增加，這將使得不斷發(fā)展的語言理解,、生成,，甚至預(yù)測能力具有令人難以置信的準(zhǔn)確性。雖然目前許多GPT類模型都是通用的,，很可能接下來會(huì)出現(xiàn)針對某些領(lǐng)域,，如醫(yī)學(xué),、法律、工程或金融等而訓(xùn)練的專用模型,?？傊诤荛L一段時(shí)間內(nèi),，這些系統(tǒng)將協(xié)助人類專家處理由人工智能系統(tǒng)處理的更多平凡的任務(wù),，并為提供解決方案建議或協(xié)助完成創(chuàng)造性的任務(wù)。

　　在即將于9月14-15日在深圳市深圳灣萬麗酒店舉辦的“2023全球AI芯片峰會(huì)”（第10號展位）上,，Achronix將展出其最新的自動(dòng)語音識別（Accelerated Automatic Speech Recognition, ASR）加速方案,。它具有領(lǐng)先的超低延遲、大并發(fā)實(shí)時(shí)處理的特性,，運(yùn)行在VectorPath加速卡上的Speedster7t FPGA中,。作為一種帶有外接主機(jī)API的完整解決方案，其應(yīng)用不需要具備RTL或FPGA知識,。

　　Achronix還將介紹針對高帶寬,、計(jì)算密集型和實(shí)時(shí)處理應(yīng)用的最新的FPGA和eFPGA IP解決方案，包括Speedster?7t系列FPGA芯片,、Speedcore? eFPGA IP和VectorPath?加速卡,。

更多精彩內(nèi)容歡迎點(diǎn)擊==>>電子技術(shù)應(yīng)用-AET<<