財(cái)報(bào)發(fā)布前兩天,，英偉達(dá)突然冒出來(lái)一個(gè)勁敵,。

一家名叫Groq的公司今天在AI圈內(nèi)刷屏，殺招就一個(gè)：快,。

在傳統(tǒng)的生成式AI中，等待是稀松平常的事情,，字符一個(gè)個(gè)蹦出,，半天才能回答完畢。但在Groq今天開放的云服務(wù)體驗(yàn)平臺(tái)上,，你看到的會(huì)是一秒一屏,。當(dāng)模型收到提示后，幾乎能夠立即生成答案,。這些答案不僅真實(shí)可信,，還附有引用，長(zhǎng)度更是達(dá)到數(shù)百個(gè)單詞,。

電子郵件初創(chuàng)企業(yè)Otherside AI的首席執(zhí)行官兼聯(lián)合創(chuàng)始人馬特·舒默（Matt Shumer）在演示中親自體驗(yàn)了Groq的強(qiáng)大功能,。他稱贊Groq快如閃電，能夠在不到一秒鐘的時(shí)間內(nèi)生成數(shù)百個(gè)單詞的事實(shí)性,、引用性答案,。更令人驚訝的是，它超過(guò)3/4的時(shí)間用于搜索信息,，而生成答案的時(shí)間卻短到只有幾分之一秒,。

雖然今天才刷屏,，但Groq公司并非初出茅廬的新創(chuàng)企業(yè)。實(shí)際上,，該公司成立于2016年,，并在那時(shí)就注冊(cè)了Groq商標(biāo)。去年11月,，當(dāng)馬斯克發(fā)布人工智能模型Grok時(shí),，Groq公司的開發(fā)者們就發(fā)了一篇文章說(shuō)馬斯克撞名自己的公司。信寫的挺逗的,，但這波流量他們是一點(diǎn)沒吃到,。

這一次他們之所以能突然爆發(fā)，主要是因?yàn)镚roq云服務(wù)的上線,，讓大家真的能親身感受一下不卡頓的AI用起來(lái)有多爽,。

有從事人工智能開發(fā)的用戶稱贊，Groq是追求低延遲產(chǎn)品的“游戲規(guī)則改變者”,，低延遲指的是從處理請(qǐng)求到獲得響應(yīng)所需的時(shí)間,。另一位用戶則表示，Groq的LPU在未來(lái)有望對(duì)GPU在人工智能應(yīng)用需求方面實(shí)現(xiàn)“革命性提升”,，并認(rèn)為它可能成為英偉達(dá)A100和H100芯片的“高性能硬件”的有力替代品,。

01 Groq芯片能在速度上取勝的核心技術(shù)是LPU

根據(jù)其模型的首次公開基準(zhǔn)測(cè)試結(jié)果，Groq云服務(wù)搭載的Llama2或Mistreal模型在計(jì)算和響應(yīng)速度上遠(yuǎn)超ChatGPT,。這一卓越性能的背后,，是Groq團(tuán)隊(duì)為大語(yǔ)言模型（LLM）量身定制的專用芯片（ASIC），它使得Groq每秒可以生成高達(dá)500個(gè) token,。相比之下,，目前ChatGPT-3.5的公開版本每秒只能生成大約40個(gè)token。

這一芯片能在速度上取勝的核心技術(shù)是Groq首創(chuàng)的LPU技術(shù),。

根據(jù)推特上與Groq關(guān)系密切的投資人k_zeroS分享,，LPU的工作原理與GPU截然不同。它采用了時(shí)序指令集計(jì)算機(jī)（Temporal Instruction Set Computer）架構(gòu),，這意味著它無(wú)需像使用高帶寬存儲(chǔ)器（HBM）的GPU那樣頻繁地從內(nèi)存中加載數(shù)據(jù),。這一特點(diǎn)不僅有助于避免HBM短缺的問(wèn)題，還能有效降低成本,。

不同于Nvidia GPU需要依賴高速數(shù)據(jù)傳輸,，Groq的LPU在其系統(tǒng)中沒有采用高帶寬存儲(chǔ)器（HBM）。它使用的是SRAM,，其速度比GPU所用的存儲(chǔ)器快約20倍,。

鑒于AI的推理計(jì)算相較于模型訓(xùn)練需要的數(shù)據(jù)量遠(yuǎn)小，Groq的LPU因此更節(jié)能,。在執(zhí)行推理任務(wù)時(shí),，它從外部?jī)?nèi)存讀取的數(shù)據(jù)更少,，消耗的電量也低于Nvidia的GPU。

如果在AI處理場(chǎng)景中采用Groq的LPU,，可能就無(wú)需為Nvidia GPU配置特殊的存儲(chǔ)解決方案,。LPU并不像GPU那樣對(duì)存儲(chǔ)速度有極高要求。Groq公司宣稱,，其技術(shù)能夠通過(guò)其強(qiáng)大的芯片和軟件,，在AI任務(wù)中取代GPU的角色。

另一位安卡拉大學(xué)的助教更形象的解釋了一下LPU和GPU的差別,，“想象一下,，你有兩個(gè)工人，一個(gè)來(lái)自Groq（我們稱他們?yōu)椤癓PU”）,，另一個(gè)來(lái)自Nvidia（我們稱之為“GPU”）,。兩人的任務(wù)都是盡快整理一大堆文件。

GPU就像一個(gè)速度很快的工人,，但也需要使用高速傳送系統(tǒng)（這就像高帶寬存儲(chǔ)器或HBM）將所有文件快速傳送到他們的辦公桌上,。這個(gè)系統(tǒng)可能很昂貴，有時(shí)很難得到（因?yàn)镠BM產(chǎn)能有限）,。

另一方面,，Groq的LPU就像一個(gè)高效組織任務(wù)的工人，他們不需要那么快地交付文件,，所以用了一張就放在他們身邊的更小的桌子（這就像SRAM,，一種更快但更小的存儲(chǔ)器），所以他們幾乎可以立即獲得所需的東西,。這意味著他們可以在不依賴快速交付系統(tǒng)的情況下快速工作,。

對(duì)于不需要查看堆中每一篇文件的任務(wù)（類似于不使用那么多數(shù)據(jù)的人工智能任務(wù)）,，LPU甚至更好,。它不需要像往常一樣來(lái)回移動(dòng)，既節(jié)省了能源,，又能快速完成工作,。

LPU組織工作的特殊方式（這是時(shí)態(tài)指令集計(jì)算機(jī)體系結(jié)構(gòu)）意味著它不必一直站起來(lái)從堆里搶更多的論文。這與GPU不同,，GPU不斷需要高速系統(tǒng)提供更多的文件,。”

運(yùn)用LPU這一技術(shù),，Groq生產(chǎn)了加速器單元,，根據(jù)其網(wǎng)站介紹規(guī)格如下：

其特殊內(nèi)存SRAM的容量是230MB，帶寬80TB/s,，在INT8,、FP16下算力為188TFLOPs,。

02 確實(shí)快，但是貴,，目前并不能成為英偉達(dá)的競(jìng)爭(zhēng)對(duì)手

在Groq剛剛刷屏的時(shí)候,，AI行業(yè)都沉浸在它閃電速度的震撼之中。然而震撼過(guò)后,，很多行業(yè)大佬一算賬,，發(fā)現(xiàn)這個(gè)快的代價(jià)可能有點(diǎn)高。

賈揚(yáng)清在推特上算了一筆賬,，因?yàn)镚roq小的可憐的內(nèi)存容量（230MB）,，在運(yùn)行Llama-2 70b模型時(shí)，需要305張Groq卡才足夠,，而用H100則只需要8張卡,。從目前的價(jià)格來(lái)看，這意味著在同等吞吐量下,，Groq的硬件成本是H100的40倍,，能耗成本是10倍。

芯片專家姚金鑫（J叔）向騰訊科技進(jìn)行了更詳細(xì)的解釋：

按照Groq的信息,，這顆AI芯片的規(guī)格如下：

從芯片的規(guī)格中,，可以看到幾個(gè)關(guān)鍵信息點(diǎn)：SRAM的容量是230MB，帶寬80TB/s,，F(xiàn)P16的算力是188TFLOPs,。

按照當(dāng)前對(duì)大模型的推理部署，7B的模型大約需要14G以上的內(nèi)存容量,，那么為了部署一個(gè)7B的模型,，大約需要70片左右的芯片，根據(jù)透露的信息,，一顆芯片對(duì)應(yīng)一張計(jì)算卡,，按照4U服務(wù)器配置8張計(jì)算卡來(lái)計(jì)算，就需要9臺(tái)4U服務(wù)器（幾乎占了一個(gè)標(biāo)準(zhǔn)機(jī)柜了）,，總共72顆計(jì)算芯片,，在這種情況下，算力（在FP16下）也達(dá)到了驚人的188T * 72 = 13.5P,，如果按照INT8來(lái)算就是54P,。54P的算力來(lái)推理7B的大模型，用大炮打蚊子來(lái)形容一點(diǎn)也不為過(guò),。

目前社交媒體廣泛傳播的文章對(duì)標(biāo)的是英偉達(dá)H100,，其采用的是80G的HBM，這個(gè)容量可以部署5個(gè)7B的大模型實(shí)例,；我們?cè)賮?lái)看算力,，稀疏化后,，H100在FP16下的算力將近2P，在INT8上也將近4P,。

那么就可以做個(gè)對(duì)比,，如果從同等算力來(lái)看，如果都是用INT8來(lái)推理,，采用Groq的方案需要9臺(tái)包含72片的服務(wù)器集群,，而如果是H100，達(dá)到同等算力大約需要2臺(tái)8卡服務(wù)器,，此時(shí)的INT8算力已經(jīng)到64P,，可以同時(shí)部署的7B大模型數(shù)量達(dá)到80多個(gè)。

原文中提到,，Groq對(duì)Llama2-7B的Token生成速度是750 Tokens/s,，如果對(duì)標(biāo)的是H100服務(wù)器，那這2臺(tái)總共16顆的H100芯片,，并發(fā)吞吐就高到不知道哪里去了,。如果從成本的角度，9臺(tái)的Groq服務(wù)器,，也是遠(yuǎn)遠(yuǎn)貴過(guò)2臺(tái)H100的服務(wù)器（即使此刻價(jià)格已經(jīng)高到離譜）,。

● Groq：2萬(wàn)美金*72=144萬(wàn)美金，服務(wù)器2萬(wàn)美金*9=18萬(wàn)美金,，純的BOM成本160萬(wàn)美金以上（全部都是按照最低方式來(lái)計(jì)算）,。

● H100：30萬(wàn)美金*2 = 60萬(wàn)美金（國(guó)外），300萬(wàn)人民幣*2=600萬(wàn)人民幣（國(guó)內(nèi)實(shí)際市場(chǎng)價(jià)）

如果是70B的模型,，同樣是INT8,，要用到至少600張卡，將近80臺(tái)服務(wù)器,，成本會(huì)更高,。

這還沒有算機(jī)架相關(guān)費(fèi)用，和消耗的電費(fèi)（9臺(tái)4U服務(wù)器幾乎占用整個(gè)標(biāo)準(zhǔn)機(jī)柜）,。

實(shí)際上,，部署推理性價(jià)比最高的,，恰恰是4090這種神卡,。

Groq是否真的超越了英偉達(dá)？對(duì)此,，姚金鑫（J叔）也表達(dá)了自己不同的看法：

“英偉達(dá)在本次AI浪潮中的絕對(duì)領(lǐng)先地位,，使得全球都翹首以盼挑戰(zhàn)者。每次吸引眼球的文章,，總會(huì)在最初被人相信,，除了這個(gè)原因之外,，還是因?yàn)樵谧鰧?duì)比時(shí)的“套路”，故意忽略其他因素,，用單一維度來(lái)做比較,。這就好比那句名言“拋開事實(shí)不談，難道你就沒有一點(diǎn)錯(cuò)的地方嗎,？”

拋開場(chǎng)景來(lái)談對(duì)比,，其實(shí)是不合適的。對(duì)于Groq這種架構(gòu)來(lái)講,，也有其盡顯長(zhǎng)處的應(yīng)用場(chǎng)景,，畢竟這么高的帶寬，對(duì)許多需要頻繁數(shù)據(jù)搬運(yùn)的場(chǎng)景來(lái)說(shuō),，那就是再好不過(guò)了,。

總結(jié)起來(lái)，Groq的架構(gòu)建立在小內(nèi)存,，大算力上,，因此有限的被處理的內(nèi)容對(duì)應(yīng)著極高的算力，導(dǎo)致其速度非?？?。

現(xiàn)在把句話反過(guò)來(lái)，Groq極高的速度是建立在很有限的單卡吞吐能力上的,。要保證和 H100同樣吞吐量,，你就需要更多的卡。

速度,，在這里成了Groq的雙刃劍,。”

03 傳奇CEO,，小團(tuán)隊(duì)

雖然Groq還面對(duì)著很多潛在的問(wèn)題,，但它還是讓人看到了GPU之外的可能路徑。這主要得益于其背后的超強(qiáng)團(tuán)隊(duì),。

Groq的CEO是被稱為“TPU之父”的前谷歌員工喬納森·羅斯,；聯(lián)合創(chuàng)始人道格拉斯·懷特曼也來(lái)自谷歌TPU團(tuán)隊(duì)，并先后創(chuàng)立了四家公司,。該公司首席技術(shù)官吉姆·米勒曾是亞馬遜云計(jì)算服務(wù)AWS設(shè)計(jì)算力硬件的負(fù)責(zé)人,，CMO曾主導(dǎo)了蘋果Macintosh的市場(chǎng)發(fā)布。

Groq目前的團(tuán)隊(duì)也相對(duì)較小,，其總部位于加州山景城,，該公司僅有180余名員工，甚至還不到英特爾等大型芯片制造商所需工程師數(shù)量的四分之一。

羅斯等人的目標(biāo)是在Groq復(fù)制他在谷歌的成功經(jīng)驗(yàn),，打造一個(gè)內(nèi)部芯片項(xiàng)目,，引領(lǐng)整個(gè)行業(yè)向新技術(shù)邁進(jìn)。他希望吸引少數(shù)關(guān)鍵客戶,，通過(guò)廣泛部署Groq芯片為公司提供穩(wěn)定的收入來(lái)源,，推動(dòng)公司的獨(dú)立發(fā)展。目前,，這家初創(chuàng)公司已開始向潛在客戶發(fā)送樣品,。

“這就像獵殺大象，”羅斯說(shuō)道,，“你只需要少數(shù)獵物就能維持自己的生命,，尤其在我們還如此弱小的時(shí)候?！?/p>