6月26日消息,,據(jù)媒體報(bào)道,,美國(guó)新興的芯片創(chuàng)業(yè)公司Etched發(fā)布其首款AI芯片——Sohu。
這款芯片在運(yùn)行大型模型時(shí)展現(xiàn)出了驚人的性能,其速度超越了行業(yè)巨頭英偉達(dá)的H100高達(dá)20倍,,即便是與今年3月才面世的頂尖芯片B200相比,Sohu也展現(xiàn)出超過(guò)10倍的優(yōu)越性能,。
Sohu芯片的最大突破在于它直接將Transformer架構(gòu)嵌入芯片內(nèi)部,。據(jù)Etched公司負(fù)責(zé)人Uberti透露,Sohu采用了臺(tái)積電的先進(jìn)4納米工藝制造,,不僅在推理性能上遠(yuǎn)超GPU和其他通用人工智能芯片,,更在能耗控制上達(dá)到了新的高度。
對(duì)于Transformer技術(shù)而言,,Sohu無(wú)疑是目前市場(chǎng)上最快的芯片,,其性能與其他產(chǎn)品之間存在顯著的量級(jí)差異。值得一提的是,,當(dāng)前主流的AI產(chǎn)品如ChatGPT,、Claude、Gemini和Sora等,,均基于Transformer架構(gòu)驅(qū)動(dòng),。
作為世界上首款Transformer ASIC(應(yīng)用型專用集成電路)芯片,Sohu的集成應(yīng)用更是令人矚目,。據(jù)測(cè)試,,一臺(tái)配備8塊Sohu芯片的服務(wù)器,其性能足以媲美160塊H100 GPU的集群,。
具體而言,,集成8塊Sohu芯片的服務(wù)器每秒能夠處理高達(dá)50萬(wàn)的Llama 7B tokens,這一數(shù)據(jù)在業(yè)界堪稱前所未有,。
而打造這款杰出芯片的Etched公司,,位于美國(guó)加州的庫(kù)比蒂諾,盡管成立僅兩年,,團(tuán)隊(duì)規(guī)模也僅有35人,,但其創(chuàng)始人——哈佛輟學(xué)生Gavin Uberti(前OctoML和前Xnor.ai員工)和Chris Zhu,與資深技術(shù)專家Robert Wachen和前賽普拉斯半導(dǎo)體公司首席技術(shù)官M(fèi)ark Ross共同領(lǐng)導(dǎo),,已經(jīng)成功研發(fā)出這款專為大模型AI設(shè)計(jì)的芯片,,展現(xiàn)了其強(qiáng)大的技術(shù)實(shí)力和無(wú)限潛力。