有越來越多的互聯(lián)網(wǎng)和IT設備大廠開始自研AI服務器芯片,,最近,,這一風潮吹到了蘋果公司,,據(jù)悉,,該智能設備龍頭正在開發(fā)用于AI服務器的定制芯片,。
與微軟和谷歌等競爭對手相比,,蘋果在推出生成式AI方面進展較慢,,不過,蘋果公司CEO庫克稱,,AI已經(jīng)在蘋果產(chǎn)品的幕后發(fā)揮作用,,此前有媒體報道,蘋果計劃使用AI來提高搜索存儲在蘋果設備上的數(shù)據(jù)的能力,。
今年2月,,庫克在年度股東大會上表示,使用蘋果AI技術的功能包括Vision Pro的手部跟蹤工具和Apple Watch的心率警報,。他還表示,,MacBook中的芯片能夠運行AI。
庫克表示,,今年晚些時候,,將與大家分享如何在生成式AI領域開辟新天地,。蘋果公司通常在6月份的年度開發(fā)者大會上宣布新的軟件產(chǎn)品和功能。
知名分析師郭明錤在2023年10月發(fā)布的一份報告顯示,,預計蘋果在2023和2024年分別采購2000–3000臺,、1.8萬–2萬臺AI服務器,分別占同期全球AI服務器出貨量的1.3%和5%,。估算蘋果在2023和2024年需要分別支出約6.2億和47.5億美元,,用于AI服務器采購。
基于蘋果產(chǎn)品的功能需求,,以及龐大的AI服務器資本支出,,再結合該公司自研芯片的歷史,相信其自研AI服務器芯片是早晚的事,,特別是蘋果放棄造車,,將資金和資源重點投入到AI技術和產(chǎn)品研發(fā)上,自研AI服務器芯片就更加順理成章了,。
01 AI服務器芯片的重要性
據(jù)統(tǒng)計,,2024年,全球服務器出貨量約1365.4萬臺,,其中,,各家ODM的出貨以AI服務器最為強勁。分析師指出,,2024年,,AI服務器出貨年增長率和占比都將達到兩位數(shù),這主要得益于生成式AI市場的增長,。
預計生成式AI市場規(guī)模將從2022年的400億美元增長到2032年的1.3萬億美元,,年復合增長率高達41.7%。由于全球生成式AI市場商機與增長潛力巨大,,對訓練AI系統(tǒng)的軟硬件需求量很大,,使得市場對AI 服務器及相關芯片的需求不斷增長。
AI大模型迭代速度越來越快,,廠商對智能算力的投入大幅增加,,支持存儲和訓練的高端AI服務器的需求激增,2023和2024年,,大模型訓練所需數(shù)據(jù)量激增,,AI大模型廠商需要的是能夠支持存儲和訓練的高端AI服務器,因此,,各服務器廠商都在升級芯片規(guī)格,、擴大卡組數(shù)量。
與傳統(tǒng)服務器相比,,AI服務器在多個方面有所不同,。硬件方面,,AI服務器采用異構形式,內(nèi)存容量更大,,可滿足不同場景需求,;卡的數(shù)量方面,由于AI服務器需要大量計算,,至少配置4個GPU卡,,有的需要8個;系統(tǒng)結構方面,,AI服務器在散熱,、拓撲等方面進行了專門設計,以實現(xiàn)穩(wěn)定運行,。
02 自研AI服務器芯片熱潮
根據(jù)應用場景不同,,AI服務器可分為深度學習訓練型和智能應用推理型;根據(jù)計算模塊結構不同,,AI服務器可分為CPU+GPU,、CPU+ASIC、CPU+FPGA等,,其中,,最常見的是CPU+多塊GPU組合模式。
雖然AI服務器計算系統(tǒng)主要由CPU和GPU組成,,但就目前而言,GPU占據(jù)了較大市場份額,,CPU份額相對較小,。在這種情況下,GPU廠商的行業(yè)地位就很凸出了,。然而,,雖然市場很大,但能夠提供高性能GPU的廠商卻很少,,目前,,能夠形成一定市場規(guī)模的廠商只有3家:英偉達,AMD和英特爾,。
基于這種市場供求關系,,對AI服務器具有很大需求量的互聯(lián)網(wǎng)和IT設備大廠紛紛開始自研相關芯片,如亞馬遜AWS,,谷歌,,Meta,微軟和蘋果,。
亞馬遜AWS自研芯片始于2015年,,當時收購了Annapurna Labs,,2018年,AWS推出了基于Arm架構的Graviton處理器,,這是其首款自研服務器芯片,。2020年,AWS發(fā)布了Graviton2,。2023年12月,,AWS推出了Graviton4和Trainium2,Graviton4的性能比Graviton2提升了30%,,Trainium2在AI訓練速度上提升了4倍,。
2016年,谷歌推出了自研的AI張量處理單元(TPU),,這些專為機器學習設計的芯片為谷歌云平臺上提供了AI加速能力,,2022年前后,谷歌開始研發(fā)基于Arm架構的服務器CPU,,2024年4月,,谷歌發(fā)布了首款自研Arm構架CPU——Axion,并宣布該芯片已經(jīng)在內(nèi)部使用,。
2020年,,微軟開始為其Azure云服務定制芯片,2023年11月,,微軟推出了兩款自研芯片——Maia100和Cobalt100,。Maia100是一款專為大語言模型訓練和推理而設計的芯片,采用臺積電5nm制程,,Cobalt100是一款基于Arm架構的128核服務器CPU,。
今年4月初,Meta發(fā)布了新一代AI訓練和推理加速器MTIA,,其計算和內(nèi)存帶寬是上一代產(chǎn)品的兩倍多,,最新版本芯片有助于驅(qū)動Facebook和Instagram上的排名和推薦廣告模型。
03 自研AI芯片的好處
互聯(lián)網(wǎng)和IT設備大廠自研AI芯片的核心動機是降低成本,。當然,,自研芯片的前提是自身有很大的需求量,否則自研沒有意義,。這些大廠的巨量規(guī)模能夠分攤芯片研發(fā)成本,,隨著產(chǎn)量的增加,單位芯片的成本會降低,。通過自研,,這些大廠可以直接控制芯片的設計和生產(chǎn)成本,從而減少對外部供應商的依賴。這種成本控制能力使它們能夠更有效地管理運營支出,,提高整體利潤率,。自研芯片還可以優(yōu)化供應鏈管理,減少中間環(huán)節(jié),,從而降低采購成本和物流成本,。此外,自研芯片可以根據(jù)云服務的具體需求進行定制,,避免不必要的功能和性能過剩,,進一步降低生產(chǎn)成本。
通過自研芯片,,這些大廠能夠掌握更多的議價權和定價權,,避免成為英特爾、英偉達等傳統(tǒng)芯片商的“打工仔”,。這不僅有助于提升利潤空間,,還能夠在價格競爭中保持靈活性,根據(jù)市場情況調(diào)整定價策略,。
自研芯片還可以幫助這些大廠完善軟硬件生態(tài)系統(tǒng),,它們能夠根據(jù)自家的業(yè)務需求和特點定制芯片,從而實現(xiàn)硬件與軟件之間的無縫對接和優(yōu)化,。自研芯片還可以保持技術創(chuàng)新,,隨著云計算、大數(shù)據(jù),、人工智能的快速發(fā)展,,數(shù)據(jù)中心面臨的工作負載越來越多樣化,自研芯片使這些大廠能夠快速響應市場變化,,及時推出符合新需求的產(chǎn)品和服務,。
04 自研AI服務器芯片的難度有多大?
AI服務器芯片屬于超大規(guī)模集成電路,,除了需要大量資金投入,,其設計和制造的難度都很大,,需要能夠精準把握技術路線選擇,,另外,在團隊建設,,以及與晶圓代工廠合作方面,,需要具備業(yè)界頂級水平,才能把芯片做好,。
AI服務器需要訓練和推理兩類處理器和系統(tǒng),,如何規(guī)劃技術發(fā)展路線是關鍵,也就是說,是發(fā)展訓練,,還是推理,,或是兼而有之,是不同的技術路線,,這要考慮到市場現(xiàn)狀及未來的發(fā)展情況,。
訓練芯片主要用于AI算法訓練,即在云端將一系列經(jīng)過標記的數(shù)據(jù)輸入算法模型進行計算,,不斷調(diào)整,、優(yōu)化算法參數(shù),直至算法識別準確率達到較高水平,。推理芯片主要用于AI算法推理,,將在云端訓練好的算法模型進行裁剪、優(yōu)化變“輕”之后,,進入應用階段,,輸入數(shù)據(jù)直接得出識別結果。
不同用途(訓練和推理),、不同應用場景(端-邊-云)對AI芯片有著不同的要求,。訓練芯片追求的是高性能(高吞吐率)、低功耗,,推理芯片追求的是低延時(完成推理過程所需要的時間盡可能短),、低功耗?!岸?邊-云”這3個環(huán)節(jié)對AI芯片的要求也不同,,在端和邊上進行的大部分是AI推理,大部分的訓練是在云和數(shù)據(jù)中心進行的,,訓練過程對時延沒有什么要求,,需要保證AI芯片在盡可能保證較高算力的情況下,功耗盡量低,。
目前,,英偉達GPU主導的AI訓練市場最為火熱,然而,,隨著AI應用的深入展開,,巨大的推理芯片市場會逐漸展現(xiàn)出來,該市場比我們目前看到的要大得多,,沒有任何一家廠商的芯片能夠滿足這個市場需求,。這就是前文提到的亞馬遜、谷歌,、微軟,,甚至英偉達自研CPU的原因所在。
有統(tǒng)計顯示,AI芯片市場包括約15%的訓練,,45%的數(shù)據(jù)中心推理和40%的邊緣推理,。在這樣的行業(yè)背景下,大廠自研芯片,,必須找準方向,,權衡好中短期和中長期應用需求,分配好訓練芯片和推理芯片的研發(fā)投入,。
芯片研發(fā)團隊建設也很重要,。
技術團隊搭建,是一個長期積累的過程,,需要時間,,難度不小,因此,,多家互聯(lián)網(wǎng)大廠對芯片設計外包服務的依賴度較高,,這恐怕只能解決短期、少量需求問題,,長期來看,,還需要技術積累和芯片團隊建設。
下面看一下自研芯片大廠與晶圓代工廠的合作關系,。
AI服務器芯片采用的都是最先進制程工藝,,這方面,考慮到三星電子的先進制程(4nm和3nm)良率遲遲提升不上去,,臺積電幾乎是唯一的晶圓代工廠選擇,。
根據(jù)專門研究半導體公司的金融分析師Dan Nystedt的估計,2023年,,蘋果公司占臺積電收入的25%(175.2億美元),。
2023年,臺積電的前10名客戶占其收入的91%,,高于2022年的82%,,這些公司包括聯(lián)發(fā)科、AMD,、高通,、博通、索尼和Marvell,??梢钥闯?,沒有一家互聯(lián)網(wǎng)大廠,,除了蘋果,都是IC設計大廠。
多年來,,蘋果一直是臺積電的頭號客戶,,而且,在未來多年內(nèi)將一直是臺積電的第一大客戶,。據(jù)悉,,蘋果自研的AI服務器芯片將采用臺積電的3nm制程工藝,將在2025下半年生產(chǎn),,那時,,臺積電的3nm制程將升級到“N3E”版本。
對于互聯(lián)網(wǎng)和IT設備大廠來說,,自研的AI服務器芯片,,必須找到足夠好的晶圓代工廠生產(chǎn),要想保持長期,、穩(wěn)定發(fā)展,,就必須對晶圓代工廠的制程工藝有足夠的了解。這方面,,與谷歌,、亞馬遜和微軟相比,蘋果具有先天優(yōu)勢,,因為該智能設備巨頭是臺積電多年的第一大客戶,,雙方有深入了解,能夠更好地把握好芯片生產(chǎn)規(guī)模,、良率,、成本,可以實現(xiàn)無縫過渡,。
05 芯片設計服務商機無限
如前文所述,,互聯(lián)網(wǎng)大廠自研AI服務器芯片,由于研發(fā)難度很大,,這些大廠短時間內(nèi)又難以形成有足夠技術和經(jīng)驗積累的團隊,,因此,選擇外包,,找芯片設計服務合作伙伴就成為了不二選擇,。
例如,谷歌開發(fā)的兩種Arm服務器CPU,,其中一款代號為“Maple”,,是基于Marvell的技術。
另外,,谷歌自研的TPU用于取代英偉達的GPU,,谷歌設計的芯片藍圖,,都由博通進行物理實現(xiàn)。物理實現(xiàn)是將邏輯電路轉(zhuǎn)換為有物理連接的電路圖的過程,,博通繪制好物理版圖后,,再送到臺積電流片,流片成功后的芯片正式進入制造環(huán)節(jié),,整個過程都需要博通深度參與,。
數(shù)據(jù)中心中成百上千個高性能處理器共同運作,它們之間的通信就成為了大問題,,這也是當下數(shù)據(jù)中心性能損耗的主要來源,。
博通是通信巨頭,最善于解決通信帶寬問題,,在全球50GB/s的SerDes市場中,,博通占據(jù)了76%的份額,其SerDes接口通過將低速并行數(shù)據(jù)轉(zhuǎn)換為高速串行數(shù)據(jù),,然后在接收端轉(zhuǎn)換回并行數(shù)據(jù),。通過這樣的操作,數(shù)據(jù)可以從一個TPU高速轉(zhuǎn)移到另一個TPU,,大大提升了傳輸效率,。
有了博通的幫助,谷歌自研芯片的項目進展速度明顯加快了,,TPU從設計開始,,僅用15個月就部署進了數(shù)據(jù)中心。
隨著大模型市場競爭快速展開,,谷歌大幅增加了TPU設計服務訂單,,使博通一躍成為僅次于英偉達的AI芯片廠商,Semianalysis預估,,AI芯片會在2024年給博通帶來80億~90億美金的營收,。
不止谷歌,Meta,、亞馬遜,、微軟等大廠都在加大自研AI服務器芯片的投入力度,找芯片設計服務外包合作伙伴的需求只增不減,,此時,,以博通、Marvell為代表的芯片設計服務公司的商機會越來越多,。