6月29日消息,，阿里云近日公布了其專門為訓(xùn)練大型語言模型（LLM）的超大數(shù)據(jù)傳輸而創(chuàng)建的以太網(wǎng)網(wǎng)絡(luò)設(shè)計(jì)，并且已在實(shí)際業(yè)務(wù)中使用了 8 個月,。

阿里云之所以選擇以太網(wǎng)是出于避免過度依賴少數(shù)供應(yīng)商和利用“整個以太網(wǎng)聯(lián)盟的力量實(shí)現(xiàn)更快發(fā)展”的愿望,。這一決定似乎也順應(yīng)了越來越多廠商開始支持以太網(wǎng),，逃離英偉達(dá)NVlink在云端AI互聯(lián)上的壟斷。

阿里巴巴的以太網(wǎng)網(wǎng)絡(luò)計(jì)劃是阿里云高級工程師,、網(wǎng)絡(luò)研究研究員翟恩南（Ennan Zhai）的GitHub 頁面上披露的,。翟恩南發(fā)布了一篇論文，該論文將在 8 月份的 SIGCOMM 會議上發(fā)表,，該會議是美國計(jì)算機(jī)協(xié)會數(shù)據(jù)通信特別興趣小組的年度聚會,。

這篇題為《阿里巴巴 HPN：用于大型語言模型訓(xùn)練的數(shù)據(jù)中心網(wǎng)絡(luò)》的論文開篇指出，流量云計(jì)算流量“……會產(chǎn)生數(shù)百萬個小流量（例如低于 10Gbit/秒）”,，而大語言模型訓(xùn)練“會在每個主機(jī)上產(chǎn)生少量周期性,、突發(fā)性的流量（例如 400Gbit/秒）”。

等價多路徑路由是一種常用的通過多條路徑將數(shù)據(jù)包發(fā)送到單個目的地的方法,，但它容易出現(xiàn)哈希極化,，這種現(xiàn)象會導(dǎo)致負(fù)載平衡困難并顯著減少可用帶寬。

阿里云的自制替代方案名為“高性能網(wǎng)絡(luò)”（HPN）,，“通過減少 ECMP 的出現(xiàn)來避免哈希極化,，同時也大大減少了路徑選擇的搜索空間，從而使我們能夠精確選擇能夠容納大流量的網(wǎng)絡(luò)路徑,?！?/p>

HPN 還解決了 GPU 在訓(xùn)練大型語言模型時需要同步工作的事實(shí)，這使得 AI 基礎(chǔ)設(shè)施對單點(diǎn)故障很敏感——尤其是機(jī)架頂部交換機(jī),。

因此,，阿里巴巴的網(wǎng)絡(luò)設(shè)計(jì)使用了一對交換機(jī)——但不是交換機(jī)供應(yīng)商建議的堆疊配置。

堆滿了卡片

論文解釋稱,，阿里云用于大型語言模型訓(xùn)練的每臺主機(jī)都包含 8 個 GPU 和 9 個網(wǎng)絡(luò)接口卡 (NIC)，每個卡都有一對 200GB/秒的端口。其中一個 NIC 負(fù)責(zé)處理“后端網(wǎng)絡(luò)”上的日常流量,。

前端網(wǎng)絡(luò)允許主機(jī)中的每個 GPU 通過以 400-900GB/秒（雙向）運(yùn)行的主機(jī)內(nèi)網(wǎng)絡(luò)直接與其他 GPU 通信,。每個 NIC 服務(wù)于單個 GPU（阿里云稱之為“軌道”），這種安排使每個加速器以“專用的 400Gb/秒 RDMA 網(wǎng)絡(luò)吞吐量運(yùn)行,，總帶寬為 3.2Tb/秒”,。

論文指出：“這樣的設(shè)計(jì)旨在最大限度地利用 GPU 的 PCIe 功能（PCIe Gen5×16），從而將網(wǎng)絡(luò)發(fā)送/接收容量推向極限,?！盢IC 上的每個端口都連接到不同的機(jī)架頂部交換機(jī)，以避免單點(diǎn)故障,。

阿里云表示傾向于使用以太網(wǎng),，這對于 AMD、博通,、思科,、谷歌、HPE,、英特爾,、Meta 和微軟來說無疑是個好消息。所有這些供應(yīng)商最近都加入了Ultra Accelerator Link （UALink）聯(lián)盟,，旨在挑戰(zhàn)英偉達(dá)的 NVlink 網(wǎng)絡(luò)業(yè)務(wù),。

英特爾和 AMD 表示，該聯(lián)盟以及Ultra Ethernet等其他先進(jìn)網(wǎng)絡(luò)項(xiàng)目代表了一種更好的 AI 工作負(fù)載網(wǎng)絡(luò)化方式,，因?yàn)閺拈L遠(yuǎn)來看,，開放標(biāo)準(zhǔn)總是會獲勝，因?yàn)樗鼈兪箘?chuàng)新變得更加容易,。

不過,，盡管阿里云的 NPM 設(shè)計(jì)基于以太網(wǎng)，但它仍然有使用英偉達(dá)的技術(shù),。這家英偉達(dá)的 NVlink 用于主機(jī)內(nèi)網(wǎng)絡(luò)（帶寬比主機(jī)間網(wǎng)絡(luò)更大）,，并且還采用了“軌道優(yōu)化”設(shè)計(jì)方法，即每個網(wǎng)絡(luò)接口卡都連接到不同的機(jī)架頂部交換機(jī)組,。

阿里巴巴的單芯片交換機(jī)統(tǒng)治地位

這篇論文還多次提到阿里云的架頂式交換機(jī)中有一個“51.2Tb/秒以太網(wǎng)單芯片交換機(jī)（于 2023 年初首次發(fā)布）”,。有兩款設(shè)備符合這一描述：博通的Tomahawk ASIC于 2023 年 3 月出貨，思科的G200于同年 6 月上市,。提到“2023 年初”似乎表明阿里云選擇了博通的解決方案,。

無論阿里巴巴交換機(jī)的內(nèi)部情況如何，該論文表明中國云計(jì)算公司偏愛單芯片驅(qū)動的交換機(jī),。

論文指出：“目前已經(jīng)出現(xiàn)了支持更高帶寬容量的多芯片機(jī)箱交換機(jī)”,，并指出“阿里云在運(yùn)營數(shù)據(jù)中心網(wǎng)絡(luò)的長期經(jīng)驗(yàn)表明，多芯片機(jī)箱交換機(jī)比單芯片交換機(jī)帶來更多的穩(wěn)定性風(fēng)險?！?/p>

據(jù)透露,，該公司的單芯片交換機(jī)數(shù)量是多芯片交換機(jī)的 32.6 倍。而這些多芯片交換機(jī)發(fā)生嚴(yán)重硬件故障的概率是單芯片交換機(jī)的 3.77 倍,。

需要 DIY 散熱器

雖然阿里云推崇單芯片交換機(jī),，并且很享受其采用的 51.2Tbit/秒設(shè)備的吞吐量是之前設(shè)備的兩倍，同時功耗僅增加 45% 這一事實(shí),，但新款設(shè)備的運(yùn)行溫度并不比之前的產(chǎn)品低,。

如果芯片溫度超過 105°C，交換機(jī)可能會關(guān)閉,。阿里云找不到能夠提供能夠?qū)⑿酒瑴囟缺３衷?105°C 以下的冷卻系統(tǒng)的交換機(jī)供應(yīng)商,。因此它創(chuàng)建了自己的蒸汽室散熱器。

論文解釋道：“通過優(yōu)化燈芯結(jié)構(gòu)并在芯片中心部署更多的燈芯柱,，熱量可以更有效地傳導(dǎo),。”

數(shù)據(jù)中心設(shè)計(jì)披露

以上所有設(shè)備都內(nèi)置于每個容納 15,000 個 GPU 的“艙室”中,，每個艙室都位于一個數(shù)據(jù)中心建筑內(nèi),。

論文透露：“阿里云所有投入使用的數(shù)據(jù)中心建筑的總功率約束為 18MW，而一棟 18MW 的建筑可容納約 15K 個 GPU”,，并補(bǔ)充道,，“與 HPN 結(jié)合，每棟建筑都可以完美容納整個 Pod,，從而在同一棟建筑內(nèi)形成主要的鏈接,。”

大樓內(nèi)的所有光纖長度均在100米以內(nèi),，從而可以“使用成本較低的多模光纖收發(fā)器（與單模光纖收發(fā)器相比,，成本降低70％）?！?/p>

但事情并非全是美好的：論文承認(rèn)“HPN 引入了額外的設(shè)計(jì)……使得布線變得更加復(fù)雜,。”

“特別是在構(gòu)建 HPN 的初期,，現(xiàn)場工作人員會犯很多接線錯誤,。”這意味著需要進(jìn)行額外的測試,。

論文還指出,，單個以太網(wǎng)芯片的轉(zhuǎn)發(fā)容量每兩年翻一番。因此,，阿里云已經(jīng)在“設(shè)計(jì)配備更高容量單芯片交換機(jī)的下一代網(wǎng)絡(luò)架構(gòu)”,。

“我們在下一代數(shù)據(jù)中心的土地建設(shè)規(guī)劃中,，對單棟建筑的總功率約束進(jìn)行了調(diào)整，以覆蓋更多的GPU,，這樣新數(shù)據(jù)中心交付時,，就可以直接配備102.4Tbit/sec的單片交換機(jī)和下一代HPN,?！?/p>

論文還指出，訓(xùn)練具有數(shù)千億個參數(shù)的 LLM“依賴于大規(guī)模分布式訓(xùn)練集群,，通常配備數(shù)千萬個 GPU”,。

阿里云自己的 Qwen 模型有一個經(jīng)過 1100 億個參數(shù)訓(xùn)練的變體——這意味著它有大量使用 NPM 的 pod，以及數(shù)百萬個生產(chǎn)中的 GPU,。隨著其模型和數(shù)據(jù)中心變得越來越大,、越來越多，它還需要更多,。