5G時(shí)代來臨,,數(shù)據(jù)傳輸速率和可靠性大幅提升,,催生了更多數(shù)據(jù)密集型應(yīng)用。如流媒體,、監(jiān)視和監(jiān)控?cái)?shù)據(jù),、聯(lián)網(wǎng)傳感器,、社交媒體、在線協(xié)作,、遠(yuǎn)程學(xué)習(xí),、增強(qiáng)和虛擬現(xiàn)實(shí)、網(wǎng)絡(luò)游戲等無窮無盡的在線應(yīng)用不斷涌現(xiàn),,使得在線數(shù)據(jù)量激增,。預(yù)計(jì)在未來10年中,數(shù)據(jù)流量的年增長(zhǎng)率將超過400倍(圖 1),。
圖 1:2030 年之前的總體數(shù)據(jù)流量預(yù)測(cè),。
來源:《人工智能對(duì)于電子和半導(dǎo)體行業(yè)的影響》,IBS,,2020 年 4 月,。
這種數(shù)據(jù)流量的快速增長(zhǎng),將對(duì)數(shù)據(jù)接口IP提出更高要求,,需要其在速度和延遲方面,,尤其是云基礎(chǔ)架構(gòu)中都有顯著改善。本文將解釋在數(shù)據(jù)中心內(nèi),、數(shù)據(jù)中心之間,、服務(wù)器內(nèi)以及 SoC 內(nèi)等,如何加速數(shù)據(jù)傳輸和管理,。
數(shù)據(jù)中心內(nèi),、數(shù)據(jù)中心之間如何實(shí)現(xiàn)高效數(shù)據(jù)傳輸?
目前,,大多數(shù)大型數(shù)據(jù)中心都使用100Gbps以太網(wǎng)基礎(chǔ)架構(gòu),,并采用數(shù)據(jù)跨越長(zhǎng)距離(例如,在機(jī)架和數(shù)據(jù)中心之間)進(jìn)行傳輸,。長(zhǎng)距離傳輸架構(gòu)通常需要使用4個(gè) 25 Gbps 或 28 Gbps NRZ SerDes 連接通道,。
然而,數(shù)據(jù)量正在不斷增長(zhǎng),,亟需速度更快的基礎(chǔ)架構(gòu),。目前正在部署的超大規(guī)模數(shù)據(jù)中心中,使用支持PAM-4編碼的56Gbps和112Gbps SerDes IP,,可實(shí)現(xiàn)400Gbps的以太網(wǎng)連接,,且,這一傳輸在未來會(huì)將高達(dá)800Gbps(圖2),。
圖 2:超大規(guī)模數(shù)據(jù)中心基礎(chǔ)架構(gòu)逐漸轉(zhuǎn)向采用 400+GbE
當(dāng)前,,主要的以太網(wǎng)交換機(jī)供應(yīng)商已經(jīng)著手開發(fā)基于 112G SerDes IP 的 800Gbps 交換機(jī),并計(jì)劃在未來幾年內(nèi)推出 1.6Tbps 以太網(wǎng)(使用更快的新一代 SerDes),,以滿足數(shù)據(jù)量不斷增長(zhǎng)帶來的需求,。
機(jī)架內(nèi)服務(wù)器之間的數(shù)據(jù)通信,,則由頂層 (ToR) 交換機(jī)和網(wǎng)絡(luò)接口卡 (NIC) 管理。過去幾年,,云數(shù)據(jù)中心在該級(jí)別最常用的接口速度為25Gbps,。但隨著基礎(chǔ)架構(gòu)速度提高到400Gbps,機(jī)架內(nèi)的以太網(wǎng)速度也提高到了 100Gbps,。
隨著數(shù)據(jù)速率的提高,,接口功耗(通常以“皮焦耳/位”為測(cè)量單位)和面積變得越來越重要。物理接口 (PHY) IP 具有明顯的優(yōu)勢(shì),,可最大限度地減少能耗,,同時(shí)在所需距離內(nèi)可靠地提供數(shù)據(jù),從而最大限度地降低基礎(chǔ)架構(gòu)的功耗和散熱成本,。節(jié)省空間的硅 PHY 解決方案可最大限度地降低 SoC 成本,,從而為 SoC 供應(yīng)商提高盈利能力。
服務(wù)器內(nèi)部如何實(shí)現(xiàn)高效傳輸,?
當(dāng)所有數(shù)據(jù)到達(dá)服務(wù)器后,,就需要利用高速接口,在服務(wù)器內(nèi)部的設(shè)備之間高效傳遞這些數(shù)據(jù),。例如,,當(dāng)數(shù)據(jù)以100Gbps 的速度到達(dá) NIC 時(shí),必須將其快速移動(dòng)到存儲(chǔ)器,、系統(tǒng)內(nèi)存,,也可能移動(dòng)到圖形或AI加速器中進(jìn)行處理。PCI Express (PCIe),、Computer Express Link (CXL) 和類似協(xié)議在這一方面具有優(yōu)勢(shì),。
為了應(yīng)對(duì)流量的快速增長(zhǎng),PCI-SIG 于 2019 年發(fā)布了 PCIe 5.0,,帶寬較上一代產(chǎn)品翻倍,,并力爭(zhēng)在2021年發(fā)布PCIe 6.0,再次使 PCIe 數(shù)據(jù)速率翻倍,,達(dá)到 64 GT/s(每個(gè) x16 卡的速率高達(dá) 128GB/s)(圖 3),。
圖 3:PCI Express 每個(gè)通道的帶寬升級(jí)過程。來源:PCWorld
近來,,計(jì)算系統(tǒng)生成和處理的數(shù)據(jù)量(尤其是非結(jié)構(gòu)化數(shù)據(jù))呈現(xiàn)出了持續(xù)增長(zhǎng)趨勢(shì),,促進(jìn)了新架構(gòu)的誕生,新架構(gòu)通常采用加速器來加快數(shù)據(jù)處理,。將數(shù)據(jù)從一個(gè)處理器域復(fù)制到另一個(gè)處理器域是一個(gè)資源密集型過程,,這會(huì)顯著增加數(shù)據(jù)處理的延遲。緩存相干解決方案可以讓處理器和加速器共享內(nèi)存,而無需將數(shù)據(jù)從一個(gè)內(nèi)存空間復(fù)制到另一個(gè)內(nèi)存空間,,從而節(jié)省了復(fù)制數(shù)據(jù)所需的內(nèi)存資源和時(shí)間,。
CXL是一種緩存相干協(xié)議,它可以利用 PCIe 的數(shù)據(jù)速率和 PCIe 物理層,,使 CPU 和加速器能夠訪問彼此的內(nèi)存。在多個(gè)設(shè)備都需要訪問同一個(gè)數(shù)據(jù)集時(shí),,集成 CXL 協(xié)議可有效減少必須具有非相干協(xié)議的數(shù)據(jù)副本數(shù),,從而減少系統(tǒng)內(nèi)所需的傳輸次數(shù)。減少數(shù)據(jù)副本數(shù)可有助于降低系統(tǒng)中大量已預(yù)留的內(nèi)存和 IO 接口的負(fù)載,。
與其他外設(shè)互連相比,,用于高性能計(jì)算工作負(fù)載的 CXL 可顯著降低延遲。由于 cxl.cache 和 cxl.mem 事務(wù)的延遲僅為 50-80 納秒,,因而在 PCIe 延遲中,,CXL 延遲僅占一小部分。此外,,CXL 通過使用資源共享提高性能并降低復(fù)雜性,,這也降低了總體系統(tǒng)成本。
SoC 內(nèi)USR/XSR 如何實(shí)現(xiàn)傳遞,?
在符合設(shè)計(jì)和制造要求的前提下,,許多現(xiàn)代服務(wù)器 SoC 利用在單個(gè) package 內(nèi)放置多個(gè) Die來提供所需的性能。因此,,需要高速 die-to-die (D2D) 通信以在芯片內(nèi)的 Die 之間傳遞大型數(shù)據(jù)集,。超短距離/極短距離 (USR/XSR) SerDes 可實(shí)現(xiàn)這一傳遞,當(dāng)前設(shè)計(jì)使用 112Gbps SerDes,,在未來幾年內(nèi)還可能會(huì)達(dá)到更高的速度,。
使用 D2D 接口技術(shù)的多芯片模塊可處理多種用例。在此基礎(chǔ)上,,所有 D2D 用例都縮短了開發(fā)時(shí)間,,并降低了開發(fā)和制造成本。有些情況使用多個(gè)異構(gòu) Die(即“小芯片”),,它們利用可重復(fù)使用的功能組件,,每個(gè)組件都使用最適合其特定功能的制造技術(shù)構(gòu)建。其他情況下,,則通過創(chuàng)建大型高性能 SoC 著重提高靈活性,,此類 SoC 使用更小的同質(zhì)構(gòu)建模塊來提高良率和可擴(kuò)展性。
圖 4:舉例展示 Die 間互連用例
總結(jié)
云數(shù)據(jù)的快速增長(zhǎng)推動(dòng)了對(duì)于更快,、更高效接口的需求,,從而將云基礎(chǔ)架構(gòu)內(nèi)的數(shù)據(jù)從網(wǎng)絡(luò)和系統(tǒng)向下傳輸?shù)叫酒?jí)數(shù)據(jù)通信中。新推出和正在開發(fā)的接口技術(shù)(包括 400Gbps 和更快的以太網(wǎng)、PCIe 6.0 和 CXL 外設(shè)互連技術(shù),,以及用于 Die 間通信的新型高速 SerDes)可實(shí)現(xiàn)必要的基礎(chǔ)架構(gòu)改善,,以支持不斷提高的云數(shù)據(jù)需求。
新思科技的 DesignWare? 高速 SerDes 和以太網(wǎng) IP 支持實(shí)現(xiàn)新一代數(shù)據(jù)中心網(wǎng)絡(luò)解決方案,。DesignWare PCIe IP 是一種穩(wěn)定成熟的技術(shù),,在 90% 的領(lǐng)先半導(dǎo)體公司已得到應(yīng)用,為實(shí)現(xiàn) DesignWare CXL IP 奠定了基礎(chǔ),。
DesignWare 112G USR/XSR SerDes IP 為多 Die SoC 提供低成本,、節(jié)能的 die-to-die 接口。新思科技提供經(jīng)過硅驗(yàn)證且品類齊全的 DesignWare 接口 IP 產(chǎn)品組合,,同時(shí)提供開發(fā)高速,、低功耗、高度可靠的 SoC 所需的設(shè)計(jì)和驗(yàn)證工具,,以支持當(dāng)今和未來云基礎(chǔ)架構(gòu)不斷提高的數(shù)據(jù)移動(dòng)需求,。