摘要

    已經(jīng)大規(guī)模普遍使用的互聯(lián)網(wǎng)增加云服務(wù)（例如：蘋(píng)果iCloud）以后，數(shù)據(jù)中心的純計(jì)算與存儲(chǔ)要求正經(jīng)歷史無(wú)前例的增長(zhǎng),。這種增長(zhǎng)直接影響到了能耗,。隨著它的不斷增長(zhǎng)，工程師們也正在尋找控制功耗的解決方案,。由于聯(lián)網(wǎng)系統(tǒng)所使用的連接器傳輸速度超出了每秒10Gb(Gbps)，因此，本文中我們將專(zhuān)門(mén)研究連接器功率預(yù)算,，以及降低這些高速通道功耗的解決方案。

引言

    今天,，毫無(wú)疑問(wèn)互聯(lián)網(wǎng)數(shù)據(jù)傳輸正迅速增長(zhǎng),。思科公司的最新（2011年6月）視覺(jué)網(wǎng)絡(luò)指數(shù)(VNI) 預(yù)測(cè)報(bào)告清楚地顯示了這一趨勢(shì)，其預(yù)測(cè)興趣點(diǎn)為移動(dòng)空間的增長(zhǎng)情況（請(qǐng)參見(jiàn)圖1）,。“云”計(jì)算與存儲(chǔ)引入以后,，在這種新穎模式的推動(dòng)下，帶寬消耗越來(lái)越大,。移動(dòng)用戶從簡(jiǎn)單的文本數(shù)據(jù)傳輸轉(zhuǎn)向高清照片和視頻傳輸,，用戶迫切需要將這些內(nèi)容復(fù)制到云存儲(chǔ)，將視頻轉(zhuǎn)碼發(fā)布,，并將多媒體數(shù)據(jù)復(fù)制到各種各樣的設(shè)備中（更不必說(shuō)在社交網(wǎng)絡(luò)上發(fā)布）,。這種性能壓力最終要求提高處理和通信能力。

圖1 2010-2015 年互聯(lián)網(wǎng)帶寬趨勢(shì)

    但是,，這些增長(zhǎng)是有代價(jià)的——不僅僅是費(fèi)用,，還包括功耗方面。新一代服務(wù)器和網(wǎng)絡(luò)的設(shè)計(jì)人員已經(jīng)在同功耗做斗爭(zhēng)——在購(gòu)置成本(CoO) 和實(shí)用熱設(shè)計(jì)兩方面,。怎樣構(gòu)建系統(tǒng)才能既提高性能又降低功率呢,？在信息爆炸式增長(zhǎng)的時(shí)代，這是一場(chǎng)永無(wú)止境的戰(zhàn)斗,。

首先研究什么

    同所有系統(tǒng)設(shè)計(jì)一樣,，新一代服務(wù)器和網(wǎng)絡(luò)首先應(yīng)提高性能。在云計(jì)算架構(gòu)中,，服務(wù)通常會(huì)隨加載變化而變化,。已不再是一臺(tái)“服務(wù)器”，而是一種離散式硬件設(shè)備,。在大多數(shù)情況下,，提供服務(wù)的實(shí)際硬件可以放置在服務(wù)提供商基礎(chǔ)設(shè)施內(nèi)部的任何地方,，其位置具有“不確定性”，隨時(shí)變化,。這種性能提升被稱(chēng)為軟件框架內(nèi)的服務(wù)“虛擬化”或者封裝,，其允許服務(wù)在硬件主機(jī)之間自由移動(dòng)。這樣便讓服務(wù)提供商可以根據(jù)需求改變資源,，從而降低基礎(chǔ)設(shè)施的功耗,。

   由于服務(wù)得到控制，就有了大量的“機(jī)器到機(jī)器”（M2M）活動(dòng),。在大多數(shù)數(shù)據(jù)中心,，大多數(shù)數(shù)據(jù)傳輸都在機(jī)器之間進(jìn)行，而不用連接外部世界,。虛擬化的加入,，推動(dòng)了從1 Gbps連接（許多老舊服務(wù)器上的標(biāo)準(zhǔn)）轉(zhuǎn)向10 Gbps 連接的需求。今天,，這種需求正推動(dòng)轉(zhuǎn)向使用25 Gbps 連接,。這些連線中的許多長(zhǎng)度不到5米，而大多數(shù)的長(zhǎng)度都在1 米以?xún)?nèi),。出現(xiàn)這種情況的原因是服務(wù)器集群的構(gòu)架,。單個(gè)機(jī)架會(huì)放置許多刀片式服務(wù)器，其連接至機(jī)架頂部（或者底部）的開(kāi)關(guān),。機(jī)架成行放置,，通過(guò)集線器整合，然后將信息發(fā)送至其他服務(wù)器行或者網(wǎng)絡(luò)存儲(chǔ)器,。

    使用1Gb 連接時(shí),，小型標(biāo)準(zhǔn)線可以在信號(hào)完整性丟失相當(dāng)小的情況下輕松傳輸數(shù)據(jù)。這很重要,，原因是：1）由于線路阻塞氣流外流使服務(wù)器以外的氣流減少,；2）決定你在機(jī)架中能夠布置多少條連線的彎曲半徑（參見(jiàn)圖2）。

圖2機(jī)架內(nèi)部布線

    轉(zhuǎn)向使用10G 以太網(wǎng)以后,，信號(hào)完整性問(wèn)題更加突出,，無(wú)源線纜開(kāi)始使用更大標(biāo)準(zhǔn)線來(lái)補(bǔ)償。氣流/彎曲半徑問(wèn)題開(kāi)始顯現(xiàn),，安裝人員/設(shè)計(jì)人員開(kāi)始想要使用光纖連接來(lái)解決這個(gè)問(wèn)題。轉(zhuǎn)向使用光纖帶來(lái)了一些問(wèn)題,，例如：高成本和高功耗等,。典型單個(gè)10G 以太網(wǎng)SFP+模塊的功耗為1 瓦左右。使用數(shù)以萬(wàn)計(jì)的端口時(shí),，光纖連接的功耗需求量便急劇增加,，并且功耗增加帶來(lái)的一些問(wèn)題也隨之出現(xiàn)（機(jī)架溫度上升）。

線纜連接問(wèn)題

    如果用于高速連接的無(wú)源線纜受到體積龐大和彎曲半徑問(wèn)題的困擾，則光纖解決方案的問(wèn)題便是高功耗和高成本,?？雌饋?lái)，似乎必須使用一種折中辦法來(lái)解決這個(gè)問(wèn)題,。答案就是一種被稱(chēng)作“有源銅線”的技術(shù)—這是一個(gè)聰明的想法,，其將一些有源元件嵌入到導(dǎo)體外殼中，以對(duì)由小標(biāo)號(hào)線引起的高頻損耗進(jìn)行補(bǔ)償,。這種解決方案允許使用一些具有“光纖型”彎曲半徑和大體積且功耗較高的小標(biāo)號(hào)線,。如DS100BR111 等設(shè)備使用10 Gbps時(shí)每條通道的功耗一般低于65 mW，其常用于SFP+ 有源線應(yīng)用,。

    應(yīng)用于10 Gbps 以太網(wǎng)時(shí),，大多數(shù)情況下這種能夠提高線纜信號(hào)完整性的技術(shù)僅限于15 米以下的連線長(zhǎng)度。但是,，如前所述,，大多數(shù)連接線都在3 米以下，可輕松地使用有源銅線替換無(wú)源或者光纖線,。今天,，這種方法常用于10 Gbps 連接。但是,，未來(lái)正快步向我們走來(lái),，即使是10 Gbps 連接也將無(wú)法滿足需求。

    在光纖連接世界里,，基本上有兩種連接：1）短距離連接（小于1000 米）,；2）遠(yuǎn)距離（大于1000 米）通信。更長(zhǎng)的光纖連接形成我們現(xiàn)代互聯(lián)網(wǎng)基礎(chǔ)設(shè)施的骨干網(wǎng)絡(luò),，常使用100 Gbps WDM 光纖技術(shù),。為了降低這種技術(shù)的成本，包括Google,、博科通訊(Brocade Communications),、JDSU 等在內(nèi)的各大公司，于2011 年3 月批準(zhǔn)了一個(gè)10 x 10 Gbps 多源協(xié)議(MSA),，用于物理媒介依賴(lài)(PMD) 子層,，其為C 形狀系數(shù)(CFP) 模塊提供一種通用架構(gòu)。

    CFP 連接器適用于要求100 Gbps 通信的低數(shù)目/長(zhǎng)距離連接,。但是,，SFP 和四通道SPF接口(QSFP) 連接器擁有更高的密度，本地開(kāi)關(guān)和路由器均要求這種高密度,。今天,，通過(guò)組合四條10 Gbps 數(shù)據(jù)通道,，四通道SFP 連接器用于40 Gbps 以太網(wǎng)。下一步的發(fā)展將是從10 Gbps 轉(zhuǎn)到25 Gbps 通道,。它通過(guò)一些小QSFP 連接器提供相當(dāng)于100 Gbps 的數(shù)據(jù)傳輸,，并為一些不支持100 Gbps  標(biāo)準(zhǔn)的40 Gbps 以太網(wǎng)系統(tǒng)提供向后兼容模式。最終,，這種形狀系數(shù)可用于光纖模塊,，因?yàn)椴辉傩枰狢FP模塊使用的10 到4 通道轉(zhuǎn)換。

   這種技術(shù)已經(jīng)數(shù)家廠商多次證明,，為廣大基礎(chǔ)設(shè)施設(shè)計(jì)人員提供了一種轉(zhuǎn)到高速連接的路線圖,。但是，開(kāi)關(guān)或者服務(wù)器背后的互連并非是出現(xiàn)這種問(wèn)題的唯一地方,。服務(wù)器和網(wǎng)絡(luò)存儲(chǔ)設(shè)備內(nèi)部的各種電氣連接都存在相同的問(wèn)題,。

距離是你的敵人

    一個(gè)數(shù)字位的波形橫向傳輸線路和連接器，因此物理學(xué)開(kāi)始起作用,，并試圖通過(guò)阻抗錯(cuò)配和相鄰?fù)ǖ来當(dāng)_引起的頻率反射型可變衰減,，完全破壞原始信號(hào)。數(shù)據(jù)本身也存在問(wèn)題,，因?yàn)橹鞍l(fā)送的符號(hào)干擾了傳輸中的當(dāng)前位,。這被稱(chēng)作符號(hào)間干擾，即ISI,。信號(hào)通過(guò)ASIC 到路由器或者開(kāi)關(guān)背部這段距離后,，無(wú)法再辨別出這些位。抹殺無(wú)源連線無(wú)誤差位傳輸?shù)南嗤?yīng),，也在這里發(fā)揮作用,。

    以前的一些設(shè)計(jì)，開(kāi)關(guān)ASIC使用多條慢數(shù)據(jù)通路（一般為3.125 Gbps）,，連接到某個(gè)物理層設(shè)備（PHY）,，以在SFP連接器構(gòu)建10 Gbps NRZ連接。PHY的位置非?？拷谖锢磉B接器,，因此信號(hào)完整性損失得到最小化。但是,，由于ASIC 技術(shù)轉(zhuǎn)而使用更小的幾何外形,，吸納10 Gbps 接口的高速連接便成為一種內(nèi)在要求。首先,，由于移除了PHY,，因此這種變化可以降低電氣連接的總功耗。但是,，PCB 邊緣的信號(hào)完整性損失,，要求更昂貴、低功耗的電路板材料,，或者再使用一種有源解決方案,。

    用于抗線纜信號(hào)損失的相同設(shè)備現(xiàn)在也正用于高性能路由器、開(kāi)關(guān)和服務(wù)器內(nèi)部連接,。使用低功耗緩沖中斷器和重定時(shí)器時(shí),，可使用標(biāo)準(zhǔn)FR-4 PCB 材料（控制成本），并且功耗非常低,。實(shí)際上,，這些設(shè)備以一種類(lèi)似的方式用于10 Gbps NRZ以太網(wǎng)PHY，以恢復(fù)數(shù)據(jù)和再計(jì)時(shí)數(shù)據(jù),，滿足連接器規(guī)范,。

達(dá)標(biāo)努力

    在服務(wù)器中，包括PCI express (PCIe) 在內(nèi)的標(biāo)準(zhǔn)比比皆是,。由于數(shù)據(jù)傳輸速率更高,，內(nèi)核處理器向（自）內(nèi)核傳輸信息的能力，推動(dòng)PCIe 等標(biāo)準(zhǔn)不斷提高傳輸速度,。最新的標(biāo)準(zhǔn)為第3 代,，其標(biāo)稱(chēng)擁有8 Gbps 的連接速度。如前所述,，在許多情況下,，設(shè)備內(nèi)部物理距離不變，歸因于處理器硬件,、連接器數(shù)目和間隔,。服務(wù)器也不例外，同樣受到信號(hào)完整性問(wèn)題和功耗的困擾,。前面使用第1 代或者第2 代PCIe 的一些設(shè)計(jì),，只要小心謹(jǐn)慎地布局和選擇連接器，便能夠滿足操作規(guī)范,。但是,，隨著服務(wù)器轉(zhuǎn)向第3 代，電路板材料和連接器正對(duì)信號(hào)完整性產(chǎn)生影響,，以致于不再能夠滿足這種標(biāo)準(zhǔn),。

如PCIe 等標(biāo)準(zhǔn)帶來(lái)另一個(gè)問(wèn)題，讓問(wèn)題的解決更加困難,，而同時(shí)還要保持低功耗,。這個(gè)問(wèn)題便是帶外(OoB) 信號(hào)傳輸，其出現(xiàn)在通道早期訓(xùn)練過(guò)程,。由于在通道接入時(shí)標(biāo)準(zhǔn)PCIe 板并不了解,，因此它必須與根組件溝通,，并對(duì)通道做出調(diào)節(jié)，以幫助維持信號(hào)完整性,。這種通信在帶外完成,，并且如果失敗（因故受到阻塞）,，通道便無(wú)法初始化,。

    一些PCIe 集成電路(IC) 中斷器的廠商使用一種重復(fù)根組件的方法。這種方法將通道分成兩部分,，有效地縮短了距離,，并大大提高了信號(hào)完整性（連接器更少/距離更短）。這種方法存在的問(wèn)題是功耗,。重復(fù)根組件,，要求理解通道傳輸，并在兩端正確地對(duì)其重復(fù),。另外,，串行化和去串行化過(guò)程，還會(huì)引起過(guò)多的延遲,。

    其他廠商通過(guò)使用一種模擬方法對(duì)帶內(nèi)和帶外信號(hào)進(jìn)行調(diào)節(jié)（去除了所有信息處理）,，暫時(shí)解決了這個(gè)問(wèn)題。如DS80PCI402 等器件使用這種方法,，每條通道僅要求65 mW,。該器件插入到PCIe 通道中以后，有效縮短了末節(jié)點(diǎn)和根組件之間的通道距離,，其不干擾帶外過(guò)程,，大大改善了8 Gbps 數(shù)據(jù)信號(hào)完整性，同時(shí)能耗更小,。

其他改善方面

    我們的信息基礎(chǔ)設(shè)施正不斷增長(zhǎng),，以滿足日益增加的用戶數(shù)和技術(shù)（例如：云計(jì)算等）需求。連接功耗預(yù)算只是這些系統(tǒng)總功耗的一部分而已,。各大廠商都在尋找一種方法,，以產(chǎn)生更低連接功耗的內(nèi)核。由于ARM內(nèi)核的易用性和極低的功耗,，人們對(duì)于在云服務(wù)器中使用這種引擎的關(guān)注度正不斷上升,。另外，一些專(zhuān)用處理器也使用其各自的方法進(jìn)入到信息基礎(chǔ)設(shè)施中提供各種服務(wù),，例如：視頻和圖像實(shí)時(shí)轉(zhuǎn)碼,、語(yǔ)音識(shí)別等等。這些專(zhuān)用服務(wù)通常要求在通用處理器中執(zhí)行浮點(diǎn)運(yùn)算功能。這些專(zhuān)用處理器提供許多高能效的方法,，執(zhí)行相同運(yùn)算功能,。

結(jié)論

    隨著云計(jì)算和存儲(chǔ)在規(guī)模和容量方面都不斷增長(zhǎng)，節(jié)點(diǎn)之間的連接能力也不斷提高,。設(shè)計(jì)人員面臨的挑戰(zhàn)會(huì)是在不斷增加網(wǎng)絡(luò)數(shù)據(jù)吞吐量的同時(shí),，維持最低的功率。這些解決方案不僅受到來(lái)自日益增長(zhǎng)的高帶寬要求的挑戰(zhàn),，而且也會(huì)達(dá)到功耗最小化的上限。

參考文獻(xiàn)

    如欲了解信號(hào)調(diào)節(jié)的更多詳情,，敬請(qǐng)?jiān)L問(wèn)：www.ti.com/sigcon-ca,。

作者簡(jiǎn)介

    Richard Zarr是TI 技術(shù)專(zhuān)家，致力于高速信號(hào)和數(shù)據(jù)通路技術(shù),。他擁有超過(guò)30 年的實(shí)際工程經(jīng)驗(yàn),，并在全世界發(fā)表了大量論文和文章。Richard是IEEE 會(huì)員,，他畢業(yè)于美國(guó)南弗羅里達(dá)大學(xué)(University of South Florida),，電機(jī)工程學(xué)士學(xué)位，并擁有數(shù)項(xiàng)LED 照明和加密專(zhuān)利,。