像世界各地的許多系統(tǒng)架構(gòu)師一樣，我們對相變存儲(chǔ)器（PCM）的變體3D XPoint寄予厚望,，該技術(shù)在英特爾和美光科技共同開發(fā)多年之后于2015年7月大張旗鼓地發(fā)布,。這代表了系統(tǒng)層次結(jié)構(gòu)中的一種新型內(nèi)存,，它位于主內(nèi)存和Tier 1存儲(chǔ)之間,，并有望使更大,，更便宜的主內(nèi)存和更快的Tier 1內(nèi)存成為可能,。
系統(tǒng)內(nèi)存層次結(jié)構(gòu)之間存在很大的差距，當(dāng)中尤其以Tier 1存儲(chǔ)和CPU中的主內(nèi)存之間的差距最大,，因此這會(huì)嚴(yán)重影響整體系統(tǒng)性能和系統(tǒng)成本,。但是，也許3D XPoint必須克服的是英特爾和美光公司共同在猶他州萊希市投資的實(shí)驗(yàn)室和晶圓廠與世界數(shù)據(jù)中心的差距,。
事實(shí)證明,，這種差距很難彌合，這就是美光宣布關(guān)閉3D XPoint業(yè)務(wù)并宣布出售Lehi晶圓廠的原因之一,。我們認(rèn)為,，既然英特爾是唯一一家銷售3D XPoint的公司，并且在第二代PCM內(nèi)存變體完善之后,，美光公司在幾年前就擁有了Lehi晶圓廠,，因此英特爾將向美光公司購買該晶圓廠。但也許不是,，因?yàn)槊拦鉀]有說,。
而且，隨著英特爾即將推出具有八個(gè)存儲(chǔ)通道的“ Ice Lake” Xeon SP處理器,，而不是許多年來一直使用的至強(qiáng)處理器上的六個(gè)存儲(chǔ)通道,，英特爾已經(jīng)擁有了一些存儲(chǔ)容量和存儲(chǔ)帶寬新布局–這將有助于推動(dòng)Optane DIMM在過去兩代Xeon SP服務(wù)器上的采用–將會(huì)減少。這個(gè)時(shí)機(jī)也許不是巧合,。但是美光的突然而完全的反應(yīng)有點(diǎn)令人驚訝。
在與華爾街的電話會(huì)議中,，美光公司總裁兼首席執(zhí)行官Sanjay Mehrotra表示,，美光公司將立即停止3D XPoint的開發(fā)，并將致力于利用Compute Express Link（CXL）協(xié)議將CPU鏈接到物理外部（但邏輯上連接）存儲(chǔ)和加速器設(shè)備,。
Mehrotra解釋說：“我們相信這一轉(zhuǎn)變將更好地滿足客戶的需求,，并且重要的是，它將提高我們股東的回報(bào),?！?“鑒于CXL和我們新興的存儲(chǔ)器產(chǎn)品對未來數(shù)據(jù)中心的預(yù)期影響，我們對3D XPoint市場機(jī)會(huì)的評估決定了我們的決定,?！?/p>
3D XPoint未能按預(yù)期起飛并不是什么國家機(jī)密，而且我們多次說過,，英特爾的Optane比預(yù)期晚上市得多,，速度比預(yù)期慢，容量也不及預(yù)期,，且價(jià)格比預(yù)期貴,。這不是一件好事。換而言之,，Optane SSD比閃存SSD快得多,，并且Optane PMEM記憶棒具有持久性,，然而而DDR DIMM需要通電才能記住事情。
美光擁有其制造3D XPoint內(nèi)存的Lehi晶圓廠的限制因素之一是,，該晶圓廠的未充分利用正在影響其非GAAP利潤,，每年達(dá)4億美元。為了給您提供一些觀點(diǎn),，美光在該年9月結(jié)束的2020財(cái)年的銷售額為214.4億美元,，營業(yè)收入為11.6億美元，凈收入為9.88億美元,。因此,，3D XPoint銷售的這種短缺對美光中部和底線的利潤造成了重大打擊。
但是我們認(rèn)為情況更加復(fù)雜,。英特爾曾希望將3D XPoint與其“ Skylake”處理器和“ Purley”服務(wù)器平臺(tái)一起使用,，我們在他們于2015年5月的發(fā)布后不久就告訴了所有人。我們當(dāng)時(shí)還不知道英特爾到底在計(jì)劃什么,，但是我們得到的文件確實(shí)說,，Purley系統(tǒng)的容量是DRAM存儲(chǔ)器的4倍，成本卻比DRAM存儲(chǔ)器低,，而持久性數(shù)據(jù)在設(shè)備上的速度比DRAM快500倍,。NAND閃存的時(shí)代。這就是“ Apache Pass” Optane DIMM,，我們稱為Optane 100系列,，并且一直推遲到2019年4月交付到“ Cascade Lake” Xeon SP為止。
從3D XPoint首次面世到以至關(guān)重要的DDR DIMM形式交付,，已經(jīng)過去了將近四年的時(shí)間,，即使在那時(shí)，也只有英特爾服務(wù)器,，Cascade Lake,，然后是后續(xù)的“ Cooper Lake”四路和八路可以使用它們。
系統(tǒng)架構(gòu)師及其CIO客戶（或視情況而定,，是老板）對任何單一來源的技術(shù)都持謹(jǐn)慎態(tài)度,，這些技術(shù)無法在各種CPU和主板上進(jìn)行部署。因此,，我們認(rèn)為市場對Optane DIMM缺乏熱情是英特爾自己的錯(cuò),。英特爾需要為Cascade Lake和Cooper Lake處理器的發(fā)布提供一些便利，與主流市場上的AMD Epyc 7002,，IBM Power9,，Ampere Altra和Altra Max以及Marvell ThunderX2替代品相比，這將減少內(nèi)存容量和帶寬。由于英特爾10納米芯片制造工藝的延遲,，Lake的Xeon SP遲到了數(shù)年,。（因此，這是10納米延遲的另一個(gè)意外影響,；如果您愿意的話,，這是一個(gè)級聯(lián)故障。）
想象一下,，如果英特爾（和美光）在2015年對3D XPoint內(nèi)存采取的態(tài)度與英特爾在2019年對CXL協(xié)議采取的態(tài)度相同,。那么擁有競爭性協(xié)議的每個(gè)人——IBM與CAPI和OpenCAPI，Xilinx和AMD以及Arm與CCIX,，具有NVLink的Nvidia以及具有Gen-Z的惠普企業(yè)和戴爾-都落后于CXL,，因?yàn)橛⑻貭栕屗麄儏⑴c了將成為批量市場的市場并提供了一些投入。
3D XPoint這種PCM內(nèi)存的變體能夠很好地?cái)U(kuò)展主內(nèi)存而對性能幾乎沒有影響的,，這不應(yīng)在整個(gè)服務(wù)器行業(yè)中普遍存在,，從而提高了銷量并降低了價(jià)格，以至于英特爾和美光科技將不會(huì)再與之競爭,。在最后一步中,，只有英特爾才是唯一的拿手好戲，它本可以與美光（甚至是三星）合作,，為全世界制,。
那是理論。在實(shí)踐中,，很難在內(nèi)存層次結(jié)構(gòu)中添加另一層,，并且英特爾在使3D XPoint對應(yīng)用程序和操作系統(tǒng)透明方面做得還不是很出色–并沒有比“Knights Landing”“中的MCDRAM和DDR4主內(nèi)存塊附近做得更多。
我們只需要看一下MemVerge,，在2019年4月發(fā)布的時(shí)候，我們對其進(jìn)行了介紹,。當(dāng)Cascade Lake服務(wù)器開始出貨時(shí),，我們看到通過MemVerge創(chuàng)建的”內(nèi)存管理程序“，確實(shí)有可能使DRAM和Optane內(nèi)存的混合易于使用,。Optane SSD從來沒有使用太多,，但是如果容量增加了10倍或100倍，那么對于系統(tǒng)設(shè)計(jì)人員來說也許會(huì)更有趣,。
這似乎還不夠,，美光在與用戶和系統(tǒng)構(gòu)建者交談之后，意識到讀者會(huì)完全理解,，那就是：在許多情況下,，內(nèi)存帶寬對應(yīng)用的限制甚于內(nèi)存容量。當(dāng)英特爾和美光科技通過硅通孔（TSV）共同開發(fā)3D堆疊內(nèi)存并將其用于Knights Landing CPU時(shí)，三星HBM贏得了與Nvidia和AMD的游戲和計(jì)算卡業(yè)務(wù)?，F(xiàn)在,，HBM2和HBM2E以及規(guī)劃的HBM3堆疊內(nèi)存。
現(xiàn)在,，美光科技將試圖弄清楚,，如何能在PCI-Express總線上，使用CXL將外部存儲(chǔ)器和閃存鏈接到服務(wù)器上,，并出售利用該功能的設(shè)備,，而不是嘗試出售DIMM中的3D XPoint。在2020年11月,，美光（Micron）表示仍在前進(jìn)的道路上）,，并試圖以3D XPoint SSD外形與CXL脫鉤，該產(chǎn)品已作為X100驅(qū)動(dòng)器出售,。
這個(gè)內(nèi)存帶寬問題是真實(shí)存在的,，并且我們不確定如何在CXL總線上使用內(nèi)存設(shè)備（無論它們是否使用主內(nèi)存語義，還是位可尋址而不是字節(jié)可尋址）,。大多數(shù)系統(tǒng)的PCI-Express總線也受到了重創(chuàng),，我們將再說一次，IBM將所有I / O集成在芯片上的想法（無論是內(nèi)存訪問,，NUMA互連還是外圍互連）都使用相同的高速信號SerDes,。
在美光和IBM都看到的世界變得越來越有意思。
IBM的CPU設(shè)計(jì)人員可以做到這一點(diǎn),，并且正在使用DDR5緩沖存儲(chǔ)器在Power10中實(shí)現(xiàn)它,，然而我們看不到未來的處理器采用這種方法的可能。
美光公司四個(gè)部門的執(zhí)行副總裁兼首席商務(wù)官Sumit Sadana總結(jié)了這樣的情況：” 3D XPoint的價(jià)值主張是作為持久性存儲(chǔ)器運(yùn)行,，而其成本要低于DRAM,，或者作為顯著的存儲(chǔ)空間，比NAND快,。自3D XPoint首次發(fā)布以來,，多年來，數(shù)據(jù)中心的工作量和客戶需求一直在不斷發(fā)展,。隨著數(shù)據(jù)密集型工作負(fù)載的激增以及以數(shù)據(jù)為中心的應(yīng)用中AI的增加,，CPU-DRAM帶寬已成為限制整體系統(tǒng)性能的因素。此外,，隨著CPU體系結(jié)構(gòu)的發(fā)展,，已經(jīng)顯著增加CPU內(nèi)核數(shù)，為此我們需要更多的DRAM以確保每個(gè)CPU內(nèi)核有足夠的內(nèi)存帶寬,。這種趨勢推動(dòng)了服務(wù)器DRAM內(nèi)容的不斷增長,?！?/p>
公平地說，英特爾和MemVerge使用Optane的方式是增加內(nèi)存容量,，而不是增加帶寬,，因?yàn)閮?nèi)存控制器和內(nèi)存插槽在系統(tǒng)中是恒定的。如果需要更多的內(nèi)存帶寬,，則必須使用其他類型的內(nèi)存,，例如NEC的Aurora矢量加速器或Fujitsu的A64FX合理矢量的HPC風(fēng)格CPU。在這些情況下,，它們使用與高端圖形卡和GPU計(jì)算加速器相同的HBM2內(nèi)存,。如果要增加CPU綜合體中的內(nèi)存帶寬，則CPU制造商必須這樣做,，而美光必須采取一切措施,，除非它想擺脫MCDRAM或成為HBM2內(nèi)存的參與者。除了降低瓦特和提高存儲(chǔ)器時(shí)鐘外,，美光對存儲(chǔ)器帶寬的控制極少,。而且CXL不會(huì)改變這一點(diǎn)，盡管它將創(chuàng)建第二類較慢的內(nèi)存,，該內(nèi)存位于PCI Express總線而不是內(nèi)存總線上的CPU綜合結(jié)構(gòu)外部,。
3D XPoint的另一個(gè)問題是NAND閃存的價(jià)格越來越便宜，而Optane SSD成本的變化率卻沒有跟上,。就Sadana而言,，持久性存儲(chǔ)”始終是3D XPoint的戰(zhàn)略長期市場機(jī)遇“，并且”隨著時(shí)間的推移,，基于3D XPoint的SSD產(chǎn)品預(yù)計(jì)將不再是利基市場,。“
美光完全承認(rèn)更改系統(tǒng)中的編程模型以將新的內(nèi)存層添加到層次結(jié)構(gòu)中的困難,，并表示它將在使用CXL的內(nèi)存產(chǎn)品上運(yùn)行,，并且采用障礙較小。雖然從長遠(yuǎn)來看3D XPoint可能是正確的答案,，但是使用這些CXL內(nèi)存設(shè)備以及我們認(rèn)為它們的局限性和優(yōu)勢,，將阻礙3D XPoint DIMM的采用，而Micron甚至沒有這樣做,。到目前為止,，也許我們還無法制造出一兩個(gè)服務(wù)器,。
美光表示將立即停止3D XPoint的開發(fā),，并在未來幾個(gè)季度完成合同承諾后將停止制造3D XPoint芯片，并補(bǔ)充說正在參與出售Lehi晶圓廠的談判,，該公司希望在2021年年底之前這樣做,。
對英特爾來說,，也是時(shí)候開始抉擇了。