芯東西7月30日消息,，在最新MLPerf基準(zhǔn)測試中，NVIDIA和谷歌接連公布打破AI性能記錄的消息,，使AI戰(zhàn)場上再度彌漫起濃烈的火藥味,。

　　這廂NVIDIA宣布其A100 Tensor Core GPU在加速器的全部8項MLPerf基準(zhǔn)測試中展現(xiàn)了最快的市售商用產(chǎn)品性能，那廂谷歌稱其機(jī)器學(xué)習(xí)訓(xùn)練超級計算機(jī)在8項MLPerf基準(zhǔn)測試連創(chuàng)6個性能記錄,。

　　谷歌第四代TPU芯片性能也首次披露,，得益于硬件創(chuàng)新及軟件優(yōu)化，TPU v4的性能較TPU v3平均提升2.7倍,，此外基于TPU v3的谷歌最強(qiáng)ML訓(xùn)練超算峰值性能超430 PFLOPs,。

　　▲NVIDIA DGX SuperPOD集群破MLPerf全部8項AI性能記錄

　　MLPerf是一個由亞馬遜、百度,、Facebook,、谷歌、哈佛大學(xué),、英特爾,、微軟和斯坦福大學(xué)等70多家公司和來自領(lǐng)先大學(xué)的研究人員組成的聯(lián)盟。

　　MLPerf基準(zhǔn)測試是衡量機(jī)器學(xué)習(xí)性能的行業(yè)標(biāo)準(zhǔn),，展示了AI行業(yè)在處理器,、加速器及軟件框架方面的進(jìn)步,。NVIDIA和谷歌分別是通用和專用AI芯片的代表玩家。

　　在此次基準(zhǔn)測試中,，NVIDIA是唯一一家在所有測試中均采用市售商用產(chǎn)品的公司,，采用了其今年最新發(fā)布的旗艦AI產(chǎn)品A100 Tensor Core GPU，以及多個DGX A100系統(tǒng)互聯(lián)的龐大集群DGX SuperPOD系統(tǒng),。

　　▲最新MLPerf基準(zhǔn)測試提交的可商用類別部分截圖

　　其他大多數(shù)提交的或為預(yù)覽類別（preview category）,，產(chǎn)品預(yù)計幾個月后才會面市；或為研究類別的產(chǎn)品,，較長一段時間不會面市,。

　　例如谷歌提交的AI系統(tǒng)即多用于研究、開發(fā)或內(nèi)部使用,，或通過谷歌云對外提供,，如谷歌第二代和第三代TPU超級計算機(jī)現(xiàn)已通過谷歌云對外開放。

　　谷歌在此次測試中使用的是其第三代,、第四代張量處理單元（TPU）以及谷歌最快的機(jī)器學(xué)習(xí)（ML）訓(xùn)練超級計算機(jī),。

　　在最新MLPerf基準(zhǔn)測試中，我們也看到了基于華為昇騰910芯片的兩項提交測試結(jié)果,。

　　▲最新MLPerf基準(zhǔn)測試提交的研究/開發(fā)/內(nèi)部使用類別部分截圖

　　MLPerf訓(xùn)練基準(zhǔn)測試結(jié)果鏈接：

　　https://www.mlperf.org/training-results-0-7

　　01

　　MLPerf基準(zhǔn)測試的八種模型

　　當(dāng)前MLPerf訓(xùn)練基準(zhǔn)測試包含圖像分類,、圖像分割、目標(biāo)檢測,、翻譯等8種機(jī)器學(xué)習(xí)模型,，通過測試訓(xùn)練其中某一模型達(dá)到預(yù)定性能目標(biāo)所需的時間（單位為分鐘），來體現(xiàn)其性能,。

　　▲MLPerf訓(xùn)練基準(zhǔn)測試包含的8種機(jī)器學(xué)習(xí)模型

　　最新版本的MLPerf包括兩個新的測試BERT,、DLRM和一個大幅修訂的測試MiniGo。

　　前沿對話式AI模型BERT是現(xiàn)有最復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型之一,，常被用作翻譯,、搜索、文本理解,、問答等任務(wù),。

　　推薦系統(tǒng)是日益普及的一項AI任務(wù)，深度學(xué)習(xí)推薦模型DLRM常被用于在線購物推薦,、搜索,、社會媒體內(nèi)容排序等任務(wù)。

　　強(qiáng)化學(xué)習(xí)模型MiniGo使用了全尺寸19x19圍棋版本,，是本輪最復(fù)雜的測試,，內(nèi)容涵蓋從游戲到訓(xùn)練的多項操作。

　　最新一輪MLPerf訓(xùn)練基準(zhǔn)測試中,，提交結(jié)果的有9家公司,，共提交了138個不同系統(tǒng)的結(jié)果,，包括商業(yè)可用系統(tǒng)，即將發(fā)布的預(yù)覽系統(tǒng)以及正在研究,、開發(fā)或內(nèi)部使用的RDI系統(tǒng),。

　　02

　　NVIDIA在市售商用加速器中，刷新全部8項測試AI性能紀(jì)錄

　　根據(jù)發(fā)布的MLPerf基準(zhǔn)測試結(jié)果,，NVIDIA首款基于Ampere（安培）架構(gòu)的加速器A100 Tensor Core GPU在市售商用加速器的全部8項測試中,，具備最快的AI訓(xùn)練性能。

　　在實現(xiàn)總體最快的大規(guī)模解決方案方面,，利用HDR InfiniBand實現(xiàn)多個DGX A100系統(tǒng)互聯(lián)的龐大集群DGX SuperPOD系統(tǒng)，在性能上也開創(chuàng)了8項全新里程碑,。

　　▲NVIDIA A100集群破MLPerf全部8項AI性能記錄

　　從圖中可見,，相較基于NVIDIA V100 GPU的系統(tǒng)，基于A100的系統(tǒng)在全部8項AI性能測試中均有1.5-2.5倍的性能提升,。

　　對比華為昇騰910處理器在圖像分類測試,、谷歌TPU v3在自然語言處理（NLP）測試的成績，NVIDIA A100的處理速度依然相對更高,。

　　這已是NVIDIA連續(xù)三次在MLPerf中連續(xù)第三次展現(xiàn)強(qiáng)勁性能,。2018年12月，NVIDIA首次在MLPerf訓(xùn)練基準(zhǔn)測試中創(chuàng)下了6項紀(jì)錄,，次年7月NVIDIA再次創(chuàng)下8項紀(jì)錄,。

　　通過持續(xù)發(fā)展全新GPU、軟件升級和不斷擴(kuò)展的系統(tǒng)設(shè)計,，NVIDIA AI平臺性能得到進(jìn)一步提升,。

　　測試結(jié)果顯示，相較于首輪MLPerf訓(xùn)練測試中使用的基于V100 GPU的系統(tǒng),，如今DGX A100系統(tǒng)能夠以相同的吞吐率,，實現(xiàn)高達(dá)4倍的性能提升。

　　同時,，得益于最新的軟件優(yōu)化,，基于NVIDIA V100的DGX-1系統(tǒng)亦可實現(xiàn)高達(dá)2倍的性能提升。

　　▲過去一年半,，NVIDIA系統(tǒng)性能提升高達(dá)4倍

　　許多戰(zhàn)略性AI應(yīng)用已受益于NVIDIA帶來的強(qiáng)大性能,，例如阿里巴巴在11月“雙十一”期間創(chuàng)造380億美元的銷售記錄，其推薦系統(tǒng)即使用了NVIDIA GPU,，使每秒查詢量達(dá)到了CPU的100倍以上,。

　　在提交結(jié)果的9家公司中，除NVIDIA之外,，有6家公司均提交了基于NVIDIA GPU的測試結(jié)果,，其中包括阿里云,、谷歌云和騰訊云三家云服務(wù)提供商，以及戴爾,、富士通和浪潮三家服務(wù)器制造商,。

　　▲采用NVIDIA平臺參與基準(zhǔn)測試的NVIDIA合作伙伴

　　包括這些MLPerf合作伙伴在內(nèi)的近二十家云服務(wù)提供商和OEM組成的生態(tài)系統(tǒng)，已采用或計劃采用NVIDIA A100 GPU來打造在線實例,、服務(wù)器和PCIe卡,。

　　大多數(shù)NVIDIA及其合作伙伴在最新MLPerf基準(zhǔn)測試中使用的軟件，現(xiàn)已可通過NGC獲取,。

　　03

　　第四代TPU平均性能提升2.7倍,， 谷歌最強(qiáng)ML訓(xùn)練超算峰值性能超430 PFLOPs

　　谷歌的第四代TPU ASIC提供了超出TPU v3兩倍的矩陣乘法TFLOPS、內(nèi)存帶寬和互連技術(shù)進(jìn)步,。

　　基于TPU v4的硬件創(chuàng)新以及軟件優(yōu)化,，基于相同規(guī)模64個芯片，谷歌TPU v4的性能相比在MLPerf Training v0.6訓(xùn)練測試中的TPU v3性能平均提高了2.7倍,。

　　▲谷歌TPU v4在6種模型測試中的性能相比TPU v3平均提高了2.7倍

　　谷歌很快將發(fā)布更多關(guān)于TPU v4的信息,。

　　在MLPerf Training v0.7基準(zhǔn)測試的所有可用類別中，谷歌提交的最快速度均超過了非谷歌提交的最快速度,。

　　▲MLPerf Training v0.7基準(zhǔn)測試的所有可用類別性能表現(xiàn),，無論系統(tǒng)規(guī)模大小從8個芯片到4096個芯片，比較都按照總體訓(xùn)練時間進(jìn)行歸一化,，數(shù)值越高越好

　　在本次MLPerf訓(xùn)練中,，谷歌使用的超級計算機(jī)，規(guī)模比在之前創(chuàng)下三項記錄的云TPU v3 Pod大四倍,。

　　該系統(tǒng)包括4096個TPU v3芯片和數(shù)百臺CPU主機(jī),，所有連接通過超高速、超大規(guī)模的自定義互連,，能提供超過430 PFLOPs峰值性能,。

　　▲在谷歌新ML超級計算機(jī)上，所有MLPerf提交均在33秒或更快的時間內(nèi)完成

　　在谷歌新ML超級計算機(jī)上,，無論是使用2048或4096個TPU芯片,，所有這些MLPerf測試都在33秒或更快的時間內(nèi)完成。

　　谷歌使用TensorFlow,、JAX和Lingvo中的ML模型結(jié)合XLA實現(xiàn)了這些成績,。

　　TensorFlow是谷歌端到端的開源機(jī)器學(xué)習(xí)框架，XLA是支持所有谷歌MLPerf測試的底層編譯器技術(shù),，Lingvo是使用TensorFlow構(gòu)建的序列模型高級框架,，JAX是一種基于可組合函數(shù)轉(zhuǎn)換的新型研究框架。

　　這些性能成績體現(xiàn)了谷歌在推進(jìn)機(jī)器學(xué)習(xí)研究方面的進(jìn)展,。

　　在2015年,，谷歌讓一款手機(jī)用當(dāng)時有最先進(jìn)的硬件加速器需要花費三個多星期進(jìn)行類似的訓(xùn)練,。僅僅五年時間，谷歌就可以將同一模型的訓(xùn)練速度提高近5個數(shù)量級,，這一進(jìn)展令人相當(dāng)印象深刻,。

　　谷歌表示，用戶現(xiàn)可通過谷歌云使用谷歌的第二代和第三代TPU超級計算機(jī),。

　　04

　　結(jié)語：AI加速器競賽良性升級

　　機(jī)器學(xué)習(xí)模型的快速訓(xùn)練對于研究和工程團(tuán)隊來說至關(guān)重要,，而不斷演進(jìn)的通用及專用AI加速芯片正帶來新的突破。

　　隨著NVIDIA A100和谷歌TPU v4的問世,，AI芯片領(lǐng)域戰(zhàn)況將更為激烈,，而這些良性的競爭也將進(jìn)一步帶動AI相關(guān)研究及應(yīng)用落地的快速發(fā)展。