在拉斯維加斯舉行的國際消費電子展 (CES) 上,,英偉達 CEO 黃仁勛在一次面向萬人的主題演講后接受 TechCrunch 采訪時表示,其公司 AI 芯片的性能提升速度已遠超數十年來推動計算機技術進步的“摩爾定律”設定的標準,。
“我們的系統(tǒng)進步速度遠超摩爾定律,,”黃仁勛周二表示,。
據了解,“摩爾定律”由英特爾聯合創(chuàng)始人戈登 摩爾于 1965 年提出,,預測計算機芯片上的晶體管數量將大約每年翻一番,,從而使芯片性能也大致翻一番。這一預測基本實現了,,并在幾十年里推動了計算機性能的快速提升和成本的急劇下降,。
近年來,“摩爾定律”的發(fā)展速度有所放緩,。然而,,黃仁勛聲稱,英偉達的 AI 芯片正以自身的加速節(jié)奏發(fā)展,;該公司表示,,其最新的數據中心超級芯片在運行 AI 推理工作負載方面的速度比上一代產品快 30 多倍。
“我們可以同時構建架構,、芯片,、系統(tǒng)、庫和算法,,”黃仁勛說,,“如果這樣做,我們就能比摩爾定律更快地發(fā)展,,因為我們可以在整個技術棧中進行創(chuàng)新,。”
英偉達 CEO 發(fā)表這一大膽言論之際,,正值許多人質疑 AI 發(fā)展是否停滯之時,。包括谷歌、OpenAI 和 Anthropic 在內的領先 AI 實驗室都使用英偉達的 AI 芯片來訓練和運行其 AI 模型,,而這些芯片的進步可能會轉化為 AI 模型能力的進一步提升,。
這并非黃仁勛首次暗示英偉達正在超越“摩爾定律”。早在去年 11 月的一次播客節(jié)目中,,黃仁勛就曾提出 AI 世界正以“超摩爾定律”的速度發(fā)展,。
黃仁勛還駁斥了“AI 進展放緩”的觀點,。他認為,當前 AI 領域存在三大擴展定律:預訓練(pre-training),、后訓練(post-training)和推理時計算(test-time compute),。預訓練階段,AI 模型從海量數據中學習模式,;后訓練階段,,通過人類反饋等方法微調模型;推理時計算則讓模型在回答每個問題后有更多時間“思考”,。黃仁勛強調,,隨著計算能力的提升,AI 推理成本將逐步降低,,類似于摩爾定律推動計算成本下降的歷史進程,。
英偉達的 H100 芯片曾是科技公司訓練 AI 模型的首選,但現在科技公司更加關注推理,,一些人開始質疑英偉達昂貴的芯片是否還能保持領先地位,。
目前,使用測試時計算的 AI 模型運行成本高昂,。有人擔心 OpenAI 的 o3 模型(使用了規(guī)?;臏y試時計算)對大多數人來說過于昂貴。例如,,OpenAI 使用 o3 在一項通用智能測試中達到人類水平的分數,,每項任務花費近 20 美元。而 ChatGPT Plus 的訂閱費用為每月 20 美元,。
在周一的主題演講中,,黃仁勛像舉著盾牌一樣展示了英偉達最新的數據中心超級芯片 GB200 NVL72。這款芯片在運行 AI 推理工作負載方面的速度比英偉達之前最暢銷的芯片 H100 快 30 到 40 倍,。黃仁勛表示,,這種性能的飛躍意味著像 OpenAI 的 o3 這樣在推理階段使用大量計算的 AI 推理模型,其成本將隨著時間的推移而降低,。
黃仁勛表示,,他總體上專注于創(chuàng)造性能更強的芯片,而性能更強的芯片從長遠來看會帶來更低的價格,?!盁o論是在性能還是成本承受能力方面,測試時計算的直接解決方案是提高我們的計算能力,,”黃仁勛表示。他指出,,從長遠來看,,AI 推理模型可以用于為 AI 模型的預訓練和后訓練創(chuàng)建更好的數據,。
在過去一年里,我們確實看到了 AI 模型的價格大幅下降,,部分原因是英偉達等硬件公司的計算技術突破,。黃仁勛表示,他預計這種趨勢將隨著 AI 推理模型的發(fā)展而繼續(xù)下去,。
黃仁勛聲稱他今天的 AI 芯片比 10 年前的產品好 1000 倍,。這是一個比“摩爾定律”設定的標準快得多的速度,黃仁勛表示他認為這種速度沒有停止的跡象,。