2024 年剛開年，OpenAI 推出的文生視頻工具 Sora 再次風靡全球,，成為了 OpenAI 繼 ChatGPT 之后新的生成式 AI 標桿,。AI 重塑世界，也可能會讓環(huán)境資源付出巨大的代價,。
據(jù)《紐約客》雜志引援國外研究機構(gòu)報告,，ChatGPT 每天要響應大約 2 億個請求，在此過程中消耗超過 50 萬度電力,，也就是說,，ChatGPT 每天用電量相當于 1.7 萬個美國家庭的用電量。而隨著生成式 AI 的廣泛應用,，預計到 2027 年,，整個人工智能行業(yè)每年將消耗 85 至 134 太瓦時（1 太瓦時 =10 億千瓦時）的電力。
除了耗電,，和 ChatGPT 或其他生成式 AI 聊天,，也會消耗水資源。加州大學河濱分校研究顯示,，ChatGPT 每與用戶交流 25-50 個問題,，就可消耗 500 毫升的水。而 ChatGPT 有超過 1 億的活躍用戶，這背后消耗的水資源無疑是令人震驚的,。
訓練一個大模型,，科技巨頭每年都消耗了多少能源？本期鈦媒體 · 鈦度圖聞帶你關(guān)注,。
AI 大模型參數(shù)突破百萬億級別,，訓練一次有多燒錢？
在大模型的訓練中,，語料信息的規(guī)模是很重要的,。一般來說，語料規(guī)模越大,，其蘊含的信息就越豐富,，模型所形成的參數(shù)越大，具有更好的泛化能力,。為了獲得智能水平更高的大模型,，AI 模型的語料規(guī)模和參數(shù)規(guī)模越來越大。
從參數(shù)規(guī)模上看,，大模型先后經(jīng)歷了預訓練模型,、大規(guī)模預訓練模型、超大規(guī)模預訓練模型三個階段,，參數(shù)量實現(xiàn)了從億級到百萬億級的突破,。2017 年，谷歌首次提出 6500 萬參數(shù)的 Transformer 模型,，自此大模型就開始走上了一條快速發(fā)展之路,。
2018 年，谷歌發(fā)布基于 Transformer 的 BERT,，BERT 學習了 16GB 的語料,，形成 3.4 億個參數(shù),；2019 年,，OpenAI 推出了 15 億參數(shù)的 GPT-2,，同年,，谷歌推出 T5 模型,，參數(shù)達到 110 億,。從十億級到百億級,，大模型在一年內(nèi)實現(xiàn)躍升,。2020 年,，OpenAI 推出了 1750 億參數(shù)的 GPT-3,；2021 年，谷歌推出 Switch Transformer 架構(gòu),，其參數(shù)量擴展到了 1.6 萬億,；同年，北京智源人工智能研究院也推出參數(shù)量在萬億級別的模型 " 悟道 "。2022 年,，清華大學,、阿里達摩院等機構(gòu)的研究人員提出的 " 八卦爐 " 模型，其具有 174 萬億個參數(shù),，可與人腦中的突觸數(shù)量相媲美,。如今，大模型參數(shù)量已實現(xiàn)百萬億級的突破,。
目前,，人工智能公司很少公開談論大模型的訓練成本，但相關(guān)研究估計這些模型的訓練成本可高達數(shù)百億美元,。斯坦福大學發(fā)布的《2023 年人工智能指數(shù)報告》,，基于已有大模型披露的硬件和訓練時間，對其訓練成本進行了估算,。
2019 年,，OpenAI 發(fā)布的大語言模型 GPT-2 參數(shù)量為 15 億，它的訓練成本約為 5 萬美元左右,；到了 2020 年,，訓練 1750 億參數(shù)量的 GPT-3 的費用大概是 180 萬美元,。GPT-3 比 GPT-2 的參數(shù)量擴大了 117 倍,，其訓練費用也增加了 36 倍。大型語言和多模態(tài)模型如 " 吞金獸一般 ",，變得越來越大,，也越來越貴。
生成式 AI 多耗能：ChatGPT 日耗電量超 50 萬度
訓練大模型需要大量的能源,，比傳統(tǒng)的數(shù)據(jù)中心要消耗更多的電力,。OpenAI 曾發(fā)布報告指出，自 2012 年以來,，AI 訓練應用的電力需求每 3 到 4 個月就會翻一倍,。華為 AI 首席科學家田奇也曾給出數(shù)據(jù)，AI 算力在過去 10 年至少增長了 40 萬倍,。AI 大模型可謂是 " 耗電巨獸 ",。
研究顯示，訓練谷歌于 2022 年發(fā)布的大語言模型 PaLM 需要消耗 3436 兆瓦時的電量,，約等于 11.8 萬美國普通家庭日耗電量（美國普通家庭日均耗電量約為 29 千瓦時）,；就算訓練參數(shù)量為 3.4 億的 BERT 模型，也需要消耗 1.5 兆瓦時的電量,，相當于觀看 1875 小時的流媒體,。
據(jù)了解，AI 服務器和芯片是產(chǎn)生能耗最主要的地方。通用型服務器只需要 2 顆 800W 服務器電源,，而 AI 服務器則需要 4 顆 1800W 高功率電源,，AI 服務器對于電源的需求大大提升。荷蘭一位學者表示,，到 2027 年,，新制造的人工智能設(shè)備的用電量將與荷蘭、瑞典,、阿根廷等國的用電量一樣,。
除了耗電，由于算力設(shè)備的冷卻需求,，AI 消耗的水資源數(shù)量也驚人,。
谷歌環(huán)境報告顯示，2022 年谷歌的用水量達到了 56 億加侖水（約 212 億升水）,，相當于 8500 個奧運會規(guī)格的游泳池,，這些水被用來為該公司的數(shù)據(jù)中心散熱。不僅如此,，在微軟的美國數(shù)據(jù)中心訓練 GPT-3 使用的水量相當于填滿一個核反應堆的冷卻塔所需的水量,，大約 70 萬升。而用戶在使用生成式 AI 工具時也需要耗水,。研究顯示,，ChatGPT 每與用戶交流 25-50 個問題，就可消耗 500 毫升的水,。研究人員預計,，到 2027 年，全球范圍內(nèi)的 AI 需求可能會需要消耗掉 66 億立方米的水資源,，幾乎相當于美國華盛頓州全年的取水量,。
除了消耗大量的電力和水資源，AI 大模型還是碳排放大戶,。斯坦福大學報告顯示,，OpenAI 的 GPT-3 模型在訓練期間釋放了 502 公噸碳，是目前大模型中有據(jù)可查耗能最嚴重的,，它的碳排放量是 Gopher 模型的 1.4 倍,， 是 BLOOM 模型的 20.1 倍，約等于 8 輛普通汽油乘用車一生的碳排放量,，人均 91 年的碳排放量,。
隨著科技日新月異，未來 AI 大模型會層出不窮,。不可否認的是,，生成式 AI 的出現(xiàn)給社會生活帶來了巨大的助力,，但 AI 給人類帶來效率提升的同時也可能引發(fā)能源危機。所以,，科技巨頭們還需從算法和模型優(yōu)化,、硬件優(yōu)化、訓練和計算技巧等方面入手,，讓 AI 功耗在一定程度上降低,。
數(shù)據(jù)來源：斯坦福大學《2023 年人工智能指數(shù)報告》、《AI 專題：重新思考對 AI 能源使用的擔憂》,、中國政府網(wǎng)等公開資料整理,。
