“能流暢跑70B模型的國產(chǎn)GPU有推薦的嗎,?”在一個算力交流群里,,一位從業(yè)者問,。不少回復(fù)打趣道:“48GB顯存的4090,。”
48GB顯存的4090顯卡并非英偉達(dá)推出的官方版本,,而是國內(nèi)特有的魔改版,,專為滿足推理算力需求。該版本在市場上大量流通,,價格近乎翻倍,,目前在京東商城里,其售價在2-4萬元不等,。
算力資源信息共享平臺柏林云負(fù)責(zé)人說:“雖然現(xiàn)在購買4090的價格翻了快一倍,,但租賃供給比較充足,租金并沒有漲,?!?/p>
與出租算力3-5年才能回本的周期相比,直接賣卡賺取翻倍利潤,,讓囤有4090的智算中心抓住“救命稻草”,。了解智算中心更多“自救”手段,歡迎添加作者微信YONGGANLL6662交流探討,。
“4090沒有二手市場這個說法,,市場上一些有卡的智算中心會把卡拆下來,翻新后再拿去當(dāng)新卡賣掉,,賺取成倍的利潤,,不然4090停產(chǎn)這么久了,卡從哪里來,?”智算中心運(yùn)營商張翔說,,“國內(nèi)的4090主要是消費(fèi)級風(fēng)扇卡,用在智算中心要先改成渦輪卡,,渦輪卡集中冷卻效果較風(fēng)扇卡更為明顯,,所以智算中心流出來的卡大多經(jīng)過改裝?!?/p>
拆賣顯卡的另一個重要原因在于,,智算中心算力閑置情況嚴(yán)峻。
評估智算中心的算力使用情況,,上架率和點(diǎn)亮率是兩個關(guān)鍵指標(biāo),。上架率關(guān)注的是設(shè)備是否安裝上架并通電可運(yùn)行,而點(diǎn)亮率關(guān)注的是設(shè)備是否在實(shí)際執(zhí)行計算任務(wù),,為業(yè)務(wù)所用,。
軟通動力首席人工智能官金亞東告訴雷峰網(wǎng):“智算中心上架率不足70%-75%,沒辦法盈利,,而現(xiàn)在說智算中心點(diǎn)亮率20%,,實(shí)際情況可能比這更糟糕?!?/p>
面對大量閑置算力與回本難題,,“賣卡回血”成了業(yè)內(nèi)公開的秘密。
算力供給“無人問津”的另一面,,是算力消納方“算力荒”,。
一頭部互聯(lián)網(wǎng)大廠許多業(yè)務(wù)部門的算力需求都排不上號,,特別是其大模型產(chǎn)品接入DeepSeek之后,集團(tuán)響應(yīng)各個業(yè)務(wù)部門算力需求的速度便慢了很多,,甚至連明星AI應(yīng)用都排不到算力,。
“百度算力也不夠用,文心,、云和大搜索幾個部門都在搶,。”曾在百度負(fù)責(zé)AI應(yīng)用開發(fā)的李杰說,,“算力就像糧食一樣,,各個部門都在搶,就怕哪天突然鬧饑荒,?!?/p>
供需錯配之下,智算產(chǎn)業(yè)亂象叢生,。
智算中心銷售李海說:“市場上出現(xiàn)了一類被稱為‘算力媛’的人,,主打信息差獲利,了解買方的需求再匹配合適的賣方,,撮合一個幾億的項(xiàng)目就能從中賺幾千萬,。”
智算中心數(shù)量過剩,,而算力消納方高度集中,,致使消納方得以向智算中心提出極為苛刻的合作條件。據(jù)了解,,去年某明星大模型創(chuàng)業(yè)公司聊了近30個智算中心,,壓價之外,還要求智算中心給他們投資,,幫其做高估值,,最后沒有一家簽下訂單。
賣卡回血,、倒賣算力和惡意壓價之外,,智算中心還面臨哪些行業(yè)“暗礁”?究竟是哪些因素致使行業(yè)生態(tài)扭曲,?畸形的產(chǎn)業(yè)環(huán)境之下,,智算中心又路在何方?
大廠算力緊缺,,智算中心卻陷入“壓價,、退租”寒潮
作為市面上最主要的算力消納方,大廠“苦算力短缺”已久,。
前文提及的兩家大廠之外,,阿里在全力投入通義千問之后,,阿里集團(tuán)內(nèi)其它部門的算力也處于緊缺狀態(tài)。關(guān)于更多大廠算力內(nèi)幕,,歡迎添加作者微信YONGGANLL6662互通有無,。
于是,頭部互聯(lián)網(wǎng)大廠紛紛加碼算力投入,,新一輪的算力軍備競賽愈演愈烈,。
微信接入DeepSeek后,,騰訊向英偉達(dá)采購了數(shù)十億元規(guī)模的H20芯片,。阿里則宣布,未來三年將投入超過3800億元用于建設(shè)云和AI硬件基礎(chǔ)設(shè)施,,投入總額超過過去十年總和,。而根據(jù)浙商證券的研報數(shù)據(jù),2025年字節(jié)用于AI算力采購的資本支出或達(dá)900億元,。
大廠對算力搶得火熱,,智算中心的算力卻閑置一旁。
據(jù)中國信通院報告顯示,,全國已上線的智算中心,,算力的整體利用率僅32%。而不少行業(yè)人士告訴雷峰網(wǎng),,實(shí)際數(shù)據(jù)比這更低,。
“去年模型廠商到處聊需求,營造出市場很火熱的現(xiàn)象,,2024年規(guī)劃出了上千座智算中心,,這些算力根本消耗不了?!睆埾璞硎?。
當(dāng)供給無法消納,需求又難以滿足,,行業(yè)注定偏離正軌,,駛?cè)肫缤尽?/p>
大廠和主要的模型廠商雖面臨算力短缺的問題,但對算力還是有較高的要求,,譬如要求高功率機(jī)柜,、高密度機(jī)柜以及對時間和空間的一些指定需求,大部分智算中心都無法達(dá)標(biāo),,加之算力閑置的情況嚴(yán)峻,,讓買方在市場里的話語權(quán)不斷膨脹。
金亞東表示,,智算中心市場有明顯的金字塔效應(yīng),,大家都追逐頭部廠商的需求,。
一旦商業(yè)行為被太多不對等的現(xiàn)狀裹挾,強(qiáng)勢的一方勢必將所有利益搜刮殆盡,。
據(jù)悉,,去年某大廠要建一個H800算力集群,最終只有一家上市公司成功交付,。原因不僅是大廠要求多,,而且貼著智算中心建設(shè)方的成本價去出價,條款也很苛刻,,導(dǎo)致算力供應(yīng)方做起來就很難,。
張翔透露,很多人做大廠的單子,,投資回報率還跑不過銀行貸款,,完全是雞肋型的生意。
如果說大廠的訂單是讓智算中心賺不到錢,,那其他大模型公司就是讓智算中心做虧本買賣,。
“跟國內(nèi)排得上號的大模型公司合作,他們根本不讓你賺錢,,就讓智算中心自己去拿政府的新能源指標(biāo)補(bǔ)貼,,或者讓智算中心賺設(shè)備租賃后剩下的殘值的錢?!睆埾枵f,,“模型公司還會指定智算中心的租賃價格、上下游的合作對象以及設(shè)備來源,,這非常不符合常理,。”
李海表示,,某家要做視頻模型的大模型公司由于對傳輸性能要求很高,,A100相關(guān)系列基本上都用成本相對較低的RoCE組網(wǎng),但這個客戶要求算力中心提供IB(InfiniBand)組網(wǎng),,并且這部分成本還要算力中心承擔(dān),,IB組網(wǎng)設(shè)備成本通常占服務(wù)器設(shè)備成本的15%-20%,價格非常昂貴,。
但即便是苛刻的算力消納方,,在DeepSeek出圈后,也開始退租,。一位從業(yè)者告訴雷峰網(wǎng),,智算中心開始出現(xiàn)退租的現(xiàn)象,主要是大模型創(chuàng)業(yè)公司,因?yàn)樗麄兛咳谫Y活著,,沒有自己造血的能力,,市場上幾家有名的模型公司都有退租的情況。
李海透露,,曾是他們公司重要客戶的某六小龍模型公司,,近期雖連獲多輪融資,合作規(guī)模卻大幅縮水,。
智算中心低上架率背后:供需錯配,、性能缺陷及地域限制
當(dāng)行業(yè)處在早期泡沫階段,亂象的出現(xiàn)是必經(jīng)階段,。智算中心的桎梏,,從何而來?
供需結(jié)構(gòu)性錯配
“DeepSeek出現(xiàn)之前,,設(shè)備選型是造成算力閑置的原因之一,?!鄙扑奸_悟人工智能科技公司CEO余溢告訴雷峰網(wǎng),,“國產(chǎn)算力、PCIe接口的H100和H800,,由于用于訓(xùn)練性價比較低,,應(yīng)用端需求又尚未起來,造成了較為嚴(yán)重的閑置現(xiàn)象,?!?/p>
“不過,這些設(shè)備可以用來做推理,,DeepSeek出現(xiàn)后,,算力閑置的現(xiàn)象有所改觀?!庇嘁缪a(bǔ)充說,。
算力資源和需求的錯配造成了算力浪費(fèi),另一面是對口的算力用不了,。
金亞東表示,,大部分智算中心的規(guī)模都在1000P(1P算力每秒能夠進(jìn)行一千萬億次計算)上下,由非常分散的社會資本和城市資本建設(shè),,這些資本的特性是有錢但不懂行業(yè),,很難去找到合適的需求方。
而給大廠供算力,,更是講究“天時,、地利、人和”。
“很多智算中心都無法滿足大廠大規(guī)模訓(xùn)練的前置要求,,比如高能耗指標(biāo),、高功率機(jī)柜、高密度機(jī)柜以及集群的排布,?!庇嘁绫硎尽?/p>
硬件性能匹配難度大,,讓大廠習(xí)慣找自己的長期合作伙伴,,因?yàn)殡p方磨合久了,算力提供方能更懂大廠的需求,,譬如潤澤科技就拿了很多字節(jié)以及幾家頭部互聯(lián)網(wǎng)公司的訂單,。
因此,第三方公司想要拿到訂單就只能抓住大廠算力緊缺的窗口期,,就像H20的突然爆火帶來的需求,。不過,能流向市場的訂單都比較緊急,,比如要求三個月內(nèi)算力就必須到位,。
有從業(yè)者透露,很多拿到大廠訂單的廠商會把訂單拿到市場上“招標(biāo)”,,自己不持有設(shè)備,,純賺差價。
而創(chuàng)業(yè)公司是數(shù)量很大的長尾客戶,,這部分公司的需求尚未起來也是算力閑置的重要原因,。
“AI應(yīng)用需求是一個冪指數(shù),現(xiàn)在在底部爬行,,到了爆發(fā)的節(jié)點(diǎn)會上漲很多,,AI應(yīng)用爆發(fā)起來還要1-2年的時間?!苯饋問|說,,“目前,AI應(yīng)用的發(fā)展還面臨比較多的門檻,,包括對技術(shù)的認(rèn)知,、成本的考量以及底層大模型能力尚有欠缺?!?/p>
找不到,、用不起算力,也是目前創(chuàng)業(yè)公司面臨的普遍問題,。
“由于英偉達(dá)被禁,,解決算力需求比較受制于渠道資源,,供需匹配存在困難,所以算力市場有很多二道販子,?!庇嘁绫硎尽?/p>
另外,,對很多創(chuàng)業(yè)公司而言,,還存在用不起算力的現(xiàn)象。李海表示,,很多AIGC公司還希望用一年前的預(yù)算來購買和租賃現(xiàn)在的設(shè)備,。
國產(chǎn)算力性能欠缺
供需結(jié)構(gòu)性錯配之外,國產(chǎn)算力性能無法匹配市場需求,,同樣造成算力浪費(fèi),。
“公司測試了國產(chǎn)芯片的性能,測試工程師反饋‘只適合個人用戶玩一下,,無法作為產(chǎn)品服務(wù)去交付’,。”張翔說,,“國產(chǎn)芯片部署模型,,只要出錯過一次,服務(wù)器就會掛掉,,需要重啟服務(wù),?!?/p>
據(jù)了解,,不少國產(chǎn)芯片公司為了拿到智算中心的訂單,會向智算中心承諾包銷算力,,并且出資10%-20%去建設(shè)智算中心,,在明面上,將雙方的利益捆綁在一起,。
“事實(shí)上,,關(guān)于包銷承諾,很多都是無疾而終,,不過芯片廠商不兌現(xiàn)承諾,,智算中心就不給尾款?!睆埾枵f,,“最后的結(jié)局就是一地雞毛,設(shè)備放著吃灰,?!?/p>
目前,國產(chǎn)芯片公司都急于拿到智算中心的訂單,原因在于智算中心的大單能給芯片公司做“漂亮賬”,,能不能用并不重要,,重要的是有實(shí)際的訂單數(shù)額。芯片行業(yè)資深從業(yè)者潘齊透露,,有從大廠跳槽到芯片公司負(fù)責(zé)銷售的人,,因?yàn)槟貌坏街撬阒行牡挠唵坞x職了。
頭部的國產(chǎn)AI芯片創(chuàng)業(yè)公司都已走到?jīng)Q勝IPO的階段,,產(chǎn)品能力,、實(shí)際的訂單數(shù)量以及大集群的建設(shè)能力對于誰能勝出,有著重要影響,。
焦灼的競爭態(tài)勢之下,,為了拿到智算中心的訂單,市場上滋生出許多“非常規(guī)操作”,。
據(jù)悉,,包銷承諾讓智算中心算力閑置的壓力壓到了芯片公司身上,除了跑路的極端情況外,,更體面的做法是花錢雇算力消納方去使用自己的算力,。
“某國產(chǎn)芯片公司被逼得花錢買營收,找到大模型廠商和一些實(shí)驗(yàn)室談合作,,花一個億換回三四千萬的營收,。”潘齊說,。
而自身有算力需求業(yè)務(wù)板塊的公司,,則會讓自己的業(yè)務(wù)去消納算力,向智算中心保證使用率,,但撐完6個月的驗(yàn)收期之后,,就撤掉業(yè)務(wù),導(dǎo)致算力利用率大幅下降,。
地域限制為算力消納戴上枷鎖
“大部分東部沿海地區(qū)的算力供給會因?yàn)橄奶祀娏Σ蛔忝媾R挑戰(zhàn),,西部地區(qū)電力資源豐富,但算力的使用場景不足,?!彪娦叛芯吭阂患壏治鰩煆埿|表示,“以胡煥庸線為界,,根據(jù)統(tǒng)計的結(jié)果,,東部地區(qū)AI上下游企業(yè)超過60萬家,西部地區(qū)僅1萬家左右,,但只有30%的智算中心能做跨省的算力調(diào)度,,算力孤島的現(xiàn)象很嚴(yán)重,。”
此外,,一些縣級市建設(shè)的算力中心,,主要目的是拿到省里的補(bǔ)貼,但縣級市一般缺乏可以做后期維護(hù)的技術(shù)團(tuán)隊(duì),,并且當(dāng)?shù)貨]有消納算力的企業(yè),,這就造成設(shè)備的空置率非常高。不少從業(yè)者認(rèn)為,,地方政府應(yīng)該把算力和應(yīng)用捆綁起來作為智算中心建設(shè)的考核指標(biāo),。
算力跨區(qū)域調(diào)度除了物理限制之外,還面臨“人為限制”,。
一位從業(yè)者表示,,一些地區(qū)的算力補(bǔ)貼會限定只有當(dāng)?shù)氐钠髽I(yè)才能享用,這也會造成資源的錯配,。
而數(shù)據(jù)的隱私性和安全性,,也讓算力的跨區(qū)域調(diào)配面臨掣肘。
據(jù)了解,,大部分機(jī)構(gòu)都會把數(shù)據(jù)留在自己的手里,,所以對智算中心的位置會有要求,此前,,互聯(lián)網(wǎng)大廠有黃金10公里的說法,,要求算力部署在自己10公里的范圍內(nèi),既可以保證數(shù)據(jù)安全,,又能夠降低延時,。
“數(shù)據(jù)不可能流動起來,基本還是在當(dāng)?shù)氐闹撬阒行淖鲇?xùn)練和推理,?!币晃粡臉I(yè)者表示,“東數(shù)西算還沒有發(fā)揮出其價值,。”
算力需求將漲10倍,,5000萬家中小型企業(yè)才是算力消納主力
“泡沫期”是行業(yè)大規(guī)模發(fā)展的必經(jīng)之路,,這意味著資金、人才和技術(shù)的涌入,,陣痛過后,,智算中心將走上正軌。
“全社會對AI技術(shù)認(rèn)可程度不斷提高,,現(xiàn)在做AI應(yīng)用機(jī)遇巨大,,大廠的關(guān)注點(diǎn)更多落在平臺和生態(tài)方面,。”余溢說,,“創(chuàng)業(yè)公司單個客戶雖然小,,但是數(shù)量很多,長尾客戶占到80%,,會慢慢把閑置的算力填滿,。”關(guān)于AI應(yīng)用及其對算力市場的影響,,歡迎添加作者微信YONGGANLL6662交流討論,。
金亞東則表示,智算中心獲益是一個很重要的指標(biāo),,智算中心處在上游,,其能盈利代表下游的AI應(yīng)用已經(jīng)被盤活。
張小東認(rèn)為,,從數(shù)據(jù)產(chǎn)量和日均Token消耗量兩個維度進(jìn)行推理,,都能顯示出對算力的需求量正在不斷上漲。
2024年,,中國數(shù)據(jù)產(chǎn)量同比增長20%,,數(shù)據(jù)流通量同比增長超30%,很多數(shù)據(jù)都用于AI,,從數(shù)據(jù)使用量的角度倒推算力需求量的增長比例大概在20%-30%,。
從日均Token消耗數(shù)量統(tǒng)計,運(yùn)營商內(nèi)部估算的數(shù)據(jù)是2024年整體的Token消耗量大概在5萬億,,2025年底預(yù)計會翻十倍到50萬億,,Token用量代表對算力的消耗,從這個角度講,,算力的需求會增長1000%,。
需求量的上漲將帶動閑置算力的消納,而行業(yè)也正在推出更靈活的銷售模式以適應(yīng)市場需求,。
針對訓(xùn)練需求,,智算中心會把零散的算力組成整體售賣給頭部客戶。針對小客戶的推理需求,,智算中心會把算力打散,,改變原先租整機(jī)的模式,將一臺機(jī)器8張卡分成24小時售賣,,靈活配置卡時給用戶,。而按照Token計數(shù)的算力收費(fèi)模式,則通過最小的計費(fèi)單位,,實(shí)現(xiàn)最大化的算力消納,,提高算力的利用率,。
“世界上沒有用不掉、不合適的算力,,重點(diǎn)在于找到合適的應(yīng)用,。”金亞東說,,“算力市場更重要的是做好‘散對散’之間的配對,,100-1000P算力供給方和大概5000萬家中小型企業(yè)才是未來市場的主角,已經(jīng)上線的天元智算算力調(diào)度平臺就能為散對散的交易提供合作渠道,?!?/p>
而對于國產(chǎn)算力面臨的性能問題,也不斷有新的技術(shù)解決方案進(jìn)行算力優(yōu)化,。
“國產(chǎn)芯片比較像單項(xiàng)選手,,整體的性能較弱但一些指標(biāo)性能尚可?!迸她R認(rèn)為,,通過異構(gòu)集群對國產(chǎn)芯片進(jìn)行算力優(yōu)化,并通過先進(jìn)計算迭代平臺,,推動軟件帶動硬件,,能夠形成一個整體優(yōu)化的解決方案。
國內(nèi)北電數(shù)智,、無問芯穹和澎峰科技等企業(yè)都在針對國產(chǎn)算力做優(yōu)化,,通過不同的技術(shù)解決方案,提升國產(chǎn)芯片在算力方面的性能和效率,。
政府補(bǔ)貼是支撐國內(nèi)智算產(chǎn)業(yè)發(fā)展的重要力量,,卻在市場上飽受詬病。不少從業(yè)者認(rèn)為,,補(bǔ)貼引來了諸多逐利者,,擾亂了智算中心產(chǎn)業(yè)的正常發(fā)展。
金亞東說,,“這是產(chǎn)業(yè)發(fā)展的規(guī)律性現(xiàn)象,,在初級階段,國家把錢投到智算中心并推動國產(chǎn)芯片的使用沒什么問題,,新能源電動車也是這樣補(bǔ)貼出來的,,先補(bǔ)供給側(cè),供給量足夠大的時候再補(bǔ)需求側(cè),,最后讓需求側(cè)挑選供給側(cè),市場化的篩選能挑出最有競爭力的參與者,?!?/p>
下個階段,,政府的支持和補(bǔ)貼或?qū)⑥D(zhuǎn)移到下游的AI應(yīng)用。隨著需求量的增加,、供需匹配機(jī)制的完善以及撥亂反正的推進(jìn),,智算中心還值得期待。