《科創(chuàng)板日報》3月21日訊,,開年以來,開源大模型 DeepSeek 的爆火,,如同一顆投入湖面的巨石,,激起層層漣漪,,直接引爆了大模型一體機產(chǎn)品的密集發(fā)布熱潮。
一時間,,服務器廠商,、云服務提供商、行業(yè)應用開發(fā)商以及大模型技術供應商等各路玩家紛紛入局,,根據(jù) IDC 統(tǒng)計,,市場上已迅速有接近百家廠商推出 AI 一體機產(chǎn)品。
但DeepSeek 一體機從最初的火爆 “出圈”,,發(fā)展到真正在企業(yè)中能用,、好用,還有相當長的路要走,。
▍熱潮涌動:需求量激增超200%,!
《科創(chuàng)板日報》近期走訪云從科技、云天勵飛,、優(yōu)刻得,、火山引擎等廠商時發(fā)現(xiàn),DeepSeek 一體機的客戶需求極為火熱,?!耙惑w機現(xiàn)在需求非常大,醫(yī)院,、學校,、政府、金融等行業(yè)都在找我們要,?!?一位華為計算條線的業(yè)務人員透露。
云天勵飛副總裁羅憶表示:“智能算力的硬件需求量確實較多,。政府和央國企的需求量,,相比前兩年 ChatGPT 帶來的客戶密度翻了兩倍不止。政府客戶對于一體機較為認可的一點是,,一體機部署不用做大量的前期準備工作,,可以降低 AI 應用門檻,對于有良好數(shù)據(jù)治理基礎的領域,,比如政務,、金融等,能夠快速開發(fā)出不同應用,?!?/p>
云從科技董秘楊樺也指出,,客戶需求量呈現(xiàn)出顯著的增長趨勢,,尤其是一些對數(shù)據(jù)安全性和隱私保護有較高要求的企業(yè),,他們對本地化部署的一體機表現(xiàn)出濃厚的興趣,。“根據(jù)我們最近的業(yè)務線索和銷售情況,,金融、政務等領域的客戶對 AI 一體機的需求尤為旺盛,。比如我們和一個銀行正在合作的項目,,就是通過一體機去整合多源數(shù)據(jù)(金融三期平臺、員工征信,、合規(guī)系統(tǒng)等),,構建風險數(shù)據(jù)集市與知識圖譜,實現(xiàn)風險識別自動化和問責標準化,?!?/p>
火山引擎相關負責人表示,,火山引擎發(fā)布AI一體機后,,已經(jīng)收到大量企業(yè)客戶的咨詢和下單,客戶需求超過預期,。優(yōu)刻得新興產(chǎn)業(yè)事業(yè)部首席架構師李天朋介紹,一體機主要面向政府,、央國企、醫(yī)療,、金融,、教育等數(shù)據(jù)安全要求較高和工業(yè)等對延時較為敏感的應用場景。
從售價來看,,DeepSeek 一體機根據(jù)所承載的模型及搭載軟件的不同,,單次交付成本在幾十萬至百萬左右,。IDC 中國研究經(jīng)理程蔭認為,DeepSeek 帶動了整個中國市場對AI應用的樂觀發(fā)展預期,,如果能驅動更多企業(yè)(尤其是中小等長尾企業(yè))部署 AI,,一體機市場將會迎來進一步發(fā)展。
然而,,在這股熱潮之下,,也有業(yè)內人士表達了擔憂。一名IT業(yè)內人士稱:“需警惕現(xiàn)在市場有點過熱,。幾乎所有的政府部門都在提需求,,大家有點一窩蜂??蛻暨€是要結合自己的實際情況,。首先要清醒地認知,現(xiàn)在的大模型雖然說基模能力提升了,,但最終距離深度和業(yè)務的結合中間還是有鴻溝,,這取決于用戶自身的數(shù)據(jù)治理和業(yè)務梳理能力?!?/p>
▍理想與現(xiàn)實:下單周期漫長
盡管DeepSeek一體機咨詢需求火爆,,但實際下單的周期較長,。多名服務器廠商向《科創(chuàng)板日報》記者表示,,關于DeepSeek一體機的咨詢很多,但基本都處于調研階段,,而直接下單的客戶大多是此前已定好相關預算,,選擇把原先定好的大模型訂單換成了DeepSeek。
“客戶處于測試階段的比較多,,直接下訂單愿意買一臺來試試的客戶,,通常是手里本來就有預算。這對于老牌大模型公司,,其實沖擊蠻大,。原先可能計劃采購閉源大模型,現(xiàn)在開源的DeepSeek一來,,就把預算換成了部署開源模型,。” 一名廠商人員表示,。
李天朋指出,,DeepSeek 一體機成單量比例相較于成熟云服務產(chǎn)品較低。“雖然客戶的需求意愿非常強烈,,但一體機產(chǎn)品一般需要在客戶現(xiàn)場實際測試評估效果后才能夠簽單,,目前因為資源較為緊缺的問題,上百家用戶正在進行測試排期,,導致暫時成單相較于云服務產(chǎn)品較低,。”
“很多用戶需要深度思考 DeepSeek 與自身業(yè)務場景之間的結合,,在與一體機廠商咨詢后,,需要對自身的業(yè)務、采購成本,、接入方式等進行多方面的評估,,DeepSeek 本身接入的方式也非常多樣,部分客戶會轉向API或者云上資源交付的方式,。用戶咨詢時主要關注 DeepSeek 在自身應用場景中的落地情況,,希望廠商結合經(jīng)驗給出建議,市場上一體機產(chǎn)品硬件配置高度同質化,,性能差異不大,,用戶更關注場景應用、增值功能及后續(xù)服務,?!?李天朋進一步解釋道。
談及一體機的落地,,羅憶給出的建議是,,“以云服務的方式,先通過模擬數(shù)據(jù)的方式做驗證和測試,。然后比較確定這個業(yè)務是可以閉環(huán)的,,能夠嵌入到業(yè)務流,然后再選擇合適的計算架構,,把智算融入到企業(yè)和政府的 IT 架構里,。而一體機,則是在成本可接受情況之下的一種嘗鮮,?!?/p>
目前,滿血版 DeepSeek 一體機采購成本在百萬元以上,,投入不小,。但從業(yè)務真正落地的角度考慮,多數(shù)從業(yè)者都建議用戶直接部署滿血版,。“32B的大模型用英偉達的4090芯片就能跑起來,。采用32B和70B模型的客戶,,大多數(shù)用于測試和微調,,真正業(yè)務要落地的還是采用滿血版?!?一名服務器銷售人員說,。
羅憶也建議用滿血版模型來進行業(yè)務探索?!安⒉皇钦f這些小尺寸的模型沒有用,,但當探索一個新業(yè)務的時候,肯定要用最強的模型把整個業(yè)務跑通閉環(huán),,之后再考慮在不同的業(yè)務環(huán)節(jié)用低成本的模型來填補,。”
▍落地之困:大模型與業(yè)務場景的鴻溝
大模型距離業(yè)務落地仍然存在著較大的鴻溝,。羅憶認為,,“政府和企業(yè)的相關技術人才儲備嚴重不足,這一方面需要知識普及,,另一方面大模型與業(yè)務的結合是逐步發(fā)生的過程,,需要業(yè)務流的梳理,甚至業(yè)務流的編排,,依賴業(yè)務專家深度參與,。”
優(yōu)刻得的李天朋也指出,,人才是一大挑戰(zhàn),,企業(yè)采購私有化大模型一體機后,軟硬件運維和系統(tǒng)二次開發(fā)需要專業(yè)人才支撐,,企業(yè)在人才積累和技術沉淀方面面臨長期挑戰(zhàn),。在業(yè)務場景方面,一體機不僅是硬件生意,,未來隨著大模型應用成熟,,它將成為客戶側的核心組件,需要完善軟件生態(tài)體系,,如解決大模型的安全,、權限管理以及與業(yè)務結合的適配優(yōu)化等問題。
火山引擎相關人士表示,,技術復雜性,、成本、數(shù)據(jù)質量,、系統(tǒng)集成,、人才短缺、安全性、業(yè)務適配,、運維和 ROI 等都是存在的挑戰(zhàn),。“比如 AI 一體機涉及硬件,、軟件和AI模型的集成,,技術門檻較高,也需要定期更新升級(比如支持 DeepSeek 后續(xù)的升級版模型),,需要廠商能提供完善的維保服務,。遇到AI大模型在實際業(yè)務場景中的性能不如預期的情況下,不僅需要企業(yè)自身配備專業(yè)的算法工程師,,也需要AI一體機廠商在軟件層面能提供模型壓縮,、量化和蒸餾工具,幫助優(yōu)化模型性能,;提供自動化調優(yōu)工具,,幫助企業(yè)快速找到最優(yōu)參數(shù);提供專業(yè)的AI咨詢服務,,幫助企業(yè)解決性能瓶頸,。”
云從科技董秘楊樺總結,,大模型一體機落地仍有兩座大山需攻堅:一是場景深水區(qū),。客戶要的并非 “萬能模型”,,而是 “扎進業(yè)務毛細血管” 的解決方案,,比如某些工業(yè)質檢的識別精度必須達 99.9%,這需要行業(yè) Know-How 與AI的深度咬合,;二是生態(tài)碎片化,。目前的多重一體機硬件組合,特別是國產(chǎn)化這塊,,硬件標準不統(tǒng)一,、軟硬適配成本高,企業(yè)買一體機像 “拼樂高”,,后期運維頭大,。
▍未來趨勢:公有云和私有化部署將雙軌并行
當前,市場上已迅速有接近百家廠商推出AI一體機產(chǎn)品,。面對激烈的市場競爭,,優(yōu)刻得新興產(chǎn)業(yè)事業(yè)部首席架構師李天朋認為,不同廠商有不同優(yōu)勢,,硬件廠商在硬件建設成本,、硬件適配優(yōu)化和國產(chǎn)化適配方面有優(yōu)勢,;云服務和算力服務廠商在端到端交付、前期客戶對接測試,、模型管理和算力調度及后續(xù)大模型與用戶業(yè)務的深度結合等大模型全鏈路服務方面更具優(yōu)勢,,能為客戶提供更好的使用體驗。
云從科技董秘楊樺表示,,從趨勢判斷上看,隨著Deepseek的出現(xiàn),,成本降低,,大模型能力和解決問題的能力得到提升,開源將會帶來更多生態(tài)出現(xiàn),??紤]到國產(chǎn)安全性及國產(chǎn)化的需求,私有化部署需求將得到全面滿足,,央國企和政府治理的全面數(shù)字化轉型會加快,,需求釋放,加快落地,。此外,,企業(yè)數(shù)字員工、企業(yè)Agent的需求將迎來爆發(fā)式增長,。這種轉變對于專注行業(yè)垂直領域,,既懂AI又有業(yè)務認知的科技商業(yè)化公司帶來了巨大的機會和成長空間?!?/p>
楊樺預計,,在公有云領域,推理成本預計每年以十倍幅度下降,,這使得中小企業(yè)和消費級應用正加速采用公有云服務,。從市場占比來看,公有云主要聚焦于標準化服務,,在互聯(lián)網(wǎng),、教育、泛零售等領域占比可能較高,。而私有化部署方面,,政企、金融,、制造,、能源等高敏感行業(yè)仍以一體機為主導,以政企,、醫(yī)療,、工業(yè)等垂直領域為核心,。技術普惠層面,開源模型和低成本芯片,,將進一步加速了大模型應用的滲透,。
“未來三年,大模型在公有云和私有化部署領域的市場趨勢將呈現(xiàn)雙軌并行,、協(xié)同發(fā)展的格局,。公有云部署將繼續(xù)保持快速增長,尤其是在互聯(lián)網(wǎng),、電商等對彈性能力和快速迭代需求較高的行業(yè),。私有云部署將保持快速增長,在政企,、金融,、醫(yī)療等對數(shù)據(jù)隱私和安全性要求高的行業(yè)快速普及?!被鹕揭嫦嚓P負責人稱,。
DeepSeek所采用的混合專家系統(tǒng) MOE,降低了每次需要激活的大模型參數(shù)量,,導致推理成本大大降低,,也對于國產(chǎn)芯片帶來了利好。
“DeepSeek對國產(chǎn)智能算力的芯片和廠商,,是一個巨大的機會,。當然其形式不僅限于一體機。未來必然是混合計算架構,,而且應用場景邊緣化的趨勢很明顯的,,因為考慮到私有數(shù)據(jù)安全、低延時等問題,。除了政府和大型企業(yè),,未來的智算邊緣化落地一定是會向中小企業(yè),甚至家庭個人方向延展,?!绷_憶稱,“我們芯片采用算力積木架構,,雖然受制程影響,,但是可以通過創(chuàng)新的架構,,讓芯片能夠像搭積木一樣靈活組建,、自由擴展?!?/p>
楊樺表示,,傳統(tǒng)大模型(如GPT-4)部署成本高,,DeepSeek等開源模型將訓練成本降至十分之一,推理成本預計未來下降數(shù)十倍,。DeepSeek一體機支持單機實時推理,,邊際成本低,適合中小政務單位靈活應用,?!昂罄m(xù)隨著我們協(xié)同華為、海光,、寒武紀等生態(tài)伙伴產(chǎn)生規(guī)模效應,,有助于進一步降低硬件與部署成本?!?/p>
需要指出的是,國產(chǎn)算力仍有非常長的路要走,?!澳壳暗某杀疽廊挥行└撸嬖诰薮蟮目蓛?yōu)化和提升的空間,。做好國產(chǎn)算力和先進模型的適配,,提升性價比,這需要一個過程,?!绷_憶坦言。
李天朋也表示,,算力適配優(yōu)化,,尤其是國產(chǎn)算力方面,目前國產(chǎn)GPU與英偉達GPU相比,,在適配效果和性能輸出上還有提升空間,,GPU生態(tài)體系也需進一步優(yōu)化?!?/p>