近期，36氪于北京盛大召開“WISE2024 商業(yè)之王”大會，吸引各行各業(yè)精英齊聚,，共探艱難卻正確之事,。北京電子數(shù)智科技有限責(zé)任公司（以下簡稱“北電數(shù)智”）應(yīng)邀出席，其CMO兼戰(zhàn)略與市場負(fù)責(zé)人楊震發(fā)表《“國產(chǎn)算力 PoC 平臺”，以場景測評尋找算力最優(yōu)解》主題演講，在大會上分享了北電數(shù)智對于國產(chǎn)算力應(yīng)用的深刻見解與前沿探索成果，為行業(yè)發(fā)展提供了極具價值的思路與方向,。

OpenAI o1發(fā)布后，強化學(xué)習(xí)提升大模型智力的推理模型路線獲得了業(yè)內(nèi)認(rèn)可，不少公司紛紛發(fā)布推理模型,。而推理模型雖信奉以長思考時間提高智能水平,，但實際應(yīng)用中用戶仍看重響應(yīng)速度快、推理成本低,、吞吐能力長這些指標(biāo),。且推理模型注重垂直場景落地，存在產(chǎn)業(yè)鏈斷層,，模型方與算力供給需按場景系統(tǒng)化適配痛點,。北電數(shù)智首個國產(chǎn)算力PoC平臺可助力推理模型落地，提供低成本算力,，幫大模型適配國產(chǎn)芯片提升推理效果,、加速推理速度。

國產(chǎn)算力PoC平臺構(gòu)建于北電數(shù)智先進計算迭代驗證平臺（即前進?AI 異構(gòu)計算平臺）之上,，坐落于由北電數(shù)智統(tǒng)籌規(guī)劃建設(shè),、設(shè)計運營的北京數(shù)字經(jīng)濟算力中心。國產(chǎn)算力PoC平臺可針對不同廠家的算力芯片,，實施算力納管與統(tǒng)一調(diào)度,，依據(jù)各類模型任務(wù)的特性差異，精準(zhǔn)調(diào)配適宜的算力資源,。同時,，借助構(gòu)建豐富的算子庫、打造通信庫等手段,，有力推動模型訓(xùn)練加速進程,，為大模型供給兼具高性價比與高品質(zhì)的算力支持，使其以更低成本,、更高效率開展運算,，助力大模型落地。

當(dāng)模型與行業(yè),、場景深入結(jié)合,，定制化的重要性日益凸顯。北電數(shù)智推出的國產(chǎn)算力PoC平臺能夠為用戶在垂直場景下提供算力集群的評測,、適配以及驗證服務(wù),，協(xié)助算力需求方探尋出最為適宜的“軟件+硬件”組合方案，以此提升模型訓(xùn)推算力的效率,，削減訓(xùn)推所需時間與成本，為用戶締造更優(yōu)質(zhì)的使用體驗,。

國產(chǎn)算力PoC平臺大幅提升國產(chǎn)芯片利用率和集群利用率,。借助調(diào)度、算法以及算子等多層面優(yōu)化，國產(chǎn)算力PoC平臺可大幅改善國產(chǎn)集群的訓(xùn)推效能,，混訓(xùn)集群的訓(xùn)練成果能夠達到單一集群綜合訓(xùn)練效果的1.2倍,，在進行混推操作時使平均MFU（模型對算力的利用率）從30%躍升至60%。

經(jīng)過國產(chǎn)算力PoC平臺多層優(yōu)化后,，反映在模型生成速度上表現(xiàn)為基于國產(chǎn)芯片的模型首字延遲最多可優(yōu)化10倍,，解碼延遲可達10倍優(yōu)化，能更迅速地完成數(shù)據(jù)解析工作,，推理吞吐量最高可實現(xiàn)80倍的提升,。意味著在單位時間內(nèi)能夠處理更多的數(shù)據(jù)，進而更快速地響應(yīng)模型推理需求,，有效提升用戶體驗并提高數(shù)據(jù)處理效率,。

為進一步提升運行效率并節(jié)約資源，北電數(shù)智在集群中運用了一系列推理優(yōu)化策略,。例如,，憑借scoping to zero特性能夠有效縮短冷啟動時長；在集群推理環(huán)節(jié),，支持Continuous batch,、Page attention、CPU / GPU 異步等推理策略,，提高GPU利用率,。

當(dāng)前，北電數(shù)智的國產(chǎn)算力PoC平臺已經(jīng)實現(xiàn)了對十多種國內(nèi)知名算力芯片的評測支持以及與二十多款主流模型的適配,。北電數(shù)智的國產(chǎn)算力PoC平臺在當(dāng)下AI發(fā)展進程中已彰顯出關(guān)鍵價值與強大競爭力,。其憑借精準(zhǔn)的算力納管與調(diào)度、卓越的模型適配能力以及全方位的優(yōu)化舉措,，有效解決了推理模型在落地應(yīng)用時面臨的諸多難題,，極大地提升了國產(chǎn)芯片利用率與集群效能，降低了模型訓(xùn)推成本并顯著提高了運行效率,。

身為肩負(fù)“建設(shè)數(shù)字中國”使命的AI原生國企,，北電數(shù)智始終堅持做難而正確的事，致力于強化行業(yè)間的生態(tài)聯(lián)動,，打通模型,、場景與芯片在商業(yè)運營及研發(fā)創(chuàng)新層面的閉環(huán)鏈路。在人工智能產(chǎn)業(yè)蓬勃發(fā)展的浪潮中,，北電數(shù)智積極布局,，通過持續(xù)優(yōu)化國產(chǎn)算力PoC平臺整合行業(yè)資源，不僅為產(chǎn)業(yè)鏈上下游企業(yè)提供了高效的合作橋梁,，也致力于提升我國人工智能產(chǎn)業(yè)自主化創(chuàng)新能力,，為國家科技戰(zhàn)略推進做出創(chuàng)新示范。