近日,在中國電信集團公司統(tǒng)一組織下,,中國電信研究院,、天翼云,、北京電信成功完成業(yè)內首個1024卡千億參數(shù)商用大模型分布式聯(lián)合訓練真實用戶試商用,通過武清到瀛海之間的真實光路環(huán)回實現(xiàn)了500公里長距互聯(lián)分布式訓練,,訓練性能達到單數(shù)據(jù)中心的97%以上,,這一重大突破為大模型訓練的跨地域協(xié)同發(fā)展開辟了新的道路。
本次試商用基于北京現(xiàn)網(wǎng)800G廣域智聯(lián)無損網(wǎng)絡以及息壤一站式智算服務平臺開展,,在互聯(lián)距離,、帶寬收斂比以及模型參數(shù)方面均產(chǎn)生突破,實現(xiàn)了多數(shù)據(jù)中心互聯(lián)及資源整合支持商用模型分布式聯(lián)合訓練,。
在廣域智聯(lián)無損網(wǎng)絡技術方面,,中國電信創(chuàng)新廣域無損調度算法、關鍵幀識別技術,,將帶寬收斂比提升到32:1,;創(chuàng)新WSON 50ms極速倒換技術,實現(xiàn)長距鏈路中斷無感知切換,。系列技術有效解決了長距離傳輸中網(wǎng)絡擁塞丟包,、鏈路故障、建網(wǎng)成本等問題,,確保了訓練過程的穩(wěn)定性和高效性——在500公里的長距離傳輸下,,網(wǎng)絡傳輸吞吐率仍能保持在較高水平,為千卡千億參數(shù)商用大模型的聯(lián)合訓練提供了堅實的網(wǎng)絡支撐,。與此同時,,息壤平臺支持算力插件、跨地域算網(wǎng)協(xié)同,、跨數(shù)據(jù)中心自動并行,、斷點續(xù)訓等一系列關鍵技術能力,實現(xiàn)故障秒級定位,、分鐘級處理與恢復,,保證了百川千億參數(shù)商用模型的快速部署和穩(wěn)定高效運行。
此次試商用的成功是中國電信在智算網(wǎng)絡領域持續(xù)創(chuàng)新和實踐的成果,,也是積極響應國家戰(zhàn)略推動算力網(wǎng)絡協(xié)同發(fā)展的重要舉措,。未來,中國電信將繼續(xù)加大在智算網(wǎng)絡領域的投入和研發(fā)力度,,為人工智能產(chǎn)業(yè)的發(fā)展提供更加強有力的網(wǎng)絡支持,,助力我國數(shù)字經(jīng)濟的高質量發(fā)展。