《電子技術(shù)應用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > 螞蟻集團全面開源AI Infra技術(shù)

螞蟻集團全面開源AI Infra技術(shù)

大模型訓練可“自動駕駛”
2024-02-02
來源:鳳凰網(wǎng)科技
關(guān)鍵詞: 螞蟻集團 AI NextEvo AIInfra 大模型

近日,,螞蟻集團AI創(chuàng)新研發(fā)部門NextEvo全面開源AI Infra技術(shù),,可幫助大模型千卡訓練有效時間占比超過95%,能實現(xiàn)訓練時“自動駕駛”,這推動了AI研發(fā)效率,。

該技術(shù)框架名為DLRover,,目標在于大規(guī)模分布式訓練的智能化,。目前很多企業(yè)的訓練作業(yè)都是跑在混合部署的集群中,,運行環(huán)境復雜多變,不管多么“崎嶇的地形”,,DLRover都可以“輕松行駛”,。

4.png

2023年大模型技術(shù)的發(fā)展,帶來了工程實踐的爆發(fā),,如何管理數(shù)據(jù),,提高訓練和推理效率,最大化利用現(xiàn)有算力,,成了關(guān)鍵一環(huán),。

完成一個千億參數(shù)級別的大模型,如GPT-3,,用一張卡訓練一次要耗時32年,,那么訓練時的算力利用尤為重要。方法之一是把能用的算力用得更好,,比如進一步壓榨已購買GPU的性能,;二是把以前利用不了的算力用起來,比如CPU,、內(nèi)存等,,這就需要通過異構(gòu)計算平臺來解決。

據(jù)悉,,最新集成進DLRover的是Flash Checkpoint(FCP)方案,。模型訓練時,一般要打Checkpoint(檢查點),,以便中斷時能恢復到最近狀態(tài),,目前常規(guī)的做法,存在著耗時長,、高頻打點易降低訓練可用時間,、低頻打點恢復時丟失過多等缺點。新方案FCP應用在千卡千億參數(shù)模型訓練后,,Checkpoint 導致的訓練浪費時間降低約5倍,,其中持久化時間降低約70倍,,有效訓練時間從90%提升至95%,。

weidian.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點,。轉(zhuǎn)載的所有的文章,、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者,。如涉及作品內(nèi)容、版權(quán)和其它問題,,請及時通過電子郵件或電話通知我們,,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失,。聯(lián)系電話:010-82306118,;郵箱:[email protected]