《電子技術應用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > 英偉達發(fā)布新nGPT架構撬動AI未來

英偉達發(fā)布新nGPT架構撬動AI未來

超球面學習提效,,訓練模型時間可縮短至 1/20
2024-10-22
來源:IT之家

10 月 22 日消息,,科技媒體 dataconomy 昨日(10 月 21 日)發(fā)布博文,報道稱英偉達在訓練 AI 模型方面取得重大突破,,發(fā)布了最新的 Normalized Transformer(nGPT)新架構,,保持模型的穩(wěn)定性和準確性的前提下,,可以將訓練 AI 時間縮短至 1/4 或者 1/20。

nGPT 架構提升效率的秘訣在于“超球面學習”(Hyperspherical learning)這個概念。

傳統(tǒng)的變換器模型通常缺乏一致的幾何框架,,而 nGPT 通過將嵌入,、注意力矩陣和隱藏狀態(tài)等關鍵組件映射到超球面表面,確保模型各層在訓練過程中保持平衡,。

這種幾何結構有助于創(chuàng)造更穩(wěn)定高效的學習過程:

減少訓練步驟:nGPT 不再直接對模型權重應用權重衰減,,而是依賴學習到的縮放參數,優(yōu)化模型在訓練中的調整方式,。

簡化過程:此方法消除了對 LayerNorm 或 RMSNorm 等歸一化技術的需求,,使訓練過程更為簡單和快速。

英偉達團隊使用 OpenWebText 數據集進行測試,,nGPT 在速度和效率上均優(yōu)于傳統(tǒng)的 GPT 模型,。對于長達 4000 個 tokens 的文本輸入,nGPT 所需的訓練輪次遠少于傳統(tǒng)模型,,顯著縮短了訓練時間。

0.jpg

0.jpg

nGPT 的一個關鍵優(yōu)勢是將歸一化(normalization)和表示學習(representation learning)結合成一個統(tǒng)一框架,,這種設計簡化了模型架構,,便于擴展和適應更復雜的混合系統(tǒng)。未來,,nGPT 的方法可能被整合進其他類型的模型和架構,,從而開發(fā)出更強大的 AI 系統(tǒng)。


Magazine.Subscription.jpg

本站內容除特別聲明的原創(chuàng)文章之外,,轉載內容只為傳遞更多信息,,并不代表本網站贊同其觀點。轉載的所有的文章,、圖片,、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內容無法一一聯(lián)系確認版權者,。如涉及作品內容,、版權和其它問題,請及時通過電子郵件或電話通知我們,,以便迅速采取適當措施,,避免給雙方造成不必要的經濟損失。聯(lián)系電話:010-82306118,;郵箱:[email protected],。