3 月 18 日消息,,就在剛剛,,馬斯克的 AI 創(chuàng)企 xAI 正式發(fā)布了此前備受期待大模型 Grok-1,,其參數(shù)量達到了 3140 億,遠超 OpenAI GPT-3.5 的 1750 億,。
這是迄今參數(shù)量最大的開源大語言模型,,遵照 Apache 2.0 協(xié)議開放模型權重和架構,。
Grok-1 是一個混合專家(Mixture-of-Experts,MOE)大模型,,這種 MOE 架構重點在于提高大模型的訓練和推理效率,,形象地理解,,MOE 就像把各個領域的 " 專家 " 集合到了一起,,遇到任務派發(fā)給不同領域的專家,最后匯總結論,,提升效率,。決定每個專家做什么的是被稱為 " 門控網絡 " 的機制。
xAI 已經將 Grok-1 的權重和架構在 GitHub 上開源,。
GitHub 地址:
https://github.com/xai-org/grok-1?tab=readme-ov-file
目前 Grok-1 的源權重數(shù)據(jù)大小大約為 300GB,。
截至北京時間 3 月 18 日上午 7 時許,Grok-1 項目收獲了 3400 顆星,。
Grok-1 是馬斯克 xAI 自 2023 年 7 月 12 日成立以來發(fā)布的首個自研大模型,。xAI 特別強調說這是他們自己從頭訓練的大模型。Grok-1 沒有針對特定應用進行微調,。
xAI 是馬斯克去年剛剛成立的明星 AI 創(chuàng)企,,其目的之一就是與 OpenAI、谷歌,、微軟等對手在大模型領域進行競爭,,其團隊來自 OpenAI、谷歌 DeepMind,、谷歌研究院,、微軟研究院等諸多知名企業(yè)和研究機構。
此前馬斯克剛剛 " 怒噴 "OpenAI 不夠 "Open",,后腳這就開源了自家的頂級 3410 億參數(shù)自研大模型 Grok-1,。雖然馬斯克在預熱到發(fā)布的過程中也 " 放了幾次鴿子 ",但最終他并沒有食言,。
今天,,xAI 還公布了 Grok-1 的更多細節(jié):
基礎模型基于大量文本數(shù)據(jù)訓練,未針對特定任務進行微調,。
3140 億參數(shù)的 Mixture-of-Experts 模型,,其對于每個 token,活躍權重比例為 25%,。
xAI 從 2023 年 10 月開始使用自定義訓練堆棧在 JAX 和 Rust 之上從頭開始訓練,。
但此次 xAI 并沒有放出 Grok-1 的具體測試成績,其與 OpenAI 即將發(fā)布的 GPT-5 的大模型王者之戰(zhàn),,必將成為業(yè)內關注的焦點,。
當然,,馬斯克發(fā)大模型,怎么會少的了大佬隔空對線 " 互懟 ",?
xAI 官方消息剛剛發(fā)布,,ChatGPT 的官方賬號馬上就跟馬斯克在 X 平臺上進行了互動,在 Grok 官方賬號評論下回復道:" 偷了我的笑話,。"
馬斯克自然不會示弱,,馬上說請告訴我 OpenAI"Open" 之處在哪里。
馬斯克高仿號也馬上跑過來添油加醋,,說我們都知道是 Sam 在運營 ChatGPT 的賬號,。
值得一提的是,此次 xAI 發(fā)布 Grok-1 消息的封面圖片,,是由 Midjourney 生成,,Grok 給出了提示文本:一個神經網絡的 3D 插圖,具有透明節(jié)點和發(fā)光連接,,展示不同粗細和顏色的連接線的不同權重(A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines),。
原圖: