4 月 17 日消息,，今日,，上海多模態(tài)大模型獨角獸 MiniMax 正式推出 abab 6.5 系列模型，包含 abab 6.5 和 abab 6.5s 兩個模型,。

MiniMax 成立于 2023 年 1 月,，是當前國內(nèi)估值最高的大模型公司之一。今年 3 月,，MiniMax 完成阿里參投的新一輪融資,，投后估值超過 25 億美元。此前米哈游,、騰訊均有投資 MiniMax,。

在 MoE 尚未成為行業(yè)共識時，MiniMax 已經(jīng)押注 MoE 路線,，今年 1 月發(fā)布其首款基于 MoE 架構的 abab 6,，并在過去 3 個月潛心研發(fā)出性能更強的萬億參數(shù) MoE 模型 abab 6.5，在核心能力測試中接近 GPT-4,、Claude 3 Opus,、Gemini 1.5 Pro 等頂尖大語言模型。

標注星號的是 MiniMax 調(diào)用 API 測試得到的結(jié)果,，其余分數(shù)來自對應的技術報告,。

abab 6.5 和 abab 6.5s 采用相同的訓練技術、數(shù)據(jù),，支持 200k tokens 上下文長度,。abab 6.5s 更高效，1 秒能處理近 3 萬字的文本,。

MiniMax 在 200k tokens 內(nèi)進行了業(yè)界常用的 " 大海撈針 " 測試,。在 891 次測試中，abab 6.5 均能正確回答,。

MiniMax 團隊稱找到了越來越多加速實現(xiàn) Scaling Laws 的途徑，包括改進模型架構,、重構數(shù)據(jù) pipeline,、訓練算法及并行訓練策略優(yōu)化等。今天發(fā)布的 abab 6.5 和 abab 6.5s 是其加速 Scaling Laws 過程的階段性成果,。

abab 6.5 系列模型會滾動更新到 MiniMax 旗下的產(chǎn)品中,，包括生產(chǎn)力產(chǎn)品海螺 AI 和 MiniMax 開放平臺上。