“零一萬物 01AI”官方公眾號今晚發(fā)文宣布開源 Yi-9B 模型,官方稱其為 Yi 系列模型中的“理科狀元”——Yi-9B 是目前 Yi 系列模型中代碼和數(shù)學(xué)能力最強(qiáng)的模型,,實(shí)際參數(shù)為 8.8B,,默認(rèn)上下文長度為 4K tokens。
該模型是在 Yi-6B (使用了 3.1T tokens 訓(xùn)練)的基礎(chǔ)上,,使用了 0.8T tokens 進(jìn)行繼續(xù)訓(xùn)練,,數(shù)據(jù)截至 2023 年 6 月。
據(jù)介紹,,在綜合能力方面(Mean-All),,Yi-9B 的性能“在尺寸相近的開源模型中最好”,超越了 DeepSeek-Coder,、DeepSeek-Math,、Mistral-7B、SOLAR-10.7B 和 Gemma-7B,。
代碼能力方面(Mean-Code),,Yi-9B 的性能僅次于 DeepSeek-Coder-7B,超越了 Yi-34B,、SOLAR-10.7B,、Mistral-7B 和 Gemma-7B。
在數(shù)學(xué)能力方面(Mean-Math),,Yi-9B 的性能僅次于 DeepSeek-Math-7B,,超越了 SOLAR-10.7B、Mistral-7B 和 Gemma-7B,。
在常識和推理能力方面(Mean-Text),,Yi-9B 的性能與 Mistral-7B、SOLAR-10.7B 和 Gemma-7B 不相上下,。
官方更稱,,Yi-9B(BF 16) 和其量化版 Yi-9B(Int8)都能在消費(fèi)級顯卡上輕松部署,使用成本較低,,開發(fā)者友好,。
據(jù)此前報(bào)道,該公司由李開復(fù)創(chuàng)新工場董事長兼 CEO 帶隊(duì)創(chuàng)辦,此前已已推出 Yi-34B 和 Yi-6B 兩個開源大模型,,號稱對學(xué)術(shù)研究完全開放,,同步開放免費(fèi)商用申請。