4月25日消息,，蘋果公司于日前發(fā)布一個名為OpenELM的高效語言模型,，具有開源訓練和推理框架,。
蘋果方面表示，“大型語言模型的可重復性和透明性對于推進開放研究,、確保結果的可信度以及調(diào)查數(shù)據(jù)和模型偏差以及潛在風險至關重要。為此,，我們發(fā)布了 OpenELM,。”
據(jù)介紹,，OpenELM使用分層縮放策略,，可以有效地分配Transformer模型每一層的參數(shù)，從而提高準確率,。例如,，在參數(shù)量約為10億的情況下，OpenELM與OLMo 相比準確率提升了2.36%,，同時所需的預訓練 tokens 數(shù)量為原來的50%,。
“與以往只提供模型權重和推理代碼并在私有數(shù)據(jù)集上進行預訓練的做法不同,。”蘋果官方指出,，“我們發(fā)布的版本包含了在公開數(shù)據(jù)集上訓練和評估語言模型的完整框架,，包括訓練日志、多個檢查點和預訓練配置,。我們還發(fā)布了將模型轉換為 MLX 庫的代碼,，以便在蘋果設備上進行推理和微調(diào)。此次全面發(fā)布旨在增強和鞏固開放研究社區(qū),，為未來的開放研究工作鋪平道路,。”
據(jù)悉,，這是一項開源語言模型,，其源碼及預訓練的模型權重和訓練配方可在蘋果 Github庫中獲取。
本站內(nèi)容除特別聲明的原創(chuàng)文章之外,，轉載內(nèi)容只為傳遞更多信息,，并不代表本網(wǎng)站贊同其觀點。轉載的所有的文章,、圖片,、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權者,。如涉及作品內(nèi)容,、版權和其它問題，請及時通過電子郵件或電話通知我們,，以便迅速采取適當措施,，避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話：010-82306118,；郵箱：[email protected],。