4 月 16 日消息,，中國電信已開源 120 億參數(shù) TeleChat-12B 星辰語義大模型，還表示將于年內(nèi)開源千億級參數(shù)大模型,。

相較 1 月開源的 7B 版本,，12 版版本在內(nèi)容,、性能和應(yīng)用等方面整體效果提升 30%，其中多輪推理,、安全問題等領(lǐng)域提升超 40%,。

據(jù)介紹，TeleChat-12B 將 7B 版本 1.5T 訓練數(shù)據(jù)提升至 3T,，優(yōu)化數(shù)據(jù)清洗,、標注策略，持續(xù)構(gòu)建專項任務(wù) SFT (監(jiān)督微調(diào)) 數(shù)據(jù),，優(yōu)化數(shù)據(jù)構(gòu)建規(guī)范,，大大提升數(shù)據(jù)質(zhì)量；同時,，基于電信星辰大模型用戶真實回流數(shù)據(jù),，優(yōu)化獎勵模型和強化學習模型，有效提升模型問答效果,。

TeleChat-12B 在模型結(jié)構(gòu),、訓練數(shù)據(jù)、訓練方法等方面進行了改進,，在通用問答和知識類,、代碼類、數(shù)學類榜單上相比 TeleChat-7B 均有大幅提升,。

在模型結(jié)構(gòu)方面,，使用小規(guī)模的模型嘗試多種模型結(jié)構(gòu)的組合選擇最優(yōu)結(jié)構(gòu)。相比 TeleChat-7B 模型,，TeleChat-12B 模型采用了詞嵌入層與輸出層解耦的結(jié)構(gòu),，將詞嵌入層和輸出 lm head 層參數(shù)分開，有助于增強訓練穩(wěn)定性和收斂性,。

在訓練數(shù)據(jù)方面,，收集了覆蓋書籍、百科,、新聞,、政務(wù),、法律、醫(yī)藥,、專利,、論文、數(shù)學,、代碼等諸多方面的大量中英文數(shù)據(jù),；通過優(yōu)化數(shù)據(jù)清洗策略大幅提升數(shù)據(jù)的文本干凈度、觀點無偏性,、內(nèi)容有效性,、格式規(guī)范性。

在訓練方法方面,，使用科學數(shù)據(jù)配比學習與課程學習的方法,，使用小參數(shù)模型在多種數(shù)據(jù)配比的數(shù)據(jù)上擬合，得到對各個數(shù)據(jù)集難度的先驗估計,；訓練過程中每隔一段時間自動化評估當前模型在所有數(shù)據(jù)集上的 loss,，以及在評測集上的生成效果，動態(tài)提升較難學習的數(shù)據(jù)集權(quán)重,，保證模型在各個數(shù)據(jù)集上都有較佳的擬合效果,。

中國電信表示，此次開源提供基礎(chǔ)模型以及基于相應(yīng)版本的對話模型,、不僅支持傳統(tǒng)的全量參數(shù)更新還支持 LoRA 等只更新部分參數(shù)的高效微調(diào)方法,、支持 Deepspeed 微調(diào)、支持 int8,、int4 量化和國產(chǎn)芯片訓練推理,，推動大模型國產(chǎn)化進程。