《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動(dòng)態(tài) > 中國電信AI研究院完成首個(gè)全國產(chǎn)化萬卡萬參大模型訓(xùn)練

中國電信AI研究院完成首個(gè)全國產(chǎn)化萬卡萬參大模型訓(xùn)練

TeleChat2-115B對外開源
2024-09-29
來源:IT之家

9 月 28 日消息,,“中國電信人工智能研究院”官方公眾號(hào)今天宣布,中國電信人工智能研究院(IT之家注:下文稱 TeleAI)成功完成國內(nèi)首個(gè)基于全國產(chǎn)化萬卡集群訓(xùn)練的萬億參數(shù)大模型,,并正式對外開源首個(gè)基于全國產(chǎn)化萬卡集群和國產(chǎn)深度學(xué)習(xí)框架訓(xùn)練的千億參數(shù)大模型 —— 星辰語義大模型 TeleChat2-115B,。

0.png

官方表示,,這項(xiàng)科研成果標(biāo)志著國產(chǎn)大模型訓(xùn)練真正實(shí)現(xiàn)全國產(chǎn)化替代,,正式進(jìn)入全國產(chǎn)自主創(chuàng)新、安全可控的新階段,。

TeleChat2-115B 基于中國電信自研的天翼云“息壤一體化智算服務(wù)平臺(tái)”和人工智能公司“星海 AI 平臺(tái)”訓(xùn)練完成,。據(jù)介紹,其在保證訓(xùn)練精度的前提下利用多種優(yōu)化手段提升模型訓(xùn)練效率和穩(wěn)定性,,實(shí)現(xiàn)了 GPU 同等算力計(jì)算效率超 93% ,,模型有效訓(xùn)練時(shí)長占比超 98% 。

針對超大參數(shù)模型訓(xùn)練,,TeleAI 采用了大量小模型進(jìn)行 Scaling,,進(jìn)而驗(yàn)證不同模型結(jié)構(gòu)的有效性。同時(shí),,在數(shù)據(jù)配比方面,,基于小模型實(shí)驗(yàn)結(jié)果反饋,采用回歸預(yù)測模型,,得到較優(yōu)數(shù)據(jù)配比,。

在 Post-Training(后訓(xùn)練)方面,TeleAI  首先針對數(shù)學(xué),、代碼和邏輯推理等內(nèi)容合成了大量問答數(shù)據(jù),,用于 SFT(監(jiān)督式微調(diào))第一階段模型訓(xùn)練。

其次,,其采用迭代式更新策略,,使用模型對提示詞數(shù)據(jù)進(jìn)行指令復(fù)雜性提升與多樣性擴(kuò)充,通過模型合成和人工標(biāo)注提升答案質(zhì)量,,并利用拒絕采樣獲取優(yōu)質(zhì) SFT 數(shù)據(jù)及 RM(獎(jiǎng)勵(lì)模型)代表性數(shù)據(jù),,用于 SFT 訓(xùn)練和 DPO(偏好對齊)訓(xùn)練,以及模型效果迭代,。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章,、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容、版權(quán)和其它問題,,請及時(shí)通過電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118,;郵箱:[email protected],。