近年來(lái),，BERT、GPT-3等大規(guī)模預(yù)訓(xùn)練模型取得了巨大成功,，引領(lǐng)語(yǔ)言模型進(jìn)入巨量時(shí)代,，算力,、數(shù)據(jù),、參數(shù)規(guī)?？焖俪鴺O致化的方向發(fā)展，也為模型訓(xùn)練和部署帶來(lái)巨大挑戰(zhàn),。在近日舉行的2021 NeurIPS MeetUp China上,，浪潮信息副總裁、AI&HPC產(chǎn)品線總經(jīng)理劉軍基于2457億參數(shù)的“源1.0”中文語(yǔ)言模型,，分享了浪潮人工智能研究院在巨量模型訓(xùn)練與計(jì)算性能提升方面的領(lǐng)先實(shí)踐,。

　　談及巨量模型訓(xùn)練，劉軍表示：“訓(xùn)練工作中最復(fù)雜也最具挑戰(zhàn)的技術(shù)點(diǎn)在于如何行之有效地完成數(shù)千萬(wàn)級(jí)參數(shù)的模型訓(xùn)練”,。當(dāng)前,，GPU顯存最高為數(shù)十GB左右，而訓(xùn)練‘源’這樣訓(xùn)練數(shù)據(jù)集達(dá)5TB,、參數(shù)量達(dá)2457億的大模型需要的GPU顯存高達(dá)幾TB，顯然無(wú)法在單個(gè)顯卡或一臺(tái)GPU服務(wù)器上完成,。因此,，巨量模型訓(xùn)練工作，需要在模型算法,、分布式訓(xùn)練,、大規(guī)模集群計(jì)算等各個(gè)層面進(jìn)行協(xié)同設(shè)計(jì)、優(yōu)化,，才能保證模型訓(xùn)練過(guò)程收斂,。

　　浪潮人工智能研究院需要將“源1.0”訓(xùn)練所需的巨大算力并行分布到幾千張GPU上。模型訓(xùn)練時(shí)最常采用的是數(shù)據(jù)并行分布式計(jì)算策略,，但這只能滿足小模型的訓(xùn)練需求,。對(duì)于像“源 1.0”這樣的巨量模型而言，需要專門設(shè)計(jì)算法來(lái)解決訓(xùn)練中的顯存占用問(wèn)題，同時(shí)還要兼顧訓(xùn)練過(guò)程中的GPU計(jì)算資源的利用率,。

　　為此,，浪潮采用了張量并行、流水線并行和數(shù)據(jù)并行的“三合一”并行策略,。首先,，將266臺(tái)AI服務(wù)器共計(jì)2128個(gè)GPU芯片分成7組，每組38臺(tái)AI服務(wù)器放置一個(gè)完整的“源1.0”大模型,，其次,，每組的38個(gè)服務(wù)器，采用流水并行每個(gè)服務(wù)器放置1/38的模型（2個(gè)Transformer Layer）,，一共76層,；最后，在每臺(tái)服務(wù)器內(nèi)采用張量并行,，按照Transformer結(jié)構(gòu)的每一層進(jìn)行均勻切分,。在此過(guò)程中，浪潮人工智能研究院也通過(guò)“增加序列長(zhǎng)度”,、“減少模型層數(shù)”,、“增加隱藏層大小”、“增加節(jié)點(diǎn)中微批次大小”等模型結(jié)構(gòu)策略,，提升訓(xùn)練效率,。

　　“源1.0”的模型結(jié)構(gòu)以及分布式策略

　　最終，浪潮人工智能研究院完成2457億參數(shù)的“源 1.0”模型訓(xùn)練,，總計(jì)訓(xùn)練1800億個(gè)tokens,，模型收斂的交叉熵為1.64。相較于GPT-3的1750億參數(shù),，“源1.0”是其參數(shù)量的1.404倍,。GPT-3使用10000塊GPU、花了30天訓(xùn)練完成1750億參數(shù),，“源1.0”在2128個(gè)GPU集群上跑了16天完成了訓(xùn)練,，使用更少GPU更快完成訓(xùn)練，大幅提升計(jì)算效率,。

　　“源1.0”消耗的總算力為4095 PetaFlop/s-day,，每個(gè)GPU的實(shí)際訓(xùn)練性能達(dá)到140 TFlops，GPT-3消耗的總算力為3640 PetaFlop/s-day,，其單GPU計(jì)算性能為12 TFlops,；而微軟和英偉達(dá)打造的5300億參數(shù)量的MT-NLG模型用了4480個(gè)A100 GPU，其單GPU計(jì)算性能為113 TFlops,，也低于“源1.0”,。

　　image_5011443_23980367.jpg

　　“源1.0”與 GPT-3 的參數(shù)量,、算力對(duì)比。

　　浪潮人工智能研究院在實(shí)現(xiàn)更高計(jì)算效率的同時(shí),，也探索優(yōu)化大規(guī)模AI計(jì)算集群架構(gòu),。當(dāng)前，如MT-NLG等大規(guī)模深度學(xué)習(xí)模型需要在計(jì)算集群中采用8x200Gbps的IB互聯(lián)架構(gòu),，而“源1.0”在集群架構(gòu)設(shè)計(jì)上采用了2x200Gbps的高速網(wǎng)絡(luò)實(shí)現(xiàn)節(jié)點(diǎn)互聯(lián),，“我們?cè)趯?shí)踐發(fā)現(xiàn)，通過(guò)一定的優(yōu)化工作,，可以使用更少網(wǎng)絡(luò)設(shè)備數(shù)量,，取得更佳的計(jì)算性能?！眲④姳硎?。

　　巨量模型是當(dāng)前人工智能研究的熱點(diǎn)，當(dāng)前的巨量模型遠(yuǎn)沒(méi)有達(dá)到模型能力的極限,，增大模型參數(shù)量和訓(xùn)練數(shù)據(jù)量仍然將帶來(lái)模型精度的持續(xù)提升,。對(duì)于巨量模型的發(fā)展趨勢(shì)，劉軍表示,，“巨量模型的計(jì)算量已經(jīng)超過(guò)PetaFlop/s-day的階段,，進(jìn)入到ExtraFlop/s-day的階段。1 ExtraFlops等于1000 PetaFlops,，因此可以說(shuō),，GPT-3的計(jì)算量是3.64ExtraFlop/s-day，‘源1.0’的計(jì)算量則是4.095 ExtraFlop/s-day,。從十年的尺度來(lái)看,，今天我們還處于巨量模型起步階段，人類對(duì)計(jì)算的追求是沒(méi)有極限的,，目前巨量模型消耗的計(jì)算量可能僅僅是未來(lái)一臺(tái)電腦的計(jì)算量,。”劉軍對(duì)巨量模型的未來(lái)發(fā)展充滿信心,。