中文引用格式: 原野,田園,,蔣七兵. 一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法[J]. 電子技術(shù)應(yīng)用,,2023,49(3):48-53.
英文引用格式: Yuan Ye,,Tian Yuan,,Jiang Qibing. Distributed training method for deep neural networks[J]. Application of Electronic Technique,2023,,49(3):48-53.
0 引言
深度神經(jīng)網(wǎng)絡(luò)在高維數(shù)據(jù)的分類和預(yù)測(cè)中取得了巨大成功,,例如圖像,、視頻和音頻。但是,,訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)密集型的任務(wù),,往往需要從多個(gè)數(shù)據(jù)源收集大規(guī)模的數(shù)據(jù)。一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型通常包含百萬(wàn)級(jí)參數(shù),,需要大量數(shù)據(jù)和算力來(lái)訓(xùn)練這些參數(shù),。
當(dāng)訓(xùn)練數(shù)據(jù)包含敏感信息時(shí),深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程往往會(huì)泄露隱私,。如果訓(xùn)練數(shù)據(jù)中包含用戶信息,、管理信息等高度敏感的信息,數(shù)據(jù)所有者通常不希望公開這些敏感數(shù)據(jù),。因此,,深度神經(jīng)網(wǎng)絡(luò)因數(shù)據(jù)隱私而在現(xiàn)實(shí)應(yīng)用中受到限制。
為了控制深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中數(shù)據(jù)的隱私泄露,,一種可行的解決方案是使用集中式的隱私保護(hù)深度學(xué)習(xí)方法,。該方法依賴于一個(gè)可信的集中式計(jì)算環(huán)境,訓(xùn)練過(guò)程使用全局差分隱私算法擾亂訓(xùn)練數(shù)據(jù),,從而實(shí)現(xiàn)數(shù)據(jù)的隱私保護(hù),。在這種方式下,多個(gè)數(shù)據(jù)源需要信任云服務(wù)器,,并將擁有的數(shù)據(jù)上傳到云服務(wù)器,,而云服務(wù)器將使用各數(shù)據(jù)源上傳的數(shù)據(jù)集中訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但是,,這種方法因要求各代理共享數(shù)據(jù)而在實(shí)際使用中受到限制,。
相比集中式的隱私保護(hù)深度學(xué)習(xí)方法,分布式的學(xué)習(xí)方法更適合實(shí)際應(yīng)用,,因?yàn)榉植际降膶W(xué)習(xí)方法并不需要各數(shù)據(jù)源(代理)共享上傳數(shù)據(jù),,也不需要集中式的可信計(jì)算環(huán)境。聯(lián)邦學(xué)習(xí)是一種分布式的學(xué)習(xí)方法,。在聯(lián)邦學(xué)習(xí)中,,各數(shù)據(jù)源在不共享數(shù)據(jù)的情況下,通過(guò)參數(shù)聚合機(jī)制共同訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò),。但是,,該方法在訓(xùn)練過(guò)程中將面臨巨大的通信開銷,。
針對(duì)上述問(wèn)題,本文提出了一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法,。該方法允許多個(gè)數(shù)據(jù)源在不共享數(shù)據(jù)的情況下,,通過(guò)網(wǎng)絡(luò)切割,共同訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),,并減少訓(xùn)練過(guò)程中的通信開銷。具體地,,本文主要貢獻(xiàn)包括以下幾點(diǎn):
(1) 提出了一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法,,允許代理在數(shù)據(jù)不出本地的情況下,通過(guò)網(wǎng)絡(luò)切割,,實(shí)現(xiàn)模型的分布式共同訓(xùn)練,;
(2) 分析了該方法的正確性;
(3) 通過(guò)實(shí)驗(yàn),,驗(yàn)證了該方法的有效性,。
本文詳細(xì)內(nèi)容請(qǐng)下載:http://forexkbc.com/resource/share/2000005228
作者信息:
原野1,田園1,,蔣七兵2,,3
(1.云南電網(wǎng)有限責(zé)任公司 信息中心,云南 昆明 650214,;2.云南云電同方科技有限公司 云南 昆明 650214,;
3.西南林業(yè)大學(xué) 大數(shù)據(jù)與智能工程學(xué)院,云南 昆明 650224)