《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 模擬設(shè)計 > 業(yè)界動態(tài) > 荷蘭研究人員開發(fā)出通過AI芯片的片上訓練來降低功耗新技術(shù)

荷蘭研究人員開發(fā)出通過AI芯片的片上訓練來降低功耗新技術(shù)

2024-07-23
來源:芯智訊
關(guān)鍵詞: AI芯片 片上訓練 降低功耗

0.png

7月22日消息,,荷蘭埃因霍溫理工大學的研究人員開發(fā)了一種能夠進行片上訓練的設(shè)備,,無需將訓練好的模型傳輸?shù)叫酒?,從而在未來開辟了更節(jié)能的人工智能(AI)芯片,。

據(jù)了解,該開發(fā)使用神經(jīng)形態(tài)架構(gòu),,但已適應(yīng)主流人工智能框架,,而不是脈沖網(wǎng)絡(luò),。訓練神經(jīng)形態(tài)網(wǎng)絡(luò)可能很乏味,、耗時且能源效率低下,,因為模型通常首先在計算機上訓練,然后傳輸?shù)叫酒稀?/p>

“在神經(jīng)形態(tài)芯片中,,有憶阻器,。這些電路設(shè)備可以'記住'過去有多少電荷流過它們?!盩U/e.機械工程系副教授Yoeri Van de Burgt說,他與Evaline van Doremaele合作參與了該項目,?!岸@正是以大腦神經(jīng)元如何存儲信息和相互通信為模型的設(shè)備所需要的?!?/p>

在計算機上完成訓練后,,來自網(wǎng)絡(luò)的權(quán)重被映射到芯片硬件。另一種方法是在原位或硬件中進行訓練,,但當前設(shè)備需要逐個編程,,然后進行錯誤檢查。這是必需的,,因為大多數(shù)憶阻器都是隨機的,,如果不檢查設(shè)備,就不可能更新設(shè)備,。

“這些方法在時間,、能源和計算資源方面成本高昂,。為了真正利用神經(jīng)形態(tài)芯片的能源效率,需要直接在神經(jīng)形態(tài)芯片上進行訓練,,“Van de Burgt說,。

對于研究人員來說,主要的挑戰(zhàn)是將芯片上訓練所需的關(guān)鍵組件集成到單個神經(jīng)形態(tài)芯片上,。

“例如,,要解決的一項主要任務(wù)是包含電化學隨機存取存儲器(EC-RAM)組件,”Van de Burgt說,?!斑@些是模仿大腦中神經(jīng)元的電荷儲存和發(fā)射的組件。

研究人員制造了一個基于由有機材料制成的EC-RAM組件的兩層神經(jīng)網(wǎng)絡(luò),,并通過廣泛使用的訓練算法反向傳播和梯度下降的演變來測試硬件,。

反向傳播算法的硬件實現(xiàn)使用原位隨機梯度下降逐步更新每一層,避免了存儲要求,。該設(shè)計包括原位誤差計算和多層硬件實現(xiàn)的神經(jīng)網(wǎng)絡(luò)中的漸進式反向傳播方法,。與軟件中的傳統(tǒng)反向傳播相比,這具有相同的學習特性和分類性能,,研究人員表明,,它可以擴展到大型和深度神經(jīng)網(wǎng)絡(luò),從而實現(xiàn)人工智能系統(tǒng)的高效訓練,。

“我們已經(jīng)證明這適用于小型兩層網(wǎng)絡(luò),,”van de Burgt說?!敖酉聛?,我們希望讓工業(yè)界和其他大型研究實驗室參與進來,這樣我們就可以建立更大的硬件設(shè)備網(wǎng)絡(luò),,并用現(xiàn)實生活中的數(shù)據(jù)問題來測試它們,。

下一步將使研究人員能夠證明這些系統(tǒng)在訓練以及運行有用的神經(jīng)網(wǎng)絡(luò)和人工智能系統(tǒng)方面非常有效?!拔覀兿M麑⑦@項技術(shù)應(yīng)用于幾個實際案例,,”Van de Burgt說?!拔业膲粝胧亲屵@些技術(shù)在未來成為人工智能應(yīng)用的常態(tài),。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點,。轉(zhuǎn)載的所有的文章、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者,。如涉及作品內(nèi)容、版權(quán)和其它問題,,請及時通過電子郵件或電話通知我們,,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失,。聯(lián)系電話:010-82306118,;郵箱:[email protected]