《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 解決方案 > 采用創(chuàng)新的FPGA 器件來實(shí)現(xiàn)更經(jīng)濟(jì)且更高能效的大模型推理解決方案

采用創(chuàng)新的FPGA 器件來實(shí)現(xiàn)更經(jīng)濟(jì)且更高能效的大模型推理解決方案

2024-06-17
作者:Bob Siller,Achronix半導(dǎo)體產(chǎn)品營銷總監(jiān)
來源:Achronix半導(dǎo)體公司

  摘要:本文根據(jù)完整的基準(zhǔn)測試,,將Achronix Semiconductor公司推出的Speedster7t FPGA與GPU解決方案進(jìn)行比較,,在運(yùn)行同一個(gè)Llama2 70B參數(shù)模型時(shí),,該項(xiàng)基于FPGA的解決方案實(shí)現(xiàn)了超越性的LLM推理處理,。

  采用 FPGA 器件來加速LLM 性能,,在運(yùn)行 Llama2 70B 參數(shù)模型時(shí),,Speedster7t FPGA 如何與 GPU 解決方案相媲美,?證據(jù)是令人信服的——Achronix Speedster7t FPGA通過提供計(jì)算能力,、內(nèi)存帶寬和卓越能效的最佳組合,,在處理大型語言模型(LLM)方面表現(xiàn)出色,這是當(dāng)今LLM復(fù)雜需求的基本要求,。

  像 Llama2 這樣的 LLM 的快速發(fā)展正在為自然語言處理(NLP)開辟一條新路線,,有望提供比以往任何時(shí)候都更像人類的交互和理解。這些復(fù)雜的 LLM 是創(chuàng)新的催化劑,,推動了對先進(jìn)硬件解決方案的需求,,以滿足其密集處理需求。

  我們的基準(zhǔn)測試突出了 Speedster7t 系列處理 Llama2 70B 模型復(fù)雜性的能力,,重點(diǎn)關(guān)注 FPGA 和 LLM 性能,。這些測試(可根據(jù)要求提供結(jié)果)顯示了Achronix FPGA對于希望將LLM的強(qiáng)大功能用于其NLP應(yīng)用程序的開發(fā)人員和企業(yè)的潛力。這些基準(zhǔn)測試展示了 Speedster7t FPGA 如何超越市場,,提供無與倫比的性能,,同時(shí)降低運(yùn)營成本和環(huán)境影響。

  Llama2 70B LLM 運(yùn)行在 Speedster7t FPGA 上

  2023 年 7 月,,Microsoft 和 Meta 推出了他們的開源 LLM,,Llama2 開創(chuàng)了 AI 驅(qū)動語言處理的新先例。Llama2 采用多種配置設(shè)計(jì),,以滿足各種計(jì)算需求,,包括 700 億、130 億和 700 億個(gè)參數(shù),,使其處于 LLM 創(chuàng)新的最前沿,。Achronix和我們的合作伙伴 Myrtle.ai 對700億參數(shù)的Llama2模型進(jìn)行了深入的基準(zhǔn)分析,,展示了使用Speedster7t FPGA進(jìn)行LLM加速的優(yōu)勢。

  基準(zhǔn)測試結(jié)果:Speedster7t FPGA 與業(yè)界領(lǐng)先的 GPU 對比

  我們在 Speedster7t FPGA 上測試了 Llama2 70B 模型的推理性能,,并將其與領(lǐng)先的 GPU 進(jìn)行了比較,。該基準(zhǔn)測試是通過對輸入、輸出序列長度 (1,128) 和批處理大小 =1 進(jìn)行建模來完成的,。結(jié)果表明,,Speedster7t AC7t1500在LLM處理中的有效性。

  FPGA 成本基于由 Speedster7t FPGA 提供支持的 VectorPath 加速卡的標(biāo)價(jià),。同樣,,我們在此分析中使用了可比GPU卡的標(biāo)價(jià)。使用這些成本信息和每秒產(chǎn)生的輸出令牌數(shù)量,,我們計(jì)算出基于 FPGA 的解決方案的 $/token 提高了 200%,。除了成本優(yōu)勢外,在比較 FPGA 和 GPU 卡的相對功耗時(shí),,我們觀察到與基于 GPU 的解決方案相比,,產(chǎn)生的 kWh/token 提高了 200%。這些優(yōu)勢表明 FPGA 如何成為一種經(jīng)濟(jì)且能效高效的 LLM 解決方案,。

屏幕截圖 2024-06-17 133502.png

  面向 LLM 的 FPGA:Speedster7t 的優(yōu)勢

  Achronix Speedster7t系列FPGA旨在優(yōu)化LLM操作,,平衡LLM硬件的關(guān)鍵要求,包括:

  高性能計(jì)算 – 具有高性能計(jì)算能力的尖端硬件對于管理 LLM 推理核心的復(fù)雜矩陣計(jì)算至關(guān)重要,。

  高帶寬內(nèi)存 – 高效的 LLM 推理依賴于高帶寬內(nèi)存,,通過模型的網(wǎng)絡(luò)參數(shù)快速饋送數(shù)據(jù),而不會出現(xiàn)瓶頸,。

  擴(kuò)展和適應(yīng)能力 – 現(xiàn)代 LLM 推理需要能夠隨著模型規(guī)模的增長而擴(kuò)展并靈活適應(yīng) LLM 架構(gòu)的持續(xù)進(jìn)步的硬件,。

  高能效處理 – 可持續(xù)的 LLM 推理需要硬件能夠最大限度地提高計(jì)算輸出,同時(shí)最大限度地降低能耗,,從而降低運(yùn)營成本和環(huán)境影響,。

  Speedster7t FPGA 提供以下功能,以應(yīng)對實(shí)施現(xiàn)代 LLM 處理解決方案的挑戰(zhàn):

  計(jì)算性能 – 通過其靈活的機(jī)器學(xué)習(xí)處理器 (MLP) 模塊支持復(fù)雜的 LLM 任務(wù),。

  高 GDDR6 DRAM 帶寬 – 確保以 4 Tbps 的內(nèi)存帶寬快速處理大型 LLM 數(shù)據(jù)集,。

  大量的 GDDR6 DRAM 容量 – 可容納 Llama2 等擴(kuò)展的 LLM,每個(gè) FPGA 的容量為 32 GB,。

  用于 LLM 的集成 SRAM – 提供低延遲,、高帶寬的存儲,具有 190 Mb 的 SRAM,,非常適合存儲激活和模型權(quán)重,。

  多種本機(jī)數(shù)字格式 – 適應(yīng) LLM 需求,支持塊浮點(diǎn) (BFP)、FP16,、bfloat16 等。

  高效的片上數(shù)據(jù)傳輸 – 2D NoC 超過 20 Tbps,,簡化片上數(shù)據(jù)流量,。

  擴(kuò)展橫向擴(kuò)展帶寬 – 支持多達(dá)32個(gè)112 Gbps SerDes 滿足 LLM 需求,增強(qiáng)連接性,。

  自適應(yīng)邏輯級可編程性 – 使用 690K 6 輸入 LUT 為 LLM 的快速發(fā)展做好準(zhǔn)備,。

  針對 LLM 推理優(yōu)化的 FPGA

  在快速變化的人工智能和自然語言處理領(lǐng)域,使用 FPGA 而不是 GPU 來加速 LLM 是一個(gè)相當(dāng)新的想法,。該基準(zhǔn)測試展示了設(shè)計(jì)人員如何從使用Achronix的FPGA技術(shù)中受益,。Achronix Speedster7t系列FPGA是這一變化的關(guān)鍵技術(shù),在高性能,、高帶寬存儲器,、易于擴(kuò)展和電源效率之間實(shí)現(xiàn)了出色的平衡。

  基于詳細(xì)的基準(zhǔn)分析,,將 Speedster7t FPGA 與領(lǐng)先的 GPU 在處理 Llama2 70B 模型方面的能力進(jìn)行比較,,結(jié)果表明 Speedster7t FPGA 能夠提供高水平的性能,同時(shí)大大降低運(yùn)營成本和環(huán)境影響,,突出了它在未來 LLM 創(chuàng)建和使用中的重要作用,。

  如果希望進(jìn)一步了解如何使用FPGA器件來加速您的LLM程序,以及 FPGA 加速 LLM 解決方案的未來發(fā)展機(jī)遇,,請聯(lián)系A(chǔ)chronix,,獲取詳細(xì)的基準(zhǔn)測試結(jié)果,并幫助您確定Achronix FPGA技術(shù)如何加速您的LLM設(shè)計(jì),。




更多精彩內(nèi)容歡迎點(diǎn)擊==>>電子技術(shù)應(yīng)用-AET<<

3bff459604b6c9954731105876ec40d.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章,、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容、版權(quán)和其它問題,,請及時(shí)通過電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118,;郵箱:[email protected]