《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 其他 > 設(shè)計(jì)應(yīng)用 > 面向移動(dòng)邊緣計(jì)算基于強(qiáng)化學(xué)習(xí)的計(jì)算卸載算法
面向移動(dòng)邊緣計(jì)算基于強(qiáng)化學(xué)習(xí)的計(jì)算卸載算法
2021年電子技術(shù)應(yīng)用第2期
楊 戈1,，2，張 衡1
1.北京師范大學(xué)珠海分校 智能多媒體技術(shù)重點(diǎn)實(shí)驗(yàn)室,，廣東 珠海519087,； 2.北京大學(xué)深圳研究生院 深圳物聯(lián)網(wǎng)智能感知技術(shù)工程實(shí)驗(yàn)室，廣東 深圳518055
摘要： 針對(duì)移動(dòng)邊緣計(jì)算(Mobile Edge Computing,，MEC)的計(jì)算卸載決策的問(wèn)題,，基于強(qiáng)化學(xué)習(xí)方法提出了一個(gè)在多用戶的MEC系統(tǒng)中的計(jì)算卸載決策算法(Offloading Decision algorithm based on Reinforcement Learning，ODRL),。ODRL算法根據(jù)任務(wù)模型,、計(jì)算模型以及信道狀態(tài)對(duì)任務(wù)進(jìn)行卸載決策，采用強(qiáng)化學(xué)習(xí)方法求解最優(yōu)計(jì)算卸載策略,。仿真結(jié)果證明了所提出的ODRL算法與基線策略相比,，具有更低的系統(tǒng)總成本。
中圖分類號(hào)： TN911.22
文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.200920
中文引用格式： 楊戈,，張衡. 面向移動(dòng)邊緣計(jì)算基于強(qiáng)化學(xué)習(xí)的計(jì)算卸載算法[J].電子技術(shù)應(yīng)用,，2021，47(2)：36-40,，48.
英文引用格式： Yang Ge,，Zhang Heng. Offloading decision algorithm based on reinforcement learning for mobile edge computing[J]. Application of Electronic Technique，2021,，47(2)：36-40,，48.
Offloading decision algorithm based on reinforcement learning for mobile edge computing
Yang Ge1，2，Zhang Heng1
1.Key Laboratory of Intelligent Multimedia Technology,，Beijing Normal University(Zhuhai Campus),，Zhuhai 519087，China,； 2.Engineering Lab on Intelligent Perception for Internet of Things(ELIP),，Shenzhen Graduate School， Peking University,，Shenzhen 518055,，China
Abstract： For the problem of computing offloading decision in mobile edge computing, this paper proposes an offloading decision algorithm based on enhanced learning in multiuser MEC system. According to the task model, calculation model and channel state, ODRL algorithm makes the task unloading decision and uses reinforcement learning method to solve the optimal computing unloading strategy. Simulation results show that the ODRL algorithm proposed in this paper has lower total system cost compared with the baseline strategy.
Key words : mobile edge computing；computing offloading,；reinforcement learning,；Q-learning

0 引言

    隨著萬(wàn)物互聯(lián)趨勢(shì)不斷加深，網(wǎng)絡(luò)邊緣的智能終端設(shè)備不斷增加[1-10],。移動(dòng)邊緣計(jì)算是為提升移動(dòng)設(shè)備服務(wù)質(zhì)量而提出的一種具有前景的新范式[11-20],。

    (1)以降低時(shí)延為優(yōu)化目標(biāo)

    文獻(xiàn)[3]將卸載決策歸結(jié)為兩種時(shí)間尺度下的隨機(jī)優(yōu)化問(wèn)題，并采用馬爾科夫決策過(guò)程來(lái)處理這個(gè)問(wèn)題,。通過(guò)分析每個(gè)任務(wù)的平均時(shí)延和設(shè)備的平均能耗,，提出了一個(gè)能量約束的時(shí)延最小化問(wèn)題，并設(shè)計(jì)了一個(gè)有效的一維搜索算法找到了最優(yōu)的任務(wù)卸載策略,。

    文獻(xiàn)[4]提出了一種低復(fù)雜度的漸近最優(yōu)在線算法,，該算法在每個(gè)時(shí)隙中通過(guò)封閉形式或二等分搜索獲得最優(yōu)解，共同決定卸載決策,、移動(dòng)執(zhí)行的CPU周期頻率和計(jì)算卸載的發(fā)射功率,。

    文獻(xiàn)[5]提出了一種基于云的分層車輛邊緣計(jì)算(VEC)卸載框架，在該框架中引入了附近的備用計(jì)算服務(wù)器來(lái)彌補(bǔ)MEC服務(wù)器的不足計(jì)算資源,?；诖丝蚣埽墨I(xiàn)采用斯塔克爾伯格博弈方法設(shè)計(jì)了一種最佳的多級(jí)卸載方案,，該方案可以最大程度地利用車輛和計(jì)算服務(wù)器的效用,。

    (2)以降低能耗為優(yōu)化目標(biāo)

    文獻(xiàn)[6]將卸載決策公式化為凸優(yōu)化問(wèn)題，用于在邊緣云計(jì)算能力無(wú)限和有限的兩種情況以及在計(jì)算等待時(shí)間的約束下最小化加權(quán)和移動(dòng)能量消耗,。文獻(xiàn)[7]對(duì)該方案做出了改進(jìn),，相比前者降低了90%的能耗。

    (3)以權(quán)衡能耗和時(shí)延為目標(biāo)

    文獻(xiàn)[8]分析了單用戶MEC系統(tǒng)的能耗延遲權(quán)衡問(wèn)題,，提出了一種基于Lyapunov優(yōu)化的云卸載計(jì)劃方案以及云執(zhí)行輸出的下載調(diào)度方案,。在文獻(xiàn)[9]中擴(kuò)展到了多用戶系統(tǒng)。

    文獻(xiàn)[10]研究了在多信道無(wú)線干擾環(huán)境下移動(dòng)邊緣云計(jì)算的多用戶計(jì)算卸載問(wèn)題,。采用博弈論方法以分布式方式實(shí)現(xiàn)有效的計(jì)算卸載,。




本文詳細(xì)內(nèi)容請(qǐng)下載:http://forexkbc.com/resource/share/2000003370




作者信息:

楊  戈1，2，張  衡1

(1.北京師范大學(xué)珠海分校 智能多媒體技術(shù)重點(diǎn)實(shí)驗(yàn)室,，廣東 珠海519087,；

2.北京大學(xué)深圳研究生院 深圳物聯(lián)網(wǎng)智能感知技術(shù)工程實(shí)驗(yàn)室，廣東 深圳518055)

此內(nèi)容為AET網(wǎng)站原創(chuàng),，未經(jīng)授權(quán)禁止轉(zhuǎn)載。