《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 模擬設(shè)計 > 業(yè)界動態(tài) > 如何用簡單濾波器提高時間序列預(yù)測精度

如何用簡單濾波器提高時間序列預(yù)測精度

2024-12-02
來源:量子位
關(guān)鍵詞: 濾波器 時間序列預(yù)測

無需 Transformer,,簡單濾波器即可提高時間序列預(yù)測精度,。

由國家信息中心、牛津大學(xué),、北京理工大學(xué),、同濟大學(xué),、中國科學(xué)技術(shù)大學(xué)等機構(gòu)的團隊提出了一個FilterNet,。

目前已被 NeurlPS 2024 接收。

1.jpg

準(zhǔn)確預(yù)測時間序列,,對于能源,、氣象、醫(yī)療等領(lǐng)域中來說都非常重要,。

目前很受歡迎的一類預(yù)測模式是基于 Transformer 網(wǎng)絡(luò)進行建構(gòu)的,。

但是,Transformer 并不是萬能的,,尤其是對于時間序列預(yù)測這樣的問題來說,,它的結(jié)構(gòu)顯得有點過于復(fù)雜。

以 iTransformer 模型為例,,它存在很多問題,,比如對高頻信號的響應(yīng)較弱從而導(dǎo)致全頻段信息利用受限、計算效率低下等,,這些問題會大大影響模型的預(yù)測精度,。

那么,F(xiàn)ilterNet 有哪些創(chuàng)新之處,?

研究動機:現(xiàn)有模型架構(gòu)存在頻段信息利用瓶頸

時間序列信號往往由不同頻段信號組成,,為了探究現(xiàn)有模型能否對頻域信號進行準(zhǔn)確捕捉,團隊設(shè)計一個簡單的模擬驗證實驗,。

首先,,他們利用低頻、中頻和高頻分量合成的信號作為實驗數(shù)據(jù)(見圖 1 ( a ) )來測試時序模型的預(yù)測性能,。從圖 1 ( b ) 可以看出,,當(dāng)前時序預(yù)測的先進模型 iTransformer 表現(xiàn)不佳。

這表明,,即使是由三種不同頻率成分組成的簡單信號,,當(dāng)前先進的基于 Transformer 的模型仍無法充分學(xué)到相對應(yīng)的頻譜信息。

2.jpg

相比之下,,在傳統(tǒng)的信號處理(signal processing)領(lǐng)域,,簡單的頻率濾波器具備許多優(yōu)秀特性,例如頻率選擇性,、信號調(diào)制和多速率處理,。這些特性有望顯著提升模型在時間序列預(yù)測中提取關(guān)鍵信息頻率模式的能力。

因此,,受信號處理中濾波過程的啟發(fā),,研究團隊提出了一種非常簡單并且高效的學(xué)習(xí)框架— -FilterNet,用于時間序列預(yù)測任務(wù)。

研究方法:濾波器網(wǎng)絡(luò)(FilterNet)

FilterNet 的設(shè)計極其簡單,,整體框架如下圖所示:

3.jpg

FilterNet 的核心模塊是頻率濾波模塊(Frequency Filter Block),,包含團隊設(shè)計的 2 種可學(xué)習(xí)濾波器:

1.Plain Shaping Filter:使用最簡潔的、可學(xué)習(xí)的頻率濾波器,,實現(xiàn)信號濾波與時間關(guān)系的建模,。

2.Contextual Shaping Filter:針對利用濾波后的頻率與原始輸入信號的兼容性,進行依賴關(guān)系的學(xué)習(xí),。

具體來說,,F(xiàn)ilterNet 的各個組件有:

1. 實例歸一化(Instance Normalization)

時間序列數(shù)據(jù)通常是在較長時間跨度內(nèi)收集的,這些非平穩(wěn)序列不可避免地使預(yù)測模型面臨隨時間變化的分布偏移,。像很多時序預(yù)測模型一樣,,團隊采用了可逆 Instance Normalization,如下所示:

4.jpg

2. 頻率濾波模塊(Frequency Filter Block)

時間序列預(yù)測器可以視為針對關(guān)鍵信號的捕捉,,從某種程度上,,也可以看作在頻域上進行了一次濾波過程。

基于此,,研究人員直接設(shè)計了一個濾波器模塊來建模相應(yīng)的關(guān)系,,具體為:

文中包含兩類濾波器,分別為 plain shaping filter ( PaiFilter ) 和 contextual shapingfilter ( TexFilter ) ,。PaiFilter 直接通過初始化一個權(quán)重參數(shù)來模擬對應(yīng)的濾波器,,具體為:

相對應(yīng)的,TexFilter 則通過一個可學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)來生成相應(yīng)的濾波器,,完成對應(yīng)的濾波學(xué)習(xí),,具體為:

3. 前饋神經(jīng)網(wǎng)絡(luò)(Feed-forward Network)

頻率濾波模塊建模了時間序列數(shù)據(jù)中的一些主要時間依賴關(guān)系,,隨后他們利用前饋神經(jīng)網(wǎng)絡(luò)(Feed-Forward Network)建立這些時間依賴關(guān)系和未來 τ 個時刻數(shù)據(jù)的關(guān)系,,最后進行預(yù)測,并對預(yù)測值進行反歸一化操作,。

FilterNet 在各種場景下都表現(xiàn)優(yōu)越

1. 預(yù)測結(jié)果

實驗在八個時間序列預(yù)測基準(zhǔn)數(shù)據(jù)集上進行了廣泛的測試,,結(jié)果表明,與最新的預(yù)測算法相比,,F(xiàn)ilterNet 模型在不同預(yù)測場景中均表現(xiàn)出卓越的性能,。

其中,PaiFilter 在小數(shù)據(jù)集上(變量數(shù)較小,,如 ETT,、Exchange 數(shù)據(jù)集)表現(xiàn)更好,而 TexFilter 則在大數(shù)據(jù)集上(變量數(shù)較多,,關(guān)系更為復(fù)雜,,如 Traffic、Weather 數(shù)據(jù)集)表現(xiàn)出強有力的競爭力,。

5.jpg

2. 頻率濾波器的可視化

6.jpg

圖 7 是學(xué)習(xí)到的濾波器的頻率響應(yīng)特性的可視化圖表,,表明 FilterNet 具備全頻段的信號處理能力,。

此外,如圖 8 所示,,在 ETTm1 數(shù)據(jù)集上針對不同預(yù)測長度進行的可視化實驗進一步證明了 FilterNet 的強大處理能力,。

7.jpg

與其他最新模型相比,F(xiàn)ilterNet 在預(yù)測未來序列變化方面展現(xiàn)了出色的準(zhǔn)確性,,充分證明了其卓越的性能,。

4. 效率分析

8.jpg

團隊還在兩個不同的數(shù)據(jù)集上對 FilterNet 進行了相應(yīng)的效率分析實驗,實驗結(jié)果表明,,無論數(shù)據(jù)集大小,,F(xiàn)ilterNet 都表現(xiàn)出比 Transformer 方法更高的效率。

雖然在每個 epoch 訓(xùn)練時間上,,F(xiàn)ilterNet 比 DLinear 略差,,但是 FilterNet 效果比 DLinear 要好。

為時間序列預(yù)測提供新思路

這篇論文是首次嘗試將頻率濾波器直接應(yīng)用于時間序列預(yù)測的工作,,從信號處理的角度切入是一個非常有趣的新思路,。

研究團隊提出了一種簡單而高效的架構(gòu)—— FilterNet,該架構(gòu)基于他們設(shè)計的兩類頻率濾波器來實現(xiàn)預(yù)測目標(biāo),。在八個基準(zhǔn)數(shù)據(jù)集上的全面實驗證明了 FilterNet 在效果和效率方面的優(yōu)越性,。

此外,團隊成員還對 FilterNet 及其內(nèi)部濾波器進行了細(xì)致深入的模型分析,,展示了其諸多優(yōu)秀特性,。

他們表示,希望這項工作能夠推動更多研究,,將信號處理技術(shù)或濾波過程與深度學(xué)習(xí)相結(jié)合,,提高時間序列建模與精確預(yù)測的效果。

Paper Link:https://arxiv.org/abs/2411.01623

Code Repository:https://github.com/aikunyi/FilterNet


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容,、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:[email protected],。