《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 其他 > 設(shè)計應(yīng)用 > 基于Flink流處理框架的FFT并行及優(yōu)化
基于Flink流處理框架的FFT并行及優(yōu)化
信息技術(shù)與網(wǎng)絡(luò)安全
鐘旭陽1，2，徐 云1，2
(1.中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，安徽 合肥230026； 2.安徽省高性能計算重點實驗室，安徽 合肥230026)
摘要： FFT作為雷達(dá)信號處理的關(guān)鍵計算步驟之一，本質(zhì)上是一個基于數(shù)據(jù)流的處理過程。以往的FFT計算大多集中在通用計算平臺上進行并行計算實現(xiàn)，計算系統(tǒng)存在擴展性和魯棒性問題。隨著科學(xué)計算應(yīng)用在Flink上的逐漸興起，將FFT在Flink上進行并行和優(yōu)化，不僅可以很好地利用框架自身良好的系統(tǒng)擴展性和魯棒性，同時也能使其具備高吞吐的實時性能。基于Flink對FFT流處理算法流程進行了設(shè)計和優(yōu)化，同時針對Flink對適用于FFT計算的緩存窗口機制進行了設(shè)計，實驗結(jié)果表明，改進后FFT并行算法在多個大規(guī)模點數(shù)下計算速度均有所提高。
中圖分類號： TP311.1
文獻標(biāo)識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.08.009
引用格式： 鐘旭陽，徐云. 基于Flink流處理框架的FFT并行及優(yōu)化[J].信息技術(shù)與網(wǎng)絡(luò)安全，2021，40(8)：53-59.
FFT parallel algorithm and optimization based on Flink stream processing framework
Zhong Xuyang1，2，Xu Yun1，2
(1.School of Computer Science and Technology，University of Science and Technology of China，Hefei 230026，China； 2.Key Laboratory of High Performance Computing of Anhui Province，Hefei 230026，China)
Abstract： As one of the key calculation steps of radar signal processing, FFT is essentially a processing process based on data stream. In the past, most of the previous FFT calculations concentrated on the implementation of parallel calculations on a general-purpose computing platform, and the computing system has problems with scalability and robustness. With the increasing popularity of scientific computing applications on Flink, parallelizing and optimizing FFT on Flink can not only make good use of the framework′s own strong system scalability and robustness, but also enable it to have high-throughput real-time performance. Based on Flink, this paper designs and optimizes the FFT stream processing algorithm flow. At the same time, it designs a buffer window mechanism suitable for FFT calculation in Flink. The experimental results show that the improved FFT parallel algorithm has a better calculation speed at multiple large-scale points.
Key words : FFT parallel algorithm；radar signal processing；distributed stream processing；Apache Flink

0 引言

快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)是實現(xiàn)離散傅里葉變換及其逆變換的算法。FFT使用分而治之的主要思想，其主要目的是將一個復(fù)雜的大問題分解成多個簡單的小問題，然后分別解決這些小問題[1]。FFT在科學(xué)計算領(lǐng)域具有極其重要的地位[2]。利用FFT能夠在計算離散傅里葉變換時大大減少所需要的乘法次數(shù)，并且FFT點數(shù)規(guī)模越大，F(xiàn)FT算法所能夠節(jié)省的計算量就越顯著，因此FFT廣泛應(yīng)用于數(shù)據(jù)信號處理、地震預(yù)報、石油勘探等領(lǐng)域。

已有的FFT分布式計算方法大多基于MapReduce批處理系統(tǒng)[1，3-5]，其中FFT計算作為一個整體，在某一個轉(zhuǎn)換操作中直接計算來自上一個操作的整個輸出數(shù)據(jù)，忽視了FFT計算特性的同時，還需要等待較長時間才能延遲得到處理結(jié)果。目前并未有成熟的、基于流粒度的對FFT的流處理分布式算法并行優(yōu)化相關(guān)研究。且現(xiàn)如今Flink分布式流處理框架大都用于社交網(wǎng)絡(luò)等領(lǐng)域中簡單的數(shù)據(jù)項統(tǒng)計應(yīng)用，對于FFT此類耗時大、數(shù)據(jù)量大的科學(xué)計算問題并不適用，因此需要對Flink相關(guān)的機制進行應(yīng)用和改造，使得其符合FFT計算的要求。



本文詳細(xì)內(nèi)容請下載：http://forexkbc.com/resource/share/2000003725





作者信息：

鐘旭陽1，2，徐  云1，2

(1.中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，安徽 合肥230026；

2.安徽省高性能計算重點實驗室，安徽 合肥230026)


此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。