快速傅里叶变换
快速傅里叶变换(英语:Fast Fourier Transform, FFT),是离散傅里叶变换的快速算法,也可用于计算离散傅里叶变换的逆变换。快速傅里叶变换有广泛的应用,如数字信号处理、计算大整数乘法、求解偏微分方程等等。本条目只描述各种快速算法。
对于复数串行,离散傅里叶变换公式为:
直接变换的计算复杂度是(参见大O符号)。快速傅里叶变换可以计算出与直接计算相同的结果,但只需要的计算复杂度。通常,快速算法要求n能被因数分解,但不是所有的快速傅里叶变换都要求n是合数,对于所有的整数n,都存在复杂度为的快速算法。
除了指数的符号相反、并多了一个1/n的因子,离散傅里叶变换的正变换与逆变换具有相同的形式。因此所有的离散傅里叶变换的快速算法同时适用于正逆变换。
一般的简化理论
假设一个M*N型矩阵S可分解成列向量以及行向量相乘:
若有个相异的非平凡值( where )
有个相异的非平凡值
则S共需要个乘法。
Step 1:
Step 2:
简化理论的变型:
也是一个M*N的矩阵。
若有个值不等于0,则的乘法量上限为。
快速傅里叶变换乘法量的计算
假设,其中彼此互质
点DFT的乘法量为,则点DFT的乘法量为:
假设,P是一个质数。
若点的DFT需要的乘法量为
且 当中 ()
有个值不为及的倍数,
有个值为及的倍数,但不为的倍数,
则N点DFT的乘法量为:
Cooley-Tukey算法
Cooley-Tukey算法是最常见的FFT算法。这一方法以分治法为策略递归地将长度为的DFT分解为长度分别为和的两个较短串行的DFT,以及与个旋转因子的复数乘法。
这种方法以及FFT的基本思路在1965年J. W. Cooley和J. W. Tukey合作发表An algorithm for the machine calculation of complex Fourier series之后开始为人所知。但后来发现,实际上这两位作者只是重新发明了高斯在1805年就已经提出的算法(此算法在历史上数次以各种形式被再次提出)。
Cooley-Tukey算法最有名的应用,是将串行长为N 的DFT分割为两个长为N/2 的子串行的DFT,因此这一应用只适用于串行长度为2的幂的DFT计算,即基2-FFT。实际上,如同高斯和Cooley与Tukey都指出的那样,Cooley-Tukey算法也可以用于串行长度N 为任意因数分解形式的DFT,即混合基FFT,而且还可以应用于其他诸如分裂基FFT等变种。尽管Cooley-Tukey算法的基本思路是采用递归的方法进行计算,大多数传统的算法实现都将显式的递归算法改写为非递归的形式。另外,因为Cooley-Tukey算法是将DFT分解为较小长度的多个DFT,因此它可以同任一种其他的DFT算法联合使用。
设计思想
下面,我们用N次单位根来表示。
的性质:
- 周期性,具有周期,即
- 对称性:。
- 若是的约数,
为了简单起见,我们下面设待变换串行长度。 根据上面单位根的对称性,求级数时,可以将求和区间分为两部分:
和 是两个分别关于串行奇数号和偶数号串行N/2点变换。由此式只能计算出的前N/2个点,对于后N/2个点,注意 和 都是周期为N/2的函数,由单位根的对称性,于是有以下变换公式:
- 。
这样,一个N点变换就分解成了两个N/2点变换。照这样可继续分解下去。这就是库利-图基快速傅里叶变换算法的基本原理。根据主定理不难分析出此时算法的时间复杂度为
其他算法
在Cooley-Tukey算法之外还有其他DFT的快速算法。对于长度且与互质的串行,可以采用基于中国剩余定理的互质因子算法将N 长串行的DFT分解为两个子串行的DFT。与 Cooley-Tukey 算法不同的是,互质因子算法不需要旋转因子。
Rader-Brenner 算法是类似于 Cooley-Tukey 算法,但是采用的旋转因子都是纯虚数,以增加加法运算和降低了数值稳定性为代价减少了乘法运算。这方法之后被split-radix variant of Cooley-Tukey所取代,与Rader-Brenner算法相比,有一样多的乘法量,却有较少的加法量,且不牺牲数值的准确性。
Bruun以及QFT算法是不断的把DFT分成许多较小的DFT运算。(Rader-Brenner以及QFT算法是为了2的指数所设计的算法,但依然可以适用在可分解的整数上。Bruun算法则可以运用在可被分成偶数个运算的数字)。尤其是Bruun算法,把FFT看成是,并把它分解成 与 的形式。
另一个从多项式观点的快速傅立叶变换法是Winograd 算法。此算法把分解成cyclotomic多项式,而这些多项式的系数通常为1,0,-1。这样只需要很少的乘法量(如果有需要的话),所以winograd是可以得到最少乘法量的快速傅立叶算法,对于较小的数字,可以找出有效率的算方式。更精确地说,winograd算法让DFT可以用点的DFT来简化,但减少乘法量的同时,也增加了非常多的加法量。Winograd也可以利用剩余值定理来简化DFT。
Rader算法提出了利用点数为N(N为质数)的DFT进行长度为N-1的回旋折积来表示原本的DFT,如此就可利用折积用一对基本的FFT来计算DFT。另一个prime-size的FFT算法为chirp-Z算法。此法也是将DFT用折积来表示,此法与Rader算法相比,能运用在更一般的转换上,其转换的基础为Z转换(Rabiner et al., 1969)。
实数或对称资料专用的算法
在许多的运用当中,要进行DFT的资料是纯实数,如此一来经过DFT的结果会满足对称性:
- =
而有一些算法是专门为这种情形设计的(e.g. Sorensen, 1987)。另一些则是利用旧有的算法(e.g. Cooley-Tukey),删去一些不必要的演算步骤,如此省下了记忆体的使用,也省下了时间。另一方面,也可以把一个偶数长度且纯实数的DFT,用长度为原本一半的复数型态DFT来表示(实数项为原本纯实数资料的偶数项,虚数项则为奇数项)。
一度人们认为,用离散哈特利转换(Discrete Hartley Transform)来处理纯实数的DFT会更有效率,但接着人们发现,对于同样点数的纯实数DFT,经过设计的FFT,可以比DHT省下更多的运算。Bruun算法是第一个试着从减少实数输入的DFT运算量的算法,但此法并没有成为人们普遍使用的方法。
对于实数输入,且输入为偶对称或奇对称的情形,可以更进一步的省下时间以及记忆体,此时DFT可以用离散余弦转换或离散正弦转换来代替(Discrete cosine/sine transforms)。由于DCT/DST也可以设计出FFT的算法,故在此种情形下,此方法取代了对DFT设计的FFT算法。
DFT可以应用在频谱分析以及做折积的运算,而在此处,不同应用可以用不同的算法来取代,列表如下:
用来做频谱分析的情况下,DFT可用下列的算法代替:
- DCT.
- DST.
- DHT.
- 正交基底的扩展(orthogonal basis expantion)包括正交多项式(orthogonal polynomials)以及CDMA.
- Walsh(Hadamard)转换.
- Haar转换
- 小波(wavelet)转换.
- 时频分布(time-frequency distribution)
用来做折积的情况下,DFT可用下列的算法代替:
- DCT.
- DST.
- DHT.
- 直接做折积(direct computing)
- 分段式DFT折积(sectioned DFT convolution)
- 威诺格拉德快速傅里叶变换算法
- Walsh(Hadamard)转换
- 数论转换
复杂度以及运算量的极限
长久以来,人们对于求出快速傅里叶变换的复杂度下限以及需要多少的运算量感到很有兴趣,而实际上也还有许多问题需要解决。即使是用较简单的情形,即点的DFT,也还没能够严谨的证明出FFT至少需要(比NlogN大)的运算量,目前也没有发现复杂度更低的算法。通常数学运算量的多寡会是运算效率好坏最主要的因素,但在现实中,有许多因素也会有很大的影响,如快取记忆体以及CPU均有很大的影响。
在1978年,Winograd率先导出一个较严谨的FFT所需乘法量的下限:。当时,DFT只需要 次无理实数的乘法即可以计算出来。更详尽,且也能趋近此下限的算法也一一被提出(Heideman & Burrus, 1986; Duhamel, 1990)。很可惜的是,这些算法,都需要很大量的加法计算,目前的硬件无法克服这个问题。
对于所需加法量的数目,虽然我们可以在某些受限制的假设下,推得其下限,但目前并没有一个精确的下限被推导出来。1973年,Morgenstern在乘法常数趋近巨大的情形下(对大部分的FFT算法为真,但不是全部)推导出加法量的下限:。Pan(1986)在假设FFT算法的不同步的情形有其极限下证明出加法量的下限,但一般来说,此假设相当的不明确。长度为的情形下,在某些假设下,Papadimitriou(1979)提出使用Cooley-Tukey算法所需的复数加法量是最少的。到目前为止,在长度为情况,还没有任何FFT的算法可以让复数的加法量比还少。
还有一个问题是如何把乘法量与加法量的总和最小化,有时候称作"演算复杂度"(在这里考虑的是实际的运算量,而不是渐近复杂度)。同样的,没有一个严谨下限被证明出来。从1968年开始,点DFT而言,split-radix FFT算法需要最少的运算量,在的情形下,其需要 个乘法运算以及加法运算。最近有人导出更低的运算量:。(Johnson and Frigo, 2007; Lundy and Van Buskirk, 2007)
大多数尝试要降低或者证明FFT复杂度下限的人都把焦点放在复数资料输入的情况,因其为最简单的情形。但是,复数资料输入的FFT算法,与实数资料输入的FFT算法,离散余旋转换(DCT),离散哈特列转换(DHT),以及其他的算法,均有很大的关连性。故任何一个算法,在复杂度上有任何的改善的话,其他的算法复杂度也会马上获得改善(Duhamel & Vetterli, 1990)。
参考资料
- N. Brenner and C. Rader, 1976, A New Principle for Fast Fourier Transformation, IEEE Acoustics, Speech & Signal Processing 24: 264-266.
- Cooley, James W., and John W. Tukey, 1965, "An algorithm for the machine calculation of complex Fourier series," Math. Comput. 19: 297–301.
- Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, and Clifford Stein, 2001. Introduction to Algorithms, 2nd. ed. MIT Press and McGraw-Hill. ISBN 0-262-03293-7. Especially chapter 30, "Polynomials and the FFT."
- Pierre Duhamel, 1990, , IEEE Trans. Acoust. Speech. Sig. Proc. 38: 1504-151.
- ------- and M. Vetterli, 1990, , Signal Processing 19: 259–299.
- A. Edelman, P. McCorquodale, and S. Toledo, 1999, , SIAM J. Sci. Computing 20: 1094–1114.
- Funda Ergün, 1995, , Proc. 27th ACM Symposium on the Theory of Computing: 407–416.
- M. Frigo and S. G. Johnson, 2005, "The Design and Implementation of FFTW3," Proceedings of the IEEE 93: 216–231.
- Carl Friedrich Gauss, 1866. "Nachlass: Theoria interpolationis methodo nova tractata," Werke band 3, 265–327. Göttingen: Königliche Gesellschaft der Wissenschaften.
- W. M. Gentleman and G. Sande, 1966, "Fast Fourier transforms—for fun and profit," Proc. AFIPS 29: 563–578.
- H. Guo and C. S. Burrus, 1996, , Proc. SPIE Intl. Soc. Opt. Eng. 2825: 250–259.
- ------- and G. A. Sitton, 1994, , Proc. IEEE Conf. Acoust. Speech and Sig. Processing (ICASSP) 3: 445–448.
- Michael T. Heideman and C. Sidney Burrus, 1986, On the number of multiplications necessary to compute a length- DFT, IEEE Trans. Acoust. Speech. Sig. Proc. 34: 91-95.
- -------- and D. H. Johnson, 1984, Gauss and the history of the fast Fourier transform, IEEE ASSP Magazine 1: 14–21.
- S. G. Johnson and M. Frigo, 2007. "A modified split-radix FFT with fewer arithmetic operations," IEEE Trans. Signal Processing 55 (1): 111–119.
- T. Lundy and J. Van Buskirk, 2007. "A new matrix approach to real FFTs and convolutions of length 2k," Computing 80 (1): 23-45.
- Jacques Morgenstern, 1973, , J. ACM 20: 305-306.
- M. J. Mohlenkamp, 1999, "A fast transform for spherical harmonics", J. Fourier Anal. Appl. 5, 159–184. (preprint)
- H. J. Nussbaumer, 1977, , Electronics Lett. 13: 386-387.
- V. Pan, 1986, , Information Proc. Lett. 22: 11-14.
- Christos H. Papadimitriou, 1979, , J. ACM 26: 95-102.
- D. Potts, G. Steidl, and M. Tasche, 2001. "Fast Fourier transforms for nonequispaced data: A tutorial", in: J.J. Benedetto and P. Ferreira (Eds.), Modern Sampling Theory: Mathematics and Applications (Birkhauser).
- Vladimir Rokhlin and Mark Tygert, 2006, "Fast algorithms for spherical harmonic expansions," SIAM J. Sci. Computing 27 (6): 1903-1928.
- James C. Schatzman, 1996, Accuracy of the discrete Fourier transform and the fast Fourier transform, SIAM J. Sci. Comput. 17: 1150–1166.
- O. V. Shentov, S. K. Mitra, U. Heute, and A. N. Hossen, 1995, , Signal Processing 41: 261–277.
- H. V. Sorensen, D. L. Jones, M. T. Heideman, and C. S. Burrus, 1987, Real-valued fast Fourier transform algorithms, IEEE Trans. Acoust. Speech Sig. Processing ASSP-35: 849–863. See also Corrections to "Real-valued fast Fourier transform algorithms"
- Peter D. Welch, 1969, A fixed-point fast Fourier transform error analysis, IEEE Trans. Audio Electroacoustics 17: 151–157.
- S. Winograd, 1978, On computing the discrete Fourier transform, Math. Computation 32: 175-199.
- Jian-Jiun Ding, Advanced Digital Signal Processing class note,the Department of Electrical Engineering, National Taiwan University (NTU), Taipei, Taiwan, 2007.
- E. O. Brigham, The Fast Fourier Transform,Prentice Hall,Englewood Cliffs,New Jersey,1974.
- E.O.布赖姆著,柳群译,快速富里叶变换,上海科学技术出版社,1979.