【理論】傅里葉變換與不確定性

2017-03-17 by:CAE仿真在線來源:互聯(lián)網(wǎng)

來源:電子工程專輯

在現(xiàn)代數(shù)學中有一個很容易被外行誤解的詞匯:信號 (signal)。當數(shù)學家們說起「一個信號」的時候,他們腦海中想到的并不是交通指示燈所發(fā)出的閃爍光芒或者手機屏幕頂部的天線圖案,而是一段可以具體數(shù)字化的信息,可以是聲音,可以是圖像,也可是遙感測量數(shù)據(jù)。

簡單地說,它是一個函數(shù),定義在通常的一維或者多維空間之上。譬如一段聲音就是一個定義在一維空間上的函數(shù),自變量是時間,因變量是聲音的強度,一幅圖像是定義在二維空間上的函數(shù),自變量是橫軸和縱軸坐標,因變量是圖像像素的色彩和明暗,如此等等。

在數(shù)學上,關于一個信號最基本的問題在于如何將它表示和描述出來。按照上面所說的辦法,把一個信號理解成一個定義在時間或空間上的函數(shù)是一種自然而然的表示方式,但是它對理解這一信號的內容來說常常不夠。例如一段聲音,如果單純按照定義在時間上的函數(shù)來表示,它畫出來是這個樣子的:

【理論】傅里葉變換與不確定性MatLab技術圖片1

這通常被稱為波形圖。毫無疑問,它包含了關于這段聲音的全部信息。但是同樣毫無疑問的是,這些信息幾乎沒法從上面這個「函數(shù)」中直接看出來,事實上,它只不過是巴赫的小提琴無伴奏 Partita No.3 的序曲開頭幾個小節(jié)。下面是巴赫的手稿,從某種意義上說來,它也構成了對上面那段聲音的一個「描述」:

【理論】傅里葉變換與不確定性MatLab技術圖片2

這兩種描述之間的關系是怎樣的呢?第一種描述刻劃的是具體的信號數(shù)值,第二種描述刻劃的是聲音的高低(即聲音震動的頻率)。人們直到十九世紀才漸漸意識到,在這兩種描述之間,事實上存在著一種對偶的關系,而這一點并不顯然。

1807 年,法國數(shù)學家傅立葉 (J. Fourier) 在一篇向巴黎科學院遞交的革命性的論文 Mémoire sur la propagation de la chaleur dans les corps solides (《固體中的熱傳播》)中,提出了一個嶄新的觀念:任何一個函數(shù)都可以表達為一系列不同頻率的簡諧振動(即簡單的三角函數(shù))的疊加。

有趣的是,這結論是他研究熱傳導問題的一個副產品。這篇論文經拉格朗日 (J. Lagrange)、拉普拉斯 (P-S. Laplace) 和勒讓德 (A-M. Legendre) 等人審閱后被拒絕了,原因是他的思想過于粗糙且極不嚴密。

1811 年傅立葉遞交了修改后的論文,這一次論文獲得了科學院的獎金,但是仍然因為缺乏嚴密性而被拒絕刊載在科學院的《報告》中。傅立葉對此耿耿于懷,直到 1824 年他本人成為了科學院的秘書,才得以把他 1811 年的論文原封不動地發(fā)表在《報告》里。

用今天的語言來描述,傅立葉的發(fā)現(xiàn)實際上是在說:任何一個信號都可以用兩種方式來表達,一種就是通常意義上的表達,自變量是時間或者空間的坐標,因變量是信號在該處的強度,另一種則是把一個信號「展開」成不同頻率的簡單三角函數(shù)(簡諧振動)的疊加,于是這就相當于把它看作是定義在所有頻率所組成的空間(稱為頻域空間)上的另一個函數(shù),自變量是不同的頻率,因變量是該頻率所對應的簡諧振動的幅度。

這兩個函數(shù)一個定義在時域(或空域)上,一個定義在頻域上,看起來的樣子通常截然不同,但是它們是在以完全不同的方式殊途同歸地描述著同一個信號。它們就象是兩種不同的語言,乍一聽完全不相干,但是其實可以精確地互相翻譯。在數(shù)學上,這種翻譯的過程被稱為「傅立葉變換」。

傅立葉變換是一個數(shù)學上極為精美的對象:

它是完全可逆的,任何能量有限的時域或空域信號都存在唯一的頻域表達,反之亦然。
它完全不損傷信號的內在結構:任何兩個信號之間有多少相關程度(即內積),它們的頻域表達之間也一定有同樣多的相關程度。
它不改變信號之間的關聯(lián)性:一組信號收斂到一個特定的極限,它們的頻域表達也一定收斂到那個極限函數(shù)的頻域表達。

傅立葉變換就象是把信號徹底打亂之后以最面目全非的方式復述出來,而一切信息都還原封不動的存在著。要是科幻小說作家了解這一點,他們本來可以多出多少有趣的素材啊。

在傅立葉變換的所有這些數(shù)學性質中,最不尋常的是這樣一種特性:一個在時域或空域上看起來很復雜的信號(譬如一段聲音或者一幅圖像)通常在頻域上的表達會很簡單。

這里「簡單」的意思是說作為頻域上的函數(shù),它只集中在很小一塊區(qū)域內,而很大一部分數(shù)值都接近于零。例如下圖是一張人臉和它對應的傅立葉變換,可以看出,所有的頻域信號差不多都分布在中心周圍,而大部分周邊區(qū)域都是黑色的(即零)。

【理論】傅里葉變換與不確定性MatLab技術圖片3

這是一個意味深長的事實,它說明一個在空域中看起來占滿全空間的信號,從頻域中看起來很可能只不過占用了極小一塊區(qū)域,而大部分頻率是被浪費了的。這就導出了一個極為有用的結論:一個看起來信息量很大的信號,其實可以只用少得多的數(shù)據(jù)來加以描述。只要對它先做傅里葉變換,然后只記錄那些不接近零的頻域信息就可以了,這樣數(shù)據(jù)量就可以大大減少。

基本上,這正是今天大多數(shù)數(shù)據(jù)壓縮方法的基礎思想。在互聯(lián)網(wǎng)時代,大量的多媒體信息需要在盡量節(jié)省帶寬和時間的前提下被傳輸,所以數(shù)據(jù)壓縮從來都是最核心的問題之一。而今天幾乎所有流行的數(shù)據(jù)壓縮格式,無論是聲音的 mp3 格式還是圖像的 jpg 格式,都是利用傅立葉變換才得以發(fā)明的。從這個意義上說來,幾乎全部現(xiàn)代信息社會都建立在傅立葉的理論的基礎之上。

這當然是傅立葉本人也始料未及的。

傅立葉變換這種對偶關系的本質,是把一塊信息用徹底打亂的方式重新敘述一遍。正如前面所提到的那樣,一個信號可能在空域上顯得內容豐富,但是當它在頻域上被重新表達出來的時候,往往就在大多數(shù)區(qū)域接近于零。反過來這個關系也是對稱的:一個空域上大多數(shù)區(qū)域接近于零的信號,在頻域上通常都會占據(jù)絕大多數(shù)頻率。

【理論】傅里葉變換與不確定性MatLab技術圖片4

有沒有一種信號在空域和頻域上的分布都很廣泛呢?有的,最簡單的例子就是噪聲信號。一段純粹的白噪聲,其傅立葉變換也仍然是噪聲,所以它在空域和頻域上的分布都是廣泛的。如果用信號處理的語言來說,這就說明「噪聲本身是不可壓縮的」。這并不違反直覺,因為信號壓縮的本質就是通過挖掘信息的結構和規(guī)律來對它進行更簡潔的描述,而噪聲,顧名思義,就是沒有結構和規(guī)律的信號,自然也就無從得以壓縮。

另一方面,有沒有一種信號在空域和頻域上的分布都很簡單呢?換句話說,存不存在一個函數(shù),它在空間上只分布在很少的幾個區(qū)域內,并且在頻域上也只占用了很少的幾個頻率呢?(零函數(shù)當然滿足這個條件,所以下面討論的都是非零函數(shù)。)

答案是不存在。這就是所謂的 uncertainty principle(不確定性原理)。

這一事實有極為重要的內涵,但是其重要性并不容易被立刻注意到。它甚至都不是很直觀:大自然一定要限制一個信號在空間分布和頻率分布上都不能都集中在一起,看起來并沒有什么道理啊。

這個原理可以被盡量直觀地解釋如下:所謂的頻率,本質上反應的是一種長期的全局的趨勢,所以任何一個單一的頻率,一定對應于一個在時空中大范圍存在的信號。反過來,任何只在很少一塊時空的局部里存在的信號,都存在很多種不同的長期發(fā)展的可能性,從而無法精確推斷其頻率。

讓我們仍然用音樂來作例子。聲音可以在時間上被限制在一個很小的區(qū)間內,譬如一個聲音只延續(xù)了一剎那。聲音也可以只具有極單一的頻率,譬如一個音叉發(fā)出的聲音(如果你拿起手邊的固定電話,里面的撥號音就是一個 440Hz 的純音加上一個 350Hz 的純音,相當于音樂中的 A-F 和弦)。

但是不確定性原理告訴我們,這兩件事情不能同時成立,一段聲音不可能既只占據(jù)極短的時間又具有極純的音頻。當聲音區(qū)間短促到一定程度的時候,頻率就變得不確定了,而頻率純粹的聲音,在時間上延續(xù)的區(qū)間就不能太短。因此,說「某時某刻那一剎那的一個具有某音高的音」是沒有意義的。

這看起來像是一個技術性的困難,而它實際上反映出卻是大自然的某種本質規(guī)律:任何信息的時空分辨率和頻率分辨率是不能同時被無限提高的。一種波動在頻率上被我們辨認得越精確,在空間中的位置就顯得越模糊,反之亦然。

這一規(guī)律對于任何熟悉現(xiàn)代多媒體技術的人來說都是熟知的,因為它為信號處理建立了牢不可破的邊界,也在某種程度上指明了它發(fā)展的方向。

既然時空分辨率和頻率分辨率不能同時無限小,那人們總可以去研究那些在時空分布和頻率分布都盡量集中的信號,它們在某種意義上構成了信號的「原子」,它們本身有不確定性原理所允許的最好的分辨率,而一切其他信號都可以在時空和頻率上分解為這些原子的疊加。

這一思路在四十年代被 D. Gabor (他后來因為發(fā)明全息攝影而獲得了 1971 年的諾貝爾物理獎)所提出,成為整個現(xiàn)代數(shù)字信號處理的奠基性思想,一直影響到今天。

但是眾所周知,不確定性原理本身并不是數(shù)學家的發(fā)明,而是來自于量子物理學家的洞察力。同樣一條數(shù)學結論可以在兩個截然不相干的學科分支中都產生歷史性的影響,這大概是相當罕見的例子了。

不確定性原理事實上不是一個單獨的定理,而是一組定理的統(tǒng)稱?；旧?凡是刻劃一個信號不能在時空域和頻域上同時過于集中的命題都可以稱為不確定性原理,由于這里「集中」這一性質可以有不同的數(shù)學描述,也就對應著不同的數(shù)學定理。

但是在所有冠以「不確定性原理」之名的定理中,最著名的當然是海森堡 (W. Heisenberg) 在 1927 年所提出的影響物理學發(fā)展至深的那個版本。它精確的數(shù)學描述是:

假定一個信號的總能量為 1,則這個信號和它的傅立葉變換的能量的方差之積不小于 1/16π2。

換言之,兩者各自的能量都可能很集中,但是不能同時很集中。如果時空域中能量的方差很小(亦即集中在一起),那么頻域上能量的方差就不會太小(亦即必然會彌散開),反之亦然。

對這個定理在量子物理中的意義的詳細討論超出了本文的話題范圍,坊間相關的著作已有不少。不過,下面簡單臚列了一些相關的歷史事實:

海森堡在 1927 年的那篇文章標題為 Ueber den anschaulichen Inhalt der quantentheoretischen Kinematik und Mechanik(《量子理論運動學和力學的直觀內容》)。這篇文章很大程度上是對薛定諤 (E. Schr?dinger) 在 1926 年所提出的薛定諤波動方程的回應。相較于海森堡的矩陣力學而言,薛定諤的方程很快由于它物理上的直觀明晰而吸引了越來越多物理學家的贊賞。海森堡對此極為失落。在 1926 年 6 月 8 日海森堡寫給泡利 (W. Pauli) 的信中他說:「我對薛定諤的理論想得越多我就越覺得惡心?！挂虼?他迫切需要給他自己的理論配上一幅更直觀的圖象。
海森堡的這篇文章提出了后來被人們所熟悉的關于為什么無法同時測量一個電子的位置和動量的解釋,但是并未給出任何嚴格的數(shù)學證明。他把他的結論籠統(tǒng)地表達為 Δx Δp ≥ ?,其中 x 是位置,p 是動量,? 是普朗克常數(shù)。但他并沒有詳細說明 Δx 和 Δp 的嚴格意思,只針對若干具體情形做了一些直觀的討論。
第一個從數(shù)學上證明不確定性原理的物理學家是 E. Kennard。他在 1927 年證明了文章開頭所描述的定理,指出 Δx 和 Δp 的數(shù)學意義其實是方差。這種解釋很快就成了海森堡不確定性原理的標準數(shù)學表達,海森堡本人 1930 年在芝加哥所做的演講中也使用了這種數(shù)學推導來佐證他的立論。需要說明的是,海森堡盡管很快接收了這一數(shù)學解釋,但是后來人們發(fā)現(xiàn)在他本人原先的論文里所舉的那些例子中,有很多被他用 Δx 和 Δp 籠統(tǒng)概括的含混概念其實是無法被解釋成方差的。在他心目中,不確定性原理首先是一個經驗事實,其次才是一個數(shù)學定理。
海森堡并未將他的發(fā)現(xiàn)命名為不確定性「原理」,而只是稱之為一種「關系」。愛丁頓 (A. Eddington) 在 1928 年似乎第一個使用了原理一詞,將之稱為 principle of indeterminacy,后來 uncertainty principle 這種說法才漸漸流行起來。海森堡本人始終稱之為 ungenauigkeitsrelationen/unbestimmtheitsrelationen(相當于英語的 inaccuracy/indeterminacy relations),直到五十年代才第一次接受了 principle 這種叫法。

【理論】傅里葉變換與不確定性MatLab培訓教程圖片5

海森堡

有趣的是,即使很多信號處理或者量子力學領域的專家也不知道自己平時所討論的不確定性原理和對方的其實是一回事。這兩者之間的聯(lián)系也的確并不太顯然,一個關注信號的時空和頻域分布,一個關注粒子的運動和能量。它們之間的相關性只有從數(shù)學公式上才看起來比較明顯。

在海森堡的時代當然并不存在「信號處理」這一學科,數(shù)學家們也只把不確定性原理當作一條純數(shù)學的結論來對待。他們什么時候最先注意到這一定理并不是很清楚。有記錄表明維納 (N. Wiener) 1925 年在哥廷根的一次講座中提到了類似的結論,但是那次講座并沒有任何紙面材料流存下來。

外爾 (H. Weyl) 在 1928 年名為《群論與量子力學》的論著中證明了這一定理,但他將之歸功于泡利的發(fā)現(xiàn)。直到 1946 年 D. Gabor 的一篇名為《通訊理論》的經典論文才真正讓這個定理以今天信號處理領域的專家們所熟悉的方式流傳開來。

【理論】傅里葉變換與不確定性MatLab培訓教程圖片6

左:Weyl; 右:Gabor

正如前面說過的那樣,在數(shù)學上不確定性原理不僅僅有海森堡這一個版本,而其實是一組定理的統(tǒng)稱。譬如哈代 (G. Hardy) 在 1933 年證明了一個和海森堡原理類似的定理,今天一般稱為哈代不確定性原理。

海森堡和哈代的定理都只約束了信號在時空域和頻域的大致分布,而并沒有限制它們同時集中在有限大的區(qū)域內。M. Benedicks 第一個證明了信號在時空域和頻域中確實不能同時集中在有限大的區(qū)域內,而這已經是 1974 年的事情了。

到二十世紀末,人們對「信號」這個詞的理解已經發(fā)生了微妙的變化。如果在二十世紀上半葉的時候提到一個信號,人們還傾向于將它理解為一個連續(xù)的函數(shù)。而到下半葉,信號已經越來越多地對應于一個離散的數(shù)組。毫無疑問,這是電子計算機革命的后果。

在這樣的情形下,「不確定性原理」也有了新的形式。在連續(xù)情形下,我們可以討論一個信號是否集中在某個區(qū)域內。而在離散情形下,重要的問題變成了信號是否集中在某些離散的位置上,而在其余位置上是零。數(shù)學家給出了這樣有趣的定理:

一個長度為 N 的離散信號中有 a 個非零數(shù)值,而它的傅立葉變換中有 b 個非零數(shù)值,那么 a+b ≥ 2√N。

也就是說一個信號和它的傅立葉變換中的非零元素不能都太少。毫無疑問,這也是某種新形式的「不確定性原理」。

在上面的定理中,如果已知 N 是素數(shù),那么我們甚至還有強得多的結論(它是 N. Chebotarev 在 1926 年證明的一個定理的自然推論):

一個長度為素數(shù) N 的離散信號中有 a 個非零數(shù)值,而它的傅立葉變換中有 b 個非零數(shù)值,那么 a+b > N。

不幸的是這里「素數(shù)」的條件是必須的。對于非素數(shù)來說,第二條命題很容易找到反例,這時第一條命題已經是能夠達到的最好結果了。

這些定理有什么用呢?如果它僅僅是能用來說明某些事情做不到,就像它字面意思所反映出的那樣,那它的用處當然相對有限?？墒恰@無疑是辯證法的一個好例證——這樣一系列宣稱「不確定」的定理,事實上是能夠用來推出某些「確定」的事實的。

設想這樣一種情況:假定我們知道一個信號總長度為 N,已知其中有很大一部分值是零,但是不知道是哪一部分(這是很常見的情形,大多數(shù)信號都是如此),于此同時,我們測量出了這個信號在頻域空間中的 K 個頻率值,但是 K<N (也就是我們的測量由于某些原因并不完整,漏掉了一部分頻域信息)。有沒有可能把這個信號還原出來呢?

按照傳統(tǒng)的信號處理理論,這是不可能的,因為正如前面所說的那樣,頻域空間和原本的時空域相比,信息量是一樣多的,所以要還原出全部信號,必須知道全部的頻域信息,就象是要解出多少個未知數(shù)就需要多少個方程一樣。如果只知道一部分頻域信息,就像是只知道 K 個方程,卻要解出 N 個未知數(shù)來,任何一個學過初等代數(shù)的人都知道,既然 K<N,解一定是不唯一的。

但是借助不確定性原理,卻正可以做到這一點!原因是我們關于原信號有一個「很多位置是零」的假設。

那么,假如有兩個不同的信號碰巧具有相同的 K 個頻率值,那么這兩個信號的差的傅立葉變換在這 K 個頻率位置上就是零。另一方面,因為兩個不同的信號在原本的時空域都有很多值是零,它們的差必然在時空域也包含很多零。

不確定性原理(一個函數(shù)不能在頻域和時空域都包含很多零)告訴我們,這是不可能的。于是,原信號事實上是唯一確定的!

這當然是一個非常違反直覺的結論。它說明在特定的情況下,我們可以用較少的方程解出較多的未知數(shù)來。這件事情在應用上極為重要。一個簡單的例子是醫(yī)學核磁共振技術(很多家里有重病患者的朋友應該都聽說過這種技術)。

核磁共振成像本質上就是采集身體圖像的頻域信息來還原空間信息。由于采集成本很高,所以核磁共振成像很昂貴,也很消耗資源。但是上述推理說明,事實上核磁共振可以只采集一少部分頻域信息(這樣成本更低速度也更快),就能完好還原出全部身體圖像來,這在醫(yī)學上的價值是不可估量的。

在今天,類似的思想已經被應用到極多不同領域,從醫(yī)學上的核磁共振和 X 光斷層掃描到石油勘測和衛(wèi)星遙感。簡而言之:不確定性可以讓測量的成本更低效果更好,雖然這聽起來很自相矛盾。

糟糕的是,本篇開頭所描述的那個不確定性定理還不夠強,所能帶來的對頻域測量的節(jié)省程度還不夠大。但是數(shù)學上它又是不可改進的。這一僵局在本世紀初被打破了。E. Candès 和陶哲軒等人證明了一系列新的不確定性原理,大大提高了不等式的強度,付出的代價是……隨機性。他們的定理可以粗略敘述為:

一個長度為 N 的離散信號中有 a 個非零數(shù)值,而它的傅立葉變換中有 b 個非零數(shù)值,那么 a+b 以極大概率不小于 N/√(log N) 乘以一個常數(shù)。

這里的「極大概率」并不是一個生活用語,而是一個關于具體概率的精確的數(shù)學描述。換言之,雖然在最倒霉的情況下不確定性可以比較小,但是這種情況很罕見。一般來說,不確定性總是很大。于是可以帶來的測量上的節(jié)約也很大。

這當然也是一種「不確定性原理」,而且因為引入了隨機性,所以在某種意義上來說比原先的定理更「不確定」。在他們的工作的基礎上,一種被稱為「壓縮感知」的技術在最近的五六年內如火如荼地發(fā)展起來,已經成為涵蓋信號處理、信息提取、醫(yī)學成像等等多個工程領域的最重要的新興工程技術之一。

不過,這些后續(xù)的發(fā)展估計是遠遠超出海森堡的本意了。

開放分享：優(yōu)質有限元技術文章,助你自學成才