1.3 非線性時間序列中的獨立性檢驗

由觀測數據建立圖模型，首先要檢驗頂點表示的變量（或序列）之間的各種相依聯系.作為計量經濟學、時間序列分析和統計學的重要概念之一，獨立性檢驗在各領域得到大量研究.在時間序列中，Brock等^[68]提出了BDS檢驗方法，用于檢驗時間序列的獨立同分布假設.Brock等^[69]又把BDS檢驗方法推廣到用于檢驗時間序列中估計的殘差的獨立性.但BDS檢驗方法不能有效地確定模型的具體滯后階數.另一類非參數檢驗方法是關于固定階數的時間序列獨立性檢驗，例如，Skaug等^[70]直接比較了聯合分布函數和邊緣分布函數的乘積；Pinkse^[71]等比較了聯合概率密度函數和邊緣概率密度函數的乘積；Pinkse^[72]基于特征函數提出了固定階數的非參數檢驗方法.其他序列獨立性的非參數檢驗方法有：Delgado等^[73]提出的經驗分布函數方法，Hong^[74]提出的廣義譜檢驗的頻域方法等.

上述非參數檢驗方法涉及各種函數的估計，對計算量要求較大.近年來，信息論中的熵度量方法由于能夠捕捉時間序列中的相依聯系，并且不需要對數據產生過程進行嚴格的參數假設，因而成為時間序列獨立性檢驗的研究熱點.熵作為時間序列中的相依聯系度量始于 Joe^[75，76]用光滑的非參數熵度量獨立同分布隨機向量的多維相依聯系.Robinson^[77]利用修正的熵度量發展了時間序列中的相依聯系檢驗.進而，Granger等^[78]提出了非參數熵統計量，用于檢驗時間序列中的滯后相依聯系.熵度量的理論研究也得到了發展.Bernhard 等^[79]證明了基于互信息的相依聯系檢驗方法的重要性質.Urbach^[80]和Granger等^[81]研究了互信息、熵和相依聯系之間的關系.Hong等^[82]研究了檢驗時間序列獨立性的熵統計量的漸近分布理論.最近，Matilla García等^[83]提出了基于置換熵的非參數獨立性檢驗方法.本節介紹基于Shnnon熵定義的互信息和條件互信息^[84]、基于廣義熵定義的廣義互信息和廣義條件互信息、基于線性熵的線性互信息和線性條件互信息等基本概念^[85].

1.3.1 Shannon 熵和互信息

設連續型隨機變量X，其概率密度函數為 f _X（ x），Shannon定義連續型隨機變量的熵為

Shannon熵的概念可以推廣到多個連續型隨機變量的情況.以兩個隨機變量X 和Y 的情況為例，設其概率密度函數分別為 f_X（x）和 f_Y（y），聯合概率密度函數為f_X，Y（x，y），條件概率密度函數分別為 f_X|Y（x|y）和 f_Y|X（y|x），則X 和Y的聯合熵定義為

聯合熵是對兩個隨機變量不確定性的度量.

隨機變量X 和Y的條件熵H（X|Y）定義為

條件熵是在已知隨機變量Y的情況下，對隨機變量X 不確定性的度量.

容易推出，聯合熵、無條件熵和條件熵存在下列關系

隨機變量X 和Y的互信息為

隨機變量的互信息表示了隨機變量之間相互提供的信息量，故有

互信息還可以表示隨機變量之間的統計依存程度.

由熵、聯合熵、條件熵的定義，即式（1-14）、式（1-15）和式（1-16），可以推出

當隨機變量X 和Y相互獨立時，有 f_X，Y（x，y）= f_X（x） f_Y（y），于是有

和

1.3.2 兩組多維隨機向量之間的互信息和條件互信息

為簡單具體起見，考慮隨機變量X 和二維隨機向量（Y，Z）之間的互信息.設這三個隨機變量的概率密度函數分別為 f_X（x）、f_Y（y）和f_Z（z），其聯合概率密度函數為f_X，Y，Z（x，y，z）.仿照兩個隨機變量之間的互信息的定義，可以定義X 和（Y，Z）之間的互信息為

和

聯合互信息I（X；Y，Z）表示隨機變量X 和二維隨機向量（Y，Z）之間相互可能提供的信息量，即I（X；Y，Z）是表示X 和（Y，Z）之間統計依存程度的度量.

在已知隨機變量Z的條件下，隨機變量X 和Y之間的條件互信息I（X；Y|Z）定義為

由式（1-25）可以得到下列關系式

可以證明，條件互信息是非負的，即I（X；Y|Z）≥0.

利用條件互信息把聯合互信息做如下展開：

式（1-27）的含義是，二維隨機向量（Y， Z）所提供的關于隨機變量X 的信息量等于隨機變量Y所提供的關于X 的信息量加上在已知Y的條件下隨機變量Z所提供的關于X 的信息量.

在給定隨機變量Z的條件下，當隨機變量X 和Y條件獨立時，有

于是有

1.3.3 廣義熵、廣義互信息和廣義條件互信息

利用如下定義的 Renyi 熵可以得到一個更廣義的度量.設隨機變量X，其概率密度函數為 f _X（ x），則X 的q階Renyi熵定義為

對于二維隨機向量（X，Y），其聯合概率密度函數為 f_X，Y（x，y），則聯合q階Renyi熵定義為

當q→1時，Renyi熵就是Shannon熵.

隨機變量X 和Y的q階互信息定義為

q階條件互信息用于度量給定Z中包含的關于X 的信息的條件下，Y中包含的關于X 的信息

1.3.4 線性熵、線性互信息和線性條件互信息

設X=（X₁，X₂，…，X_n）是均值向量為 0，協方差矩陣為Σ的n維高斯分布向量，其概率密度函數為

式中，W=Σ^-1，為矩陣W 的行列式.

結合式（1-33）和式（1-15），定義線性Shannon熵為

定義q階廣義線性熵為

利用可得

隨機變量X 和Y的q階線性互信息I^l（X；Y）定義為

在已知隨機變量Z 的條件下，隨機變量X 和Y 之間的q階線性條件互信息I^l（X；Y|Z）定義為

式中，Σ_XYZ、Σ_XZ、Σ_YZ和Σ_Z分別表示（X，Y，Z）、（X，Z）、（Y，Z）和Z的協方差矩陣或方差.

線性互信息和線性條件互信息與階數q無關，可記為I^l（X；Y|Z），但式（1-34）和式（1-36）的線性熵是q的函數.根據定義，線性熵、線性互信息和線性條件互信息只能度量隨機變量之間的線性相關關系.