3.4　查普曼-柯爾莫哥洛夫等式

還是先從一個例子來談起。圖3-15中左側是狀態(tài)轉移矩陣，其中每個位置都表示從一個狀態(tài)轉移到另外一個狀態(tài)的概率。例如，從狀態(tài)1轉移到狀態(tài)2的概率是0.28，所以在第一行第二列的位置，給出的數值是0.28。

在馬爾科夫鏈中，隨機變量在一個按時間排序的數組T₁，T₂，…，T_n中，根據狀態(tài)轉移矩陣讓我們可以非常直觀地得知當前時刻某一狀態(tài)在下一時刻變到任意狀態(tài)的概率，如圖3-17所示。

現在的問題是能不能做更進一步的預測。例如，當前時刻T₁時的狀態(tài)為a，能否知道在下下時刻T₃時狀態(tài)為b的概率是多少呢？這其實也相當容易做到，如圖3-18所示。

這個過程用轉移矩陣的自乘來表示是非常直觀且方便的。矩陣P中第1行就表示，當前時刻狀態(tài)a在下一時刻變到狀態(tài)a、b、c的概率，矩陣P中第2列就表示，由狀態(tài)a、b、c，在下一時刻轉移到狀態(tài)b的概率。那么根據矩陣的乘法公式，P²中第1行第2列的位置就表示“當前時刻T₁時的狀態(tài)為a，在下下時刻T₃時狀態(tài)為b的概率”。也就是說，如果想得到跨越2個時刻的轉移矩陣，就把跨越1個時刻的轉移矩陣乘以跨越1個時刻的轉移矩陣即可。同理，如果想跨越3個時刻的轉移矩陣，就把跨越2個時刻的轉移矩陣乘以跨越1個時刻的轉移矩陣即可。更普遍地有P^m+n=P^mPⁿ，而這個關系就被稱為查普曼-柯爾莫哥洛夫等式（Chapman-Kolmogorov Equation）。

下面是查普曼-柯爾莫哥洛夫等式的一個表述：令T是一個離散狀態(tài)空間中的n步馬爾科夫鏈，其狀態(tài)轉移矩陣為

Pⁿ=［pⁿ（j，k）］_j，k∈S

其中，是n步狀態(tài)轉移概率。那么，P^m+n=P^mPⁿ，或等價地有

最后給出查普曼-柯爾莫哥洛夫等式的證明。

首先考慮在n時刻，系統(tǒng)正處在什么狀態(tài)。給定T₀=i，就表示（在時刻n）系統(tǒng)處于k狀態(tài)的概率。但是，此后再給定T_n=k，在第n時刻之后的情況就與過去的歷史彼此獨立了。于是，再過m個時間單位后，處在狀態(tài)j的概率是將滿足乘積

將所有k的情況進行加總就會得到要證明之結論。一個更加嚴格的證明如下

上述證明中運用了馬爾科夫鏈的性質來得到

最終，結論得證。