1.3 馬爾可夫過程

1.3.1 馬爾可夫（Markov）過程

對隨機過程x（t），如果當過程在時刻t0所處的狀態為已知的條件下，過程在時刻t（t＞t0）所處的狀態與過程在t0時刻之前的狀態無關，則稱x（t）具有無后效性或馬爾可夫性，這時稱x（t）為馬爾可夫過程。

用有限維分布來描述就是：如果對時間t的任意n個數值t1＜t2＜…＜tn（n≥3）,x（tn）在條件x（ti）=xi（i=1,2,…,n-1）下的分布函數恰好等于x（tn）在條件x（tn-1）=xn-1下的分布函數，即

則稱x（t）為馬爾可夫過程，簡稱馬氏過程。

上式表明，當x（t）“現在”的狀態已知時，“將來”的統計特性與“過去”是無關的。

狀態和時間參數都是離散的馬爾可夫過程稱為馬氏鏈，這是最簡單的也是最常見的一類馬爾可夫過程。

設馬氏鏈x（t）的參數集T={t1,t2,…,tn,…},t1＜t2＜…＜tn＜…，記x（tn）為xn，設xn所有可能的取值為可數個值，編號后就簡單地記為1,2,…，這時x（t）的無后效性可用條件分布律表示為

記P{xm+1=j|xm=i}=pij（m），稱pij（m）為馬氏鏈x（t）在時刻m的一步轉移概率。

顯然pij（m）應具有下列性質

由一步轉移概率pij（m）構成的矩陣

稱為馬氏鏈x（t）在時刻m的一步轉移概率矩陣。

馬氏鏈的統計特性由它的初始分布律和一步轉移概率矩陣所完全確定。

1.3.2 切普曼-柯爾莫哥洛夫方程

對馬氏鏈，我們定義了一步轉移概率

pij（m）=P{x（m+1）=j|x（m）=i}。

一般地我們還可以定義時刻m的k步轉移概率如下：

同樣，按定義有

而

通常我們還規定

對于k步轉移概率，有如下的切普曼-柯爾莫哥洛夫方程。

為了證明上述等式，我們按x（m+k）的取值不同使用全概率公式可得

注意，在上述推導中倒數第二個等式利用了x（n）的馬爾可夫性。

同一步轉移概率矩陣一樣，我們也可引進k步轉移概率矩陣

則切普曼-柯爾莫哥洛夫方程可用轉移矩陣表示為

在切普曼-柯爾莫哥洛夫方程中，特別地取k=1或l=1可得

若再令n=1，可知由一步轉移矩陣Pm（m≥0）可決定。也就是由全部一步轉移概率可確定全部兩步轉移概率，反復應用上述作法，由全部一步轉移概率可決定所有的轉移概率。進而若再知道初始時刻x（0）的分布，即初始分布律P{x（0）=i}=pi，那么{x（n）}的所有有限維分布律也就完全確定了。

例如，對m1＜m2＜…＜mk，有

在上述推導過程中，我們也利用了x（n）的馬爾可夫性。所以，雖然轉移概率pij（m）只描述了x（m）與x（m+1）之間的統計聯系，pi只描述了x（0）的分布，但利用x（n）的馬爾可夫性，可以由它們計算出x（n）的一切有限維分布律。因而也可完全確定馬爾可夫鏈的統計特性。

1.3.3 齊次馬氏鏈

如果馬氏鏈x（n）在時刻m的一步轉移概率與時刻m無關，即對任意非負整數m有

pij（m）=pij（0）（i,j=1,2,…），

則稱馬氏鏈x（n）是齊次的。

這時，在任意時刻的一步轉移矩陣是相同的，記為P，即在任何時刻的轉移規則都是相同的。

對齊次馬氏鏈，很容易得到下列結果：

（1）在任意時刻m的k步轉移概率與時刻m無關，都是相同的。此時記k步轉移概率矩陣為P（k）。

（2）k步轉移概率都可由一步轉移概率決定。因此，一步轉移概率矩陣P有特殊的意義。

對齊次馬氏鏈，我們記

這樣一來，對于齊次馬氏鏈來說，只需將表示時刻的m去掉，前面所敘述的公式仍然成立。

切普曼-柯爾莫哥洛夫方程為

進一步，k步轉移概率可由一步轉移概率表示為

若初始分布律為pi=P{x（0）=i}，則x（n）的分布律j}可由初始分布律和n步轉移概率表示為

用矩陣形式表示為

其中Pn表示矩陣P的n次方。

如果用Pn表示x（n）的分布律行向量，即

則

1.3.4 遍歷性與平穩分布

設x（n）為齊次馬氏鏈，若對一切狀態i及j，存在不依賴于i的常數πj，使得

則稱馬氏鏈x（n）具有遍歷性，分布律{πj}稱為x（n）的極限分布。

遍歷性可解釋為：不論系統自哪一狀態出發，當轉移的“步數”n充分大時，轉移到狀態j的概率近似于某個常數πj。因此，可用πj近似，只要n充分大即可。

對有限（s個）狀態的齊次馬氏鏈x（n），若x（n）是遍歷的，在切普曼-柯爾莫哥洛夫方程中，取l=1，可得

兩邊取n→∞的極限，可得：

此即極限分布應滿足的線性方程組。由于極限分布是由n步轉移概率的極限來定義的，而n步轉移概率當n較大時，計算很麻煩。這個線性方程組使我們在已知齊次馬氏鏈的極限分布存在的條件下，有可能通過解一個線性方程組來求出其極限分布。

事實上，我們有如下的定理：

定理1.2 對有限（s個）狀態的齊次馬氏鏈x（n），若存在正整數n0，使對一切i,j=1,2,…,s，有

則此馬氏鏈x（n）是遍歷的，且其極限分布πj是如下線性方程組

在滿足條件：

下的惟一解。

設x（n）為有限（s個）狀態的齊次馬氏鏈，若初始概率分布pj滿足

則稱x（n）是平穩的，分布律pj（j=1,2,…,s）稱為x（n）的一個平穩分布。

由式（1.64），令n=0得

又由式（1.71）得，對任意的j=1,2,…,s，有

同理可得，對任意的j=1,2,…,s，有

依此類推，對任意的j=1,…,s及任意的正整數n，

由式（1.72）可看到，若x（n）是平穩的，則任意時刻的分布律與初始時刻的分布律相同。這就是“平穩”的含義。

對遍歷的齊次馬氏鏈x（n），設πj（j=1,2,…,s）是其極限分布，若初始概率為極限概率，由式（1.69），可以看出x（n）是平穩的。即極限分布就是平穩分布。反過來，顯然平穩分布也是極限分布。

對遍歷的齊次馬氏鏈x（n），即使初始概率分布不是極限分布，但經過充分長的時間轉移后，其概率分布接近于極限分布，這時x（n）當n充分大時可近似地看成是平穩的。

在觀察自然現象的變化過程時，如果該過程可由遍歷的齊次馬氏鏈來描述，由于我們觀察時，該過程可能已經是經過很長時間的演變了，這時我們可以把它當做是平穩的。