经过上述分析与推导之后，我们会很自然地提出以下的问题． Q1：是否每个马尔可夫链都具有一个稳态分布？ Q2：该稳态分布是否唯一？ Q3：πn是否总是趋向于稳态分布？ 1.3.1 不可约性和非周期性 为了回答上面的三个问题，首先定义马尔可夫链的一些性质． 定义1.1 不可约的，非周期性的，周期性的 (a) 如果一个马尔可夫链可以从一个状态转移到任意其他状态（也许经过许多步的跳转），那么该马尔可夫链是不可约的． (b) 假设一个马尔可夫链是不可约的，并且定义 . （1.6） 所有i都有相同的值d(i) = d（如引理2.8所示）．如果d = 1，那么该马尔可夫链是非周期性的；否则它是周期性的，且周期为d． 在图1-5中，马尔可夫链(a)和(b)是不可约的，而(c)是可约的．同时，(a)是周期性的，而(b)是非周期性的． 1.3.2 大数定律 我们可以通过一些简单的例子说明Q2、Q3的答案并非总是肯定的．比如，对于一个没有状态转移的马尔可夫链来说，每一个分布都是它的稳态分布．再比如，考虑一个只在状态0、1之间来回转变的马尔可夫链．如果从π0(0) = 1开始，则它在偶数时刻πn(0) = 1，在奇数时刻πn(0) = 0．因此πn并不收敛． 尽管有这些反例，我们仍然能得到下面的重要结论． 定理1.2 有限状态马尔可夫链大定律 (a) 每一个不可约的有限马尔可夫链都拥有唯一的稳态分布π，并且π(i)表示马尔可夫链X(n) = i的长期时间比例． (b) 如果这个马尔可夫链是非周期性的，其n步分布πn随着n收敛到π． 在以上的定理中，X(n) = i的长期时间比例定义如下 ： . 在这个公式里，当X(n) = i时1{X(n)}取1，否则取0．一般来说，如果A是一个事件，那么当该事件发生时1{A}取1，否则取0．我们称1{A}是事件A的指示函数． 这个定理说明，如果马尔可夫链是不可约的，上述极限存在并且等于π(i)，而且该极限不依赖于随机变量的具体取值．这意味着每次模拟该马尔可夫链都会得到相同的极限（本章练习8将验证这一点）． 1.3.3 长期时间比例 为什么马尔可夫链在一个状态的时间比例收敛？在浏览网页的例子中，如果统计花费在网页A上的时间，将其除以花费在所有网页上的时间n，会发现这个值随着n收敛到π(A)． 这一结果和我们熟知的抛硬币试验类似：如果重复抛掷一枚均匀的硬币，正面朝上的频率会收敛于50%．因此，尽管硬币没有任何记忆，但是它却保证了正面朝上的概率为50%！这是为什么呢？ 事实上，这些收敛结果都可以被视为大数定理的特例．大数定理对于直观地理解概率和统计规律具有极核心的作用．正是因为它，我们能对不确定的结果进行预测．以下是大数定律的具体表述．我们将在第2章进行更具体的讨论． 定理1.3 强大数定律 如果{X(n)≥1}是一系列均值为μ的独立同分布的随机变量．那么当 时， 的概率为1． 因此，样本均值Y(n) (X(1)+…+X(n))/n以概率1收敛到期望值（见图1-6）．这里的样本均值Y(n)是随机变量：对于每个n，Y(n)的值取决于随机变量X(m)的具体取值．因此，重复这一试验可能会得到不同的值．然而，它的极限值以概率1收敛到μ．这种收敛模式名为几乎处处收敛． 图1-6 当抛掷一枚均匀的骰子时，样本均值收敛于3.5